AIで楽曲レビューツールを作ったらここまで読み解いてきた
せっかく曲を作ったので、もっと感想が欲しい!
をモチベーションに、話題の生成AI(Google Antigravity)で楽曲レビューツールを作ってみました。
このツールがやっていること
音楽を「分解 → 解析 → 長文解析&感想動画出力」
実際長文解析(抜粋)
このツールは、1曲あたり数千文字レベルの解析を出力します。
(今回は一部を抜粋しています)
本楽曲は、BPM120.19という人間の歩調に近いテンポを維持しながらも、その内部構造においては「存在の融解」と「祈り」という極めて精神的な二律背反を描き出している。KeyはE majorを基調としているが、これは単純な多幸感を示すものではなく、むしろ「青い夕日」や「凍える世界」といった冷徹な美しさを内包した、高輝度かつ低温な色彩感を提示している。
特筆すべきは、歌唱統計における「Airiness: 繊細な吐息(Whisper)」と、エネルギーの推移が密接に同期している点である。C♯4からA4という、人間の声が最も切実な響きを帯びる中音域を主戦場とし、ダイナミクスを極限までコントロールすることで、聴き手の鼓膜のすぐ側で囁かれるような親密さと、宇宙的な広がりを持つ孤独感を同居させている。この楽曲を支配する概念は「境界の喪失」であり、それは自己と他者、嘘と真実、そして夜と朝という対立構造が、音圧と定位のうねりの中で溶け合っていくプロセスそのものに他ならない。
続き(全文・約5,000字)はこちら
内容が合っているかどうかはさておき、ここまで長文の感想をもらう機会はなかなかないと思うので、それだけでも作ってみて面白かったなと思いました。
少なくとも「そういう解釈もあるか」という再発見には繋がると感じました。
なぜこんなことができるのか
この仕組みは、1つのAIではなく、
複数の役割を持ったAIを組み合わせて動いています。
■ 音を分解するAI
楽曲データを
ボーカル
ドラム
ベース
ギター
ピアノ
その他
の6パートに分割
(Meta Demucs)
■ 音を“音符”として理解するAI
分離した音をMIDIに変換し、フレーズや構造として扱えるようにする
(Spotify Basic Pitch)
■ 歌詞と時間を結びつけるAI
「どの言葉が、いつ歌われたか」を取得
(OpenAI Whisper)
■ 音の特徴をラベル化するAI
楽器・ジャンル・雰囲気を推定
(Google YAMNet)
■ すべてを“言葉にするAI”
これらをまとめて読み込み、
解釈・感想・ストーリーを生成
(Google geminiやOPEN AI chatGPTなど)
このうち、■ すべてを“言葉にするAI”はGoogle Geminiを利用していますが、それ以外の解析はM1 MacBook Air(16GB)の中で行っています。
解析時間は楽曲時間と同じかちょっと長いくらいなのですが、M1でこれならAI強化されたM5だと半分以上短くなったりするのか気になるところですね。
やってみたいこと
歌詞同期の精度改善
表現のバリエーション増加
完全自動化
複数人格レビュー
AI楽曲レビューに興味がある方へ
現在は手作業も含むため、
数に限りはありますが、
興味があればコメントやメッセージをお願いします!
最後に
人からもらう感想が一番嬉しいのは間違いないです。
でもそれが難しいなら、
“AIにちゃんと聴かせる”のも令和を感じて面白いかなと思います。
補足
実際の動画(リアルタイム感想+キャラ反応)はこちら