AstraでAI音声編集して分かった。「AIに作品を作らせる」と「AIと作品を作る」は違う

どうも、久我レイジです。

本日、新作メタバースドラマ『記録にない君』の音声編集を始めました。

ドラマの音声編集というと、セリフの間を調整したり、BGMや効果音を入れたりする場面を想像するかもしれません。

でも、その前にやらなければならない作業があります。キャストから届いた音声を確認して台本と照らし合わせ、必要なセリフを探しながら順番に並べていく作業です。

これまでなら、ここに人が手作業で数時間を使うこともありました。

今回、その音声編集の一部でAstraを使ってみたところ、想像していた以上に作業を任せられました。ただ、使ってみたからこそ、逆に人間が触った方がいい部分も見えてきたんですよね。

それで今、少し考えています。　

「AIに作品を作らせる」のと、「AIと作品を作る」のは、やっぱり違うんじゃないか。

ドラマ制作には、完成映像から見えない工程が多い

僕はこれまでメタバースでドラマを作ってきましたが、一本の作品が完成するまでには、本当にいろいろな工程があります。

脚本を書き、キャストに収録してもらい、届いた音声を確認する。必要なセリフを探して並べ、音量を整え、映像を作り、BGMや効果音を入れながら編集していく。

完成したと思って見返したら気になるところが出てきて、また調整することもあります。

『記録にない君』でも、その流れ自体は変わりません。

ただ、その全部に僕自身が同じだけ時間を使う必要があるのかというと、今回Astraを使ってみて、そこは少し見え方が変わりました。

音声ファイルの中から必要なセリフを探して順番に並べる作業と、そのセリフをどう聞かせるかを考える作業は、同じ音声編集でも少し性質が違います。

僕が監督として時間を使いたいのは、後者の方です。この場面でどんな感情に見えるのか、音声と映像を合わせたときにテンポがおかしくないか、どのくらい余韻を残すのか。

そういう判断まで含めて、作品になっていくと思っています。

『記録にない君』の音声編集でAstraを使ってみた

今回の『記録にない君』では、キャストが収録した音声はすでに完成しています。

人が最初から手作業で編集するなら、収録された音声を聞きながら台本と照合し、使う部分を探して切り出し、台本の順番に並べていきます。

ひとつ終わったら次の音声を確認して、また同じ作業を進める。セリフが増えるほど、この確認と整理にも時間がかかります。

今回は、キャストごとに収録された音声をAstraに読み込ませ、台本と照らし合わせながら、使う部分を台本順に並べるところまで手伝ってもらいました。

これまで僕が知っている編集アプリでも、音声編集そのものを楽にする機能はありました。でも、人が収録した音声の内容を見ながら、台本に合わせて整理していくところまで任せるとなると、僕が使ってきた範囲ではなかなかうまくいかなかったんです。

Astraでは、その部分がかなり使えるところまで来ていました。

もちろん、完全に任せてそのまま完成という話ではありません。僕自身が照合を補正した部分もありますし、実際に耳で確認しなければ分からないところも残っています。

それでも、人が手作業で数時間かけていた部分の負担が軽くなるのは大きいです。

ドラマ制作はひとつの工程だけで終わらないので、こういう作業を任せられるだけでも、制作全体で見た意味はかなりあります。

セリフを並べたあとに残った「間」の問題

Astraで音声を整理してみて、一番気になったのはセリフとセリフの「間」でした。

『記録にない君』のようなドラマでは、同じセリフでも、前の言葉を受けてすぐ返すのか、少し間を置くのかで印象が変わります。

ほんの少し詰めた方が自然に聞こえる場所もあれば、逆に沈黙を残した方が感情が伝わる場所もあります。

しかも、台本にすべての間を秒数で書いているわけではありません。

収録された芝居を聞き、前後のセリフとのつながりを見て、さらに映像が乗ったときのテンポまで考える。その中で、僕は最終的な間を決めています。

Astraもある程度は間をつけてくれました。ただ、実際に聞いていくと、僕ならもう少し空けたいと感じるところもあれば、逆に少し詰めたいところもありました。

ここは、単純に音声を正しい順番へ並べられれば終わり、という話ではありません。

だからといって、これはAIにはできない領域だ、と言い切るつもりもないです。今のAIの進化を見ていると、こうした部分もこれから変わっていく可能性はあると思います。

少なくとも今回の『記録にない君』では、Astraが作った状態を僕が聞いて、必要なところへ手を入れる形になりました。今の僕には、その使い方が合っています。

AIとドラマを作る距離感を、まだ探している

AIを創作へ使うようになって、できることはかなり増えました。画像や動画だけではなく、今回のように制作途中の作業まで任せられるようになってきています。

以前なら、自分で処理するしかなかった工程です。

だから僕も、使えるところは使いたいと思っています。ドラマ制作はとにかく工程が多いので、任せられる作業まで全部自分で抱える理由はないんですよね。

一方で、『記録にない君』の音声を実際に聞いていると、まだ僕自身が触りたいところも普通にあります。間の取り方もそうですし、最終的にそのシーンをどう見せるかは、音声だけを処理すれば決まるものでもありません。

今回Astraを使ってみる前より、その境界が少し具体的に見えるようになりました。

AIに作品そのものを任せたいというより、作品を作る途中にある大量の工程の中から、任せられるところを任せていく。その方が、今の僕がやっているドラマ制作には合っている気がします。

もちろん、この境界もずっと同じではないと思います。

今は僕が手を入れている「間」まで、いずれAIがかなり自然に作るようになるかもしれません。そのとき僕が何を自分の仕事だと思うのかは、まだ分かりません。

『記録にない君』を作りながら、たぶんそこも一緒に確かめていくことになるんだと思います。

こちらもおすすめ！