地声全自動吹き替えツールアップデート Ver2.3 ～音声を動画化 形態素解析 GPUメモリ開放 CSV読み込み 他～

こんにちはRcatです。
今回も以下で紹介している全自動吹き替えツールのアップデート情報です。こちらのツールは地声のナレーションを全自動で読み上げソフトを使った読み上げ実況に変換してくれるツールです。
今回も地味ですが、便利な機能を追加したので紹介します。

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください

動画編集機能に動画カッターを追加

概要

動画を収録している時に「あ、やばい間違えちゃった」と言ってすぐカットしたとします。でも間違えちゃったところは録画されてるんですよね？それカットしなきゃいけないですけどどうします？
動画編集ソフトわざわざ使いますか？面倒ですね。
というわけで、秒数を指定して動画の中のとある区間だけを切り出すツールを追加しました。

使い方

使い方は簡単便利ツールの中に動画カッターが追加されているので、まずはデータをアップロードします。
次にデータがプレビューできるようになるので、何秒のところで切りたいかというのを確認して、カット開始とカット終了を0.1秒単位で設定します。
秒数を入力したらカット実行を押すことで動画をカットできます。
動画は再エンコードされるわけではないので、超高速でカットが可能です。動画の長さにもよりますが、1秒もかかりません。
カット後はダウンロードしてご利用ください。または、そのまま次の文字起こしへステップを進めることも可能です。

ちなみに最初の数秒だけをカットしたい場合は、終了時間を動画の長さよりも長く指定しておけばOKです。長い分にはエラーになりません。

音声ファイルから動画の生成が可能に

概要

こちらは音声ファイルを指定して処理を行うことで、背景は真っ黒で字幕だけが入った動画を作成することができる機能です。
例えばラジオ的な使い方でYouTubeに動画をアップロードしたい場合などに利用できると考えています。たまにそういうチャンネルもありますしね。

使い方

一番最初のステップで動画ではなく、音声ファイルを選択して処理を進めていきます。
最後にテロップありの動画を作成する設定にしてください。テロップありの場合、かつ音声ファイルの入力だった場合に限り、真っ黒の動画を自動的に生成してくれるようになります。

ちなみにサンプル動画はこちら
いきなり流れてきたらなんじゃこりゃって思いますねこれ…

字幕の入れ方を改善

三行以上の字幕に対応

今までは長い字幕を入れるくらいなら2回に分けるだろうというスタンスでしたが、手動で動画を作っているならまだしも、全自動だとどこで分割されるかが予想できず、かなり長い字幕になってしまうことがありました。
そのため、はみ出た時は改行するというプログラムから、動画の幅と必要な幅から行数を計算するように変更しました。

字幕の折り返しを改善

まずはこちらの画像をご覧ください。
なんか答えが書いてありますが、何が違うかお分かりでしょうか？

字幕を折り返す時に単語の中では折り返さないようにしました。
こうすることでより字幕が読みやすくなります。

この手法に関してはこちらの記事で別途解説していますので、興味のある方はこちらもご覧ください。

レポートのCSV化

概要

文字起こしレポートは、プログラム内で使われているデータ形式の都合でJSON形式で出力していましたが、修正しようとするとやり辛い部分があるので、ダウンロード機能を使った場合のみCSV化して出力、CSVのアップロードに対応しました。
エクセルなどの表計算ソフトを使用して、より作業がしやすくなります。

使い方

文字起こし/校正 処理が完了後、自動的にダウンロードされるCSVデータはこのようになっています。
※text2とrubyはAIを使った校正をした場合のみ入っています。

ここで間違っている箇所があれば、修正してください。この例だと走行が間違ってますね。
この例の時はWhisper smallを使っているのでそれなりに間違いを起こしています。AIの方は情報が少なかったのか、走行だけそのままになっちゃってますね。赤字の部分が訂正箇所です。

読み上げステップにアップロードします。
※間違ってxlsxとかで保存しないように注意しましょう。

ちなみにきちんと適用されているかどうかは実行ボタンを押した後、このようなログが黒い画面に出ているかどうかでは確認することができます。

その他の改善修正

GPUメモリを都度解放されるように挙動変更

主に文字起こしでウィスパーを使っている場合、大容量のvramを搭載しているGPU以外ではメモリを使い切ってしまい、他のことができなくなってしまいます。
なので、使い終わった後はモデルをリリースしてメモリを解放するようにしました。

AI校正で一部失敗時のリトライが可能

AIの回答は絶対ではないので、場合によってはタイムアウトしたり、変な回答が混じってきたりして校正がうまくいかないことがあります。
そういった場合、その区間だけ校正失敗という扱いになるのですが、リトライしようとすると最初から全てやり直しになるのが前の仕様でした。
本バージョンから校正用のデータが入手できなかった区間に絞り、もう一度リトライするように挙動を変更しました。

読み上げ後のリトライで変更箇所だけを読み直すように変更

読み上げ後にレポートをアップロードした場合、読み上げも最初からやり直しでしたが、本バージョンからは変更箇所だけを読み上げるように変更しました。

Difyオンライン版での接続問題を修正

私の製作したものは全てローカルで使う前提になっていたので、実際にオンライン版で接続しようとするとうまくいかないことが分かりました。
オンライン版での接続を志向し、どちらにも対応できるように中身を変更しました。

配布情報

一番最初に紹介している記事で配布情報をご案内しておりますので、使ってみたい方は是非使ってみてください。