Qwen3.8で動画を解析し、生成AI動画用のプロンプトを自動生成する

PC Watchの連載で西川和久氏が取り上げたのは、8月初旬の公開以降Xで話題が途切れない生成AI動画モデル「MiniMax-H3」の、プロンプトをどう書くかという問題だ。

動画生成のプロンプトにはルールが多い。テキストで指示するT2VAに加え、最初と最後のフレームを画像で指定するFL2VA、複数のリファレンス画像を使うRef2VAと、モードで書き方も変わる。西川氏は公式ガイドをエージェントにmarkdown化させ、それを参照させながら指示をプロンプト化している。そこから出てきたのが、「既存の動画からMiniMax-H3やLTX-2.5用のプロンプトを自動生成できないか」という発想だった。

鍵は、モデルによっては画像だけでなく動画も解析できる点にある。動画Vision対応のLLMは主要どころでQwen3.6、Qwen3.8系、Gemma4系。DeepSeekは「DeepSeek-V4-Flash-Vision-Exp」でVision対応したが動画は未対応だ。今回はDGX Spark互換機のvLLM + Qwen3.8-Flash-Nextを使った。手順は単純で、ffmpegで動画を480pに縮小し、curlでOpenAI API形式のリクエストにbase64で埋め込んで送るだけだ。六本木のカフェ巡りVlog風の動画を投げると、「若い女性がカフェでスイーツを食べる様子」といった内容がきちんと返ってきた。

ただし映像から取れるのは動きだけで、セリフや音は対象外だ。そこで2つの道具を足した。1つはmlx_whisper（モデルはmlx-community/whisper-large-v3-turbo）によるASRで、タイムスタンプ付きでセリフが取れる。ただしApple Silicon専用で、CUDA環境ではopenai-whisperやfaster-whisperが使えそうだが未確認だ。もう1つがPANNs（AudioSetの527クラス分類モデルCnn14）で、セリフ以外の音の手がかりを拾う。「Child speech」「Baby cry」など首をかしげる結果も混じったが、取得自体はできている。

材料がそろえば、あとは統合するだけだ。最終的な出力は、ショットごとに撮影スタイル・人物の外見・服装・カメラの動きを英語で記述し、日本語のセリフをタグ付きで埋め込み、末尾に全体のサウンドスケープを添えた形になっている。ショット単位でタイムコードが入るので、そのまま動画生成モデルへの指示に使える。

なお西川氏は日頃この手のコードをClaude Code（Sonnet 5）に任せているが、今回はdeepseek-harnessとQwen3.8-27Bで書かせた。Claude Codeがリミット中で使えないときの代替になるかの確認も兼ね、結果はOKだったという。