ITJ Lab
← 記事一覧
AI Practice

動画生成AIを使わずに、画像3枚とClaudeで「紙芝居」の短い映像を作った記録 ― DaVinci Resolveの代わりに何が使えるか

1本作ってみた記録です。特定のサービスの性能や安全性を評価・保証するものではありません。仕様・料金・ライセンスは変わるので、実際に使う前に各サービスの画面や規約で確認してください(2026年9月時点)。映像の人物・背景はAIで生成した架空のもので、実在の人物・場所とは関係ありません。法律相談・法的助言ではありません。

前回は、BitTorrentの仕組みを説明する解説動画を、映像をプログラムで描く方法で作りました。今回は、静止画だけを使って物語のある短い映像が作れるかを試しました。できたものが次の映像です。

完成した13秒の映像(サイト用に圧縮したもの・音声なし)。人物と背景はAIで生成したイメージです。

きっかけ

「動画生成を一度も使わずに映像作品を作った」という紹介動画を見ました。OpenAIのCodexに動画編集ソフトのDaVinci Resolveを操作させ、画像生成で作ったキャラクターの表情違いを貼り合わせて、紙芝居のように動かす手法です。動画生成AIより安く、部分的な修正がしやすく、キャラクターの顔が場面ごとに変わらない、という説明でした。同じことがClaudeでできるかを確かめることにしました。

仕組み:横長の1枚絵をカメラで撮っているだけ

この手法の種は単純です。極端に横長の背景画像を1枚用意し、その上を16:9の「カメラの枠」が移動・拡大します。キャラクターは背景を抜いた画像を重ね、揺らしたり跳ねさせたりします。映像そのものは生成しておらず、動いているのはカメラの枠と切り抜いた画像だけです。

  • 背景:江戸の町並みが左から右へ続く横長の絵(3584×1184ピクセル、約3:1)。桜、町家、運河と橋、五重塔が順に並ぶので、カメラが横に動くだけで「町を歩いていく」場面になる。
  • 人物:浴衣の女性と袴の青年の2枚。白い背景で全身を描かせたので、背景の除去はほぼ自動でできた。
  • 画像は3枚ともGoogleのGeminiで生成した。

作った映像の流れ

  • 0〜1秒:町の左端から画面が明るくなる。
  • 1〜7秒:カメラが右へ動き、女性が上下に揺れながら橋のほうへ歩く。男性は、カメラが動く途中で画面に入ってくる。
  • 7秒〜:男性が小さく跳ね、「!」が出る。
  • 8.5秒〜:2人に寄り、「ドキッ」の文字が出て震える。
  • 13秒:画面が暗くなって終わる。

合成と書き出しは、Claudeの作業環境にあるPythonと動画変換ツール(FFmpeg)で行いました。画像を渡してから最初の映像ができるまで数分、13秒の書き出しは1回あたり1分弱です。

修正は、言葉で頼むとその部分だけ直る

最初の書き出しでは、寄ったときに「!」が画面の上にはみ出していました。「文字を画面内に収めて」と頼むと、その部分の設定だけが直り、1分ほどで書き出し直されました。直していない部分は、前の映像とまったく同じです。動画生成AIで1か所を直そうとすると、映像全体が作り直されて別物になりがちなので、この点は紙芝居方式のはっきりした利点でした。

Claudeは画像を見ることができるので、途中の場面を静止画で4枚並べて確認してもらい、文字の位置などを直しました。ただし動きの速さや間は静止画では分からないので、最後は人が通しで見ています。

DaVinci Resolveの代わりに何が使えるか

元の手法では、DaVinci Resolveの特殊効果の機能(Fusion)で横長の画面を作っていました。DaVinci Resolveは2026年9月の21.1で、AIの操作を受け付ける仕組み(MCPサーバー)を本体に載せ、Claudeからも操作できるようになっています。ただし、この機能は有料版のDaVinci Resolve Studio(51,980円)だけで使え、無料版では使えません。

静止画を貼り合わせ、カメラを動かし、揺らすだけの紙芝居方式に限れば、DaVinci Resolveを使わない方法でも作れます。調べた範囲では、次の3つが候補になりました。今回実際に使ったのは2のFFmpegだけで、1と3は試していません。

1. Remotion(映像をReactのコードで書く仕組み)

場面をReactの部品として書き、コマ番号で時間を制御して、MP4などに書き出すオープンソースの仕組みです。タイムラインの操作は不要です。「横長の絵を16:9の枠で撮る」動きは、画像を横にずらす指定に緩急を付けるだけで書けます。Claude Code向けの手順書(スキル)も複数公開されており、書き出した映像から静止画を取り出して自分で確認し、直してから渡す、という手順まで組み込んだものもあります。「ロウソクに炎を足して」「文字を揺らして」といった言葉での修正は、コードの一部の書き換えになるので、AIに任せやすい作業です。

ライセンスには注意が要ります。紹介記事によれば、個人、従業員3名以下の営利企業、非営利団体などは商用を含めて無料で使えますが、従業員4名以上の営利企業は有料のCompany Licenseが必要とされています。事務所の業務で使う場合は、Remotionの公式のライセンス条件を確認してからにします。

2. FFmpeg(今回使ったもの)

動画の切り出し・変換・結合を行う無料のソフトで、人が操作するのではなく、Claudeに頼んで使わせる形になります。画像の拡大・移動、場面のつなぎ、文字の重ね、音の合成まで一通りできます。Claudeの作業環境に最初から入っているので、画像を渡すだけで試作ができました。表現の幅はRemotionより狭いものの、ソフトの購入もインストールも要りません。

3. Blender(3Dの演出まで欲しい場合)

無料の3Dソフトで、プログラムから操作する仕組み(Python API)があり、AIから操作するための接続(MCPサーバー)も複数公開されています。紙芝居に奥行きを付けたい場合(背景を何層かに分け、手前と奥で動く速さを変えるなど)の候補ですが、今回の用途には大がかりです。

ほかの編集ソフト

Premiere、CapCut、Kdenliveといった一般的な編集ソフトは、調べた範囲ではClaudeから直接操作する公式の経路が見当たらないか、非公式のものでした。編集ソフトをAIに操作させたい場合は、公式に対応したDaVinci Resolve Studioを使うほうが確実そうです。

今の時点での見立て(検討段階)

紙芝居方式の映像を続けて作るなら、画像生成(今回はGemini。ほかにHiggsfieldやMidjourneyなど)と、RemotionまたはFFmpegを組み合わせる方法が扱いやすいと考えています。元の手法で挙げられていた「安い・直しやすい・一貫性が保てる」という利点は、有料の編集ソフトがなくても得られました。Remotionは試していないので、次に同じ題材で比べます。

使うモデル

今回はClaudeのOpusで作りました。この作業は、AIに道具(画像生成、FFmpegなど)を使わせ、短い修正を何度も繰り返す形なので、最上位のモデルでなくても進められました。一方、Claudeにはモデル自体に画像を生成する機能がないため、画像は別のサービスで作る必要があります。

公開する前に気をつけたいこと

  • 既存のアニメやゲームのキャラクターに似せない。画風が近いことと、特定のキャラクターだと分かるほど似ていることは別の問題で、後者は権利侵害のおそれがある。キャラクターはオリジナルで作る。
  • 画像生成サービスの利用規約で、生成した画像の商用利用やクレジット表記の要否を確認する。
  • AIで生成した映像・画像であることを表示する。今回の映像にも「AIで生成したイメージです」と入れている。実在の人物に似せた映像や、架空の人物が体験談や推薦を語る映像は作らない。
  • 音楽や効果音を付ける場合は、音源の利用許諾の範囲を確認する。
  • ツールのライセンス(上のRemotionなど)を、組織の規模と用途に照らして確認する。

費用と時間

  • 画像生成:3枚。既存のプランの範囲内。
  • 合成と書き出し:Claudeの作業環境のPythonとFFmpegで行い、追加の費用はなし。有料の編集ソフトは使っていない。
  • 所要時間:画像を渡してから最初の映像まで数分。文字の位置の修正を含めて15分ほど。

できていないこと

  • 音(せりふ、効果音、音楽)を入れていない。
  • 表情違いの画像を用意していないので、「ドキッ」の瞬間に顔を差し替える演出はまだできない。
  • RemotionとBlenderは試していない。DaVinci Resolve Studioも使っていないので、元の手法との仕上がりの比較はしていない。
  • 人物は歩く動きを上下の揺れで表しているだけで、足は動いていない。

次に試すこと

  • 同じ素材でRemotion版を作り、手間と仕上がりを比べる。
  • 表情違いの画像と、吹き出しのせりふを足して、30秒ほどの場面にする。
  • 法律の説明(たとえば手続の流れ)を、登場人物が案内する形の短い映像にできるかを試す。

本記事は、特定のサービスの性能や安全性を評価・保証するものではなく、1本作ってみた記録です。映像の人物・背景はAIで生成したイメージで、依頼者や事件に関する資料は使っていません。