SadTalker
準備
1,喋らせたい音声ファイルを“音読さん”や“VOICEVOX”で作成します。
2,喋らせたい人物画像を用意します。
画像と音声のアップロード
1,下記URLからHuggingFaceのSadTakerにアクセスします。
SadTalker - a Hugging Face Space by vinthony
2,左上にある「Source image」欄に画像をアップロードします。
3,左下の「Driving Methods」欄に音声ファイルをアップロードします。
4,音声ファイルをアップロードすると
設定
右側のコントロールパネルから必要な設定をします。
1,Preprocess(前処理)は、上から画面のサイズ、生成モード、顔補正の設定しますが、cropは胸から上(免許証の写真と同じ画角)で、resiseとfullは画面全部を動画にします。(推奨はcrop)
2,cropを選択している場合、“Still Mode (fewer head motion, works with preprocess `full`)”静止モード (頭の動きが少なく、前処理「フル」で動作)は、手の動きが少ないモードで、チェックを入れると顔の動きが小さくなります。
3,その他、“Pose style”ポーズスタイル、“expression scale”表現スケール、“face model resolution”顔モデルの解像度、“facerender”フェイスレンダー、“batch size in generation”生成時のバッチサイズ、“GFPGAN as Face enhancer”顔エンハンサーとしての GFPGA等があります。(基本、そのままでOK)
生成
“GENERATE”をクリックし生成をスタートし“Generated video”欄に進捗状況が表示されます。
4,数分経過すると“Generated video”欄に完成した動画が表示されます。
5,マウスを動画の上に置くと再生バーが表示されます。
6,画像の上で右クリックすると動画の保存画面が表示されます。
参考
一枚の人物画像からトーキングフォトが生成できる SadTalker の使い方 | ぶいろぐ
Movio
Movioの特徴
Movioは、写真や画像をアップロードしてテキストを入力すれば、アップロードした写真や画像からAIビデオが生成でき、スムーズな口の動きが表現されたバーチャルプレゼンターを作成できます。
Movioは、3つのステップでAI ビデオを作成できます。
Movioは、さまざまな民族、スタイル、アクセントをカバーする100 以上のAI アバターが用意されており、40以上の言語から任意の言葉を選ぶことができます。また、用意されたアバター以外にも、写真や画像をアップロードして任意のアバターを作成することができます。
使用に当たっては、Creditを購入して使用しますが、初回に毎月1分、最大10分のCreditが与えられます。
操作方法(基本)
1、Movioのホームページを開きます。
2、アンケート画面が出ることが有るので、回答します。
例)What best describes your role? → Filmmaker, Video Editor
Which industry best describes your company? → Medical, Health Care
What is the size of your company? → Only me
What kind of videos do you want to create? → Other
How did you hear about us? → Youtube
3、Create Viteoをクリックし表示された出力画面を選びます。
(Landscape→You Tube向け Portrait→スマホ向け)
4,Avatarを選ぶ画面が左側に出るので任意のAvatarをAvatar Libraryから選ぶか、My Avatarをクリックして、upload or generatorから任意の画像を指定します。
5,選んだAvatarの画像は、画像枠を動かすことで調整できます。
6,言語は、画面右下の国旗が有る部分をクリックすると、言語一覧が表示されるので、任意の言語を選びます。
7,Voice Libraryに4人の声が表示されるので、任意の声を選択しSelectをクリックします。
8,Text Scriptの下に有るテキストボックスに、任意の文章を記入するか貼り付けます。
9,自分の声を録音する場合は、Audio Scriptを選んで、Recordをクリックして声を録音します。
10,再生ボタンで音声を確認後、右上に有るSubmitボタンをクリックします。
動画生成
1,表示されたConfirm to Submitで消費されるクレジットがわかるので、問題なければSubmitボタンをクリックします。
2,Submitボタンをクリックすると、動画の作成が始まります。
ダウンロード
1,動画が完成すると再生ボタンとダウンロードボタンが表示されるので、ダウンロードします。
2、再生ボタンをクリックすると画面中央に再生画面が表示され、画面上部のVideo表示横にUntitled Videoの表示が出ます。
Movioの無料使用に付いて
Movioの公式サイトから、メールアドレスとパスワードを入力してアカウントを作成し、Movioに登録すると毎月1Credit、MAX10Creditまで貰えます。Creditは、1分につき1Credit消費され有料コンテンツを視聴できます。
参考動画