
ByteDanceのSeedance 1.5 Proでネイティブオーディオと多言語リップシンク付きのシネマティック動画を生成。
Seedance 1.5 ProはByteDanceによる初の音声・動画同時生成モデルです。音声と動画は後から重ねるのではなく、同じDual-Branch Diffusion Transformerアーキテクチャを通じて一緒に生成されます。このアーキテクチャは後にSeedance 2.0にも採用されました。その際立った機能は音素レベルの多言語リップシンクです。キャラクターは英語、中国語、日本語、韓国語、スペイン語、フランス語、ドイツ語、ポルトガル語など、正確な口の形で話します。3つの解像度階層と4〜12秒の再生時間を組み合わせることで、短いソーシャルクリップから長い物語シーンまでカバーします。
シーンを説明すると、モーション、カメラワーク、オプションで同期された対話や効果音を含む動画が生成されます。プロンプトは感情的なトーンや環境コンテキストを含む詳細な複数パート指示をサポートします。
写真やイラストをアップロードすると、モデルが自然な動き(髪の動き、布の揺れ、身体のジェスチャー)を推測し、肌の質感、アクセサリー、背景要素など、元画像の細部を保持します。
音声はDual-Branch Diffusion Transformerを通じて動画と同じ推論パスで生成されます。出力には層状のサウンドが含まれます:リップシンク付きの話し言葉、コンテキストを認識したフォーリー効果、環境アンビエンスが自動的にミックスおよびバランス調整されます。
話すキャラクターは8言語以上で音素レベルの口の形の正確性を示します。ポストプロダクションの吹き替えとは異なり、口の動きは音声と同時に生成されるため、手動調整なしで自然な整合性が得られます。
テキストでシーンを説明するか、アニメーション化する参照画像をアップロードします。画像から動画の場合、最終構図を定義する終了フレームも提供できます。
480p、720p、1080pから選択します。再生時間は4〜12秒の任意の長さに設定できます。音声を生成する場合は、リップシンクのターゲット言語を選択します。
モデルは動画と音声を1回のパスで一緒に生成します。クレジットは解像度、アスペクト比、再生時間に基づいて動的に計算されます。低い設定ほど少ないクレジットで済みます。
高速ドラフトには480p、標準的な品質対コスト比には720p、最終出力には1080pを選択できます。クレジットはピクセル数に応じてスケールします。480p動画は同じ再生時間で1080p動画の約4分の1のコストです。
4〜12秒の任意の再生時間を設定できます。固定の5秒または10秒の長さしか提供しないモデルとは異なり、1.5 Proは秒単位の制御を提供します。必要な長さの分だけ支払います。
16:9、9:16、1:1、4:3、3:4、21:9に対応。21:9ウルトラワイドオプションはAI動画ジェネレーターの中では珍しく、ワイドスクリーンや映画予告編フォーマットに適しています。
製品デモ、インタビューフレーミング、またはカメラの動きが気を散らすようなショットのために、カメラを固定位置にロックします。ロック解除すると、モデルはシーンコンテンツに基づいて自然なカメラモーションを生成します。
シード値を渡して、生成間で同じ出力を再現します。視覚スタイルを一貫させながら異なるプロンプトをA/Bテストするのに便利です。
開始画像と終了画像の両方を提供して、最初と最後のフレームを定義します。モデルはそれらの間を補間し、制御されたトランジションと予測可能なストーリーアークを可能にします。
Seedanceモデルで生成された動画 — 音声・動画同時出力、多言語リップシンク、さまざまなジャンルとスタイルにわたる物理認識モーション。





