ByteDanceはSeedanceを大規模なコレオグラフィーとパフォーマンス映像のデータセットで学習させており、関節の動き、体重移動、リズムタイミングについて並外れた深い理解を持っています。このモデルはフレームごとに137の骨格キーポイントをトラッキングしますが、これは多くの競合製品の約2倍です。これにより、ピルエット、ブレイクダンスのフリーズ、シンクロナイズドグループコレオグラフィーなどの複雑な動きが、汎用動画モデルに多く見られる歪んだポーズではなく、解剖学的に正確な四肢配置でレンダリングされます。

Seedance 1.5 Proは、共有ジョイント潜在空間を持つ2つの並列拡散ブランチを通じて映像と音声を生成します。映像ブランチが視覚フレームを処理し、音声ブランチが同期したサウンドを生成します。どちらも同じプロンプト埋め込みに基づいてコンディショニングされています。逐次処理ではなく同時生成するため、リップムーブメントはミリ秒精度で発話に合わせられ、足音は足が地面に触れる正確なタイミングで鳴ります。

非常に優れています。ByteDanceはモデルを設計する際、16:9のクロップではなく縦型9:16出力をファーストクラスフォーマットとして位置づけました。生成速度は1080pクリップで30〜60秒と、反復的なコンテンツ制作に十分な速さです。内蔵の音声同期機能により、他のツールで必要な手動音声合わせの工程をスキップして、1回のパスで音楽に合ったダンスクリップを生成できます。

骨格トラッキングシステムはダンス以外にも対応します。武道のシーケンス、ヨガのフロー、スポーツのハイライト、演劇的なジェスチャーもすべて同じモーション精度の恩恵を受けます。表情の捉え方は特に繊細で、対話やパフォーマンスシーンで感情を伝える目と口の周りのマイクロ表情まで表現されます。

物理・音声ロックは、音声生成を動画内の物理的イベントに紐付けます。ボールが弾むとき、衝撃音は接触の正確なフレームでトリガーされます。ダンサーが手を叩くとき、音声のスパイクは手の衝突に合わせられます。これは生成中にモデルレベルで処理されるものであり、後処理で追加されるものではないため、素早いイベントや重複するイベントでも同期が保たれます。

はい。音声ブランチは英語、中国語、日本語、韓国語の音素セットをネイティブに処理します。リップシェイプはプロンプトまたは参考音声の音声コンテンツから生成されるため、汎用的な口の開閉パターンではなく、実際に話されている特定言語に合った口の動きを生成します。

約10倍高速です。Seedance 1.0では8〜10分かかっていた24fpsの1080pクリップが、現在は30〜60秒で完成します。ByteDanceはこれを、出力品質を落とすことなく、拡散スケジューラーのアーキテクチャ最適化とより効率的なアテンションメカニズムによって実現しました。