ByteDance a entraîné Seedance sur un vaste corpus de vidéos de chorégraphie et de performance, lui conférant une compréhension exceptionnellement profonde de l'articulation des articulations, du transfert de poids et du timing rythmique. Le modèle suit 137 points clés squelettiques par image, soit environ le double de ce qu'utilisent la plupart des concurrents. Cela signifie que des mouvements complexes comme les pirouettes, les freezes de breakdance et la chorégraphie de groupe synchronisée se restituent avec un placement anatomiquement correct des membres, plutôt que les poses déformées courantes dans les modèles vidéo génériques.

Seedance 1.5 Pro génère la vidéo et l'audio via deux branches de diffusion parallèles partageant un espace latent commun. La branche vidéo traite les images visuelles tandis que la branche audio produit un son synchronisé, les deux étant conditionnés sur le même embedding de prompt. Parce qu'ils co-génèrent plutôt que de fonctionner séquentiellement, les mouvements des lèvres s'alignent sur le discours à la milliseconde près et les pas tombent exactement au moment où les pieds touchent le sol.

Extrêmement bien. ByteDance a conçu le modèle avec une sortie verticale 9:16 comme format de premier choix, et non comme un recadrage du 16:9. La vitesse de génération est de 30 à 60 secondes pour un clip 1080p, suffisamment rapide pour une création de contenu itérative. La synchronisation audio intégrée vous permet de générer un clip de danse avec la musique correspondante en une seule passe, éliminant l'étape d'alignement audio manuel que les autres outils nécessitent.

Le système de suivi squelettique sétend au-delà de la danse. Les séquences d'arts martiaux, les flux de yoga, les temps forts sportifs et les gestes théâtraux bénéficient tous de la même fidélité de mouvement. Les expressions faciales sont capturées avec une nuance particulière, notamment les micro-expressions autour des yeux et de la bouche qui transmettent l'émotion lors de scènes de dialogue ou de performance.

Le verrouillage physique-audio lie la génération du son aux événements physiques de la vidéo. Quand une balle rebondit, le son de l'impact se déclenche à l'image exacte du contact. Quand un danseur applaudit, le pic audio s'aligne sur la collision des mains. Ce traitement s'effectue au niveau du modèle pendant la génération, et non en post-traitement, de sorte que la synchronisation reste stable même pour les événements rapides ou qui se chevauchent.

Oui. La branche audio gère nativement les ensembles de phonèmes anglais, chinois, japonais et coréen. Les formes des lèvres sont générées à partir du contenu phonétique du prompt ou de l'audio de référence, de sorte que les mouvements de la bouche correspondent à la langue spécifique parlée plutôt que des mouvements génériques d'ouverture-fermeture.

Environ 10 fois plus rapide. Un clip 1080p à 24 fps qui prenait 8 à 10 minutes sur Seedance 1.0 se termine maintenant en 30 à 60 secondes. ByteDance a obtenu cette accélération grâce à des optimisations architecturales du planificateur de diffusion et à un mécanisme d'attention plus efficace, sans réduire la qualité de la sortie.