阿里团队推出 Tora 视频 AI 生成框架：画圈操控物体运行轨迹

资讯 » 新科技 2024-08-06

8 月 6 日消息，阿里团队最新推出了 AI 视频生成框架 Tora，同时集成了文本、视觉和轨迹条件用于生成视频，是基于轨迹导向的扩散变换器（DiT）技术。

Tora 由一个轨迹提取器（TE）、一个时空 DiT 和一个运动引导融合器（MGF）组成：

TE 使用 3D 视频压缩网络将任意轨迹编码为分层时空运动补丁。 MGF 将运动贴片集成到 DiT 模块中，以生成遵循轨迹的连贯视频。

Tora 无缝契合 DiT 设计，支持制作最长 204 帧、720P 分辨率的视频，可以精确控制不同持续时间、宽高比和分辨率的视频内容。大量实验证明，Tora 在实现高运动保真度方面表现出色，同时还能细致模拟物理世界的运动。

其独特设计理念融合文本、视觉和轨迹条件，精准控制视频内容，模拟物理世界运动规律，为电影特效制作、虚拟现实领域带来无限可能。

附上参考地址



免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。由用户投稿，经过编辑审核收录，不代表头部财经观点和立场。
证券投资市场有风险，投资需谨慎！请勿添加文章的手机号码、公众号等信息，谨防上当受骗！如若本网有任何内容侵犯您的权益，请及时联系我们。


相关文章