智谱AI发布视频生成工具清影 可准确理解指令并快速生成

资讯 » 新科技 2024-07-26

近日,智谱AI宣布推出其视频生成模型的全新升级版——CogVideoX,在智谱清言的PC端、移动应用端以及小程序端正式上线,所有C端用户均可免费体验AI视频生成服务。清影(基于视频生成大模型CogVideoX打造的视频创作智能体)的功能特点包括:可在30秒内完成6秒视频的生成;能够准确理解和执行复杂prompt;生成的视频能较好地还原物理世界中的运动过程;灵活调度画面,例如,镜头能流畅地跟随画面中的三只狗狗移动。

核心技术突破

针对内容连贯性问题,智谱AI自主研发了高效的三维变分自编码器结构(3D VAE),大幅降低了视频生成模型的训练成本和难度,并结合3D RoPE位置编码模块,CogVideoX在时间维度上提升了帧间关系的捕捉能力,建立了视频中的长期依赖关系。

增强可控性

智谱AI打造了一款端到端的视频理解模型,提高了模型对文本的理解和对指令的遵循能力,确保生成的视频更符合用户需求。

创新架构设计

CogVideoX采用了将文本、时间、空间三维一体融合的transformer架构,通过Expert Block和Full Attention机制优化模态间的交互效果。

开放平台部署

智谱大模型开放平台bigmodel.cn也部署了清影,企业和开发者可通过API调用体验和使用文本生成视频和图像生成视频功能。



免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。由用户投稿,经过编辑审核收录,不代表头部财经观点和立场。
证券投资市场有风险,投资需谨慎!请勿添加文章的手机号码、公众号等信息,谨防上当受骗!如若本网有任何内容侵犯您的权益,请及时联系我们。