魔搭社区推出了一款名为live portrait的ai视频生成工具，能够通过一键操作使照片中的人物开口说话
阿里云推出了一项名为live portrait的数字人视频生成工具，用户只需上传一张照片和一段文本或语音，即可生成一段开口说话的数字人视频。这项工具可应用于视频直播、聊天机器人、企业营销等多个场景。目前，该工具已在魔搭社区创空间开放体验
随着自对话大模型和ai绘画模型的风靡，研究界正逐渐将生成式ai的研究推向更多模态的方向，其中ai视频生成技术备受关注。该技术能够将文本或音频等信息转化为面部运动信息，从而生成具有人物形象的动画照片，有效降低了视频拍摄和制作的门槛
阿里云最新上线的live portait工具，结合了运动模块和生成模块。该工具采用了阿里云自研的口型预测算法，大幅提高了口型生成的准确度，相较于传统方法有显著提升。在训练阶段，增加了姿态的显式控制，使得生成的视频可以呈现任意动作，无需底板视频，从而大幅提升了数字人说话的真实感。此外，通过眼神主动控制技术，live portait可以为眼球增加自然运动，使得生成结果更加接近真人效果。据介绍，live portait相关技术已被国际ai顶会cvpr、iccv等收录
根据魔搭社区的信息，live portait提供了两种方式供用户选择上传照片后，即文本驱动和音频驱动。在文本驱动模式下，用户可以选择28种不同的声音，包括普通话、英语、粤语和童声等。此外，live portait还提供了轻量模型选择，以帮助用户更快地生成视频
张邦，该工具算法负责人，表示：“live portait整合了团队多项自主研发的创新技术，包括利用单张图片即可生成逼真的面部动画，突破了传统对抗生成网络的限制。随着技术的不断演进，图像生成视频具有广阔的应用前景，有望成为企业提高生产效率、降低成本的重要工具。”
据了解，该团队的研究方向包括数字人、3d模型ai生成、高逼真渲染和自然人机交互等领域，已经在国际顶级会议上发表了50多篇论文
以上就是魔搭社区上线ai视频生成工具live portait，可一键让照片开口说话的详细内容。