AI新应用,斯坦福新研究为视频人物随意换口型

  • 时间:
  • 浏览:0
  • 来源:五分时时彩_玩五分时时彩的平台_五分时时彩下注平台

在电视和电影的拍摄中,演员在表演中时不时会不小心犯下或多或少小错误。对于影片的剪辑师而言,由于愿意要花费巨资重新拍摄,越来越 就可不可以 了接受哪此瑕疵。

越来越 亲们 可不可以 想象一下,剪辑师是否是能通过文字剧原本重新修改视频。你这些 过程简单地就像平时防止word文档那样,打上去你愿意的内容,删除多余的内容,甚至完整篇 重新排列拍摄的影片,让它看起来就像有一个多多 全新的视频那样,毫无瑕疵。

一批来自斯坦福大学、马克斯普朗克信息学研究所、普林斯顿大学和Adobe Research的研究人员组织了有一个多多 团队,亲们 创建了这些算法,它能编辑头部特写的对话视频——即视频中的讲话人主要再次出现肩膀以上的帕累托图。

对于视频剪辑师和发行商而言,你这些 研究成果会非常有用。但时要 人担心你这些 工具会影响网上视频和图片的可信性。研究人员也针对哪此工具提出了或多或少使用准则,提示观看者哪此视频受到过修改。

“不幸的是,你这些 技术永远会招来不法分子的注意。尽管越来越 ,它能带来更多创造性的视频编辑和内容创作应用,因此也是值得的。”斯坦福大学博士后Ohad Fried说道。

你这些 应用通过全新的脚本从各种视频片段中提取讲话时的唇部动作,并采用机器学习将它“移植”到目标视频中,让观众看起来更自然。换句话说,它后后 让“唇部运动”和文本同步。

“从棘层上看,哪此视频非常完美,它不再时要重新录制。”Fried说道,他以第一作者的身份发表了一篇相关研究的论文,目前该论文由于上传至论文预印本网站arXiv上。该项目刚开始了了两年前,当时Fried还后后 普林斯顿大学计算机科学家Adam Finkelstein手下的一名研究生。

一旦演员在表演时讲错了台词,剪辑师只时要重新修改一下剧本台词,你这些 应用会自动找到视频中对应的片段,并搜索该视频中或多或少的台词,重新组装这段语音。换句话说,这后后 在重写视频的台词,就像亲们 修改文档中拼错的单词那样。该算法时要原始视频为素材,修改时间约为40分钟。

在此后后,你这些 算法会从或多或少视频中寻找人物讲话时的嘴部动作,生成新的视频。

为了让视频看起来更加自然,该算法还能让运动参数的变化更加平滑,并进行3D动画渲染。最后,它会通过这些名为Neural Rendering的机器学习技术提高视频的仿真度。

在138位参与者的测试里,该团队的编辑结果包含400%被评为“逼真”。也后后 说加工后的视频和原始视频非常像,但Fried表示还有很大的提升空间。