对话搜狗陈伟:AI合成主播下一步将如何进化?

来源:快报
责任编辑:王亮
字体:

2018年底,在第五届世界互联网大会上,“克隆”于真人主播邱浩的全球首个AI合成男主播“首秀”,由新华社联合搜狗发布,很快在全球范围内引起热议。

陈伟,搜狗语音交互技术中心高级总监,同时也是新华社AI主播项目的负责人。他表示,从去年11月到现在,新华社工作的两位AI主播已经播报了几千余条新闻,没有出现过失误。

今年2月19日,男主播升级成为站立式AI合成主播“新小浩”,站立式“新小浩”不仅能坐着播报新闻,还能站起来,带着手势、姿态等多种肢体动作,更接近于真人。与此同时,双方还推出了首个AI合成女主播“新小萌”。

在新华社,基于两位真实主播的声音、表情等真实数据生成模型,工作人员仅需要输入新闻稿,就可以让AI形象自动根据文字播报。并且,无需进行二次视频编辑,AI主播将自动识别语义并配上对应音调及表情。

“我们提供的系统,新华社只要每天在想要播报的新闻,过几秒钟生成一个完整的视频,中文、英文不同类型的新闻视频就可以马上出来。”陈伟表示。我们看到,AI主播的能力在不断进化,2月发布的“新小浩”开始加入肢体动作,让主播的表达方式更加多元化。

AI合成主播来自于搜狗AI分身项目的落地,基于多种模态识别融合的技术,包括语音、手写、唇语等维度的识别和模拟,仅需数个小时的视频资料就可以合成一个比较逼真的真人形象。

“逼真度”是衡量AI主播效果的一个重要指标。陈伟向机器之心表示,在初期,团队采用主观的方式来衡量AI分身的真实度,最近逐渐考虑采用一些客观标准,比如与真人视频每一帧画面进行比对。

目前,AI主播已经能够实现语音和唇部动作的同步。陈伟表示,更进一步,客户已经提出微表情等更细节层面的交互,比如挑眉、扭头时的眼神等。

陈伟介绍,今年内还将为AI主播推出交互能力。在图像层面,则会考虑2D+3D的技术融合,在语音合成的基础上引入自然语言理解的能力,让AI分身具备认知能力。

AI合成主播的价值体现主要在解决新闻播报领域的效率。新闻讲究快,能够自动生成播报视频的AI主播在时效性得到了保证;此外,AI主播的出现也让真人主播从大量繁琐的播报工作中解放出来,投入到访谈和深度新闻报道的项目里。

据介绍,搜狗的AI分身项目已经具备快速稳定落地的能力,从语音识别到合成、唇语识别,到图像方面的表情生成、肢体生成等,团队已经建立一套完整的流水线工作体系。在新闻主播领域之外,搜狗也在推进与更多行业和领域内的场景结合。

陈伟表示,项目的落地将从媒体扩大到客服、教育以及一些娱乐场景。比如正在进行中的AI合成老师。在线上公开课的场景里,老师多以单向输出内容为主。这种情况下,老师只需准备好教案和文稿,通过AI合成形象生成多个视频内容。

在语音界,科大讯飞和微软都在进行多模态识别技术的探索,具体到新华社项目的商业合作中,搜狗是凭借哪些差异化的优势受到认可?

陈伟认为主要体现在两个方面,一是项目实际效果,在和新华社沟通项目阶段,AI分身距离落地已经相对成熟,二是该项技术能够快速复制,实现推广到多人和多个领域的能力。“而其他公司距离搜狗的项目效果还有明显差距,多停留在实验室研究的状态”。陈伟介绍。

目前,新华社的AI主播主要在单个频道运营,如果想要普及到更大规模的媒体频道,高并发要求将对云端调度提出一定挑战。陈伟表示,目前搜狗提出两套方案,一套提供公有云服务;另外也支持部署在企业本地的私有云服务器上。“我们的服务在资源占用和实时性上都能满足要求。”

近日,一段“换脸杨幂版”的《射雕英雄传》在网上广泛流传,关于AI换脸和模拟真人技术的讨论上升到社会层面,比如将技术用于不正当目的的伦理问题。

陈伟对此回应,首先, “分身”与“换脸”(deepfakes)在技术层面有着本质的差别,“换脸实际上是把一个人脸映射到另一个人脸上,前期投入成本很大,但‘分身’一旦建模之后,只需要输入文字就可以生成视频,不需要任何表演成本在里面。”

在技术使用的规范问题上,陈伟表示, “搜狗选择和明确的公司、在明确的领域合作,尽量通过场景圈定技术的使用范围,这样的好处就是不会把技术滥用。”

请注意:本文转载自QQ快报,并不代表本网赞同其观点,版权归原作者所有,本网不承担任何责任,特此声明。

声明:以上内容由用户提供,并不代表本网赞同其观点。如有任何不妥,请与不良与违法信息举报中心联系:513175919@qq.com

www.book1234.com true http://www.book1234.com/q/20190315/20190315A15NPK.html report 14932
娱乐时尚
科技资讯
历史文化
真视界
旅游美食
精彩图文
我爱我车
母婴健康
关于本站 | 广告服务 | 手机版 | 商务合作 | 免责申明 | 招聘信息 | 联系我们
Copyright © 2004-2018 book1234.com All Rights Reserved. 布客网 版权所有
京ICP备10044368号-1 京公网安备11010802011102号
12345678910 热门社会娱乐体育军事汽车财经科技育儿历史美食数码心理时尚宠物收藏家居文化三农健康科学游戏动漫教育职场旅游电影教育考试: 学历财经建筑 医药公考资格外语电脑作文招聘中小学留学 文档 移民 文库专栏23问答中心z资讯z资讯1资讯涨资讯涨资讯1资讯问答图书馆知识IT编程数码信息解决方案信息中心IT科技问答新闻中心软件教室设计大全网络相关英语学习开发编程考试中心参考范文管理文库营销中心站长之家IT信息中心商学院数码大全硬件DIY企业服务网吧在线百科硬件知识手机平板汽车游戏家电精彩摄影现代家居IT女人经验健康养生猎奇创业攻略教育学习历史时尚潮流最近更新涨知识