·涉事AI公司深圳市言域科技有限公司确认其AI配音平台被用于生成该录音,正加强产品安全措施。

9月26日晚,合肥警方通报称,9月20日接到三只羊公司报警,称网上传播的涉卢某某音视频不实,严重侵害其合法权益。经过侦查,9月22日晚将犯罪嫌疑人王某某(男,25岁)抓获,并在其电脑、手机和制作AI音频的网站中发现伪造相关音视频的证据。经鉴定,认定网传音视频系伪造。

“三只羊卢某”录音系大模型伪造,涉事公司称会加强产品安全

警情通报

此前,网络上流传的这段录音显示为“三只羊”卢某某在酒后发表的一段言论,内容牵连公司旗下多位女主播,展现出他对市场与消费者的傲慢态度,以及对相关人士的不尊重。这段录音曾为深陷虚假宣传风波的“三只羊”公司招致了更多的批评。

一时之间,由录音伪造引起的AI安全问题引发讨论。

9月27日,深圳市言域科技有限公司创始人谢伟铎在接受澎湃科技(www.thepaper.cn)采访时表示,网传的涉卢某某录音确系嫌疑人使用该公司自主研发的AI配音大模型平台生成。嫌疑人利用卢某此前直播片段约30秒的录音进行声音克隆,并通过文本生成了虚假音频。

“三只羊卢某”录音系大模型伪造,涉事公司称会加强产品安全

涉事公司声明

谢伟铎称,公司高度重视此事,已启动内部审核机制,进一步加强产品的安全管控措施。在不涉及用户隐私的情况下,将通过技术手段部署包括但不限于强化实名认证、敏感词侦测预警、高危内容拦截、可溯源音频水印等措施,确保技术的合法合规应用。他表示,公司坚决反对任何不正当方式使用产品进行违法或不当行为,正配合警方调查。

此次风波中,提供AI技术的公司是否需要承担法律责任?上海大邦律师事务所高级合伙人游云庭指出,这取决于平台是否履行了合规义务。根据《互联网信息服务深度合成管理规定》,如果平台履行了相应的合规责任,其法律风险会较小,否则可能面临麻烦。

游云庭表示,首先,平台需要进行算法备案,并确保实际运行的算法与备案一致。其次,平台应对用户身份进行认证,如果未认证就提供服务,可能存在法律风险。此外,平台应明确提示用户不得利用平台服务进行违法行为。

ReechoAI睿声官网显示,其是由深圳市言域科技有限公司提供的AI语音大模型技术产品及AI有声内容社区。澎湃科技记者在互联网信息服务算法系统查询,“深圳市言域科技有限公司”暂无相关算法备案记录。另外,其关联主体“深圳市呦络科技有限公司”也无备案记录。

针对无备案记录这点,谢伟铎称,备案这块目前在积极推进,“因为我们今年八月份左右才正式在线下开始运营”。

人工智能飞速发展的同时,AI安全问题不容忽视。近年来,由“AI换脸”“AI音频”合成导致的诈骗案件频繁引发关注。2024年美国大选期间,AI曾冒充美国总统拜登给选民打电话。2024年2月,香港发生一起涉案金额高达2亿港元的诈骗案,犯罪嫌疑人正是使用Deepfake技术“AI换脸”和AI音频合成,伪造了一场“高管会议”。

谢伟铎称,当前AI语音技术已达到人耳甚至传统鉴定方案难以区分的程度,包括各种情绪、口音、发音习惯、方言等都可以高度还原,并且能够高细粒度地理解文本,生成最匹配的声音。

此前,三只羊网络科技有限公司因直播带货“香港美诚月饼”等事件涉嫌虚假宣传、欺骗消费者等问题,引发舆论风波。合肥市联合调查组9月26日通报,拟对三只羊公司罚没共计6894.91万元。三只羊公司随后发表道歉声明,表示全面接受处罚,愿承担相关法律责任。抖音平台也自9月21日起对“三只羊”旗下账号进行停播处理,敦促其积极整改,妥善解决消费者的售后赔付事宜。