在当前这个AI遍地走、门槛近乎无的时代，如果你还没有试过用AI生成图片或视频（以下统称AI生图），那确实有点不够“潮”了。
与其他新技术一样，AI生图技术自诞生之日起就充满争议，一路鲜花与荆棘相伴。支持者视它为颠覆性的技术革命，反对者视它为洪水猛兽。特别是近两年以ChatGPT、Sora为代表的AI数据大模型横空出世，AI生图已成为刷屏时尚，受到越来越多的网民追捧。它在给人们带来极大便利、惊奇、抚慰的同时，也必然暴露出诸多荒诞不堪、令人生厌、甚至违法犯罪等负面问题。
AI本无罪，关键在于如何使用它。只有坚守伦理和法治底线，技术才能更好造福人类。今天，上游新闻推出“AI生图五大乱象”专题报道，聚焦近年来AI生图领域里暴露出的种种乱象，追根溯源、剖析因果，探索解决之道，以期对AI产业健康发展有所裨益。
近日，一段疑似三只羊网络科技有限公司联合创始人卢文庆的录音在网上流传，引发热议。录音中提及的主播“七老板”“大杨嫂”辟谣称，该录音是AI合成的。9月21日“七老板”发帖称已报警，公安机关将依法处理。
事实上，用AI技术换脸、换声造谣，并非个案。近期多地公安机关发布了多起利用AI工具实施造谣的相关案件，网络平台还封停了上千个用AI数字人恶意欺诈网友的账号。其中，不少骗局专门瞄准中老年人难以分辨数字人和真人“下手”。
上游新闻(报料邮箱：baoliaosy@163.com）记者采访了解到，随着AI技术的发展，不仅造谣成本大大降低，还更具有欺骗性，还可能被传销组织利用。AI造谣呈现出迷惑强、识别难、花样多等特点，亟待加强监管。那么，AI谣言是如何产生的？背后有着怎样的动机？又有哪些新骗局？上游新闻记者进行了调查。
“AI无人直播”背后的传销陷阱
9月23日，河南的刘女士（化名）向记者反映，她曾参与了一个所谓的“AI无人直播”项目。该项目宣称，通过AI模拟机器人24小时不间断进行商品推销，可以零失误完成直播。然而，她投资5800元购买平台终端机使用几个月后，没有看到任何收益。
某AI智能直播平台简介。受访者供图
刘女士无奈地表示：“他们工作人员说得特别好，说AI无人直播，用逼真的虚拟机器人给我推送流量进行卖货，不需要我付出时间和精力。AI数字人做得非常专业、零失误，可以做到24小时直播，可以帮助我在短时间内赚到可观的利润。但我发现根本没有盈利，对方还不断地让我发展下线，可从一级公会长升级到七级，相应的抽成从5%提高到11%。”刘女士提到，后来她发现这一项目不仅没有实际运作，还设置了复杂的推荐机制。她试图联系项目方希望追回投资款，但没有得到任何回应。
项目为吸引参与者设置了7个晋升层级。受访者供图
记者从刘女士展示的材料看到，该项目宣称通过AI技术让参与者实现自动化盈利，并设置了复杂的推荐机制：每成功推荐一名新参与者，签约主播每天的直播时长便会增加2小时；推荐越多，直播时间也随之延长，直至达到24小时。当下线人数达到9人时，参与者甚至可以开启所谓的“小黄车”功能，享受直播带货收益。
反诈防骗专家李旭指出：“用AI技术招摇撞骗并不鲜见，多地公安都积极通过官微等多种方式展开典型案例宣传。从刘女士的案例看，这种打着AI旗号通过拉人头增加收益的机制，让项目看起来更像是传销行为。除此之外，项目还以‘公会’的形式组织参与者，设置了7个晋升层级，每级的晋升条件是不断推荐更多的人参与进来。这类项目，实质上是一种AI包装的传销骗局。”
AI数字人爱骗老年人
上游新闻记者调查发现，随着AI技术的快速发展，AI数字人逐渐成为新的网络热点，但也带来了潜在风险。尤其是老年群体，因其对科技的了解有限，往往成为不法分子利用AI技术进行恶意诱导的目标。
某短视频平台2024年4月曝光了以冒充名人、AI生成人像等手段，发布关心老人、领奖金、养老金、保健养生等内容骗取互动的违规行为。在这些违规现象中，有个别账号通过AI生成人像发布第一人称关心的话术，如“阿姨，我可以叫你一声娘吗”“孩子好想你，愿意给我一朵小红花吗”“娘，您辛苦了”等，利用老年用户的情感需求，诱导吸引女性老年用户关注，骗取用户互动。另有违规账号，通过仿冒名人发布养老金、高龄补贴，或持续发布“2000万到你家了，接收一下吧”“点击按钮，今晚必中奖”等博眼球内容，让老年人误以为“点亮红心和加号”就可以中奖或领钱，继而陷入互动陷阱或上当受骗。
记者还发现，一些账号利用AI数字人，尤其在老年人热衷的保健、养生等领域进行诱导。例如，某些社交平台或直播间会利用AI技术生成的“帅气老头”或“健康奶奶”数字形象，吸引老年人关注。这样的虚拟形象常常以“找个帅老头一起健身吧”或“跟我一起保持年轻活力”的话术，宣传健身产品、保健品等。
为博流量用AI造谣
除了搞诈骗，为博取流量赢得关注，用AI技术生成造谣图片和视频，也相当普遍。
9月20日，一段疑似三只羊高层录音曝光。由于声音听起来和三只羊网络科技有限公司联合创始人卢文庆很像，再加上内容信息涉及主播“七老板”“大杨嫂”和“公司内斗、不正当关系”等，“录音门”迅速引发关注。9月21日，“大杨嫂”在评论区留言：“这根本不是卢总的声音，利用AI合成，造谣传谣是要负法律责任的！”“七老板”一度发视频晒出行政案件立案告知书，并留言：“录音视频是假的，AI加工合成，已报警处理。我相信公安机关，也相信法律，会还我一个公道。”
上游新闻记者从上述“告知书”看到，警方于9月21日以寻衅滋事立案。记者通过社交平台私信功能联系“七老板”，截至发稿前，“七老板”没有回复。
上游新闻记者注意到，央视新闻今年6月曾披露了一个案件，从中可以看到AI谣言的生产流程。
今年1月，某网络平台出现一条关于“西安爆炸”的消息，文字下方还配发了所谓的爆炸图片。这条看起来耸人听闻的消息很快在网上传播，它甚至包含了时间、地点等关键信息，极具迷惑性。那么真相到底如何呢？
某AI标题生成工具。央视新闻
据江西南昌警方介绍，当地有一个MCN机构发布了这么一条信息，他们经过核实，并没有发生类似的事件。在约谈中警方得知，网上发布的西安发生爆炸这条谣言，从文本到图片，全都是通过AI生成的。据介绍，违法人员王某某通过具有语音交互功能的AI软件，只需说出关键词，软件便会自动在网络上抓取相关信息，生成几百到上千字的文本，并配上貌似和事件具有相关性的虚假图片，从而形成一段看起来信息量很大，实际上子虚乌有的内容。通过AI软件生成内容方式，一家MCN机构短时间内可生成大量文章，最高峰一天能生成4000至7000篇。
而在AI生成谣言中，近期影响较大的，要数涉及自然灾害的谣言。
前不久，全国多地遭受极端天气影响，尤其是在进入主汛期后，一些地区经历了大范围极端高温、破纪录的强降雨及变化莫测的大风天气。这些极端天气引发了洪涝、山体滑坡等自然灾害，给人民群众的生活和生产活动带来了严重影响。令人气愤的是，有人却趁机利用网络、人工智能（AI）技术制造并散布涉灾谣言，进一步扰乱了本已紧张的信息环境。
不久前，湖南省互联网举报中心微信公众号公布了一个案例：网民杨某运用AI技术将河水与杨梅果树图片拼接在一起，造成大雨涨水淹没果树的假象。逼真的画面导致部分群众信以为真，引发恐慌情绪。案例中所提到的AI技术，便是近期用于制作涉灾涉险谣言的新手段之一。
而AI模仿新闻风格生成的谣言，迷惑性更强。
2023年底，一则“某地民房发生爆炸事故，4人不幸遇难”的消息在某网络平台上发布，以新闻报道的口吻提供了某地“事故”的大量细节，短时间内这则所谓的“突发新闻”便获得了几万次的点击量。
据违法行为人交代，之所以制造谣言，是因为得知在某网络平台创作发布文章，可以根据阅读、评论、转发数量等获取相关流量收益，每千人有效阅读量有1至2元的奖励。他看到一篇关于爆炸事故的新闻关注度高，就在AI文本生成软件里输入关键词，生成了上述这篇毫无根据、随意编造的虚假新闻，并发布在自己的网络账号上。
防范AI滥用带来的骗局
反诈防骗专家李旭告诉记者，这些AI数字人通过与老年人互动，营造出一种可信的健康建议来源，实际上背后是利用老年人对养生、健身等健康需求的迫切，诱导他们陷入消费陷阱。更有甚者，这些虚假账号会打着科学健身或养生的幌子，推荐高价产品，借助老年人的信任来牟取不义之财。为了防范这些AI骗局，老年人需要提高防范意识，不要轻信虚拟形象的推荐，特别是在涉及购买保健品、健身器材等方面。家人也应多陪伴和提醒老年人注意网络中的虚假信息，确保他们远离这种潜在的数字诈骗。
中国社会科学院大学互联网法治研究中心主任刘晓春建议，互联网内容平台应加强对AI造谣行为的智能识别机制研究，进一步优化涉及AI内容的流量分发和收益分成机制，压缩别有用心者批量生产谣言的牟利空间。
中国科协辟谣平台特聘专家张英认为，面对AI生成的涉灾涉险谣言的挑战，提升公众辨识能力与强化网络平台监管策略是相辅相成的两个方面，建议重点做好四方面的工作：一是传播科技进展；二是辟谣，使公众认清误区；三是关注落后地区，关注易损脆弱性；四是注重公众参与，增加公众获得感。
上游新闻记者 冯盛雍 徐远哲 部分资料综合自中国应急管理报、央视新闻等
