法治号 手机版| 站内搜索

网上有害信息举报

涉AI谣言特征分析及处置经验启示

2024-06-28 11:28:42 来源:法治网舆情中心 -标准+

舆情事件 

近日,四川、甘肃等多地公安厅公布了多起网民利用AI技术制造谣言的案例,公安部公布10起打击整治网络谣言违法犯罪典型案例,有4起涉及违法人员使用AI造谣,引发舆论持续关注。近两年来,生成式AI技术的广泛应用,令利用人工智能编造的网络谣言的数量呈上升态势。舆论普遍认为,利用AI编造、传播网络谣言已形成一种新型违法犯罪行为,对政法机关的社会治理工作提出挑战。法治网舆情中心从公开的典型案件中选取10起为研究对象,分析AI谣言的舆情特征,总结舆情处置经验,为政法机关提供参考。

部分涉AI谣言案例基本信息表   

10起典型案例中,有6起是涉及公共安全的谣言,包含“地震”“火灾”“爆炸”等关键词;2起谣言涉及教育领域,分别为“贺州市第五高级中学小卖部经营权调查情况的通报”和“德阳12岁女生被8人轮流扇耳光3小时,致耳膜穿孔”;1起谣言涉及民生领域,为“广州将成全国首个限制外卖配送的城市”;1起涉及政治谣言,为“一旦要打仗,启动一级战备,专家建议老百姓冲在最前线,报效祖国”。在行为动机上,有7起案件明确提到了造谣者是为了获取更多流量、赚取收益,有1起案件系行为人为了蹭热度涨粉,还有1起系行为人为了发帖赚稿费。曝光形式方面,10起案件中有9起是采用图片加文字的形式,有1起是以视频形式传播,即网民骆某某将其他地区的抗洪、救灾视频嫁接到新疆乌什地震上,造成较大负面影响。从处置结果看,9起案件的行为人被涉事警方给予行政处罚,网民杨某招揽多人捏造“广州即将成为全国首个限制外卖配送的城市”谣言,当地公安部门对涉案6名嫌疑人采取刑事强制措施。

舆情特征  

观察以上案例,可以发现涉AI谣言案件具有以下几方面突出特征:

1. 信息混杂 辨真伪难度增加

网络谣言的最终目的,就是令大众相信造谣者生产的虚假信息,以达到其不可告人的企图。AI谣言虽然是造谣者利用软件系统等程序生成,但在形式外观上新闻要素齐全、内容完整,极具逼真性和迷惑性。而随着ChatGPT、文生视频模型“Sora”等人工智能技术的推出,造谣者只需“动动手指”,就可以将现有算法和互联网中的海量信息“排列组合”,令网民掉入以假乱真、虚实混杂的“信息陷阱”。比如,无中生有地通过软件直接生成逼近真实的图片、音视频;将网络中真实存在的图片、视频等进行嫁接以增加真实感;故意“添油加醋”篡改真实信息,制造耸人听闻的消息,煽动民众恐慌等。而经过AI包装过的网络谣言,彻底颠覆了大众“有图有真相”“有视频有真相”的常规认知,让谣言变得更具有伪装性和欺骗性,极大混淆了公众视听。

2. 精准分析 制造舆情“爆点”

公安部网安局在发布涉网

络谣言典型案例时曾指出:“AI通过海量数据的学习和用户行为、兴趣的分析,从而发现隐藏在其中的模式和规律,进而提供准确的决策支持和更好的用户体验,恰恰是它的拿手好戏。”可见,AI强大的技术优势使得其被造谣者充分利用,通过大数据找到公众最为关注的内容,通过提取相关的关键词生成谣言,并制造出一个个舆情“爆点”。进一步观察发现,关涉民众个人和公共安全的信息往往最受AI谣言的“青睐”,比如突发案事件中重点突出“交通事故”“���谋”“故意杀人”“死亡”等细节,突发公共安全类事件中多强调“地震”“爆炸”“火灾”“洪灾”等情节。在标题设置上,此类AI谣言也很有煽动性,比如“一场惊心动魄的‘钞票大战’ 巴中市警民对峙引发轰动 谁将成为胜利者”“一场强烈地震在甘肃省白银市景泰县席卷而过,给当地人民带来了沉重灾难”等,通过夸张的语气、数据表述实现对受众心理的精准拿捏,令其内心作出倾向性选择。

3. 技术加持 谣言生成效率提升

相比此前造谣者单纯靠人工捏造、散布谣言这一略显“原始”的方式,利用AI造谣明显提升了谣言的“技术含量”,使得谣言的生成速度、数量以及传播量都出现质的飞跃。这是因为,一方面人工智能的高效性、自动化等特点,可以在极短时间内实现谣言的“批量化生产”。比如,人民网报道称,在“广州限制外卖配送”谣言案中,涉案人员使用人工智能工具批量生成不实文章,发布“外卖配送将被禁止,餐馆只能提供堂食和到店取餐服务”等虚假消息,扰乱当地社会正常秩序。又如《检察日报》报道,2023年12月,西安警方在破获的一则“西安市鄠邑区管道破裂”谣言中发现,该案涉及一款名为“翠绿笔墨”的写稿软件,一天能生成19万篇文章,7天能达到上百万篇,谣言的输出密度和量级令人惊愕。另一方面,一些不法分子看到AI造谣背后的“商机”,将造谣传谣看成生意,由此衍生出一条条黑灰产业链,这意味着网络谣言产生后,往往会被大量转发炒作,造谣的门槛和成本极大降低,但传播的效率和产生的影响却成倍增加,大大提升了网络谣言的破坏力。

4. 打“信息差” 带偏网民认知

AI技术的出现为造谣者提供了丰富多样的“语料池”,令其在时间、地域等方面选择维度拓宽,而网民作为信息不对称的另一方,对造谣者提出的信息必然无法全部掌握,这就为造谣者利用“信息差”炮制谣言提供可乘之机,最典型的体现就是AI“异地造谣”现象。在上述10起案例中,有5起案件涉及异地造谣,比如某网民将发生在江西某地的校园霸凌事件编造为四川某学校、山东网民发布“广西贺州某中学小卖部经营权调查情况通报”的谣言等。造谣者将外地发生的事件安在本地,或将外地发生的A事件安在B地,未知全貌的网民被谣言信息带偏认知后对该信息转发扩散,而一些自媒体博主未经核实信息真实性,出于吸引流量、博取眼球等各种目的,对谣言进行加工解读和转发传播,也为放大谣言的危害起到推波助澜的作用。

舆情启示 

如上文所述,利用AI技术造谣可谓“门槛低、传播广、破坏大”,而流量带来的可观收益促使造谣者不断铤而走险,严重误导公众认知,影响网络空间秩序和社会稳定。从公布的案例情况看,各地公安部门对涉AI谣言案件整体能做到快速介入处置,有效安抚人心,保证社会秩序平稳。法治网舆情中心从中总结出三点处置经验,供政法机关参考。

一是积极处置个案。经分析,那些对涉AI谣言案件的处置整体较成功的案件,涉事公安部门总体处置都秉持了“发现早、研判准、处置快”的原则。具体来讲就是,舆情意识在线,尤其对那些破坏性较强的、消解官方公信力的、容易激发公众集体恐慌等方面的信息保持敏感,一经甄别判定为谣言的,政法机关往往多管齐下,在谣言拦截、信息清理、信息发布等方面展现出更多主动作为。另外,对于涉及多个部门和地域的AI网络谣言,政法机关也加强了联动配合,有力阻断了谣言传播链条,力争让官方处置速度跑赢谣言传播速度。

二是做好普法宣传。目前,甘肃、四川、广西等多地公安都积极通过官微等多种方式展开典型案例宣传,向大众讲明AI造谣的生产机制、话术套路、识别方式等内容,引导网民增强对网络谣言信息鉴别能力,呼吁广大群众对未经权威部门证实、背景缺失、地域不清、指向不明的信息内容,不先入为主作评判,不主动传播。今年4月21日,安徽合肥警方还通过央视新闻,在关于“AI软件成造谣工具”节目中揭秘谣言制作过程,让网民更直观地加深了对AI造谣的认知,起到较好宣传效果。

三是加大惩处力度。针对AI造谣行为带来的负面影响,舆论一致呼吁严加惩处。对此,政法机关积极回应舆论期盼,从主观恶性、谣言性质、社会影响等方面综合考虑,积极打击AI造谣违法犯罪行为。以上述案例为例,绝大多数的始作俑者被给予行政处罚,包括批评教育、罚款、行政拘留等,舆情处置流程比较完整,闭环率较高。特别是在“广州即将成为全国首个限制外卖配送的城市”谣言一案中,广州警方对杨某、叶某英等6名人员采取刑事强制措施,通过办理典型案例的方式形成震慑,让造谣传谣者心存畏惧,遏制其违法犯罪冲动,被业内专家评价为“是打击治理AI造谣违法犯罪行为的样板案例,将对不法分子起到有力震慑作用”。

阅读全文可订阅

《政法舆情》电子产品

详情咨询:010-84772595

    来源:法治网舆情中心

分析师:王媛

编辑:王媛

新媒体编辑:李静


编辑:靳雪林