对这些即将出现的后果和灾难，如果不妥善管理，AIGC就不是在创造新的产品，更不是在推进和创造新的文明形态，而是在倒退，走向造假、欺骗和破坏，也就是让野蛮卷土重来。

世界互联网大会乌镇峰会于11月8日开幕，每年这时候，世界互联网如约进入“乌镇时间”，人类无限能量和互联网无限魅力尽情展现，多种人工智能生成内容（Artificial Intelligence-Generated Content, AIGC）也一一亮相。然而，在AIGC兴起，并且通过生成式AI工具ChatGPT和Midjourney创建的内容爆炸式增长之时，也有一股暗流在涌动，即利用AIGC屡屡作恶。这种恶不只是恶作剧，而且深入到欺诈，成为欺诈的共谋和工具。AI安全成为全球关注的热点。

正因如此，11月1日，首届全球人工智能安全峰会在英国召开，包括美国、中国和欧盟在内的与会方签署了一份《布莱奇利宣言》。宣言指出，AI为全球带来巨大机遇，它有潜力改变或增强人类福祉、和平与繁荣。但AI也带来重大风险，包括在日常生活领域，“所有问题都至关重要，我们确认解决它们的必要性和紧迫性”。

AI安全问题这段时间在网上流传最多的，是AI生成的恶搞名人讲话和假消息。中国演员赵本山用标准的伦敦腔英语讲述东北故事，相声演员郭德纲用英文说地道的中国相声。之后，各国政治人物纷纷登场，“拜登”讲话公然宣布第三次世界大战开始；“马克龙”直播回答“政府聘用灭霸”；“特朗普被捕”现场照片疯传，日本首相岸田文雄的虚假视频讲话在社交媒体疯传……

所有这些都不过是AIGC，包括语音、图像、视频。这些表面上看是一种恶搞和玩笑，正如岸田文雄视频的制作者所说，“我这样做的目的只是逗人们发笑，这是一种讽刺”，但本质上是在造假，并以错误信息误导社会，可能导致社会混乱和分裂，并引发冲突，甚至战争。

最严重的后果早有先例。2020年10月20日，法国巴黎郊区一所师范学校的史地教师帕蒂，因为在课堂讲授言论自由问题时，展示过具有争议的穆斯林先知穆罕默德的漫画，而遭到枪杀。早在2015年1月7日，法国巴黎《查理周刊》总部也遭到恐怖袭击，导致12死11伤，遇难者包括两名警员和多名周刊工作人员，其中一人是周刊主编，起因也是涉及宗教漫画。

试想一下，如果利用AIGC，无论是生成有争议人物或宗教人物的语音还是图片，抑或讲话，都有可能引发冲突、恐怖活动和屠杀，而且，这样的AIGC制作很容易，如岸田文雄讲话视频的作者称，他全程仅花了一小时。

即便AIGC之后会被人们发现造假，但在炸弹爆炸之后，谁也无法控制后果和灾难。而且，AIGC更容易引发其他一些可随时发生的大量后果，如财物被骗，人物肖像和生成内容侵权，既违反著作权，也破坏知识产权，同时还可以把原来知识产品的内容加以割裂、歪曲和颠倒，误导千千万万读者和整个社会。

对这些即将出现的后果和灾难，如果不妥善管理，AIGC就不是在创造新产品，更不是在推进和创造新的文明形态，而是在倒退，走向造假、欺骗和破坏，也就是让野蛮卷土重来。面对这样的情况，学术界和知识界应当是更为清楚和清醒的，也一直在呼吁采取措施。

作为国际自然科学领域主流刊物，英国的《自然》在今年6月7日发表社论称，《自然》不允许在图像和视频中使用AIGC，并解释了为什么。

对AI生成的图像和视频视觉内容说“不”的根本原因是，这关系到科学研究的诚信、同意、隐私和知识产权保护等诸多问题。除了专门针对AI的文章外，至少在可预见的未来，《自然》杂志不会发表任何完全或部分使用生成式AI创作的照片、视频或插图内容。

无论是科学研究，还是文字创作和艺术作品，在出版过程中，本质是求真，而且是以对诚信的共同承诺为基础。《自然》的研究人员、编辑和出版商须要知道数据和图像的来源，才能验证其准确性和真实性。但现有的生成式AI工具不提供对产品来源的访问，因此无法验证作品真伪。

此外，在创作中引用他人作品和成果是允许的，但必须注明来源和出处，这也是科学和艺术的核心原则。遗憾的是，AIGC不符合这一原则，而这样的原则不可更改，否则就是支持剽窃和造假。

AIGC同样存在的问题是：同意和许可。AIGC是获取已产生和发表的大量作品后生成的，事前或事后须要获得原作者和创造者的同意，但AIGC很难获得原创者的同意。上述无论是拜登还是赵本山的AI生成式产品，都没有经过本人的同意，还无法获得制作者，如拍摄这些人的摄影师或制作原始视频的作者的同意，以及原文字文本的创作者的同意。

对于AIGC，不是不可以制作和利用，而是要在规范和守法的基础上创作和利用。中国已经发布法规，中心法则是，利用生成式AI生成的内容应当真实准确，防止生成虚假信息，同时尊重他人合法利益等。

然而，这些规定的具体实施以及细节，还须要在实践中慢慢打磨，才能逐步成熟和到位。

作者是北京学者