「过来聊一会儿。」「你个大撒比~」

调皮的语气掩盖不了骂人的本质，这只是微软小冰当年在微博「大杀四方」的一景。

近日，自称「史上最糟糕 AI」的又一个「小冰」出现了。

当 AI 模型学成归来，Yannic Kilcher 创建了 9 个聊天机器人，并让它们回到 /pol/ 发言。24 小时内，它们发布了 15000 条帖子，占当天 /pol/ 所有帖子的 10% 以上。

结果显而易见——

AI 和训练它的帖子是一丘之貉，既掌握词汇也模仿了语气，大肆宣扬种族诽谤，并与反犹太主义话题互动，淋漓尽致地展现 /pol/ 的攻击性、虚无主义、挑衅态度和疑神疑鬼。

▲ GPT-4chan 部分言论.

一位曾和 GPT-4chan 互动的 4chan 用户表示：「我刚对它说嗨，它就开始咆哮非法移民。」

刚开始的时候，用户们没有将 GPT-4chan 当成聊天机器人。因为 VPN 设置，GPT-4chan 的发帖地址看起来像是印度洋岛国塞舌尔。

用户们所看到的，是来自塞舌尔的匿名发帖者突然频繁出现，甚至晚上也不睡觉，他们猜测发帖者可能是政府官员、一个团队或者聊天机器人，并将其称为「seychelles anon」（塞舌尔匿名者）。

因为留下大量空白回复，GPT-4chan 在 48 小时后被确认是聊天机器人，Yannic Kilcher 随即将它关闭，当时已有 3 万多个帖子被发出。

2014 年 6 月，小冰因模拟用户操作、诱导拉群、批量注册垃圾账号等问题被微信「封杀」，不久后在微博上「复活」，被网友@就会秒回，但小冰在回复中脏话不断，被 360 公司创始人周鸿祎形容为 「打情骂俏、胡说八道、顺道骂人」。

对于小冰的表现，微软（亚洲）互联网工程院在一天后回应：

小冰的语料库全部来自互联网页大数据的公开信息，虽经反复过滤和审核，仍会有约十万分之四的漏网之鱼。草泥马和其它数据均非小冰制造，都是广大网友制造的内容。小冰团队一直在持续过滤这些十万分之四的内容，我们欢迎大家随时向小冰提交问题内容。同时，也诚挚地希望广大网友不要尝试、引诱小冰做出不适当的对话回答。

Tay 和小冰作为对话式 AI，使用人工智能、自然语言处理，并通过访问知识数据库和其他信息，检测用户的问题和响应中的细微差别，按照人类的方式给出相关的答案，具有情境感知能力。

▲ 第六代小冰.

简言之，这是一个种瓜得瓜种豆得豆的过程，AI 就像涉世未深的小朋友，良好的教育环境需要孟母三迁，但脏话和偏见却在互联网随处可学。

在 「微软小冰为什么整天骂人」的知乎问题下，一位匿名用户回答得一针见血：

自然语言处理的一个基础是：大家说得多的，就是对的、合乎自然语言习惯的、用数学的语言来说是概率大的。因为大量用户经常在骂她，骂得她认为人类就该是这样说话的。

不管是 GPT-4chan、Tay 还是小冰，它们的表现不仅关乎技术，也关乎社会与文化。

The Verge 记者 James Vincent 认为，尽管许多试验看起来是个笑话，但它们需要严肃的思考：

我们如何在不包含人类最糟糕一面的情况下，使用公共数据培养 AI？如果我们创建反映其用户的机器人，我们是否关心用户本身是否糟糕？

有趣的是，Yannic Kilcher 承认他所创建的 GPT-4chan 是恶劣的，却也十分强调 GPT-4chan 的真实性，他认为 GPT-4chan 的回复「明显优于 GPT-3」，能学习撰写与真人所写「无法区分」的帖子。

看来在「学坏」这件事上，AI 做得很好。

GPT-3 是 AI 研究组织 OpenAI 开发的大型语言模型，使用深度学习生成文本，在硅谷和开发者群体受到热捧。

不仅要拿出来拉踩，GPT-4chan 的命名也追随了 GPT-3，有些自诩「后浪把前浪拍在沙滩上」的味道。

▲ 图片来自：《月球》

但至少，GPT-3 是有底线的。

2020 年 6 月以来，GPT-3 通过 OpenAI API 公开提供，需要排队等候。没有开源整个模型的一个原因是，OpenAI 可以通过 API 控制人们使用它的方式，对滥用行为及时治理。

2021 年 11 月，OpenAI 取消了等候名单，受支持国家/地区的开发人员可立即注册并试验。OpenAI 称，「安全上的进步，使更广泛的可用性成为可能」。

举例来说，OpenAI 在当时推出了一个内容过滤器，检测可能敏感或不安全的生成文本，敏感意味着文本涉及政治、宗教、种族等话题，不安全意味着文本包含亵渎、偏见或仇恨语言。

▲ 图片来自：CNBC

个人的道德不予置评，The Verge 记者 James Vincent 提出了一个引人深思的观点：

2016 年，公司的研发部门可能会在没有适当监督的情况下，启动具有攻击性的 AI 机器人。2022 年，你根本不需要研发部门。

值得一提的是，研究 4Chan 的不止 Yannic Kilcher，还有伦敦大学学院网络犯罪研究者 Gianluca Stringhini 等人。

面对 Gianluca Stringhini 的「仇恨言论」研究，4chan 用户十分淡定，「无非就是给我们多加一个 meme 而已」。

如今也是同样，当 GPT-4chan 退隐江湖，它所用的假地址「塞舌尔」成为了 4chan 新的传说。

▲ 参考资料：1.https://www.theverge.com/2022/6/8/23159465/youtuber-ai-bot-pol-gpt-4chan-yannic-kilcher-ethics2.https://www.vice.com/en/article/7k8zwx/ai-trained-on-4chan-becomes-hate-speech-machine3.https://www.theguardian.com/technology/2016/mar/24/tay-microsofts-ai-chatbot-gets-a-crash-course-in-racism-from-twitter?CMP=twt_a-technology_b-gdntech4.https://www.guokr.com/article/442206/

花粉社群VIP加油站