一项新的研究表明，研究人员创建的计算机模型可以在 99% 以上的时间内检测到 ChatGPT 生成的虚假研究。
根据一项使用计算机程序发现聊天机器人生成的虚假研究的新研究，人工智能 (AI) 聊天机器人 ChatGPT 可能是多个领域人类工作者的体面模仿，但科学研究不是其中之一。但之前的研究表明，人工智能仍然能够通过其科学写作来愚弄一些人。
自 2022 年 11 月突然出现以来，ChatGPT 已成为一种非常受欢迎的工具，用于编写报告、发送电子邮件、填写文档、翻译语言和编写计算机代码。但聊天机器人也因抄袭和缺乏准确性而受到批评，同时也引发了人们对它可能帮助传播“假新闻”并取代一些人类工人的担忧。
在 6 月 7 日发表在Cell Reports Physical Science杂志上的新研究中，研究人员创建了一个新的计算机学习程序来区分真实的科学论文和 ChatGPT 编写的假例子。科学家训练该程序识别发表在《科学》杂志上的 64 篇真实研究与 ChatGPT 使用相同的 64 篇论文作为提示创建的 128 篇论文之间的关键差异。
然后，该团队测试了他们的模型如何区分真实论文和 ChatGPT 生成的论文的不同子集，其中包括来自《科学》杂志的 60 篇真实论文和 120 篇 AI 生成的伪造论文。该程序在超过 99% 的情况下标记了 AI 撰写的论文，并且可以在 92% 的情况下正确区分人工和聊天机器人撰写的段落。
#ChatGPT 生成的论文在四个关键方面与人类文本不同：段落复杂性、句子级别的长度多样性、标点符号和“流行词”。例如，人类作者写的段落更长、更复杂，而人工智能论文使用的标点符号在真实论文中是没有的，比如感叹号。
研究人员的程序还在 AI 论文中发现了许多明显的事实错误。
“最大的问题之一是它 [ChatGPT] 从许多来源收集文本，并且没有任何类型的准确性检查，”研究的主要作者、堪萨斯大学的分析化学家Heather Desaire在声明中说。因此，阅读 ChatGPT 生成的文字就像“玩两个真理和一个谎言的游戏”，她补充道。
创建计算机程序来区分真实论文和 AI 生成的论文很重要，因为之前的研究暗示人类可能不擅长发现差异。
2022 年 12 月，另一个研究小组向预印本服务器bioRxiv上传了一项研究，表明期刊审稿人在大约 68% 的情况下只能识别人工智能生成的研究摘要——科学论文开头的摘要段落，而计算机程序可以在 99% 的时间内识别假货。审稿人还将 14% 的真实论文误认为是假论文。研究人员写道，与单个段落相比，人工审稿人几乎肯定更擅长识别整篇论文，但它仍然强调，人为错误可能会使一些人工智能生成的内容被忽视。（这项研究尚未经过同行评审。）
这项新研究的研究人员表示，他们很高兴他们的程序能够有效地清除假论文，但警告说这只是一个概念证明。他们（自己）在论文中写道，需要更广泛的研究来创建更可靠的稳健模型，这些模型可以针对特定的科学学科进行培训，以保持科学方法的完整性。
花粉社群VIP加油站
关于作者
猜你喜欢
