曾几何时,震慑无数学生的「学好数理化,走遍天下都不怕」Slogan 在 AI 互联网时代,正在变得失效。现如今,俨然已变成 GPT 打遍天下无敌手。
(相关资料图)
在此趋势下,无数学生群体借助 GPT 生成论文、完成计算、填补作业......这也让很多学术界的教授们烦恼不已,称很多学生丧失了自主学习、独立思考的能力,只知道把问题抛给 GPT 工具来解答。
为了反向抵制这种情况,一名教授决定用“魔法”打败“魔法”,万万没想到的是,当他误把生成式的聊天机器人 ChatGPT 用来检测学生自己完成的学术论文时,所有学生的成绩不仅都变为了“不及格”,甚至连获得毕业证都成为了问题。
事情缘由
具体的事情起因,要从一位名为DearKick网友在 Reddit 社交平台无奈发的帖子说起。
原来是德克萨斯 A&M 大学商业学院(Texas A&M University-Commerce)农业科学和自然资源系教农业课程教授 Jared Mumm 对所有学生发了一封邮件,称他正在使用 AI 工具来评估学生提交的作业是由人类编写的还是计算机生成的。
根据披露的截图,邮件完整的内容如下:
下午好!
你们现在应该都能在 D2L(大学常用的在线课程管理系统)上看到你们的课程最终成绩。在每个人单独给我发电子邮件之前,请仔细阅读这封邮件。
在给你们的最后三次作业评分时,我已经在 Chat GTP 上开通了自己的账户。我登录这个账户后,复制并粘贴你们的回答,Chat GTP 会告诉我,这些内容是否是程序自动生成的内容。我把每个人的最后三次作业分别输入两次,如果它们都被 Chat GTP 认领是 AI 生成的,你就会得到0分。
我对这门课的最终成绩提交将在今天下午5点截止。我将给这门课程的每个人打 "X"。如果你对今天下午5点前在 D2L 上看到的成绩不满意,你将完成另一项作业。如果你对你的成绩感到满意,就不要交下一份作业。
对于新提交的作业,你需要在周五下午5点前完成。它将通过电子邮件发送给你一个 word 文档。如果你提交新作业的时间是在星期五下午5点之后,你将收到当前在电脑中已经显示的成绩。这项作业的价值为200分。
本作业的提示如下:你正在为一家农场主提供咨询服务,他们要求你帮助他们决定是否应该在母猪生产小猪时候,匍匐喂它们吃东西。
你要列出5个理由。不过,当我通过 Chat GTP 程序来检查的时候,如果有任何使用的迹象,不仅你现在的成绩会维持现状,而且我会在课堂成绩之外判定你为学术不端,这将影响你未来参加任何一门我的课程或这所大学的任何其他课程。
一石激起千层浪,很多学生比较懵,不知教授到底是在干什么。
不难看出,这封邮件中包含了不少错误,譬如时下流行的 AIGC 工具是叫「ChatGPT」,而非“Chat GTP”。
而产生这种关键错误的背后,在于教授似乎并不懂 ChatGPT 这款工具以及工作原理,将这款生成式的 AI 聊天机器人 ChatGPT 误当做检测 AI 内容的工具。
毋庸置疑,工具都用错了,结果肯定不会好到哪里去。
正如众人所料,ChatGPT 最终将很多学生提交的作业标记为 AI 生成的。
据外媒 rollingstone 报道,学生不是没有想过要向教授解释,只是他们解释了,教授不听。甚至当有学生向教授提供没有使用过 ChatGPT 的证据时,教授忽略的这一点,甚至“爆脏话”,在学校的评分软件系统中评论说:
“我不给 AI Shit 评分。”
无奈之下,有学生“发邮件联系了院长并抄送给大学校长”,但是没有立即得到帮助。被卷入这场风波的学生说,明明他们的文章确实是他们自己写的。更让他们感到崩溃的是,一部分临近毕业的学生被暂时扣留了毕业证书。还有网友表述,Mumm 教授以类似的方式让“几个”整个班级都不及格,而不是质疑他检测作弊者方法的有效性。
来自学生的反击
对于熟悉 ChatGPT 工具的人想必都知道,它是继续大量数据训练而成,根据各种提示,也极容易模仿人类书写的内容,自然也会将人类编写的内容识别为“AI 生成的”。
为了证明 ChatGPT 易错性这一点,网友Delicious_Village112复制了一段Mumm 教授发表过的论文摘要,并询问 ChatGPT 这是人类编写的还是 AI 生成的。
结果 ChatGPT 认为它可能是“AI 生成的”:「是的,如果得到正确的提示,你分享的段落确实可能是由像 ChatGPT 这样的语言模型生成的。」
大学紧急发布声明
面对越来越多的学python生在网上开始爆料这一事件,德克萨斯 A&M 大学商业学院紧急发布声明回应:已经解决了农业课堂中对 ChatGPT 的担忧。
在声明中,这所高校表示,他们注意到最近的几篇新闻报道涉及到这样的指控:德克萨斯A&M大学商业学院农业课的高年级学生由于对人工智能生成的作业有疑问而获得了不及格的成绩,并被暂时拒绝颁发文凭。
A&M-Commerce 证实,没有学生因为这个问题而挂科或被禁止毕业。
当前,这班的班主任教授 Jared Mumm 博士正在与学生就最后一次的书面作业进行单独沟通。一些学生获得了“X”的临时成绩——表示“未完成”——以便让教授和学生有时间确定是否使用了 AI 来写作业,如果是的话,再做级别判定。
目前,已有几名学生被免除嫌疑,他们的成绩也已经公布,而一名学生已经站出来承认他在作业中使用了 ChatGPT。其他几名学生选择完成 Mumm 博士提供给他们的新作业。
公告称,大js学官员正在调查这一事件,并制定政策来解决在课堂上使用或滥用人工智能技术的问题。他们还在努android力采用人工智能检测工具和其他资源来管理人工智能技术和高等教育的交叉问题。在课业中使用人工智能是所有学习机构面临的一个快速变化的问题。
与此同时,网友 DearKick 在最初的帖子下面更新道,迄今为止,教授已经向被冤枉的1名学生道歉:
情况(大部分)已解决。
在与教授和几位行政官员的会面中,我们了解到几个关键点:
最初人们认为整个班级的毕业证发放都被搁置了,但实际上只是班级的一半多一点人员被波及。
毕业证处于“保留”状态,直到“对每个人的调查完成”。
学校表示,他们没有禁止任何人毕业/离开学校,因为毕业证处于“保留”状态,还没有正式被拒绝。
DearKick 称,到目前为止,他已经与几名学生交谈过,截至撰写此评论时,已有1名学生通过在谷歌文档中编辑的时间而被免除嫌疑,虽然他们的毕业证还没有发放,但应该发布。
与此同时,DearKick 透露称,「由于教授的粗言秽语和与学生的不专业沟通,他的工作可能会受到影响,不过,不是因为对 AI 工具的错误使用。」据悉,该教授向迄今为止被证明没有作假的1名学生道歉。
什么样的情况下才能使用 ChatGPT?
截至目前,这份声明似乎解决了大部分学生的问题,但是这一次教育工作者对于 AI 工具错误使用而引发的混乱,也让很多人担忧不已。
高校里面是否应该使用 AI 工具?老师又是否应该使用软件来检测学生提交作业中 AI 生成的内容?
其实,在 ChatGPT 刚刚出现的时候,不少大学教授就呼吁不可以使用 ChatGPT。甚至一位来自弗曼大学哲学助理教授Darren Hick还曾发文分享,抓到了一位用 AI 写论文的作弊者,并上报了上去。
在这一趋势下,美国纽约市教育部正式宣布:纽约市的学生和教师,无法再在教育部设备或互联网上访问 ChatGPT。
事实上,ChatGPT 并不是用于对 AI 生成的文本进行识别的最佳工具,它甚至无法准确确定是否有人用它来写一篇文章。
过去几个月间,虽然 OpenAI 推出AI-Text-Classifier、斯坦福大学带来DetectGPT,甚至连大学生都在研发GPTZero等 AI “打假”工具,用以区分人类写的文本和来自各种供应商使用 AI 写的文本,但是极高的失败率,让人望而却步。
此前,来自美国马里兰大学的五位计算机科学家 Vinu Sankar Sadasivan、Aounon Kumar、Sriram Balasubramanian、Wenxiao Wang 和 Soheil Feizi编程 在研究了检测大型语言模型生成的文本之后,发布了一篇《AI 生成的文本能否可靠地检测?》论文,最终得出:任何以问号结尾的提问都可以用“不”来回答。
该论文的一作 Vinu Sankar Sadasivan 坦言,即使是使用最好的检测器来检测 AI 生成的文本,这种概率并不比扔硬币进行判断好到哪里去。
"生成性 AI 文本模型使用人类文本数据进行训练,目的是使其输出与人类相似。这些 AI 模型甚至记住了人类文本,并在某些情况下输出它们,而不会引用实际的文本来源。随着这些大型语言模型不断迭代,最好的检测器只能达到近50% 的准确性“,Sadasivan 说道。
根据论文结果显示,可靠的文本检测任务在实践中是不可能的。
我们可能永远无法可靠地说出一篇文章是由人类还是人工智能写的。
参考:
https://www.rollingstone.com/culture/culture-features/texas-am-chatgpt-ai-professor-flunks-students-false-claims-1234736601/
https://www.theregister.com/2023/05/17/university_chatgpt_grades/
https://www.reddit.com/r/ChatGPT/comments/13isibz/comment/jkeqnam/?context=3
https://arxiv.org/abs/2303.11156