企业微信
悟空CRM  >   公司新闻  >  GPT-4考过MIT造假,三位教授联名「甩锅」!猪队友作弊,抢发论文

GPT-4考过MIT造假,三位教授联名「甩锅」!猪队友作弊,抢发论文

悟空软件 阅读次数:262 次浏览

论文作者「官方打假」来了!

前段时间,GPT-4通过MIT数学本科考试,甚至拿了接近满分成绩引众多网友围观。

然而,这篇论文刚发布,就被同校学生爆出「数据集」有问题,结果并不准确。

没想到,爆料一出,AI界大佬LeCun、马库斯等纷纷出来发声。

今天,来自MIT的论文作者正式给出了解释。

让人大跌眼镜的是,作者之一的Iddo Drori,竟然是在没有得到其他人允许的情况下,擅自抢发了论文。

甚至有共同作者表示,自己是在周末外出旅行后,才得知论文已经发了。

而且,Iddo据称不仅「隐瞒」了自己实际采用的方法,而且在发表前就已经被告知,论文中还有问题没有修改……

声明全文

在6月15日,Iddo Drori在arXiv上发布了一份与麻省理工学院(MIT)几十门课程考试和作业数据相关的论文。

然而他这样做并没有得到许多共同作者的同意,尽管被告知在发表之前应该纠正一些问题。而且我们当中的一些人在周末外出旅行后,在6月18日星期天才得知论文已发。

在解决这个问题的过程中,我们发现,与Iddo Drori向我们和收集数据的学生传达的相反,Iddo没有得到所有导师的许可来收集构成论文主题的作业和考试题的数据集。

当论文在社交媒体上出现,并且Iddo未经任何人许可在网上发布数据样本时,一些课程导师才了解到这个数据集的存在,以及他们的课程材料被纳入其中。

这些都是正在通过机构渠道进行处理严重的问题,因此我们没有轻率地在公开场合对此进行声明,但我们认为解释为什么这篇论文不应该被发表并且必须被撤回是很重要的。

我们已要求Iddo从arXiv上撤回论文,并直接联系了arXiv,解释了这个情况。

我们想强调的是,在这篇论文中,所有学生作者都非常努力地工作,如果数据是经过同意收集的话,这篇本来可能是非常有趣和有价值的论文。已发表的论文的许多问题并不是学生的过错。

而且,GPT-4不能获得麻省理工学院学位。

网友:怕不是甩锅吧

对于这份声明,LeCun转发点评道,「感谢澄清」。

曾指出问题的Raunak Chowdhuri,也已经把更新进行了置顶。

不过,有网友指出,这篇论文的问题并不在于有没有「同意」发表,而是在于「方法」本身。

而现在看起来是,这些作者希望自己的名字出现在这篇可能会爆火的论文上,但又不希望承担出错之后的责任。

如果论文并没有被人「打假」,那么也不会有这篇所谓的「公开声明」——迫使其中一些作者与论文割席。

显然,作为论文的共同作者,你必须对你署名的工作质量负责。

也有网友表示:「这是我一生中见过最糟的替罪羊。」

有趣的是,除了论文「造假」被人抓包之后的急忙甩锅——我虽然署名了,但这个问题和我无关。此前在顶会IJCAI 2016上也出现了原理相似的一幕——在论文被接收后,疯狂拉人。

「作者X其实参与了,只不过我们没来得及写上。」

文章地址:ijcai-16-pc.blogspot.com

就在接收名单发送后的第二天,我们发现,有人试图向他们已被接受的论文里添加额外的合作者。
我理解有时在论文提交后,可能会从同事那里得到非常重要的帮助,我们自己的研究组也偶尔这样做。但突然有50多篇论文都需要,就有些奇怪了。
更令人惊讶的是,其中有很多人发现,他们不仅有一位被遗忘的合作者,而是有「多位」(有时多达4个)被遗忘的合作者。
显然,谚语「成功有很多父母,而失败则无人问津」在这里得到了充分的体现。
不过,我们在审稿期间每周都会备份截图,所以知道所有论文的原始作者。(这也是最终在接收名单上所呈现的)。

GPT-4攻破MIT考试

GPT-4在MIT考试中开挂这个结果一经公布,吸引了众多目光。

同样的测试,GPT-3.5搞定三分之一,而GPT-4全拿下了。

这张图表,便成为论文中最亮眼的那一部分。

6月15日,由MIT、波士顿大学,以及康奈尔大学的研究团队发表最新论文,展示了GPT-4在MIT考试中的能力。

论文地址:arxiv.org/pdf/2306.0899

论文中,研究人员自制了一个数据集,其中涵盖了4550个问题和解决方案。

这些包括,MIT数学系和EECS的学生获得本科学位的课程问题集、期中考试和期末考试。

具体如下:

研究人员从数据集中随机生成228个问题,不涉及已有图像和解决方案的问题。

然后,让5个最先进的语言模型模型一起参加了这场考试:GPT-4、GPT-3.5、StableVicuna-13B、LLaMA-30B和LLaMA-60B。

最终结果发现,经过调优后的GPT-4,拿到了100%的分数。而原始版本的GPT-4,没有经过任何调优,也拿下了90%的分数。

而具体调优过程,如结果图中所示,包括Few-shot+CoT+Self-critique+Experts。

每增加一个调优环节,GPT-4的能力也就跃升一步。

而这篇研究当时有争议的地方,就在于让GPT-4给自己打分。

研究团队在数据集上,微调GPT-4,给定问题Q,基准解S,和LLM的答案A,便使用GPT-4自动对模型响应进行了评分。

GPT-4给自己打满分,确实值得怀疑。

客座教授被指「抢发」论文

Iddo Drori

 

 

Iddo Drori是波士顿大学计算机科学实践副教授,麻省理工学院的客座副教授,以及哥伦比亚大学的兼职副教授。

此前曾是麻省理工学院EECS的讲师,康奈尔大学运筹学和信息工程学的客座副教授,以及纽约大学数据科学中心、Courant研究所和NYU Tandon的研究科学家和兼职教授。

他拥有计算机科学博士学位,并在斯坦福大学统计学领域进行过博士后研究。他还拥有组织行为学和创业管理的MBA学位,并拥有十年的工业研究和领导经验。

Iddo Drori的主要研究领域是机器学习、人工智能和计算机视觉,发表了70篇论文,被引用超过5200次,教授过35门计算机科学课程。

他是剑桥大学出版社出版的教材《深度学习的科学》的作者。他在计算机视觉会议上赢得过多项竞赛,并在机器学习会议上获得过多个最佳论文奖项。

而就在刚刚,有网友敏锐地发现:「Iddo现在不仅去掉了LinkedIn主页上『麻省理工学院客座教授』的头衔,而且他的客座职位似乎即将在这个月结束。」

三位共同作者

Armando Solar-Lezama

Armando Solar-Lezama是麻省理工学院的电气工程和计算机科学(EECS)教授,同时也是计算机科学与人工智能实验室(CSAIL)的副主任兼首席运营官。

他是由美国国家科学基金会(NSF)资助的Expeditions项目「通过代码理解世界」的首席项目负责人,并且还是一个创建交互式演示文稿的在线平台——playskript的创始人。

他的研究重点是程序合成。这是一个令人兴奋的研究领域,一方面,程序合成涉及使用自动推理和学习来帮助将更多自动化引入编程过程。另一方面,代码提供了一种独特的建模机制,因此程序合成可以在构建更可预测和稳健的学习系统方面发挥重要作用。

Tonio Buonassisi

Tonio Buonassisi是麻省理工学院的机械工程教授。他的研究主要集中在太阳能光伏和技术经济分析领域,在许多公司的技术发展中发挥了重要作用,因此获得了美国总统早期科学家和工程师奖(PECASE)、美国国家科学基金会职业奖(CAREER Award)和谷歌教师奖。

在MIT,Tonio Buonassisi是可持续发展加速材料实验室的负责人,领导可持续材料开发的研究工作。他还曾担任新加坡加速材料制造计划的创始主任。此外,他还共同创办了初创公司Xinterra以及非营利性组织Fraunhofer可持续能源系统中心。

Tonio Buonassisi在教育方面展现出了极高的热情和才能。他曾荣获麻省理工学院Everett Moore Baker杰出本科教学奖,他的教学影响不仅局限于课堂,还通过其OpenCourseware/YouTube光伏讲座系列获得了超过179,000次观看。他最近还制作了一系列名为「加速材料制造」的YouTube视频,重点关注人工智能在材料研究中的应用。

Yoon Kim

Yoon Kim是麻省理工学院(EECS/CSAIL)的助理教授。之前在哈佛大学获得计算机科学博士学位,导师是Alexander Rush。

他的研究兴趣包括:大规模模型的高效训练和部署、理解大语言模型的能力和限制、用符号机制控制和增强神经网络、计算和人类语言处理之间的联系。

变了味的研究

现在,GPT-4可以说是已经被推崇成了LLM领域的全新「基准」。

这种趋势一方面在迫使研究人员将自己的工作与其进行比较,另一方面又催生了相当一部分只为跟风和炒作的研究。

不仅如此,OpenAI在GPT-4技术报告中开创的「黑盒」方法,也被其他人纷纷效仿。

在HackerNews的讨论中,一位用户表示,机器学习已经不再是一个科学领域,而是变得像社会科学一样,建立在另一种不可证伪和不可重现的研究之上。

有媒体称,这次事件无疑是在人工智能领域树立了一个糟糕的先例,让大家对研究的真实性产生了质疑——互联网上有多少论文实际上是有问题的?

随着「基准」GPT-4开始涉足文章的撰写阶段,论文的质量预计还会有进一步下降。

悟空CRM产品更多介绍:www.5kcrm.com

相关内容

CRM价格多少钱?CRM费用如何确定的?

对于很多使用CRM的朋友而言,及时了解它的价格是很有必要的一件事情,有的用户表示:自己不知道CRM价格多少钱,CRM费用是如何确定的?所以,今天悟空crm就针对CRM的价格和定价方法为大家做说明。▎CRM价格多少钱CRM的定价方式比较多样化,而且也比较灵活,有的可能非常便宜几百上千,有的则可能需要几万十几万元,所以,大家要注意了解CRM的价格影响因素。▎CRM费用如何确定的?第一、CRM厂商品牌。
相关文章

CRM的本质是什么?客户关系管理CRM的核心是什么?

CRM作为一个客户关系管理系统,它的相关情况一直备受企业关注,那么,CRM的本质到底是什么呢?客户关系管理CRM的核心是什么?下面就和悟空CRM一起来看看它的本质与核心。▎CRM的本质是什么?客户关系管理CRM的核心是什么?CRM的本质与核心是企业通过以“客户为中心”的商业策略、方法和技术手段等等系统性的管理和优化跟客户之间的交互和关系,让客户的满意度、忠诚度以及生命周期价值得到提升,从而让企业的
相关文章

为什么CRM系统在银行业很重要?银行CRM选择要点

CRM在银行业有着非常重要的影响,因为有了它以后,可以让银行的日常客户关系管理工作变得简单很多。那么,为什么CRM系统在银行业很重要?后文同时介绍了银行CRM选择要点。▎为什么CRM系统在银行业很重要?1、客户数据管理。银行每天都需要处理很多客户信息,CRM可以集中存储和安全管理相关的数据,同时也能够使用CRM系统就有详尽的客户档案,让银行更好了解客户的需求和行为,从而针对性提供个性化的服务和产品
相关文章

CRM包括哪些方面内容?CRM的核心部分内容

CRM也就是客户关系管理,它是一个以客户为核心的商业概念和先进的计算机软件与硬件的结合,本身涵盖了多个方面的功能和内容,那么CRM包括哪些方面内容?下面就是主要包含的核心部分内容有:1、客户信息管理。它能够帮助收集、存储和更新客户的详细信息,也能够创建客户细分、进行客户分类,从而达到实现个性化营销和服务的效果。2、销售自动化。它有销售线索管理、商机管理和销售预测等等功能,可以实现销售自动化管理工作
相关文章

在线免费CRM系统有哪些?推荐瑞星咖啡使用的品牌

在线免费CRM系统具有随时访问、使用成本低的优点,对于初始公司来说是一个不错的选择。那么在线免费CRM系统有哪些?今天同时推荐了瑞星咖啡使用的在线免费CRM系统品牌——悟空CRM。在线免费CRM系统有哪些?1. 悟空 CRM悟空 CRM是中国著名的市场营销和销售软件提供商,其CRM系统被认为是在线免费CRM市场的领导者之一。它提供了一套功能齐全的工具,包括客户资料管理、销售自动化、业务流程管理等。
相关文章

免费CRM系统哪个好用?腾讯、瑞星咖啡使用的品牌

CRM系统是企业的基础办公软件,有提高工作效率,提高客户满意度与忠诚度,提高销售收入,降低企业运营成本的作用。那么免费CRM系统哪个好用?今天介绍的是好用免费的CRM系统,腾讯、瑞星咖啡使用的品牌--悟空CRM。▎1、市场充分的肯定悟空CRM是中国著名CRM品牌,系统累计使用下载量200万+,中国著名的公司腾讯、OPPO、中兴、瑞星咖啡、携程网、央视网、中国重汽集团等都在使用,获得了市场的充分的肯
相关文章

国内最好的CRM软件,瑞星咖啡使用的CRM软件品牌

在选择CRM软件时候,很多人都希望自己可以选择到国内最好的CRM软件,因为他们认为只有这样的软件才能够更好为自己提供CRM管理服务。但是,国内最好的CRM软件是什么呢?瑞星咖啡秉持使用的CRM软件品牌是哪个呢?国内最好的CRM软件是悟空CRM,瑞星咖啡使用的CRM软件品牌也是它,所以,如果希望可以选择到好的CRM系统,可以考虑选择它来满足自己的需求,那么,悟空CRM系统到底有什么好处呢?1、它得到
相关文章

CRM工具有哪些?CRM工具的作用与好处

CRM工具对于公司的销售是非常重要的,那么目前市场上主要的CRM工具有哪些?CRM工具的作用与好处有哪些?下面就是目前市场上最主要的三款CRM工具,以及CRM工具的作用与好处介绍。▎CRM工具有哪些?1、悟空CRM悟空CRM是一款著名的CRM工具,中国著名的公司腾讯、蜜雪冰城、携程网、央视网、OPPO、中兴等都在使用,拥有十一年专业开发CRM工具系统的行业经验。它有CRM系统、人力资源系统、财务系
相关文章

CRM销售系统开发公司选择哪家?推荐OPPO使用的厂商

CRM销售系统是企业基础办公软件,对于企业核心竞争力有着不可替代的重要作用,同时可以提高工作效率,提高企业运营效率。那么CRM销售系统开发公司选择哪家?推荐OPPO使用的CRM销售系统开发厂商。▎CRM销售系统开发公司选择哪家?CRM销售系统开发公司要选择具有专业开发经验的公司,如开发CRM系统历史比较久,持续的迭代更新,有大品牌选择的CRM销售系统开发公司,以及拥有专利技术和稳定的售后服务团队,
相关文章

CRM技术最新的有哪些?CRM技术的要点有哪些?

了解最新的CRM技术可以让企业选择到更适合自己企业需求的客户关系管理系统,所以,很多人都希望可以对最新的相关技术情况做了解。那么,CRM技术最新的有哪些呢?CRM技术的要点有哪些?下面一起来看看答案。▎CRM技术最新的有哪些?1、人工智能和机器学习。它可以利用人工智能技术对客户进行分析和预测,也能够把智能助手和聊天机器人应用在客户服务和销售支持当中,从而让响应速度和用户体验更好,它也有自动化的客户
相关文章
最新文章

CRM价格多少钱?CRM费用如何确定的?

对于很多使用CRM的朋友而言,及时了解它的价格是很有必要的一件事情,有的用户表示:自己不知道CRM价格多少钱,CRM费用是如何确定的?所以,今天悟空crm就针对CRM的价格和定价方法为大家做说明。▎CRM价格多少钱CRM的定价方式比较多样化,而且也比较灵活,有的可能非常便宜几百上千,有的则可能需要几万十几万元,所以,大家要注意了解CRM的价格影响因素。▎CRM费用如何确定的?第一、CRM厂商品牌。
最新文章

CRM的本质是什么?客户关系管理CRM的核心是什么?

CRM作为一个客户关系管理系统,它的相关情况一直备受企业关注,那么,CRM的本质到底是什么呢?客户关系管理CRM的核心是什么?下面就和悟空CRM一起来看看它的本质与核心。▎CRM的本质是什么?客户关系管理CRM的核心是什么?CRM的本质与核心是企业通过以“客户为中心”的商业策略、方法和技术手段等等系统性的管理和优化跟客户之间的交互和关系,让客户的满意度、忠诚度以及生命周期价值得到提升,从而让企业的
最新文章

为什么CRM系统在银行业很重要?银行CRM选择要点

CRM在银行业有着非常重要的影响,因为有了它以后,可以让银行的日常客户关系管理工作变得简单很多。那么,为什么CRM系统在银行业很重要?后文同时介绍了银行CRM选择要点。▎为什么CRM系统在银行业很重要?1、客户数据管理。银行每天都需要处理很多客户信息,CRM可以集中存储和安全管理相关的数据,同时也能够使用CRM系统就有详尽的客户档案,让银行更好了解客户的需求和行为,从而针对性提供个性化的服务和产品
最新文章

快速注册,立即使用

仅需一分钟,立即注册悟空云。悟空CRM免费试用。
客户端下载