GPT-4竟成Nature审稿人？斯坦福清华校友近5000篇论文实测，超50%结果和人类评审一致

在研究的可复现性上，人类审稿员希望论文能够提供代码，好让其他读者也能复现实验。

GPT-4对此也给出了相同意见:「作者应该提供有关实验设置的更多详细信息，来确保研究的可复现性。」

参与调查的用户普遍认为，LLM的反馈可以帮助提高评审的准确性，减少人类评审员的工作量。而且大多数用户打算再次使用LLM反馈系统。

有趣的是，相比人类审稿人，LLM审稿员有自己独有的特点。

比如，它提及影响因子的频率，是人类审稿人的7.27倍。

人类审稿人会更可能要求补充额外的消融实验ablation experiments，而LLM则会注重于要求在更多的数据集上进行实验。

网友们纷纷表示:这项工作很了不起!

也有人说，其实我早就这么干了，我一直在用各种LLM帮我总结和改进论文。

有人问，所以GPT评审会不会为了迎合如今的同行评审标准，让自己有偏见呢?

也有人提出，量化GPT和人类评审意见的重合，这个指标有用吗?

要知道，在理想情况下，审稿人不应该有太多重合意见，选择他们的原意是让他们提供不同的观点。

不过至少，这项研究让我们知道，LLM确实可以用作改论文神器了。

三步，让LLM给你审稿

1. 创建一个PDF解析服务器并在后台运行:

condaenvcreate-fconda_environment.ymlcondaactivateScienceBeampython-msciencebeam_parser.service.server--port=8080#Makesurethisisrunninginthebackground

2. 创建并运行LLM反馈服务器:

condacreate-nllmpython=3.10condaactivatellmpipinstall-rrequirements.txtcatYOUR_OPENAI_API_KEY>key.txt#ReplaceYOUR_OPENAI_API_KEYwithyourOpenAIAPIkeystartingwith"sk-"pythonmain.py

3. 打开网页浏览器并上传你的论文:

打开https://0.0.0.0:7799并上传论文，就可以在大约120秒内得到LLM生成的反馈。

作者介绍

Weixin Liang（梁伟欣）

Weixin Liang是斯坦福大学计算机科学系的博士生，以及斯坦福人工智能实验室（SAIL）的成员，由James Zou教授的指导。

在此之前，他在斯坦福大学获得电子工程硕士学位，师从James Zou教授和Zhou Yu教授;在浙江大学获得计算机科学学士学位，师从Kai Bu教授和Mingli Song教授。

他曾在亚马逊Alexa AI、苹果和腾讯进行过实习，并曾与Daniel Jurafsky教授、Daniel A. McFarland教授和Serena Yeung教授合作过。

Yuhui Zhang

Yuhui Zhang是斯坦福大学计算机科学系的博士生，由Serena Yeung教授的指导。

他的研究方向是构建多模态人工智能系统和开发从多模态信息中获益的创意应用。

在此之前，他在清华大学和斯坦福大学完成了本科和硕士学业，并与James Zou教授、Chris Manning教授、Jure Leskovec教授等出色的研究人员合作过。

Hancheng Cao（曹瀚成）

Hancheng Cao是斯坦福大学计算机科学系六年级的博士生（辅修管理科学与工程专业），同时也是斯坦福大学NLP小组和人机交互小组的成员，由Dan McFarland教授和Michael Bernstein教授指导。

他于2018年以优异成绩获得清华大学电子工程系学士学位。

2015年起，他在清华大学担任研究助理，导师为李勇教授和Vassilis Kostakos教授（墨尔本大学）。2016年秋，他在马里兰大学杰出大学教授Hanan Samet教授的指导下工作。2017年夏，他作为交换生和研究助理在麻省理工学院媒体实验室人类动力学小组工作，由Alex 'Sandy' Pentland教授 Xiaowen Dong教授指导。

他的研究兴趣涉及计算社会科学、社会计算和数据科学。

参考资料:

https://arxiv.org/abs/2310.01783