【新智元导读】AI写论文达到了几近完善的程度！伦斯勒理工学院大四学生王清昀等科研人员最新研发PaperRobot，能够从产生点子、写摘要、写结论到写“将来科研”，乃至它还能为你写出下一篇论文的题目。
还在为写论文想不出好点子而发愁吗？
不消愁了！伦斯勒理工学院、斯坦福大学等的科研人员最新研发的PaperRobot，供给从产生idea、写摘要、写结论到写“将来科研”的一站式服务！乃至它还能为你写出下一篇论文的题目，从此论文无忧。
这篇题为PaperRobot: Incremental Draft Generation of Scientific Ideas的论文已被ACL 2019录取，近期在推特上引起海量关注。
谷歌大脑专家David Ha(hardmaru)评估：“May a thousand (incremental) ideas bloom. ”
大四华人一作发明AI「论文生成」神器
论文作者来自伦斯勒理工学院、DiDi实验室、伊利诺伊大学香槟分校、北卡罗来纳大学教堂山分校和斯坦福大学。其中，第1作者Qingyun Wang (王清昀)是伦斯勒理工学院的大四本科生(今年8月起始讲进入UIUC读计算机科学PhD)。
这不是王清昀朋友第1次科研AI写论文，早在2017年他的“论文摘要生成”科研亦曾导致热榜。王清昀朋友中学在杭州第二中学就读，从小便是“发明小达人”，取得专利的发明就有2个。
论文地址：
https://arxiv.org/pdf/1905.07870.pdf
PaperRobot是怎么样自动写论文的呢？简单来讲，它从以前的论文中提取背景知识图谱，产生新的科学思想，最后写出论文的关键要素。
它的工作流程包含：
(1)对目的行业的海量人类撰写的论文进行深入的理解，并构建全面的背景知识图(knowledge graphs, KGs)；
(2)经过结合从图重视力(graph attention)和上下文文本重视力(contextual text attention)，从背景知识库KG中预测链接，从而产生新想法；
(3)基于memory-attention网络，逐步写出一篇新论文的有些关键要素：从输入标题和预测的关联实体，生成一篇摘要；从摘要生成结论和将来工作；最后从将来工作生成下一篇论文的标题。
科研者对这个AI论文生产机进行了图灵测试：
PaperRobot生成生物医学
行业论文的摘要、结论和
将来工作部分，
同期展示人类写作的同
行业论文，
需求一名生物医学
行业的专家进行比较。结果
表示，分别就摘要、结论和
将来工作部分而言，在30%、24%和12%的
状况下人类专家认为AI生成的比人类写作的更好。
至于这批AI科研人员为何选取生物医学行业来做实验，原由很简单：生物医学论文非常多，非常多！她们尝试了用自己行业(NLP)来做实验，结果并不睬想(NLP的论文语料还不足多)。
接下来，新智元对这篇论文进行了译介：
简单3步，图网络+重视力机制，AI写论文乃至比人类好
咱们的目的是打造一个论文设备人PaperRobot，来加速科学发掘和生产，它的重点任务如下。
阅读现有的论文。
论文太多了。专家们很难跟上井喷式的论文增长速度。例如，在生物医学行业，平均每年有超过50万篇论文被发布，仅2016年就有超过120万篇新论文发布，总论文数超过2600万篇(Van Noorden, 2014)。
然而，人类的阅读能力几乎是不变的。2012年，美国专家估计，她们平均每年只能阅读264篇论文(5000篇论文中只读1篇)，这个数字与她们在2005年进行的一样调查中报告的数据一致。
PaperRobot自动阅读所有可用的论文，构建背景知识图(KG)，其中节点暗示实体/概念，边暗示这些实体之间的关系。
在本科研中，咱们采用的是海量已发布的生物医学论文，提取实体及其关系来构建背景知识图。咱们应用了Wei等人(2013)中提出的实体和关系提取系统，提取了3类实体(疾患，化学和基因)。而后，咱们进一步将所有实体链接到CTD(比较遗传毒理学数据库)，提取出133个子类型的关系，如标记/机制、治疗和加强表达。
图3是一个示例。
图3：生物医学知识提取与链接预测示例(虚线暗示预测的链接)
产生新的想法
科学发掘能够看作是在知识图中创建新的节点或链接(links)。
创建新节点一般寓意着经过一系列真实的实验室实验发掘新的实体(如新的蛋白质)，这对PaperRobot来讲可能太难了。然则，运用背景知识图做为起点，自动地创建新的边是更易的。
Foster等人(2015)的科研显示，640万篇生物医学和化学论文中，60%以上是增量式的工作。这启发咱们经过预测背景知识图（KGs）中的新链接来自动地增多新想法和新假设。
咱们提出了一种新的实体暗示办法，结合了KG结构和非结构化上下文文本来进行链接预测。
如上面的图3所示，虚线暗示了预测的链接，因为钙和锌在上下文文本信息和图结构上都类似，咱们预测了钙的两个新邻居：CD14分子和神经纤毛蛋白2(neuropilin 2)，它们是初始背景知识图中锌的邻居。
写一篇关于新想法的新论文
最后一步是把新想法清晰地传达给读者，这是一件非常困难的事情；事实上，许多专家都是糟糕的作家(Pinker, 2014)。
运用一个新颖的memory-attention网络架构，基于输入的标题和预测的关联实体，PaperRobot自动写出了一篇新论文的摘要，而后进一步写出了结论部分和关联工作部分，最后，为后续论文写了新标题。
这个流程如图1所示。
图1: PaperRobot论文写作流程
咱们选取生物医学做为咱们的目的行业，由于这一行业有海量的可用论文。
图灵测试显示，PaperRobot生成的输出内容有时比人工编写的内容更受欢迎；况且大都数论文摘要只必须行业专家进行少量编辑，就能够变得信息丰富、条理清晰。
让咱们瞧瞧AI写的摘要：
Bac公斤round: Snail is a multifunctional protein that plays an important role in the pathogenesis of prostate cancer. However, it has been shown to be associated with poor prognosis. The purpose of this study was to investigate the effect of negatively on the expression ofmaspin in human nasopharyngeal carcinomacell lines. Methods: Quantitative real-time PCR and western blot analysis were used to determine whether the demethylating agent was investigated by quantitativeRT-PCR (qRT-PCR) and Western blotting. Results showed that the binding protein plays a significant role in the regulation of tumor growth and progression.
PaperRobot的整体框架如图2所示。
表1表示了从全部过程生成的示例。
表1：人类写的论文与AI系统写的论文的比较(粗体字暗示与主题关联的实体；斜体暗示人工编辑)
(关于每一个过程的算法的仔细介绍，请阅读原始论文。)
实验过程及结果
数据收集
咱们从PMC开放存取子集中收集了生物医学论文。为人类书面论文引用一篇论文来构建新标题预测的ground truth，咱们假设论文A的标题是从论文B的“结论和将来工作”中生成的。咱们从1,687,060篇论文中构建了背景知识图，其中包含30,483个实体和875,698个关系。表2所示为仔细数据统计。
表2 论文写作统计结果
自动评定
以前的关联科研显示，自动评定长文本生成是一项重大挑战。在故事生成之后，咱们运用METEOR来量度文案主题与给定标题的关联性，并运用困惑度（perplexity）来进一步评定语言模型的质量。
咱们的模型的困惑度评分是基于在PubMed上的论文（500,000篇题材，50,000篇摘要，50,000个结论和将来工作）中学习的语言模型评出的，这些论文在咱们的实验中无用于训练或测试。结果如表3所示。咱们的框架优于以前的所有办法。
表3 对诊断任务论文写作的自动评定结果
图灵测试
由生物医学专家（非母语人士）和非专家（母语人士）对模型进行图灵测试。测试中需求每一个人类对系统输出的字符串和人类创作的字符串，并选出质量更高的字符串。
表4 对模型的图灵测试结果（％）。百分比暗示人类裁判选取咱们的模型输出结果的频率。倘若输出字符串（如摘要）基于相同的输入字符串（如标题），输入要求标记为“相同”，否则标记为“区别”。
能够看到，在专家的选取中，PaperRobot生成的摘要入选率比人类撰写的摘要入选率最多高出30％，“结论和将来工作”部分最多高24％，新标题最多高出12％。行业内专家的表现并未显著优于非专家，由于这两类人倾向于关注区别方面：专家侧重于内容（实体，主题等），而非专家侧重于语言。
人类后期编辑
为了测绘PaperRobot做为写作助手的有效性，咱们在第1次迭代中随机选取了系统生成的50篇论文摘要，并需求行业内的专家对其进行编辑，直到专家认为编辑后摘要拥有足够的信息性和连贯性。 而后由BLEU，ROUGE和TER经过比较人类编辑前后的摘要质量给出评分，如表5所示。专家花了大约40分钟。完成为了50篇摘要的编辑。
有些后期编辑后的示例。能够看到大都数编辑内容都是形式上的变化。
华人本科生一作，发明小达人
论文一作Qingyun Wang (王清昀)是伦斯勒理工学院的大四本科生，主修计算机科学与数学双学位。今年8月起始他将在伊利诺伊大学厄巴纳香槟分校读博，主修计算机科学。
王清昀对自然语言处理很感兴趣，专研自然语言生成、信息提取和对话系统，本科时期已发布多篇关联论文。
令人意外的是，王清昀简历中还列举了2项专利，分别是“遥控方便桌”和“家用废油制皂安装”，都是中学时期取得的，其中《遥控方便桌》得到第27届浙江省创新大赛一等奖。
中学时期的王清昀朋友
看来，王朋友从小便是发明达人啊。AI写论文机不消说亦是一大造福人类的好发明，期待王朋友继续改进。
参考链接：
https://arxiv.org/pdf/1905.07870.pdf
http://www.hz2hs.net.cn/news/allinfo/1251.html
发表于 2024-8-19 04:29:43
