通过设计一个给发送“提示”的自动化系统,研究人员生成了一篇流畅、有见解的论文。但他们的顾虑并未消除。
两位科研人员在的协助下,仅用不到一个小时就成功完成了一篇科研论文。作为一款由人工智能(AI)驱动的数字工具,具备理解和生成类似人类书写的文本的能力。这篇论文不仅流畅且富有见地,同时符合科研论文的标准格式。然而,研究人员指出,要使真正能够大显身手,还需克服许多潜在的障碍。
研究人员让人工智能对话机器人在论文写作中担任“副驾”。来源:/
在这次实验中,团队的目标是探索作为科研“副驾”的能力,并就其优缺点展开讨论。Roy 是来自以色列理工学院()的生物学家和数据科学家,他指出:“我们需要讨论如何在发挥其优势的同时避免其劣势。”
为了实现这一目标,该团队设计了一个软件包,可以自动向发送提示,并根据其回复来修改论文。这个自动化的“从数据到论文”系统引导完成类似于真正做科研的“分步式”过程,包括从最初的数据探索,到编写数据分析代码和解读结果,再到写作和润色手稿。
为了测试他们的系统,与他的学生、的数据科学家Tal 从美国疾病控制中心健康行为危险因子监测系统下载了一个公开数据集。该数据集是一个健康相关的电话调查数据库,包含来自逾25万人的关于他们糖尿病现状、果蔬摄入和身体锻炼等信息。
启动系统后,他们便去吃午饭了。
论文的基本要素
首先,该系统让编写数据探索代码,但最初给出的代码错误百出,无法运行。幸运的是,系统检测到这些错误并自动将提示返回给,以便修复代码。
接下来,和的系统要求帮助拟定研究目标。建议研究身体锻炼和饮食对糖尿病患病风险的影响。然后,系统指导创建数据分析计划和数据分析代码。
根据这些代码得出结论:多摄入水果和蔬菜以及进行身体锻炼与降低糖尿病风险相关。
随后,该系统让开始撰写论文。它开设了两个的对话。在一个对话中,系统扮演科研人员的角色,指导完成论文各个部分的写作。在另一个对话中,则扮演审稿人的角色,为“科研人员”版生成的文本提供建设性意见。
为了防止生成式AI填充空白处时出现幻觉()现象,也就是编造信息,团队让接入了文献搜索引擎,以便它能提供正确的引用渠道,避免乱编参考文献。
在吃午饭期间,已经生成了一篇数据分析可靠、简明清晰的手稿。然而,这篇论文并不完美。例如,论文中提到该研究“填补了学术文献的一个空白”,这是常见的夸张说法,但希伯来大学的计算科学家Tom Hope指出,这在该研究中并不准确。他认为研究结果“并不会让医学专家大为赞叹”,甚至谈不上创新。
利与弊
对于这类工具存在的科研不端行为表示担忧,比如P值操纵(P-),即科研人员可能会在一个数据集上检验多个假设,但最终只报道有显著结果的那个假设。他还担心生成式AI工具的普及可能导致期刊面临大量低质量投稿的问题。为了解决这些问题,他提出了他的“从数据到论文”方法,其中每一步都有人类监管,这样研究人员可以轻松理解、检查和复制研究方法和结果。
ć,南澳大学开发教育AI技术的专家,认为使用AI工具在科研论文中需要更高的可见度。否则,很难评估研究结果的准确性。他指出,如果生成假论文变得太容易,可能需要更多的努力来应对这一问题。
Singh,来自美国麻省理工学院和哈佛大学博德研究所的计算生物学家,认为生成式AI工具可以用于执行简单直接但耗时的任务,例如写摘要和代码。他认为这些工具或许还可以从数据集生成论文或提出假设。然而,由于研究人员难以区分这些工具的幻觉和偏见,他不建议完全交由AI来撰写整篇论文,至少在可见的未来还不可行。”
欢迎扫一扫加入医学AI社群,领取
点这里
发表回复