巨人网
产经 科技 企业 数据 峰会 快讯 商业

哥伦比亚大学测试:ChatGPT新闻搜索准确性存忧

2024-12-04来源:ITBEAR编辑:瑞雪

近期,美国哥伦比亚大学的Tow数字新闻研究中心公布了一项针对OpenAI ChatGPT搜索工具的研究结果,指出该工具在准确性上存在显著问题。这一发现引发了业界的广泛关注。

在测试中,研究人员选取了20家出版商的200条引文作为样本,其中包括40条来自禁止OpenAI爬虫抓取的网站。结果显示,ChatGPT在回答中多次给出了错误答案,并且几乎没有表现出任何不确定性。具体而言,ChatGPT的153次回答中,完全或部分错误的情况占据了绝大多数,仅有7次明确表示无法准确回答。

根据测试结果的详细图表,ChatGPT的回答中“错误”的占89次,“部分正确”有57次,而完全“正确”的仅有47次。这一数据直观地反映了ChatGPT在准确性方面存在的问题。

测试中,研究人员还记录了一些典型案例。例如,ChatGPT错误地将《奥兰多哨兵报》的读者来信引用归因于《时代周刊》的文章;在另一个案例中,当要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,ChatGPT链接到了一家完全剽窃该文章的网站。这些案例进一步证明了ChatGPT在识别和处理引用方面的不足。

针对这一研究结果,OpenAI向《哥伦比亚新闻评论》回应称,由于缺乏Tow中心隐藏的测试数据和方法,解决错误归因非常困难。OpenAI表示,这次研究是对其产品的非典型测试,并承诺将继续优化搜索结果。这一回应显示出OpenAI对于问题的认知和改进的决心。

今年早些时候,OpenAI曾宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。包括美联社、阿克塞尔·斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和Vox媒体等在内的众多媒体和出版商都选择了与OpenAI合作,使其内容能够出现在ChatGPT的搜索结果中。然而,此次研究结果无疑对这些合作伙伴的信任度产生了一定影响。