ChatGPT在超过一半的软件工程问题上回答错误
ChatGPT在软件工程问题中的错误回答率超过50%

ChatGPT的提供任何时候对任何问题进行对话回答的能力使其成为您信息需求的便利资源。尽管如此,一项新研究发现您可能不希望在软件工程提示方面使用ChatGPT。
在AI聊天机器人兴起之前,Stack Overflow是程序员寻求项目建议的首选资源,其问答模式与ChatGPT类似。
此外:如何阻止OpenAI的新AI训练网络爬虫获取您的数据
然而,使用Stack Overflow时,您需要等待别人回答您的问题,而使用ChatGPT则不需要。
因此,许多软件工程师和程序员已经转向ChatGPT寻求帮助。由于没有数据显示ChatGPT在回答这些类型的提示时有多么高效,普渡大学进行了一项新的研究来调查这个困境。
为了弄清楚ChatGPT在回答软件工程提示方面有多高效,研究人员给ChatGPT提供了517个Stack Overflow问题,并检查了这些答案的准确性和质量。
此外:如何使用ChatGPT编写代码
结果显示,在512个问题中,ChatGPT的答案中有259个(52%)是不正确的,仅有248个(48%)是正确的。此外,77%的答案冗长。
尽管答案的准确性显著不高,结果确实显示了答案在65%的时间内是全面的,并涵盖了问题的所有方面。
为了进一步分析ChatGPT答案的质量,研究人员请12位具有不同编程专业知识水平的参与者对答案进行评估。
此外:微软的红队自2018年以来一直监控AI。以下是五个重要见解
尽管参与者在各个类别上更喜欢Stack Overflow的答案,如图所示,但参与者在39.34%的时间内未能正确识别ChatGPT生成的不正确答案。
根据研究,ChatGPT输出的表达流畅的回答导致用户忽视答案中的不正确信息。
“由于ChatGPT答案中的全面、流畅和类似人类的观点,用户忽视ChatGPT答案中的不正确信息(39.34%的时间),”作者写道。
此外:如何使用ChatGPT重写和改进您现有的代码
生成听起来合理但不正确的答案是所有聊天机器人面临的重要问题,因为它促使错误信息的传播。除了这个风险之外,低准确性分数应足以使您重新考虑在这些类型的提示中使用ChatGPT。