放松点,华尔街。ChatGPT距离通过CFA考试,抢走金融专业人士的饭碗还有一段距离。
一个由摩根大通AI研究人员和大学学者组成的团队对于ChatGPT和GPT-4聊天机器人是否有机会通过CFA前两个级别的考试进行了一番测试。一般来说人类需要花四年时间才能通过CFA三个等级的考试,而拿到CFA证书通常意味着更高薪水和更好的工作机会。
研究人员在长达11页的报告中写道,“基于预估的通过率和平均自报分数,我们得出的结论是ChatGPT可能无法在所有测试环境下通过CFA一级和二级考试。如果有提示,GPT-4将有较大机会通过CFA一级和二级考试。””
CFA协会负责教育的董事总经理Chris Wiese承认,大语言模型将有能力正确回答一些考试问题。他说该公司还在考虑使用一种大语言模型技术来帮助CFA考生。
近年来CFA考试的通过率有下降趋势,8月份一级考试通胀率平均为37%,远低于2018年43%的平均水平。
常见错误
CFA一级考试有180道单选题,二级考试包括案例研究和88道选取 题。研究人员发现,无论使用何种类型的提示,这两个大语言模型的二级考试结果都不理想。
一级考试中,ChatGPT和GPT-4在衍生品、另类投资、股权投资和伦理道德这几个部分得分比较高 。这两款聊天机器人在财务报告分析和投资组合管理方面表现都相对较差。
二级考试中,与GPT-4相比,ChatGPT在另类投资、固定收益工具这两个部分表现更差,ChatGPT在投资组合管理、经济学相关的领域得分高于GPT-4。
ChatGPT的大多数错误是基于知识性,而GPT-4最常犯的是计算错误。
研究人员发现GPT-4比ChatGPT更容易出现推理错误。