Google 旗下 DeepMind 团队让 AI 系统接受一项高中程度的数学测试,结果在 40 道题目中只答对了 14 题,甚至连 "1+1+1+1+1+1+1" 也算错了。说来难以置信,Google AI 系统能打败人类世界棋王,却无法通过高中程度的数学考试。
上周,Google 旗下 DeepMind 团队公布了一份名为《分析神经模型的数学推理能力》的研究报告。在这项研究中,DeepMind 团队让 AI 系统接受一项涵括算术、几何、概率、测量和微积分的数学测试,考题有 40 题,难度大约是英国高中数学的程度。
结果 DeepMind 虽然在一些题目上表现不错,但是碰上文字、加减乘除符号、函数等组成的问题时,却因看不懂题目而无法作答。最后,在 40 道题目中,这个人工智能系统只答对 14 题,拿到 "E" 的分数,也就是说 —— 不及格。
其中有一道题目是 "1+1+1+1+1+1+1",连小学生都知道答案是 7,但 DeepMind 却答成了 6。
研究人员解释,DeepMind 神经模型最长可以计算出现次数(n) 6 次以下的数值,但如果 n = 7,它就算不出来。当 AI 碰到同一数字出现多次,它会认为输入值是出错的。奇怪的是,碰上更长的加法题目,DeepMind 却算得出来。研究人员承认还找不出很好的解释,但很可能是因为 AI 神经网络不断观察每道问题,从而做出正确的解答。
此外,当研究人员要求 DeepMind 在一长串数字中找出 " 位值 "(place value),它就能答得很好,因为它可以按数字大小排出顺序,也能将小数四舍五入。
研究人员说,人类智慧优于神经模型之处,在于对于事物复合式推论的能力。推论是一种复杂、多面向能力的展现。在解答问题时,人脑动用了多种认知能力,包括将符号分类(如区分数字、加减乘除符号、文字、变量)、规划(如找出正确顺序的函数)、演算、运用工作记忆来储存中间值、还要运用学到的规则或定理等。相反的,以卷积和递归神经网络发展出的 DeepMind 擅长模式比对、机器翻译和强化式学习,但弹性远不及人脑。它们不太能将事物推论到已有经验的环境外,更无法处理刻意乱输入的资讯。
目前 AI 或许当不成数学老师,但也已经相当厉害。DeepMind 公司的 AlphaGo 接连打败人类围棋冠军李世乭、柯洁。去年 12 月 DeepMind 的 AlphaZero 又在星海争霸 2(StarCraft II)测试赛中,以 5 比 0 打赢世界顶尖职业玩家。此外,自学画画、创作音乐也都难不倒 AI。
来源:ZAKER