近日，马云在贵州大数据峰会上曝光的一段话，语惊四座：

“未来三十年是最佳的超车时代，是重新定义的变革时代。如果我们继续以前的教学方法，对我们的孩子进行记、背、算教育，我可以保证，三十年后孩子们找不到工作……因为，机器将会取代过去200年来，很多技术和科技。”

一时间，人们对于人工智能的讨论再次热烈起来，近来频频陷入乌龙事件的人工智能，真的会在在三十年内威胁到人类吗？

AI“失控”，

Facebook被打脸？

上月底，一则突如其来的消息把广大吃瓜群众看懵了：“Facebook关闭‘失控’AI（人工智能）系统，因其发展出人类无法理解的语言”。如此描述的，是科技网站TechWeb。而这距离Facebook 创始人扎克伯格与特斯拉 CEO 马斯克关于“人工智能是否邪恶”的争吵，才不过几天。

在那场论战中，扎克伯格坚持认为“人工智能大有益处，人类对它的担忧完全是过虑”。这才几天时间，就被自家系统打了脸？

这个AI“失控门”究竟是怎么一回事呢？

事情的缘由是这样的：

Facebook 的人工智能研究院 (FAIR) 想要训练一个聊天机器人，就是类似苹果Siri的那种，研究人员希望训练它学会带着“目的”与人类交互。而所谓“目的”，也非常简单：有三样东西——两本书、一顶帽子和三个篮球，分别被设置了不同的权重，目标是让机器人明白自己对于这些物品的渴望程度，以此去和人类“谈判”。

一开始，Facebook 观察到的结果如下图：

后面的进展如想象中顺利。不过，鉴于人工智能的发展，“人机对话”这种实验早就不新鲜了，研究人员显然不甘于此。训练过程中，他们突然开了个新的脑洞——为啥不让两个机器人自己聊天？它们之间能擦出什么火花来呢？

于是，屏幕上就出现了下面的对话：

显然，这两个分别叫作Bob和Alice的机器人聊得兴高采烈，旁边的科研人员却傻了眼：这俩家伙究竟在聊些什么？

实际上，研究人员让这两个聊天机器人坐到一起，却忘了给程序设定一个“用英语沟通”的激励函数。简单地说，就是研究人员规定它们“用英文聊天”，但忘了告诉它们“使用英文语法”才能得分更高。结果，就有了外媒那些大呼小叫的“失控”论。

语法错乱了，是否真能达到“失控”的级别？

其实，只要仔细看这段对话你就会发现，人类是自己吓唬到自己了！机器人根本没有发明新的语言，它们依然在用I、balls、the 这些英文单词沟通，只是创造了一种人类没见过的表达方式而已。比如，在它们看来，一句话里to me这个词组重复得越多，表示这个东西对它的意义越大，也即权重越高。

我们不妨把这段“神奇”的对话直译一遍：

Bob：我可以我任何其他（其它任何东西都可以给你）

Alice：球有0对我对我对我对我对我对我对我对我（我没有球，球对我特别特别特别特别特别特别特别特别重要）

Bob：你我任何其他（你可以拿走其它任何东西）

Alice：球有球对我对我对我对我对我对我对我对我（我要球，球对我特别特别特别特别特别特别特别特别重要）

结果呢，Facebook并没有“关掉”这个系统，而是重新设定了正确的激励，纠正了机器人的行为，让它们回归用标准的英文语法来进行交流。

所以，所谓“失控”实则由人为失误引起，一切似乎都还在人类的掌控之中。

惊悚“跳水”，

排除了“自杀”可能

然而，近期AI闹出的事还不止这一桩。就在“失控门”发生的前几天，一个名叫史蒂夫的机器人，也一度在社交媒体引发关注。

据英国《每日邮报》报道，这个型号为Knightscope K5的智能安保机器人，在华盛顿特区一处办公楼附近被发现“跳水自杀”。人们发现的时候，它已掉进了大楼的水池里。一名工作人员在社交网站上发文说：“我们华盛顿的办公楼有一个安保机器人，它把自己淹死了。我们本想要的是飞行汽车，结果却来了个自杀机器人！”并配上了事发时的照片。

正是这张照片，在社交网站上引发一阵恐慌，网友纷纷评论说：“难道是……机器人真的有了自我意识，因为工作压力太大‘自杀’了吗？”

要知道，这款史蒂夫机器人可不一般，它是专为停车场、办公楼和学校等场地设计的“安保巡逻机器人”，配有先进的摄像头和监测系统，据称能自如应对复杂环境。也许是因为史蒂夫自带“网红”特质，媒体对它也钟爱有加，今年早些时候，史蒂夫因“逮捕”了一名踢了它一脚的醉汉登上头条；而在更早的去年夏天，媒体曾报道称，它将一个16个月大的小宝宝撞倒后，自己“逃跑”了。

“自杀”事故发生后不久，史蒂夫的制造商便发消息说，经过对史蒂夫内置的“黑匣子”进行数据分析发现，史蒂夫投池的原因，其实是因“地砖表面松动”，导致其没有探测到水池，这才导致自己一头扎了进去——也就是说，排除了“自杀”的可能。

原来，这非但不是因为机器人有了“意识”，反而是由于自己不够智能而引发“失足”！

做不好数学题，

是因为语文不行

在很多人眼中，人工智能但凡有新动作，似乎都值得围观和警惕。

比如今年6月，几个人工智能机器人参加高考，也是赚足了眼球。多家媒体早早在现场占好了机位，全程直播。

据中青在线报道，参加这次高考的是成都高新区的一家企业研发的“准星数学高考机器人” AI-MATHS。值得一提的是，正如考生会被切断与外界的联系一样，机器人参与考试的整个过程也是严格按照断网、断库，其自然语言理解、综合复杂推理等流程均经过公开透明的测试，并由公证机构和媒体出任“监考老师”，完全没法“作弊”。

结果，AI-MATHS用 22分钟做完了高考北京文科数学卷，得105分；随后，又用10分钟做了高考全国文科数学卷II，得100分。应该说，成绩平平，并未打败各路学霸。

这一结果显然让很多人松了口气。但也有人好奇：AlphaGo已经能以3:0战胜围棋冠军柯洁了，为什么AI-Maths却没能在高考中战胜人类学霸？

答案是——都要怪机器人的语文是程序员教的！

“机器人有些数学题没有做好，是因为语文不好，数学应用题的自然语言理解是人工智能的软肋，理解不了题意，自然不会解题。”评卷结束后，科大讯飞研究院院长、国家863人工智能项目负责人胡国平表示，AI-Maths不能理解 “投资”“理财”等常识。所以，尽管人工智能一直在不断地进步，但目前相比能对事物进行理解和分析的人类大脑，还有一些差距。

“中文房间”实验：

可以被训练的智慧

既然以上一连串乌龙事件，归根到底还是因为“智能”欠缺造成虚惊一场，那么究竟该如何提升AI的智能水平呢？

这就离不开大数据的支持。我们知道，目前研究人员大多使用深度学习的方式训练神经网络，而这对数据支持有极高的要求。说白了，“没有数据就没有智能”。

再说回前文提到的“准星数学高考机器人”AI-MATHS，它的运行机制正是靠大量“刷题”提升应考水平。据公开资料显示，今年2月AI-MATHS仗着100套试题的训练量，在一次模拟考中取得的成绩是93分。此后，训练量被提升到500套试题，这才有了高考时得分的提升。

来看一个更加极致的例子。

美国哲学家约翰·希尔勒（John Searle）曾在上世纪八十年代设计过一个思维试验：将一名以英文作为母语的人关闭在只有两个窗口的封闭房间中，房内有一本写有中文翻译程序的手册——当然那是用英文写成的，还有一大堆中文符号。然后，房外的人不断向房间内递入用中文写成的问题。房内的人可以按照手册的说明，将中文符号组合成对问题的解答，并将答案递出房间。随着时间推移，递出的答案变得越来越精准。然而，即便房里的人回答问题达到了以假乱真的地步，让房间外的人以为他会说流利中文，实际上他还是——压根不懂中文！

这整个过程中，房外人所扮演的角色相当于程序员，房中人相当于计算机，而手册有点像计算机程序。通过反复的训练和数据积累，计算机的处理能力会越来越强，但是，正如房中人不可能通过手册真正理解中文一样，计算机也不可能通过运行程序来获得理解力。这也可以解释，为什么高考机器人语文不好、读不懂考题这种情况。

从技术角度来看，人工智能目前的成熟度远不如大数据，我们如今尚处于人工智能初级阶段。

让人心备受折磨的，

是未知

硅谷风险投资人吴军写过一本梳理IT产业发展的历史脉络和硅谷明星公司兴衰沉浮的畅销书，叫《浪潮之巅》。人工智能对人类的威胁，也许恰如吴军所言，仅仅只是个程序BUG而已，唯一的不确定性在于，这个BUG是“有意为之”还是“无心之作”。好在，机器到现在还不会撒谎，它做的一切，都是在“执行命令”。

但是人类本身还在不断进化，人工智能的进步速度甚至要远超人类。几年前，人们还不大相信人类会在围棋这么复杂的比赛中输给AI，但今天早已实现了。依据摩尔定律，计算机的运行速度会越来越快，相应地，AI的设计也会越来越复杂、精细，它们的“智能”会迅速提高。

心理学上的“恐怖谷”理论，解释了我们对于AI的恐惧心态——当机器人越来越接近人类的时候，我们对它们的好感会提升，可一旦到达某个临界点，好感又会大幅度降低，甚至开始厌恶和惧怕。

很多人担心的是，有一天，人工智能会发展到产生独立意识，并且噬主！尽管，独立意识的产生方法现在也只有假说而已。但是，就像恐怖大师史蒂芬·金说的那样，让人心备受恐惧折磨的，从来都不是妖魔鬼怪，而是超出认知范围的未知。人工智能好比一只黑盒子，人们知道未来将不可避免地身处其中，却不知它的边界到底在哪儿。

而事实上，人类也从来都没有停止过试探的脚步。早在2010年，英国《每日电讯报》就报道过美国密歇根州立大学的一个项目：科学家希望利用计算机来模拟生命形式。简言之，就是用计算机编码而不是DNA，来进行生命的繁殖。尽管每次的自我复制并不完美，但随机的复制错误也会在它们的编码中产生不同。经过数千代以后，计算机进化出了一种惊人的能力——初级记忆。对数字有机生物来说，这虽然还算不上是“学习能力”，但谁知道这一发现会不会在未来创造出更加厉害的“智能”呢？

到那时，人类是否面临着一场巨大的灾难？

当然，最好的结局是——机器不能单独完成的事，人也不能单独完成的事，我们加在一起做到了！

本文首发于上观，综合自中国青年报、人民网、澎湃新闻、新华网、电车之家、微信公众号“Techweb" “科学松鼠会”“PingWest品玩”等。