3、坚持你认为对的,直到世界追上你的脚步
之后,在多伦多,Hinton和他的团队研究出了更深度的神经网络,以解决更复杂的问题。他们共同开发了一个多层神经网络,这个深度神经网络也被应用于多个方面。
比如有人用它在80年代就打造了一辆无人车并且开上了路。
而现在已经是深度学习的另一位领袖人物、Facebook的AI实验室负责人Yann LeCun则利用深度神经网络建立了一个可以识别手写数字的系统。这一系统最终实现了商用。
在当时,深度神经网络的前景似乎一片大好,但是,现实中的故事往往没有这么简单。
杰弗里·辛顿(Geoffrey Hinton)
Hinton的研究再次遇到了瓶颈。
“我们当时并没有足够的数据,也没有足够的计算机运行能力,AI和计算机科学的从业者认为神经网络是一厢情愿的想法。”
但Hinton始终坚持着,尽管完全不被重视。
他坐在房间的最角落里参加学术会议,在大牛云集的人工智能会议上完全不被重视。甚至他自己也开始产生了怀疑:“有很多次我都觉得我不会继续这项工作了”。
直到这个世界开始慢慢追上他的脚步。
杰弗里·辛顿(Geoffrey Hinton)
2006年,计算机的运行速度有了巨大的提高,超快速芯片的到来以及互联网上产生的大量数据使得Hinton的算法变得非常神奇。
突然之间,计算机开始可以识别图像中的内容,可以识别语音,可以将一种语言翻译成另一种语言。
2012年,Geoffrey Hinton和他的团队带着 AlexNet参加了那一年的 ImageNet ILSVRC 挑战赛,以惊人的优势获胜(错误率比第二名低了足足 10%)。这篇被 NIPS 2012 收录的论文被认为是深度学习热的开启。
同年,“神经网络”和“机器学习”等词汇也开始在纽约时报的头版出现。
“人们终于理解了这个概念,我感到很欣慰。”Hinton这样说。
4、推翻自己,胶囊网络的提出
尽管已经成为了深度学习的领袖人物,Hinton的脚步却从没有停歇。2017年10月26日,Hinton发表了一篇在AI圈掀起轩然大波的论文——Capsule Networks(胶囊网络)。
Hinton高喊,“卷积神经网络(CNN)的时代已经过去了!”,将他过去几十年的研究翻了过去。
杰弗里·辛顿(Geoffrey Hinton)
尽管胶囊网络研究仍处在婴儿阶段,在训练的数据集十分庞大时仍可能会遇到问题,但Hinton相信在未来它还有巨大的发展潜力,这位深度学习教父也许还将再次改写深度学习的发展历程。