一个月前，Coursera的联合创始人、斯坦福大学人工智能实验室的主管Andrew Ng加入百度。近日，Andrew Ng首次发表关于深度学习和商业应用的公开演讲，分享了他对下一代深度学习系统的期待，和他将在百度要做的事情。
Andrew Ng：如何从“机器学习”到“复制人类大脑”
一个月前，Coursera的联合创始人、斯坦福大学人工智能实验室的主管Andrew Ng宣布加入百度位于硅谷的深度学习研究院（IDL），他说：“我决定将我接下来的这段时间投入到建造更先进的深度学习系统中去。而我认为，百度将是合适的地方。”
上周，Andrew在加入百度后首次发表关于深度学习和商业应用的公开演讲，在PingWest举办的SYNC 2014旧金山大会上，他分享了他对下一代深度学习系统的期待，和他将在百度要做的事情。
深度学习并不只是一个学术概念，它是许多现代科技产品背后的“引擎”，作为核心技术支撑着商业上的应用，比如网络搜索、机器翻译、产品推荐和医学图像等，带来了相当可观的经济价值。
一些手机里，也可以看到“深度学习”的基因。比如每部Android手机上的语音识别功能。上周刚刚发行的Amazon Fire Phone，其所配备的6个摄像头和商品推荐等功能，也是基于机器学习和深度学习来实现的。
Andrew说：“许多你听过的，像我这样的家伙分享的和深度学习有关的演讲里，有两个概念都会被混淆在一起。今天，我要把这两个大的概念分开来解释清楚。”
这两个大的概念指的是，在已标记数据上进行的深度学习（也被称之为在监管下进行的深度学习，supervised learning），和在未标记的数据上进行的深度学习（unsupervised learning）。
Andrew和他的团队在斯坦福实验室做的实验，可以清楚地解释这两者的区别：早前，他们造了一些机器人，试图让机器人找出一个办公空间内的马克杯。他们跑遍了旧金山湾区，买来所有他们可以买到的马克杯，并从各个维度给这些杯子都拍了照片，总共获得了5万张马克杯的照片，并将这些照片都展示给这个机器人训练它。经过这个实验后，机器人最终可以在一个办公空间内，找到所有的马克杯。
“之所以深度学习可以奏效，是因为在学习被标记的数据上，它的表现很好。”但Andrew马上说：“我们发现，这和动物及人类学习的还是不同。我相信，即使是最最深沉地爱着自己孩子的父母，也不会跑遍旧金山湾区，找出5万个马克杯的照片指认给自己的孩子看，来让他认识什么是马克杯的。人类和动物的学习方式是，进入环境，由我们自己去感受这个环境并学习。”
“跑遍整个旧金山湾区找出的所有马克杯照片”就是标记数据，而“进入环境，由自己去感受环境”指的则是在未标记数据中进行的学习。
“深度学习”的研究者们又重新回头借助神经科学审视人类大脑学习的过程。他们发现——人类大脑在看到实物的第一个步骤，是寻找实物的边缘。幸运的是，来自伯克利的研究者的实验表明，复制这个人脑处理视觉早期步骤的过程，是可以被模拟神经网络所实现的，而且这个“神经网络”不仅对于图像识别奏效，对于音频识别也可以产生相同的结果。现在，Andrew和他的团队正在对这一部分的“深度学习算法”进行解析。
从非标记数据中学习——这是现在让Andrew感到非常兴奋的点，因为这能让深度学习普及到更多的应用领域，他解释说：“因为对于许多应用方向而言，我们没有那么多标记数据。其二，这更接近人类学习的过程。”
但要完成这部分的工作，单靠学校或是研究机构很难实现，必须要借助外部的力量，因为所有的实验结果都指向了这样一个趋势：模拟出的神经系统越大，实验效果越好。2010年，Andrew加入Google，按他自己的话说，“我上下求索，到处去找谁有最多的电脑、并且还愿意让我使用的？”Google帮助Andrew开发出了拥有十亿个连接单元的“深度学习”系统，Andrew说：“有了Google我才能造出比原先大百倍的系统。” 他所带来的研究成果也帮助Google开发出了不少商业产品。
但这些算法的应用范围仍然十分局限，只有像Google这样的科技巨头，才拥有这样的资源，进而拥有这样的技术。创业公司或者是普通研究学者，并没有机会在这么大的模拟神经网络上，去试验自己的想法和算法。
“我们真正感兴趣的是，如何让深度学习更加的民主化？”Andrew说。对此，他和他的学生Adam Coates决定用GPU替代CPU，降低造价——GPU是Graphics Processing Unit的缩写，是用来进行视觉图像处理的，在每个人的电脑里都有。
但今天的人工智能，仍然是一个对资本要求很高的生意，而只有像Google、Baidu这样以搜索起家的公司，才能提供尽可能多的实验数据和计算力——这是他选择加入百度的一个原因。
Andrew说：“这有点悲哀。你需要大量的数据和电脑，幸运的是，百度有这些东西。其次，百度是一个敏捷的机构，能快速地调配资源去需要的地方。同时，我被我所遇到的人所折服，比如百度美国的总经理Alex Cheng，我的好朋友余凯和张潼，他们多么的友好、聪明、努力和谦逊。他们愿意让我加入他们和他们合作，我觉得这是我的荣幸。”
加入百度后，现在Andrew正在着手为下一代的“深度学习系统”搭建基础设施和准备工具——这也是他让深度学习民主化的重要一步，他要让在该领域做研究和想要应用深度学习概念的人们，有一个可使用的系统测试自己的点子。他说：“我知道下一代的百度深度学习系统不会来自于我个人，我们现在在建造为下一代深度学习系统而准备的工具和基础设施，来让研究人员和我们合作，测试点子和进行学习。我想做的是，建立起来基础设施，让别人来和我们合作，让他们成为下一代深度学习领域内的英雄。”
上周，Andrew在加入百度后首次发表关于深度学习和商业应用的公开演讲，在PingWest举办的SYNC 2014旧金山大会上，他分享了他对下一代深度学习系统的期待，和他将在百度要做的事情。
深度学习并不只是一个学术概念，它是许多现代科技产品背后的“引擎”，作为核心技术支撑着商业上的应用，比如网络搜索、机器翻译、产品推荐和医学图像等，带来了相当可观的经济价值。
一些手机里，也可以看到“深度学习”的基因。比如每部Android手机上的语音识别功能。上周刚刚发行的Amazon Fire Phone，其所配备的6个摄像头和商品推荐等功能，也是基于机器学习和深度学习来实现的。
Andrew说：“许多你听过的，像我这样的家伙分享的和深度学习有关的演讲里，有两个概念都会被混淆在一起。今天，我要把这两个大的概念分开来解释清楚。”
这两个大的概念指的是，在已标记数据上进行的深度学习（也被称之为在监管下进行的深度学习，supervised learning），和在未标记的数据上进行的深度学习（unsupervised learning）。
Andrew和他的团队在斯坦福实验室做的实验，可以清楚地解释这两者的区别：早前，他们造了一些机器人，试图让机器人找出一个办公空间内的马克杯。他们跑遍了旧金山湾区，买来所有他们可以买到的马克杯，并从各个维度给这些杯子都拍了照片，总共获得了5万张马克杯的照片，并将这些照片都展示给这个机器人训练它。经过这个实验后，机器人最终可以在一个办公空间内，找到所有的马克杯。
“之所以深度学习可以奏效，是因为在学习被标记的数据上，它的表现很好。”但Andrew马上说：“我们发现，这和动物及人类学习的还是不同。我相信，即使是最最深沉地爱着自己孩子的父母，也不会跑遍旧金山湾区，找出5万个马克杯的照片指认给自己的孩子看，来让他认识什么是马克杯的。人类和动物的学习方式是，进入环境，由我们自己去感受这个环境并学习。”
“跑遍整个旧金山湾区找出的所有马克杯照片”就是标记数据，而“进入环境，由自己去感受环境”指的则是在未标记数据中进行的学习。
“深度学习”的研究者们又重新回头借助神经科学审视人类大脑学习的过程。他们发现——人类大脑在看到实物的第一个步骤，是寻找实物的边缘。幸运的是，来自伯克利的研究者的实验表明，复制这个人脑处理视觉早期步骤的过程，是可以被模拟神经网络所实现的，而且这个“神经网络”不仅对于图像识别奏效，对于音频识别也可以产生相同的结果。现在，Andrew和他的团队正在对这一部分的“深度学习算法”进行解析。
从非标记数据中学习——这是现在让Andrew感到非常兴奋的点，因为这能让深度学习普及到更多的应用领域，他解释说：“因为对于许多应用方向而言，我们没有那么多标记数据。其二，这更接近人类学习的过程。”
但要完成这部分的工作，单靠学校或是研究机构很难实现，必须要借助外部的力量，因为所有的实验结果都指向了这样一个趋势：模拟出的神经系统越大，实验效果越好。2010年，Andrew加入Google，按他自己的话说，“我上下求索，到处去找谁有最多的电脑、并且还愿意让我使用的？”Google帮助Andrew开发出了拥有十亿个连接单元的“深度学习”系统，Andrew说：“有了Google我才能造出比原先大百倍的系统。” 他所带来的研究成果也帮助Google开发出了不少商业产品。
但这些算法的应用范围仍然十分局限，只有像Google这样的科技巨头，才拥有这样的资源，进而拥有这样的技术。创业公司或者是普通研究学者，并没有机会在这么大的模拟神经网络上，去试验自己的想法和算法。
“我们真正感兴趣的是，如何让深度学习更加的民主化？”Andrew说。对此，他和他的学生Adam Coates决定用GPU替代CPU，降低造价——GPU是Graphics Processing Unit的缩写，是用来进行视觉图像处理的，在每个人的电脑里都有。
但今天的人工智能，仍然是一个对资本要求很高的生意，而只有像Google、Baidu这样以搜索起家的公司，才能提供尽可能多的实验数据和计算力——这是他选择加入百度的一个原因。
Andrew说：“这有点悲哀。你需要大量的数据和电脑，幸运的是，百度有这些东西。其次，百度是一个敏捷的机构，能快速地调配资源去需要的地方。同时，我被我所遇到的人所折服，比如百度美国的总经理Alex Cheng，我的好朋友余凯和张潼，他们多么的友好、聪明、努力和谦逊。他们愿意让我加入他们和他们合作，我觉得这是我的荣幸。”
加入百度后，现在Andrew正在着手为下一代的“深度学习系统”搭建基础设施和准备工具——这也是他让深度学习民主化的重要一步，他要让在该领域做研究和想要应用深度学习概念的人们，有一个可使用的系统测试自己的点子。他说：“我知道下一代的百度深度学习系统不会来自于我个人，我们现在在建造为下一代深度学习系统而准备的工具和基础设施，来让研究人员和我们合作，测试点子和进行学习。我想做的是，建立起来基础设施，让别人来和我们合作，让他们成为下一代深度学习领域内的英雄。”
