1910年，英国哲学家伯特兰·罗素（Bertrand Russell ）和其老师怀特海（Alfred North Whitehead）合著的《数学原理》一书问世，这本书是如此的深奥，尤其对中国人而言，因为直到100多年后的今天，仍然没有完整而权威的中译本(能看懂的人确实很少)。不过想想现在连一般的科普作品都翻译得如此垃圾，我们真应该庆幸。这本不朽的名著为两个年纪相差25岁的科学家建立了一条联系一生的纽带，同时也为神经计算提供了最初的思想来源。
沃尔特·皮茨（Walter Pitts）是很多取得巨大成就但命运坎坷的科学家中的一员。12岁时经常被人欺负(家人和同学)，作为一个孩子，他最幸福的时光是在图书馆里度过的。他曾花了三天时间读完了2000页的《数学原理》，并写信给罗素指出了书中的几处错误[1]。心胸宽广的罗素甚至邀请皮茨去剑桥大学当他的研究生。15岁时，皮茨离家出走，从此他就再也没有见过他的家人，他要到芝加哥大学寻找他的偶像罗素。在芝加哥大学，哲学家，自然语言处理的先驱鲁道夫·卡尔纳普（Rudolf Carnap）给了他很多帮助，为皮茨谋了打扫卫生的差事[2]，这一幕简直就是现实版的《心灵捕手》。皮茨在旁听罗素的课的时候，结识了杰罗姆·莱特文（Jerome Lettvin），一名年轻的医学系学生。莱特文将皮茨介绍给了沃伦·麦卡洛克（Warren McCulloch），一位比皮茨年长25岁的教授，从此以后，来自不同经济阶层的两人一起生活、一起工作、甚至一起死亡。很快，他们将创造第一个关于精神的机械论理论——神经科学的第一种计算方法，现代计算机逻辑设计以及人工智能的支柱[1]。
图1 Walter Pitts (左)和 Warren McCulloch（右）
皮茨和麦卡洛克还有一个共同的偶像，戈特弗里德·莱布尼茨（Gottfried Leibniz），就是发明微积分的数学家莱布尼茨。作为哲学家或逻辑学家，他认为：“我们的所有观念（概念）都是由非常小数目的简单观念复合而成，它们形成了人类思维的基本单元:字母。复杂的观念来自这些简单的观念，是由它们通过模拟算术运算的统一的和对称的组合。” 这种复杂观念由符号所表示的基本单元进行逻辑计算的结果的思想，实际上也指导了《数学原理》创作。《原理》的宏大目标是通过用无可争论的简单的基本逻辑来建立整个数学体系。从命题入手，罗素和怀特海德采用了与、或、非三种基本逻辑运算来将命题连接成越来越复杂的网络。就是利用这些简单的命题，他们完整的推导出了整个复杂的现代数学。从《数学原理》开始，逻辑学从哲学中走出来，开始渗透到数学的各个方面，对计算领域产生了巨大的影响。
由于麦卡洛克本身就是一个神经生理学家，我们在第2季中介绍的关于神经元的结构和功能在当时是神经生理学开创性的工作，这个工作对麦卡洛克产生了深刻影响。当时已经知道的是大脑里的每一个神经细胞只会在达到某个阈值时才被激发，也就是说必须有足够多的相邻神经细胞通过神经元的突触向它传递信号，它才会发放出自己的电脉冲，即“全或无法则”。对于也曾认真学习过《数学原理》的麦卡洛克来说，这种设置就是二元的，神经元只有激发和不激发两种状态。他发现神经元的信号就是一个命题，而神经元的工作类似于逻辑门，它接受多个输入然后产生单一的输出。通过改变神经元的激发阙值，就可以让它执行「与」、「或」以及「非」的函数（功能）[1]。
需要
1、 单击电脑左下角“开始”——所有程序——附件——计算器。2、 在打开的计算器界面单击“查看”——科学型。3、现在输入需要开根号的数字，这里输入“16”，给16开4次根。4、 现在单击"x^y"按钮。。
我们接下来将会看到这些基本假设是如何与逻辑门产生联系，并会举出一个具体的例子来看看如何利用神经元来进行逻辑运算。实际上，我们只需要几个简单的神经元就可以表示最基本的逻辑门，包括「与」、「或」以及「非」，如下图所示的表示是由人工智能的先驱马文明斯基提出的，就是他将感知机和Rosenblatt推进了深渊。
我们接下来将会看到这些基本假设是如何与逻辑门产生联系，并会举出一个具体的例子来看看如何利用神经元来进行逻辑运算。实际上，我们只需要几个简单的神经元就可以表示最基本的逻辑门，包括「与」、「或」以及「非」，如下图所示的表示是由人工智能的先驱马文明斯基提出的，就是他将感知机和Rosenblatt推进了深渊。
1、首先打开科学计算器，如图所示。2、然后输入需要开次方的数字，如图所示。3、接下来按一下计算器上的“^”这个按钮，如图所示。4、然后输入需要开几次方的数字，这里以2次方为例输入“2”，如图所示。5、最后点击一下。
图2 神经元代表的逻辑门[4]
图3 带有回路的神经网络[4]
这种延时很重要，延时t时刻，意味着在这个信号可以在逻辑门中存储t时刻，这实际上意味着神经元具有了记忆功能。这种结构其实就是现在的寄存器的原型。类似的神经网络可以实现更复杂一点的电路，例如下图的神经元网络就实现了一个二分频电路，即在时钟每触发2个周期时，电路输出1个周期信号。
图4 (a)二分频神经网络[4]及其(b)波形仿真
(a) （b）
需要特别感谢我的同事为我绘制了这个波形仿真图。
在《逻辑演算》的原始论文中，延时门，或门和与门分别表示为下图的(a)(b)(c)。这个图据说是麦卡洛克的女儿绘制的[3]。
图 5 《逻辑演算》中的逻辑门[6]
1943年，莱特文将皮茨带到了维纳在MIT的办公室，简单的交流就使得这位控制论的创始人认为皮茨「毫无疑问是我见过的最厉害的科学家。」[1]对于皮茨这个连高中都没有毕业的流浪儿来说，维纳承诺给予皮茨MIT的数学博士学位，并邀请皮茨到MIT与他一起工作。就算在那个被称之为“控制论学家“的圈子里面(维纳，冯诺依曼，麦卡洛克、莱特文)，皮茨也是他们中的天才。维纳让皮茨继续改进他的神经网络，皮茨怀疑对于一个初始的随机的神经网络而言，”随着长时间对神经元阙值的调整，这种随机性会渐渐让位于有序性，而信息就涌现出来了“[1]。他着手用统计力学来为这个过程建模。维纳激动地鼓励他，他知道如果将这样一个模型植入一台机器的话，它就将能够「学习」[1]。这段描述简直就是现在深度学习所做的一切。但是对神经元的调整这件事当时还不能自动进行，这件事还必须等到1957年感知机出现的时候。实际上，为了更加清楚地了解这一点，麦卡洛克和皮茨的神经元模型还可以被描述成下面的图形：
图6 神经元的结构图
这种表示与现在神经网络中的表示几乎没什么差别了，图（a）表示神经元从外界获得输入x_{1}，...，x_{n} 通过箭头表示的突触，传给神经元，神经元的输出是oj，图 (b)则更进一步将箭头表示的突触根据不同的性质以及强度，为神经元输入增加了一个加权和，这使得一些输入对神经元的脉冲输出产生更大影响，图(c)则将通过增加一个阈值函数将“全或无“法则引入到神经元结构中，图c得神经元结构可以表示为如下的公式：
其中，y表示神经元的输出，E表示神经元获得外界刺激的和，T表示神经元设定的阈值，I表示抑制性突触，它起到的作用就是图2中非门的那个控制信号。当我们精心挑选权值参数W，阈值T，以及控制信号I的话，就能让神经元实现逻辑运算了，例如：
设T=2，I=0，W1=1，W2=1。
那么 E=x1W1+x2W2=x1+x2
当x1=1，x2=1，E=1+1=2， 触发y=1
当x1=1，x2=0，E=1+0=1， 不触发y=0
当x1=0，x2=1，E=0+1=1， 不触发y=0
当x1=0，x2=0，E=0+0=0， 不触发y=0
这就实际上实现了x1和x2之间的“逻辑与“运算。
这个模型看起来威力无穷，但是一个最关键的问题是必须依靠人去精心设计参数的值以完成某项计算功能，自动化的过程并不彻底。如果神经网络的结构和参数都能根据不同的任务自动确定，这样构建的机器被认为具有学习功能。然而，如何仅仅自动化的选择参数，使得单个神经元具有学习能力一直到 罗森布拉特的感知机才提出解决办法，我们已经知道，这个办法跟求解根号2几乎没区别，但是感知机的重要性是不言而喻的。如果能够自适应地组建神经网络的结构，人工智能可能将取得大进展。实际上，由于网络本身就是一个带权的图，图理论与神经网络的结合几乎是不可避免的事情，特别是包含逻辑推理关系(知识)的图模型与神经网络的结合更加吸引人。在最近的一个报告中[8]，27位学者(其中22位来自AlphaGo的东家DeepMind)，对这种可能性进行了阐述。沿这个方向继续下去并取得重大成果的话，可能将为人工智能开创一个比现如今的深度学习更加完善的基础。
故事进入尾声，控制论的创始人，性格怪异不讨人(罗素，香农等)喜欢的维纳成就了皮茨，但是维纳的性格预示着皮茨在他身边也是危险的，更别说维纳身边有一个纳粹背景的妻子。玛格丽特·维纳从各方面讲都是一个有控制欲的、保守的假正经。由于后来一个偶然的机会，麦卡洛克也来到MIT和皮茨一起在维纳手下工作。突然有一天，维纳告诉麦卡洛克，皮茨和莱特文：“所有我和你们项目之间的联系被永久性的解除了“。此后他再也没有同皮茨说过话，也不告诉他为什么。一种说法是[2，3]玛格丽特受不了麦卡洛克疯子般的自由生活习惯(麦卡洛克会写诗，并到处炫耀)，造谣说麦卡洛克手下的几个男孩勾引了维纳的宝贝女儿。还有一种说法[3]是”精神有缺陷的维纳已经无法捕捉麦卡洛克言语表达中的细微差别。有些时候，维纳分辨不出麦卡洛克是在陈述一件事实还是在说一个猜想”。维纳和麦卡洛克以及皮茨突然地决裂对控制论遭受很大损失，皮茨则遭受了最大的打击，几乎完全垮掉，他开始酗酒，甚至自己合成类似鸦片的化学物质作为下酒菜，他毁掉了他的研究成果和博士论文，拒绝接受任何帮助。在给麦卡洛克写下一封”这一切都让我感到极度悲哀”的信[1]不久，1969年5月14日，沃尔特·皮茨在剑桥的寄宿之家孤独死去，死因是长期酗酒导致的肝硬化出血。这个从小就开始流浪的大男孩一生没有得到过任何一个正式的文凭，但是他依然不愧是计算科学史上一颗耀眼的明星。四个月后，麦卡洛克也过世了。能让我们感到欣慰的是，从小孤苦伶仃的皮茨一生中能遇到麦卡洛克，他也是幸运的。皮茨从麦卡洛克那里得到了他需要的一切：”认同、友谊、「智识」上的另一半以及他从未有过的父爱” [1]。
麦卡洛克和皮茨实际上为控制论带来了最有力的证据，也为维纳带去了信心。控制论的核心思想几乎可以在麦卡洛克和皮茨的工作中体现。第一，控制，指的是系统能够与环境交互继而改变环境的能力，实际上任何一种能够接收环境数据，并进行输出的东西，都可称之为控制，神经元或神经网络就是典型代表。第二，反馈，指的是能够使用过去的性能来调整未来行为的一种属性，在神经元上，环状的链接，就是一种反馈，甚至你可以回到我们在本文第1季的求解根号的流程[7]，用错误反馈给系统，以指导下一步计算的结果。控制论的目标实在太过宏大，当时对很多学科产生了非常重要的影响，然而现在这种影响力正在减退。遗憾的是，为维纳《控制论》思想贡献巨大的麦卡洛克和皮茨甚至都没能出现在维纳的自传里，想想作者是维纳，你应该可以理解。现在，麦卡洛克和皮茨也被后人称为控制论学家，这对维纳来说，实在是有点讽刺。甚至是最新的一本关于控制论历史的科普读物《机器崛起：遗失的控制论历史》[5]中竟然连皮茨都没有提到，不知道维纳是否于心有愧，他肯定不知道“原来随便错手，可毁了人一世”。
神经元模型的创立者皮茨是不幸的，遗憾的是，感知机的发明人弗兰克· 罗森布拉特(Frank Rosenblatt)也几乎一样不幸。
[1] 陨落的天才-皮茨和他违背的逻辑，人工智能名人堂第25期
[2] 尼克，人工智能简史 人民邮电出版社，2017.12.
1、苹果手机桌面上，点击“计算器”打开。2、可以看到，一般情况下看到的只有加减乘除的简单运算。3、其实，只需要把手机放成横屏，就能看到计算器出现了很多高级运算。4、需要计算开根号的话，先点击输入要计算的数据。5。
[3] Charles Petzold，图灵的秘密：他的生平、思想及论文解读 杨卫东 ，朱皓 (译者)
[4] Harry Fairhead，The McCulloch-Pitts Neuron， babbages-bag/325-mcculloch-pitts-neural-networks.html
[5] 期马斯·瑞德 ，机器崛起：遗失的控制论历史，机械工业出版社，2017
[7] twinlj77，理解计算：从√2到AlphaGo ——第1季 从√2谈起。
[8] Peter W. Battaglia，Jessica B. Hamrick，Victor Bapst，Alvaro Sanchez-Gonzalez，Vinicius Zambaldi，Mateusz Malinowski，Andrea Tacchetti，David Raposo，Adam Santoro，Ryan Faulkner，Caglar Gulcehre，Francis Song，Andrew Ballard，Justin Gilmer，George Dahl，Ashish Vaswani，Kelsey Allen，Charles Nash，Victoria Langston，Chris Dyer，Nicolas Heess，Daan Wierstra，Pushmeet Kohli，Matt Botvinick，Oriol Vinyals，Yujia Li，Razvan PascanuRelational inductive biases，deep learning，and graph networks.
[1] 机器学习-波澜壮阔40年 【获取码】SIGAI0413.
[2] 学好机器学习需要哪些数学知识？【获取码】SIGAI0417.
[3] 人脸识别算法演化史 【获取码】SIGAI0420.
[4] 基于深度学习的目标检测算法综述 【获取码】SIGAI0424.
[5] 卷积神经网络为什么能够称霸计算机视觉领域？【获取码】SIGAI0426.
[6] 用一张图理解SVM的脉络 【获取码】SIGAI0428.
[7] 人脸检测算法综述 【获取码】SIGAI0503.
[8] 理解神经网络的激活函数 【获取码】SIGAI0505.
[9] 深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读 【获取码】SIGAI0508.
[10] 理解梯度下降法 【获取码】SIGAI0511.
[11] 循环神经网络综述—语音识别与自然语言处理的利器 【获取码】SIGAI0515.
[12] 理解凸优化 【获取码】SIGAI0518.
[13] 【实验】理解SVM的核函数和参数 【获取码】SIGAI0522.
[14] 【SIGAI综述】行人检测算法 【获取码】SIGAI0525.
[15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上)【获取码】SIGAI0529.
[16] 理解牛顿法 SIGAI 2018.5.31
[17] 【群话题精华】5月集锦—机器学习和深度学习中一些值得思考的问题 【获取码】SIGAI0601.
[18] 大话Adaboost算法 【获取码】SIGAI0602.
[19] FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法 【获取码】SIGAI0604.
[20] 理解主成分分析(PCA)【获取码】SIGAI0606.
[21] 人体骨骼关键点检测综述 【获取码】SIGAI0608.
[22] 理解决策树 【获取码】SIGAI0611.
[23] 用一句话总结常用的机器学习算法 【获取码】SIGAI0613.
[24] 目标检测算法之YOLO 【获取码】SIGAI0615.
[25] 理解过拟合 【获取码】SIGAI0618.
[26] 理解计算：从√2到AlphaGo ——第1季 从√2谈起 【获取码】SIGAI0620.
[27] 场景文本检测——CTPN算法介绍 【获取码】SIGAI0622.
1、首先打开计算机上的计算器。2、打开计算器后，点击左上角中的科学。3、以开175616的3次方为例，输入175616，点击y√x，输入3，按等于号即可。4、这就是计算器开根号的方法。
[28] 卷积神经网络的压缩和加速 【获取码】SIGAI0625.
[29] k近邻算法 【获取码】SIGAI0627.
[30] 自然场景文本检测识别技术综述 【获取码】SIGAI0629.
[31] 理解计算：从√2到AlphaGo ——第2季 神经计算的历史背景 【获取码】SIGAI0702.
[32] 机器学习算法地图 【获取码】SIGAI0704.
[33] 反向传播算法推导-全连接神经网络 【获取码】SIGAI0706.
[34] 生成式对抗网络模型综述 【获取码】SIGAI0709.
[35] 怎样成为一名优秀的算法工程师【获取码】SIGAI0711.
