这种网络结构在三十年前就已经以“PDP模型”的名称广为流传了，只是那时的网络一般只有一个中间层。“深度学习”的贡献就是增加其“深度”，即中间层的数量。更多的中间层使得系统的行为更复杂，这是显而易见的，但以前无法有效的训练这种系统。深度 神经网络 成功的原因公认有三个：（1）大量的训练数据（否则无法确定那么多参数），（2）改进了的学习 算法 （否则无法有效利用这些数据），（3）强有力的硬件支持（否则无法足够快地完成计算）。
这种人工 神经网络 的确是从人脑得到了灵感，但并不是以严格模拟后者为目标的。首先，人工神经元忽略了人脑神经元的很多重要特征，比如说激活的时间模式等。其次，人脑中的神经元有很多种，互相的连接方式也远比上述模型中的要复杂。最后，人脑的学习过程不是通过反复调整权值而“收敛”于一个特定的输入输出关系的，所以不能被简化为函数拟合。
当然，前面提到的人工 神经网络 只是现有诸多模型之一，其它模型在某些方面可能更像人脑一些。尽管如此，目前的各种人工 神经网络 和人脑中的 神经网络 仍有巨大差别。仅仅因为一个计算机中用了这样一个网络，就期待它能像人脑一样工作，这未免太天真了。实际上这种网络的设计者主要关心的是其实用性，并非是否像人脑。
智能难以一“网”打尽
试图严格模拟人的 神经网络 的另有人在，只不过他们的目的主要不是为了实现 人工智能 ，而只是想了解人脑的工作过程。有些研究者已经把“全脑仿真”（whole pain emulation）作为目标了。这项工作当然是很有意义的，因为“模拟”是我们认识一个对象或过程的有效手段。一般说来，只要我们能精确地描述一个过程，我们就可能编写计算机程序来模拟它。但即使我们真能精确地模拟人脑中 神经网络 的工作过程，这也离完整地实现人类智能有相当远的距离。
首先，人脑不仅仅是个对电信号进行处理的 神经网络 。比如说神经递质在神经元之间担当了“信使”的作用，而其中的活动是化学过程。甚至人脑中的生物过程和物理过程都可能对思维产生影响，比如脑供血不足和剧烈运动后的眩晕现象。
即使在理论上说人脑中的上述过程也都能模拟，这事也还没有完。近年来认知科学越来越强调躯体在思维中的作用（所谓“embodied cognition”，即“具身认知”），就是说大脑之外的躯体部分（如外周神经系统、感觉器官、运动器官等等）也在思维活动中扮演着不可或缺的角色。比如说，很多抽象概念的意义都是基于躯体活动的（如“接受”批评、“推动”发展、“提高”觉悟等），那么要完整理解这些概念，一个系统大概也需要真能“接”、“推”、“提”才行。
