「如果我们想让神经元网络像人们一样了解图象，大家必须找到神经元网络是怎样表明一部分 - 总体结构分析的。」Google高级副总裁、工程项目科学研究权威专家、Vector Institute 顶尖科学研究咨询顾问、多伦多大学 Emeritus 殊荣专家教授 Geoffrey Hinton。
2 月 25 日，一篇落款仅有图灵奖获得者 Hinton 一人的 44 页毕业论文被强上传入了预印刷版毕业论文服务平台 arXiv，引起了人工智能技术小区的振动。
毕业论文连接：https://arxiv.org/abs/2102.12627
它是在 2017 年，Hinton 以及合作方的胶囊网络 CapsNet 公布以后，他又一次针对深度神经网络实体模型构架的试着。
有意思的是，大家捧读后发觉，这一文章内容尽管篇数较长，但关键描述的是一种观念，Hinton 希望别的学者们可以从这当中得到启迪，沿着那样的构思进行事后科学研究。
Hinton 在论文的摘要中写到：「这篇毕业论文并沒有叙述一个早已在运作的系统软件。它只叙述了一个相关表明的单一念头， 容许将好多个不一样的工作组所获得的发展组成到一个称之为 GLOM 的幻想系统软件中。这种发展包括 Transformer、神经系统场（neural field）、比照表示学习、实体模型水蒸气蒸馏和胶囊网络（capsule）。GLOM 回应了一个难题：具备固定不动构架的神经元网络如何把图象分析为一部分 - 总体的结构分析，而每一个图象的结构分析又都不一样？
这一念头简易地应用同样空间向量的荒岛来表明分析树中的连接点。假如 GLOM 最后被证实行得通，则其被运用于视觉效果或语言表达每日任务里时，能够 大大的改进 transformer 类系统软件造成表明的可解释性。
Hinton 是不是早已对这一念头开展了实际撰写编码水平的试着？对于此事，创作者自己表明：他已经和 Laura Culp、Sara Sabour 一同科学研究那样的念头。
我们知道，Hinton 谈及的Google科学研究生物学家 Sara Sabour 先前也是胶囊网络毕业论文的第一作者，在 NIPS 2017 毕业论文《Dynamic Routing Between Capsules》公布以后，Sara 也开源系统了一份 Capsule 编码。
GLOM 是如何一个念头？
有强大的社会心理学直接证据说明，人们会将视觉效果情景分析为一部分与总体的结构分析，并将一部分与总体中间角度不会改变的室内空间关联模型为她们为总体和一部分分派的本质平面坐标中间的坐标变换。假如想让神经元网络像人们一样了解图象，大家就需要搞清楚神经元网络怎样定性分析一部分 - 总体这一结构分析。要保证这一点并不易，由于一个真正的神经元网络没法动态性地分派一组神经细胞来表明分析树中的一个连接点。神经元网络没法动态分配神经细胞是一系列应用「胶襄」的实体模型的主观因素。
这种实体模型假定：一组名叫「胶襄」的神经细胞将始终致力于一个特殊种类的一部分，这一种类发生在图象的一个特殊地区。随后，能够 根据激话这种事先存有的、特殊种类的胶襄的非空子集及其他们中间的适度联接来建立分析树。可是，本毕业论文叙述了一种十分不一样的方式 ，应用胶襄来表明神经元网络中的一部分 - 总体结构分析。
虽然文中关键关心单独静态数据图象的认知，但将 GLOM 当作一个解决帧编码序列的 pipeline 是最非常容易了解的，因而一张静态数据图象将被视作一些同样帧构成的编码序列。
GLOM 构架是由很多应用同样权重值的列构成的。每一列全是室内空间部分自编码器的局部变量，这种伺服电机学习培训在一个小图象 patch 中发生的多级别表明。每一个自动编码器应用双层自底向上伺服电机和双层自顶向下视频解码器将某一层级上的置入变换为邻近等级上的置入。这种等级与一部分 - 总体结构分析中的等级相对性应。比如，当表明一张脸的图象时，单独列很有可能会收敛性到表明鼻腔、鼻部、脸与人的置入空间向量上。图 1 表明了不一样等级的置入怎样在单独列中互动。
图 1 并沒有表明不一样列中同样等级的置入中间的互动。这种互动比例内的互动简易得多，由于他们不用完成一部分 - 总体坐标转换。
他们如同双头 transformer 中表明不一样词残片（word fragment）的列中间的专注力权重计算互动，但他们更简易，由于查看、键合值空间向量都和置入空间向量同样。列间互动的功效是在一个等级上造成同样置入的 island，方式 是让该等级上的每一个置入空间向量重归到邻近部位上的别的类似空间向量。这就造成了好几个部分「回声室（echo chamber）」，在这种回声室中，某一等级上的置入关键关心别的志趣相投的置入。
在每一个离散变量時间和每一列中，将某一等级的置入升级为下列 4 个內容的加权平均：
针对静态数据图象，某一层级上的置入应随时间的流逝而趋于稳定，以转化成基本上同样空间向量的不一样 island。等级越高，这种 island 应当越大，如图所示 2 所显示。
应用相似度的 island 定性分析图象的分析，防止了必须分派神经细胞组来动态性地表明分析树的连接点，或事先为全部很有可能的连接点预埋神经细胞组的要求。GLOM 沒有分派神经系统硬件配置来表明分析树中的连接点，都没有为连接点出示偏向其先祖和子孙后代的表针，只是分派了一个适度的主题活动空间向量来定性分析该连接点，并为归属于该连接点的全部部位应用了同样的主题活动空间向量。浏览连接点先祖和子孙后代的工作能力是根据自底向上和自顶向下的神经元网络完成的。而不是根据应用 RAM 开展表搜索完成的。
和 BERT 一样，全部系统软件能够 开展端到端训炼，便于在最终的時间步从存有缺少地区的键入图象中复建图象，而目标函数还包含2个正则化程序流程，他们促进在每一层上的 island 基本上空间向量同样。正则化程序流程仅仅某层的新置入与由上而下和由上而下的预测分析中间的协议书，提升该协议书将有利于转化成部分 island。
和别的神经元网络有什么不一样
与胶囊网络对比，GLOM 的关键优点取决于它不用在每一个等级将神经细胞事先分派给一组很有可能的离散变量一部分，这容许在相近部件（如胳膊和腿）中间开展大量的知识共享，而且在归属于特殊种类目标的一部分的总数 / 种类上具备更高的协调能力。另外，GLOM 也不用动态性途径，并且其产生聚类算法的全过程要比胶囊网络好很多。
而与近期热门的 Transformer 实体模型对比，GLOM 的再次布局等效于 transformer 的规范版本号，但具备一些不同点：各层的权重值都同样；巨大简单化的注意力机制；在大部分 transformer 实体模型中用以出示大量感染力的 multiple head 被再次设计方案成用以完成一部分 - 总体结构分析的好几个等级。
在该科学研究中，Hinton 表明，当时明确提出胶囊网络，是由于卷积和神经元网络 CNN 存有三个可认知的缺点。假如你了解 CNN，那麼还可以将 GLOM 视作一种独特的 CNN，它在下列层面有别于规范 CNN：
• 它只应用 1×1 的卷积和（除开前面以外）。
• 部位中间的互动是根据无主要参数均值来完成的，该均值完成了合乎过滤装置，后面一种容许自身应用霍夫变换（Hough transform）来激话模块，而不但应用配对的过滤装置。
• 迭代更新不应用单独前馈控制解析xml表明等级，只是容许神经系统场完成由上而下的危害。
• 它包含可比性自监督学习，并实行层次切分，它是鉴别的一部分，而不会再是独立的每日任务。这解决了不透明的问题。
GLOM 互联网，真的是将来方位吗？
如同网民们的评价所言：无论 Geoffrey Hinton 所明确提出的是不是一个好点子，大家能够 发觉他的写作风格十分让人开心。这名 2018 图灵奖获得者在篇数很大的毕业论文中非常好地搭建了自身的念头，并根据各种各样不一样角度将其细化。即便这类实体模型最后从技术上被证实并不是很行得通，大家还可以从他逻辑推理的全过程中得到很大的启迪。
本毕业论文最开始是一个用以完成的设计文档，但迅速就由于必须证实一些设计方案管理决策而用心去感受。Hinton 应用幻想的 GLOM 构架做为专用工具，来传递一系列相互间关联的念头，这种念头致力于表明神经元网络视觉识别系统的內部结构。因为沒有详细介绍行得通的完成，Hinton 更非常容易致力于将念头表述清晰，防止大家忙碌将「idea 品质」与「完成品质」放到一起讨论。
「科学研究和社会学的差别就取决于，试验能够 证实极为有效的念头是不正确的，而极为不科学的念头还可以是恰当的。」
现阶段，Hinton 已经参加一个项目合作，以检测 GLOM 构架的工作能力。另外，他也期待别的科学研究工作组可以参加到认证所述念头的队伍。
分析树中的连接点由类似空间向量的 island 表明，这一见解统一了二种十分不一样的了解认知的方式 。第一种方式 是經典的格式塔流派，认为人的大脑的运行基本原理归属于整体论，总体有别于其构件的总数，还明确提出了「场（field）」的基础理论来模型认知。在 GLOM 中，一个 percept 便是一个场，表明总体的共享资源置入空间向量事实上与表明一部分的共享资源置入空间向量十分不一样。第二种方式 是經典的人工智能技术派系，它借助构造叙述来创建认知实体模型。GLOM 也是有构造叙述，分析树中的每一个连接点都是有自身的「详细地址（address）」，但详细地址坐落于很有可能置入的持续室内空间中，而不是硬件配置部位的离散变量室内空间中。
一些深度神经网络的批判者觉得，神经元网络不可以解决组成的层级管理体系，必须有一个「神经系统标记」插口，使神经元网络的前端和后端可以将高級逻辑推理转交给一个更为 symbolic 的系统软件。而 Hinton 坚信，人们的关键逻辑推理方式是应用对比（analogy），而这种对比往往变成很有可能，是由于学得的高维空间空间向量中间存有相似度。他还得出了一个有关神经系统标记插口的对比，觉得这一插口如同汽车企业们花销 50 年的時间诠释电机的缺陷，但最后還是陆续将电动式机器设备添加车用汽油模块（混合动力、电化）。
BERT 的巨大成就及其初期的科研成果（假如每日任务必须，神经元网络能够 輸出分析树）清晰地说明，假如神经元网络想要，他们能够 分析语句。根据搭建 BERT 双头中间的互动，使他们相匹配于表明的等级，并根据加上一个比照学习培训的 regularizer，以推动在每一个等级的好几个词残片上部分 island 的一致性，这很有可能说明 GLOMBERT 事实上在分析语句。
