前言:
在深度学习中,我们会用神经网络来研究图像,音频等信息,可以看成是神经网络系统对视觉,听觉等系统的逼近。
为了叙述方便,将自然系统记为, 而将神经网络逼近的过程动态的表述成序列。这里强调一点,这里序列的逼近过程可以看成是同一个网络结构下的参数的训练迭代过程,也可以认为是网络结构上的革命,如从,到,再到,等。这两种类型的逼近序列一个是通过数据加计算力依托于,,等机械设备完成,另一种序列虽然也离不开训练,但更多侧重于人类的视觉特点以及计算过程的敏锐把握,但整体而言我们都在做一件事:,在一定程度上如果能高效实现任意精度的逼近,那么可以认为是强人工智能和解决问题的智能机器,并且,这样的机器能将被认为是有知觉的,有自我意识的。可以独立思考问题并制定解决问题的最优方案,有自己的价值观和世界观体系。有和生物一样的各种本能,比如生存和安全需求。在某种意义上可以看作一种新的文明。),如果是在逼近过程中出现瓶颈,那只能认为是弱人工智能,也就是说图灵测试不可能真正完成。
这篇文章最主要就是基于物质层次结构来谈一谈中发生的事。
首先我们必须回答是如何形成的,最容易观察到的就是神经网络中的层次结构,为了认知这种层次结构,我们考虑物质层次结构的三大定律:
. 在自然界中,一定的物质结构层次与一定的物理状态是相适应的,当外界给系统的能量超过一定的值时,系统的层次就会发生突变,导致旧层次的消失与新层次的产生。
解读: 恩格斯认为新的原子论的不同点在于其不连续性,这种不连续性本质上是一种硬阈值。这可以理解成压死骆驼的最后一根稻草,比如说对于一幅图像,我们通常认为更改一个像素点不会更改其分类,那么再改一个呢,一般也不会影响,但是一定会存在一个值,超过就变了。同理平移旋转也会出现同样的情况。
笔者认为可能的解决方案有四种:
定义新的拓扑邻域结构,因为机器学习算法本质就是在为了克服维度灾难,来预定义一定的邻域结构,我们要做的就是将通常的球形邻域结构拓宽。
稀疏表示, 主张把自然图片分成低秩主要部分与稀疏噪音部分,这可以理解为对一张图片稀疏加一些数值比较大的点噪,可以通过低秩这种不连续的方式去除。
在原有的网络基础上加上不连续的部分,比如不连续激活函数等办法。
在十九世纪的最后一天,开尔文男爵认为的物理学上的两朵乌云之一的黑体辐射本质上就是不连续性问题,后来的量子力学就是引入了概率的方法加以诠释。因此很有可能通过概率这种不连续模型改进,比如传统的 是否也可以视作概率化引入不连续的一种手段呢,有待考虑。关于这一点,心疼犹太·珍珠老爷子三秒。
. 自然界中一定层次的物质系统的尺度与它的组成要素之间的结构能成反比关系。
解读: 这个定理告诉我们尺度越小的结构,揭示所花的结合能越大,意味着为了学习到比较精确的系统,所付出的代价是越来越大的。正如我们担心摩尔定律失效,现在续命的手段, 等提升的水平也必然是有上界的。即便将来有新技术,有新的计算结构,但只要我们能够利用到的能量是有上界的,单位计算消耗的能量有下界,那么你能实现的计算也是有极限的。 从这点上来看很可能像绝对零度那样是可望而不可及的,而基于计算这种盲模型的终结也意味着深度学习的终结。因此笔者对于 完全基于计算力的模型乃至于深度学习的发展方向不是很认同,也可以认为有亟待改进的地方。
当然还存在另一种可能,那就是人类的感知本身就是,那如果直接转化为新的计算机呢,这种逼近不就可以自然达到,但此路很是艰难。抛却技术难度,这样的行为与人类自己把自己关在黑客帝国的虚拟世界里有什么区别,人类真得甘心作为计算的奴隶,充当一个个比特位。想起玻尔兹曼的大脑,不寒而栗。
. 物质形态的多样性与丰度成反比。
解读: 自然界遵循低级到高级,简单到复杂的发展方向,自然系统的物质层次越高,结构功能越多样化,但这一层次系统在宇宙中的丰度越少。对于一个神经网络,我们通常的理解就是从低级的特征学习到高级的特征,这也对应着不同的物质层级,虽然底部的低级语义特征很多,对应的高级语义多样,但是稀疏存在的。因此如果我们可以更好得兼顾语义的稀疏性,那么这个的系统会越来越成熟,而这种语义的稀疏性是否直接对应于线性空间中表示向量的稀疏性,这也是值得考虑的问题。基于语义传输过程稀疏化架构的网络,应该是一个比较好玩的。
作者:三眼青蛙
编辑:管仲
进球数
爆冷
金皇朝彩票开奖
两位关系走势图
单场