一点发散

大概是下午还是晚上时候的一个思路.
不知道还接不接地上.

某种程度上来说,neural network有点像数字电路里的基本逻辑.

尤其如果把一个trained network看作一个single unit的话.
DNN实际上就是一堆unit的组合.

从程序语言的角度来说,有点像low level machine code和high level programing language.
把一些基础的底层抽象作为某种形式的feature,去构建更高纬度的描述.

就像一个简单的例子.
一个NN识别长方体,一个NN识别个数,一个NN识别角度关系.
组合一下,差不多就能够描述一张桌子了.

剩下的其实就是这么调参和组合/加权的问题.

而想想,人意识到是一张桌子的过程和采用的feature可能也差不多.
只不过会更复杂一些.

比如context里有屋子,有椅子.
然后概率性地会把对"桌子"的识别的搜索限定到"桌子"的范围内.

就像AlphaGo的policy network.
本质上就是把一些常规棋谱的模式encode进来,提供给value network做一些"常规"的"符合人类直觉"的选择.

只不过这里比较tricky的地方是,policy network encode的模式是一个snapshot.
下子之间不具有关联关系.
所以某种程度上来说,容易出现实际超长步数的策略建议.

回到NN的问题上.

既然一个DNN是一种NN的叠加和组合产生的高阶描述.
那么理论上来说,只要堆叠的NN足够多.
在不考虑运算力和存储等现实约束的前提下,进化出"智能"/"意识"也不是不可能的.

毕竟,人类的所谓学习/创造能力也不过是一些在现有learned feature上组合出来的.

尤其是如果数学推演能描述人类绝大多数甚至全部构成和行为的话.
那么在这点上,两者是完全没有区别的.

即使是matrix里提到的"感情"这种不等式存在.
在形式上来说,也是可以被精确描述和还原的.

所以,在这个层面上来说,讨论AI和人类的区别是没有意义的.

而实际上,这种堆叠不可能是无限细化和实时的.

某种程度上来说,人类对于NN based的AI来说,就是某种形式的laplace's demon.

至少从目前的技术角度来说,类DNN架构里,NN的数量相对于人类的神经系统来说还是非常有限的.

但是,如果换个角度来说,这里就可能存在某种形式的商业逻辑.
也就是一开始所说的数字电路/编程语言的思路.

考虑,如果把所有NN开放到互联网上,以某种公共协议的方式进行数据交换/交互的话.
那么就有可能把这种AI的智能程度提高一个层次.

就像桌子的例子.

通过全网的某种类RPC形式的交互调用可以得到某种encode比较丰富的feature vector.
它的dimension数量可能是想关于NN的数量的.

这么考虑的话,一个集中全网范围的存储和算力的类DNN架构,其"智能"程度也就可能超出现在的想象.

而对于"自主思考"这类问题,本质上来说不过是一些细化的feature组合之后,产生发现一个新的比较有区分度的sub space的过程而已.

比如对于一个自然数的加法group.
某个NN或者DNN能够infer/encode出5+5+5,3+3+3+3这类相同数字的连续加的结果的一些模式.
然后另外某些能够infer/encode出这里有连续数的+操作.
那么两者结合一下就有可能出来关于*的一个NN/DNN.
apply 回去的话,就是一个比较完整的关于*的创造性/学习/新的描述了.

实际上,AlphaGo的reinforced policy network就类似于对supervise policy network的一些模式encode.
对应与+操作的一些high level abstraction.
在基于此上的value network就是类似于infer出来的*操作了.

所以,从这个角度上来说AlphaGo确实是一种比较完整的对于人类思路的复刻.

某种程度上来说,大概所有DNN都是这种模仿方式.
只不过在实现上,由于各自选择的对于low level information的abstract角度不太一样罢了.
而在某些问题领域上,可供选择和考虑的抽象并不是特别多样化,所以是可能存在一定程度的重复工作的.

于是,以这个角度考虑一些做ML方案/平台的各种startup的话,方向倒也没错就是了.

从狭义上来说,都是各自提供了一些自己的pretrain的model给人做二次开发的.

如果能够推广一下,以某种公共协议或者调用方式对各种异构的NN做一个数据交换的话,大概人类文明能有一个比较大程度的飞跃.

尤其如果能推动到数学推演上面的话,以AlphaGo这种搜索方式的话,大概会有相当一部分问题能得到解/证明/证伪.

从这点上来说,AlphaGo的意义还是相当时代性的.

至少也是给通俗世界提供了一种新的思路.
就像前几年把DNN带到工业界的意义一样.

尽管,可能这些东西在学术界躺了几年甚至几十年了.

但终归,总会有像Google这种有能力有威望的人,把它带到人们面前.

创造或者提供一种全新的角度审视一些问题/东西.