看最近DeepSeek的更新频率好像赶上来了.
差不多可以做到一个月一个版本.
而且就最近的版本基本都是post train的增强.
尤其前两天特别提到了RSI和所谓雷霆大思考的问题.
想想,大概就是在模型基本能力足够好的前提下,agentic的post train可能是短期内一个比较容易降本增效的方式.
毕竟想过度thinking这种,直觉上是容易在RL的过程中给定约束慢慢收敛/缩短的.
同时保证结果大差不差.
而结果能保证的原因大概就是基础能力迭代上,能把中间状态以更抽象的方式形成参数.
当然,这个方式也明显应该是存在一个极限的.
只是这个极限到底是大还是小就是个比较有趣的问题了.
同期间Anthropic那边也抛出了一个端侧模型能力威胁论.
这个翻译过来大概就是Anthropic可能已经发现继续扩大参数边际递减之后,反向思考了下,可能意味着当前的模型参数还不够紧凑.
加上各家post train/RL的现状,小模型甚至端侧模型可能也能达到一两年前SOTA大模型的能力范围.
如果这个成立的话,那大概又是一个翻天覆地的变化.
因为它可能又会对当前agent的一些范式造成冲击.
从DeepSeek当前这个更新来看,是已经会更多的利用subagent/agent team去派发任务了.
这个一方面可以认为是对context的水平扩展.
因为既然给定一个agent上下文1m已经容易出现attention发散的情况.
那么一个很自然的思路就是把不同的部分切分到不同的teammate去处理.
就像以前的单机到分布式的变化.
无论存储还是计算,最后都走了水平扩展的方式去面向现代应用场景.
所以,agent向team发展可能不单止是对人类协作模式的一种模仿,而可能实际上是一种意外的工程选择.
从这个角度考虑的话,参考理智,形式上是可能从当前的agent team迈向agent cluster甚至像k8s的virtual agent这种巨型抽象的存在.
也就是一些科幻作品里容易出现的蜂群.
实际上,从DeepSeek之前公开的论文里就有提到agentic post train的过程实际上就是几万几十万的agent在不断做题.
而如果不是做题,而是迈向协作处理一个问题,那么就是一个多少有些可敬可怕的场景.
即使特定在coding领域来说,也差不多属于可能投入了几十万80分位程序员的一个项目了.
当然,人月神话也至少把这个恐怖程度稍微降低了一点.
毕竟,投入不代表产出.
至少不单代表产出,还附带沟通成本.
实际上,目前也还没出现类似这种超大规模agent协作的例子.
可能也不能说没有,OpenAI的各种公关事件可能就是利用相对规模的agent协作达到的.
但至少还不是general available的.
毕竟,agent之前的通信/交互框架还是得重新设计一下以适应这种规模的co-operation的.
而且还有个实际的算力问题.
虽然现在的API方式做到了某种程度上的架构分离,形式上可以支撑多用户/请求/agent并发.
但从outage的情况来看,还是算不算充裕的.
于是回到开头的.
如果distll到小模型甚至端侧模型,能力能达到前几代SOTA的范围的话.
那么这个agent swam的现实就显得更近了一点.
即使只是LLM自身得到提效,那么它也可能使得agent team从十几几十跃迁到百的数量级.
从经典的软件架构经验出发可以知道,水平扩展之后,它可以保障或者说能够提供的就是给定latency范围内,有着形式上更庞大的计算能力.
这个可能就代表着一些近实时的场景可能也能用上LLM来处理了.
比如低速的自动导航,或者非极端场景的自主机器人等.
所以后头看梁文峰的一些选择变化,大概也是有类似端倪的.
从开始说不作多模态,到忽然不仅视觉识别,还开始语音支持了.
从单纯拼模型参数,AGI能力,到开始在post train方面下功夫.
从Pro到Flash的token生成速率跨越追求.
未来如果再出一些面向特定场景的端侧模型,可能也就不意外了.
而且他和其他人有一个很大的不同就是,DeepSeek可以不是他的现金牛.
因为他还有幻方.
甚至从初心来说,DeepSeek也只是主业幻方的一个意外副产品.
为了快速搜集加工信息而走出来的一条路.
所以,相对于其他可能所有AI公司来说,他其实是理论上允许DeepSeek失败的.
而这可能从道家的角度来说,就是反而无欲则刚.
当然,时至今日,可能已经不能单方面这么说了.
他可能已经有了更大的vision.
但对于天下武功,唯快不破这点,应该还是成立的.
