我们的模型学的实际上是物理的因果,物理规律它天然就是一脑多形的。
但是如果你学的是分布,学的是模仿,学的是动作,那就是一脑一形的,还是在学人类的这种动作的模仿。
如果说一旦出现分布外的一些场景,在你训练样本分布外场景的话,它的表现就会大打折扣。
而我觉得是学习物理规律,才是最终能解决机器人能不能理解世界的最本质的能力。
量子位:理想的智驾之所以能成功,有清晰的量产车数据路径,但昆仑行没有类似的量产数据飞轮基础,你怎么看?
郎咸朋:数据这块,我们的一个公式就是,数据效率等于获取效率乘以使用效率。
在我们的物理因果模型上,我们认为在一定规模前提下,其实使用效率更加关键。
而使用效率达成就是我刚才说的这种数据编译,它让一条数据富含更多的物理量,然后更加符合物理因果的这种模型的要求,而不是简单地去堆砌规模。
如果是简单地堆规模的话,就能上去的话,那我觉得还是在堆相关性,在堆模仿学习。
那么刚才你提到理想有150万辆车队,去做大规模的这样影子数据的收集,这恰恰是因为我们之前做自动驾驶的话,还是一个模仿学习的这样一个本质,所以这么做是合理的。
但是到了具身这一块的话,它没有影子模式的前提,所以我们不得不去重新去审视对数据使用的做法。
如果说还是在去追求获取效率的话,那我认为这个上限是有天花板的。
它因为不管现在是用真机的这种采集也好,还是什么也好,它的成本会随着规模的增大而放得非常大,这跟之前自动驾驶的影子模式是完全不一样的——基本上零成本地去获取数据。
UMI的数据,或者Ego的数据,合成的数据,互联网数据,这些数据我认为都不能直接用,需要经过数据编译之后才能成为有效的数据。
如果说你想直接用于模仿学习的预训练或者后训练的话,还是非常有挑战的,我认为这是范式的问题。
如果你的范式走的是模仿学习,那在这条路上数据会是非常大的卡点。但如果你走的是对世界的理解,对物理规律的理解的话,走数据使用效率这一帧的话,我觉得是更合适的选择。
举个例子,我们发现一些物理规律,比如说牛顿的万有引力,他不是在全世界全看一遍苹果落地的数据之后,他才得出这个结论,他只是通过少数的数据就可以判断出这个规律。
我觉得这是也是人类学习和总结规律的做法,所以我接下来要做的就是怎么把数据编译这件事情做好。
量子位:具身现在还没收敛,数据这块争论特别多——真机数据、合成数据、纯仿真的路线各执一词,WAIC现场也一直在强调这个。但在你们这好像不成问题,因为最后都要经过“数据编译”这一层,是这样吗?
我们的世界模型从设计的第一天开始,就是把握住了这样一个叫“物理因果”的第一性原理。
首先有一个行为的目的、目标,有了目标产生了动作,动作产生了一个结果,这个结果评价动作的好坏。
那么我们在模型设计里边,其实也是这么来设计的。我们现在整个的模型架构是一个MoT的架构,很多人也在用MoT,但是它是从模态上去分多个专家的,文本的、视频的和动作的。
但是我们从一开始的理念不是这么分的,我们分的就是目的、干预和结果。
我们的目的呢,是一个就是用自回归的方式去做文本和场景的理解,是产生我们动作的目的。
第二个是action(动作),动作是我为了这个目的,我要做什么?
第三个才是我的结果,就是我做了这个动作之后,我会产生什么样的结果?是用因果的关系来分的我们的专家。
我们是设计了一个叫联合因果注意力机制,跟之前的MoT有所区别。
之前MoT架构里面,它的注意力机制是完全share的,三个专家可以完全地共享,但是我们认为不合理。
当我在做动作的时候,我应该只能看到我的目标是什么?等我做完动作之后,动作和目标产生这样的结果。
在我们的因果注意力机制里面,我们的注意力机制是单向流动的。换句话说,我在做动作的时候,我不能偷看我的结果是什么,这样就作弊了,也不符合我们因果第一性的原理。
我们的世界模型既可以生成动作,又可以生成对这个结果的预测,还能渲染最终的视频的结果,我们是同一套架构能做各种各样的事情。
这是我们对现在的世界模型一些思考,但是我认为随着技术的迭代,我相信将来还会有很多范式的迭代,但是我们的目标没有变。
从一开始就跟我们做自动驾驶一样,从一开始我是要实现数据驱动的。那么现在我做具身智能也是,从一开始我就要实现模型对世界的本质的理解的。
过程当中的具体的方案我可以迭代,但这个方向我是始终非常坚定的。
量子位:公开报道里提到你们走的是“物理因果VLA”的技术路线,刚才你讲了不少世界模型的东西。这只是名词或概念上的选择,还是说你们在两者间其实有某种倾向?
郎咸朋:我刚才说的,是我们在不断迭代我们达到物理因果,或者对这个世界理解的路径。
这个路径到底是什么?刚开始可能是VLA,但现在我们慢慢迭代到world model,后续可能还会有其他的迭代。
我觉得还是我说的那样,就是实现的方法可以迭代,但是实现的方向我们是不变的。
郎咸朋:数据编译是一个我们非常核心的一个技术细节吧,我就不展开讲了。
但是我觉得可以讲讲里面的一些概念。我们认为如果你想做物理因果的实现的话,那你的数据里面一定要富含物理因果。
刚才从模型的架构设计上,我们已经含了物理因果了,但是我觉得数据本身也要含物理因果。
数据编译的第一步是把我们在这个场景里边所有的物体,它的物理量进行显式的处理,比如说它的重力、重量、受力分析、摩擦力等等,我们会做一个显式的表达。
可能不是像大家想象的那样,就是我拿一个带触觉的传感器去摸一摸这个杯子呀什么的,它就给我反馈的东西。
因为我们收集的一些数据里面,或者我们看到一些数据里面,它并不一定都带这种力的传感器,所以我们要通过自己的模型去把它算出来啊,到底它的受力、摩擦、触觉是什么样子的?
第二个的话是我们要落实很多的物理机制,比如说一些物理规律,像牛顿第二定律等等,这些物理机制我们要沉淀下来。
第三我们要把刚才的这些物理量和机制编译成我们的最终的训练样本,训练样本里边儿就带着这些物理量和物理规律。
第四我们还会用一些数据的回传的机制,不断地去迭代和修正,去挖掘出,就跟我们当时在自动驾驶里边的影子模式一样,去挖掘出一些它表现不好的一些数据,回来再重新进行标注和编译。
量子位:所以这其实是把客观物理世界的规律——包括那些还没法量化的部分——做token化转换,听起来像是一种“数据编译”的工作?
郎咸朋:对,我们是从源头上接,我们不会很平凡地去使用原始的数据,我们会把这个数据进行一次加工,加工成我们适合我们自己这个模型训练的数据。
量子位:一脑多形也是昆仑行强调的,为什么不是一脑一形,或者套娃具身?为什么从起步就需要一脑多形?
来源:量子位
