全世界最无聊的机器人这是最近纽约邮报的一篇报道标题而这家公司的创始人们却认为这是对一家机器人公司最高的赞美这家公司叫做Dyna Robotics嗨 杰森你好 你好谢谢看多了机器人跳舞 打拳 跳钢水等酷炫的视频啊Dyna确实很无聊发布的Dyna1主攻叠毛巾 叠衣服这次发布Dyna2之后呢新机器人他酷进了洗衣房默默把脏衣服放进洗衣机操作机器 把衣服拿出来送进烘干机再拿出来折好放在架子上联合创始人杰森马说因为机器人如果真的开始工作了它本来就应该是无聊的而在这份无聊的背后呢真实部署是衡量机器人的唯一评估不能落地的话不是因为你没有腿或者你没有手是因为模型不够好什么整个系统不足够好吧你们把Dyna1的10个月的Deployment称作是Bitter Lesson可能是Bitter Sweet LessonBitter就是比我们想象到要难所以的就是因为难你就必须要去解决如果你解决了那你就会领先几大公司很多一个Deployment上发现的问题跟你在同时部署10台100台1000台发现问题都是完全不一样的你每次scale就会发现新的问题作为一个具身的公司必须要有这个conviction就是我真正要把部署做下去要scale下去而在机器人计划上Dyna也在进行一系列前沿的探索在一年多前硅谷101采访他们的时候Dyna万用的还是VLA而到了Dyna2他们决定重新做底层模型用WAM世界动作模型同时把预训练数据扩大到了100万小时第一人称人类视频他们发现随着人类视频从100小时1000小时1万小时10万小时一路增加模型不仅越来越会预测人的动作连它从来没有在预训练里见过的机器人动作也预测的越来越好Dyna将此称为跨本体牵移cross embodiment transfer scaling law100万小时的第一人称数据找到了机器人数据scaling law的端倪从100小时1千1万到10万每个阶段每个阶段都发现说它数据越大就越好每一次我们把数据10x这个模型的prediction就变好那如果换成第三人称视角的视频会不会可能还会继续有这样的scaling law应该会有scaling law但可能slope就很不一样是不是现在快到了一个GPT3的一个时刻了Robotics有没有GPT moment我觉得可能也没有那么很重要的感觉那这一期的视频播客我们时过一年半再次回到Dyna Robotics他们不仅换了新半个史连对模型数据和机器人的思考也都很不一样了上一期我们采访了联合昌食人York Young这一期我们对谈Jason从技术和部署的角度去谈谈Dyna在过去两年发生的挫败教训反思优化以及我们更想通过Jason去理解这一轮硅谷巨神智能正在发生的变化和趋势那么以下就是我与Jason的视频播客哈喽Jason你好欢迎做客硅谷杨林你好你好非常荣幸上你的podcast那这个采访呢我们也带了一个cohost来君吴他也是在机器人行业这样呢待会我们可以就一些专业的问题可以一些比较深度的探头那君吴要不要跟大家介绍一下你自己我叫张君吴我是现在在Blue River Technology做机器人工程师你好Dyna最近是有一系列的发布同时呢我也知道硅谷这边啊其实最近机器人行业也很热闹啊很多机器人公司都是有新的模型在发新的demo在发你觉得现在我们机器人是进入到一个什么样的一个新的里程碑了吗为什么大家在最近有这么集中的发布啊对我觉得这是个好问题我觉得把通用机器人做下去还是需要一两个至少一两个突破吧然后很多公司这个大的路线都是差不多了吧就首先要scale data把数据搞上去然后这个model里面有一些capability也想做出来也可能就是暑假是个发东西的好时机所以大家就首先都把东西发出来对然后我觉得整个机器人领域的话现在是一个逐渐从demo到真正就是商业落地的一个阶段吧然后我们公司的话肯定也在这方面做了很多的工作我们也本下肯定也会谈所以我觉得是一个非常做robotics就是非常激动人心的一个时刻从你的角度看啊就是现在的这个时间点意味着就是机器人的这个行业进入到一个什么样的阶段如果我们把它跟LLM相比的时候有些人说是不是现在快到了一个GPT3的一个时刻了可以这样对比吗我觉得可能现在还在GPT2和3中间的阶段吧我觉得就纯从数据scale的这个角度来看的话我觉得我们robotics的数据还是相当于GPT3这个阶段的语言模型拥有的这个数据量还是要小一些的但我觉得robotics的话也跟语言模型不一样就是你可以有很强的robotics model可以干一些指令下的一些任务就是一些specific setting的任务但像语言模型的话如果你不能跟它流利地去聊天的话其实没有什么capability可以真的用上所以我觉得从产品形态来说的话robotics有没有GPT moment我觉得maybe not a sense就是可能也没有那么很重要的感觉对不过你讲到GPT moment现在有很多这个讲法就是说机器人好像可能就不一定会有GPT moment这样一个概念因为大家的这个机器人的这个形态也不一样啊然后包括他们处理的一些具体的一些任务也不太一样你觉得会有一个就是有这样一个GPT moment吗还是说要看情况我觉得是要看情况的我觉得就是在聚生智能之前我们可以看就是这个无人车对吧autonomous driving我觉得autonomous driving的话就没有人提过GPT moment的这个概念对吧因为说实话就是Waymo啊Tesla其实把一个demo做好十多年前已经就有了但是我觉得从一个demo到这个真正落地能在三番里就是打个Waymo这个车的这个距离还是挺长的所以我觉得在真实世界里做迭代的话其实这个过程还是比较长的就算现在我们有很多跟无人车刚开始的话有很多much better这一些技术但我觉得这个过程还是必须要有的肯定不能像就像语言模型一样因为大家已经有了手机有电脑这些东西如果能上XGPT这个网站你就能用到这个intelligence在聚生的话我觉得如何把这个intelligence用上去是个很难的问题你刚才说那个最近data上面有进展然后模型上面有进展所以也就是这两个方面有进展让机器人又可以往前面迈一波对我觉得这两个是其实最重要的两点之一但我觉得还有一个东西其实也特别重要的就是硬件如果没有硬件的话那这个model不管再怎么厉害你其实根本就感受不到它很厉害对吧如果你这个硬件只能做比如说一个很小的机器人它只有五个自由度那它也只能做一些很简单的抓取所以我觉得在据实现的话就是模型数据和这个硬件必须要一起往前进步这样才能达到一个最终这个我们觉得就是达到一个产品真的能让很多不同的人欠加往后都用上硬件你主要指的是本体还是它的供应链还是它的运控我觉得是首先是指本体对它供应链就是能把本体scale上去的一个很大一部分但我觉得本体的话现在有很多不同的机器人但我觉得在design这个机器人的过程中把一些就是机器学情AI的里面的一些概念或者从把模型训练出来把它做部署的一些心得都放到这个硬件迭来的过程中我觉得是一个最后做闭环是个很大的闭位这一点其实挺有意思的因为你们的联合常事人York他之前有说过他把行业分成三派现在硅谷的机器人一类是这个model first就是只做大脑的比如说physical intelligence派他们还有就是这种heartwear first只做本体的还有就是这种integration的就是说全做的Dyna其实是第三派大脑跟本体都同时做为什么你们选这个路线对因为我觉得最后的话如果把机器人这种部署下去大家付费的不是说你的模型模型只是这整一个一个stack一部分对吧其实比如说我们去跟一些客户聊他们根本就不care我们有VLA还是什么world model他们根本就不知道这些是啥他们最后就care在他们的这些场景里能不能把这些很复杂的任务很多样性的人物能完成从这个角度出发的话那我觉得必须要把这个大脑和本体放在一起去做这样才能达到最好的效果然后从一个更技术的层面来说的话我觉得很难把模型和就是大脑和本体两个都分开然后做一个非常general的东西因为我觉得在real world就是真实世界这种物理的这种intelligence都是大脑跟你的本体连在一起才能达到很好的效果就像我们人一样对吧我们的brain就是adapt了我们自己的本体上在我的印象中我觉得Dyna其实是一个偏务实的公司是的从你们的demo上面还有从你们的本体的设计上面也能够看出来我觉得你们非常的克制不是去追求这种很fancy的这种demo或者动作反而呢你们是从跌毛巾 跌衣服这种非常落地的商业化的那个角度去设计你的路线的这是为什么呢对因为我觉得从纯学术角度来说在机器人领域里能做的事太多了就是任何一个topic都是能你可以花好几年去去纯做研究但我觉得现在整个机器人学习就是robot learning这个技术已经达到了有可能商业化的这个地带了所以现在就非常需要一个从产品从product出发的这种角度去想哪一些问题是我们必须要解决的哪些问题其实现在解决不解决都不是很重要的这样就可以帮我们整个团队都做很好的就是prioritization确保我们在技术研发就整个公司两年这个成长轨迹中哪一点我们都去做一些更正确的一些技术判断和一些选择然后从我们过去的demo里面可能也能感受到就是我们做的一些demo做的一些capability都是我们觉得真正落地就是必要的这些capability而不是就是为了拍一个视频很fancy而去做的可能因为我们这个领域也现在很火所以我觉得很多人的做法可能就是更demo driven但我觉得那样的话可能是更本末倒置然后我们就从最终我们要开发或者生产或者把几万个robot都要派出去的话那哪些技术问题我们必须从今天就开始解决从这种思考方式出发决定我们整个团队的技术其实我也有个follow up就是包括像你前面讲这个hardware的这个co-design包括像这个去了客户之后发现的一些经验我之前自己也在这个比如说物流啊调解这方面做过我觉得客户他其实这个要求是很高的是的我就好奇就是说你们对于硬件自己做硬件的选择是一开始自己就想做硬件呢还是说去了客户的这个customer site然后有一些什么样的经验教训然后让你们自己觉得哎呀不行我一定要自己来做硬件对我觉得两个都有有一点就是从第一原则的话我觉得首先就是我们要做硬件要做通用机器人那我们必须要从这个数据从哪里来用什么样的数据去做训练去引导这个硬件要怎么去设计像我们现在我们已经发布了Dyna 2我们现在预训论有大量海量的就是人低视角的数据如果我们预训论要从人学习那我觉得在做部署的时候你这个机器人的这个形态如果能跟人越像的话那这个transfer就会越好但是做人型机器人的话又有一些要不要做腿啊要不要做手这种trade off所以我们就从中间里挑了一个非常好的trade off point就觉得我们现在做一些半人型家底盘的话就可以从今天就开始deploy然后也可以拿到这个从人数据去信念的很大的benefit这是我们的一些思路就从第一原则出发开始想硬件要怎么去设计因为你们现在不是做的也是一个全人型的就是human weight对你们是没有做商组也没有做零枪手但你们觉得现在的形态已经可以去落地做很多事情了对我觉得现在这个形态已经可以做很多事情所以我觉得现在如果不能落地的话不是因为你没有腿或者你没有手然后我们内部的话也做很多零枪手的研究现在的话就是纯fundamental research纯研究而不是比如说有要把零枪手落地的这个打算因为我觉得现在的话这些零枪手的这个硬件成熟程度其实还没有到可能直接落地的状态因为我刚才看见的demo其实都还挺顺的但是我看有一些零枪手的demo反而会把这个动作给降慢下来这也是你们的一个考量吗对我觉得零枪手的话就现在做操作的话或者就做摇操的话其实比夹爪还蛮很多要把这个零枪手摇操的速度高跨也是很难的所以就是因为这些原因零枪手的demo都会比较慢一些你刚才说客户如果它不能落地的话不是因为手也不是因为脚是因为模型不够好是吗我觉得就整个系统不足够好吧因为我觉得一套系统能不能落地然后我们也在我们这个部署的blockpost里也讲了不仅仅是模型必须要百分百能做得好你也必须要有很多就是observability就是说你要知道你在这一天你这个模型干了啥你的robot干了啥你在这个在robot上的computer有没有一些就是resource contention和其他的东西所以我觉得这些都是对部署很重要的所以我觉得每一次比如说我们更新机器人然后更新模型的话我们把这些工作都做好这样我们就有一个observability在真正的用户的这个customer side对其实这些讲到了很多很有意思的点包括像这个机器人的形态对于这个crossing bottom and transfer的影响包括像你前面讲到这个gbtmoment和这个internet scale的这样的一个数据量这些我们之后可能都会有点对对对好呀我也对你们在deployment当中学到什么东西非常感兴趣我们要不要从day one然后给观众复盘一下觉得可能在你在整个的research当中的detaste跟你自己的一些选择可能也奠定了之后在那的一些技术物件你是什么时候对机器人开始感兴趣的我其实是从博士就博弈开始因为我的导师他就是做机器人和强化学习并大也有grasp laboratory就是一个很大的机器人研究中心刚读phd的时候其实我是本来想去学习强化学习因为你大学的时候其实都是在做强化学习那一块大学的时候我其实也没有做很多的研究我当初大学的时候就在探索很多不同的方向但是我就觉得reinforcement learning非常的make sense我就想继续读博去研究因为其实更早的时候就是我在国内长大的时候我就小时候就下了很多的围棋所以alpha go刚出来的时候就正好我高三吧然后我就觉得这个东西很神奇能把这么难的游戏都给work了所以我就说那我上大学必须要研究一下这个东西然后当时觉得挺有趣的所以我就继续去做了个博士alpha go打败李诗诗的时候是你高中的时候吗对那一场比赛对你来说意味着什么他们两个不仅仅下了一场对吧下了五场我就很惊讶alpha go可能是4比1打败李诗诗对因为我当初很小的时候就看李诗诗鼓励下围棋所以当初把李诗诗打到我就觉得yeah这是不可思议的东西特别是后来那个神之一手出来的时候第37步的时候有惊讶到你吗对肯定是有因为我当初就觉得37步啊或者其他reinforcement的人能找出来的一些solution就非常非常的神奇但我觉得其实跟最近language model能把一些很难的数学问题解决其实是同一个概念在一些固定的场景里如果这个奖励函数比较缺定的话AI它肯定能找到比人能想出来的solution是好这个principle我觉得十年过去都还是没有变的而当时就对比如说AI的这个大脑怎么做决策比较感兴趣然后正好机器人是不是又是iol里面的一个包括像我记得当时可能机器人啊自动驾驶啊都算是iol里面的一些比较主流的应用是吧对但我觉得在机器人这个领域iol的话必须要更谨慎的去用因为它是physical的对或者就是我觉得reinforcement learning能work最大的这个原因就是这个domain必须要有很好的模拟器对比如说游戏这种呢这个游戏本身就是个模拟器或者你做语言模型的这个语言模型这个itself就是可以模拟这个语言这个progression现在robotics的话在很多use case上做一个很好的模拟器其实非常的难对所以我觉得现在比如说教机器人跑步啊跳舞这些都是在模拟器里做reinforcement learning搞出来的但我觉得比如说要做一些就是抓取啊或者一些contact rich manipulation我觉得现在simulation还是有一些距离的我不是很encouraged就是在真机上跑reinforcement learning这个其实我曾经做过但我觉得真机的话那你parallel的这个程度就太低了永远不如模拟器你可以四千个环境一起跑这样是的是不是这也是为什么你们选择了比如说毛巾万一它的这个力度不是特别准确毛巾也不会被捏碎对吧因为不像我们之前可能做一些这种比如说包装一些维生素的瓶子啊对万一力气一大哇整个瓶子被压碎对对所以这就是我们公司在一开始想在商业化和技术同时往前进的这个生态下我们就首先从叠毛巾叠衣服出发因为很难叠烂对吧能错误这个机器人会出错但出错了不是致命的这种错对对最差就是把毛巾给撕烂或者把衣服撕烂了目前好像还没有发生对挺有意思的因为我知道我认识到很多RL guy你就说的游戏是一个非常适合去做RL的一件事情包括DeepMind他们路线也是训了很多游戏出来然后就往LLM大模型那边走了但是你没有往大模型那边走你反而选择了机器人方面的RL也是因为你导师吗还是说你自己的兴趣对可能当初做博士的时候就是我自己的兴趣吧然后当初我在做RL在Robotics一开始的几篇paper我觉得也还做得挺不错然后我当初就我导师也建议我就继续在一个路线上做的就是最顶流的这些工作这样比就是做很多不同的工作但每一篇都在不同领域都是马马虎虎那种其实我觉得RL还更高你怎么去找你自己比较感兴趣的论文的选题的你是喜欢那种挑战现有的一些认知的这样的方向吗对因为我觉得从你的那个论文题目还有你的选题都能够看出对其实我在博士后面那几年我都是这么想的就比如说我去写一篇论文这个problem必须很新颖就是没有based on因为我觉得机器人现在还没有被解决一个大原因就是这个problem statement其实大家还没有完全同意那如果在problem statement大家都没有有共识的这个condition下那如果你去写一篇就是这个problem statement已经设好了那你就beat一个based on我觉得意义不是很大我觉得在机器人的话robot learning其实能做的东西的空间很大所以我在博士后面几年我就从第一原则去想如果是要把强化学习在robotics上真正work有哪些bottleneck就很容易就发现我觉得最大的bottleneck就是这个奖励函数没有办法去设定如果你玩游戏玩围棋那这个游戏规则围棋这个规则就是这个奖励函数对吧你拿几分robotics的话不管是学走路跑步跳舞或者怎么去抓东西怎么去切菜没有人给你奖励函数对吧就你无法编一个程就把这个怎么切菜这个事儿完全用这个很数学的方法mathematical的方法写一个工程我就觉得当初这个问题必须要解决如果这个不解决没有办法做二人而且对这个感觉也很有意思嘛因为在我们生活中完成一个事情比如说拿一个杯子它没有一个标准答案对吧你可能走左边去拿或者走右边去拿也都可以对那你这时候该怎么去这个去设计它的奖励函数这是不是你前面聊到的一些对对对因为在很多manipulation任务上其实没有一个最优解对所以我有一篇paper叫VIP就是从一些人的视频里学一个prior学一个很大的reward model就是人是怎么做的就用人的这种做法去做一个guidancefor这个reward model但是应该是2022年你在Meta做的那篇文文是吗Meta那部是有研究机器人的团队的对Meta其实一直都有研究机器人的团队Meta现在也在做机器人的团队对之前就更偏学术一点因为当初是在那个fairfair在2022年的时候就是可以做很多发辑可能是fair最好的fundamental research是最好的时光对现在就很不一样所以你当时VIP的那篇论文解决的问题就是说从人类视频的时间顺序里面去学value对比如说从时间顺序来比如说我去抓一个东西那我从第一张图到最后一张图这就是一个过程对吧把这个过程这个顺序离好的话就可以帮你去做判断你现在比如说机器人去做同样的任务在这一张图的时候解决了百分之多少然后下一张图解决了百分之多少对这个任务上来说就是一种很scalable的方法去学讲理函数模型2022年的时候机器人数据很少对我觉得现在还少当时就更不用讲了所以我觉得当时就很make sense你说的摇操数据对或者摇操不摇操就是机器人视频都没有那么多对所以当时就觉得必须要有一种方法不从这个机器人数据上学习讲理函数因为机器人最后还是要解决比如说人在物理世界上想解决的一些task所以就make sense从人的视频里开始出发当时你的人类视频能用什么样的视频当时也是Wumi啊或者其他的当时还没有Wumi当初2021年其实有一篇paper也是从Fair出来叫Ego4D可能是第一篇large scale这种第一视角的视频数据Koomacentric对当初那个数据其实也有3000个小时带着什么头盔去踩的吗这个细节我可能不知道了对当初我觉得哇3000小时好大算挺多了当初就是很多了但从现在这个scale比较3000就太小了你们更迅了100万小时对吧但我觉得很有意思了就是从你当时的那个research就一直到现在是有这样的一个持续性的相当于因为感觉Dynatoo也是在讲怎么样通过更加现成的这个互联网就相对来说视频更加好采集的这样的一个数据的一个形态连续性其实也没有就是特定就特意想去用我之前的paper我觉得说实话做robotics必须要practical一点其实我之前的一些paper可能有时候too early for its time所以就是我们等一下可以讲一下Eureka这些工作所以我觉得当初做research可以但如果想用这个技术去做个产品还不是特别的make sense所以我们Dynatoo刚创的时候我其实很少用我之前的一些method而且就把一些我觉得肯定能work的method先scale up所以你觉得你2023年在英伟达做的Eureka的paper是太早了吗其实我觉得当初做出来的效果就很惊讶了当初就是第一个能不仅仅就是转笔这个demo大家可能没有看过但就是用AI它automatically generate一个降低函数我后来做功课的时候才发现您那个时候已经让GPT4去写reward code了对其实跟现在Astra写很多东西很相似但是唯一的区别是当时GPT4它是直接去写reward code它不是直接给policy它不是直接驱动经纪人的吗对不对就是当初就是GPT4先把reward code写然后我们就在simulation里跑reinforcement论然后reinforcement论就会有个policy对吧对你可以看这个policy的performance然后告诉GPT4一些feedback这样就基本上就是一个recursive self-improvement就把这个reward code一直improve对现在大家都叫RSI当初你们怎么用这么fancy是的所以你们用另一套是让当时应该是英国的shadow的那个手零交手就是让他学会了转笔对是在这个模拟器上学的对但我觉得真机上按理来说也应该可以但我觉得这工程融合很大然后当初的话林桥首市场也没有很多选择不像现在当初可能就只有shadowhand可以做但shadowhand的话它其实挺贵的几万美金一只对然后我们当初也没有这个资源所以我们就先在simulation里做了作为research的话我觉得一开始先把一个idea从模拟器里验证是一个很好的做研究的方法但我们接下来发了一篇paper叫Dr.Urigan就是教了一个机器口在一个做瑜伽的那种求胜里balance和走路保持平衡那个就是我们把Eureka放到真实世界的一个follow up work我有一个follow up问题就是最近GBT6 Astra在机器人领域的一些影响很多人都在讨论它现在对整个的机器人的影响跟你当时用GPT4去写它这个reward code带来的这种用途跟影响有什么样的根本上的区别吗我觉得根本上的区别就是GPT6的话其实你直接跟它说你要啥它就能一口气干很多事情跟你完成当初的话我们用GPT4的话Eureka也open source我们自己的code你可以看我们是怎么让GPT4自己写代码把它写的代码融进到这个我们simulation像现在GPT6它可以自己把simulator给你安装然后给你全能够好GPT6可以自己安装对但capability也肯定更高从前GPT4的话还是主要是做一个语言模型所以它对视节对空间的这个理解其实不会很好像现在的话GPT6空间理解很好所以它可以直接就是完成一些就是对spatial reasoning就是空间这个推理要求很高的一些机器人人物所以我觉得这个是一个本质的一个区别在未来会有哪些领域更多会用到像GPT6这样子的这种agentic robotics哪些是AI包括像这个agent在training这方面会更加这个有帮助的其实我觉得这两者之间其实没有在我看来没有很大本质的区别最重要的就是我们得给这个模型或者给这个agentic system一个奖励函数就比如说你train一个模型你有training laws你可以跟GPT6说你就一直改参数改到你这个training laws达到比如说2.3左右对吧如果你要让它做agentic robotics也是团的概念比如说你一直写code写到你把这个任务能做出来所以最终就是要给这个模型一个目标对对奖励函数很重要你2023年在英伟达的那个路线其实非常英伟达嘛大量的依赖这个仿真当时应该Jim Fan跟你在那篇paper上也有合作对对对Jim Fan是那篇paper的last author我当时就跟Jim和预可在NV里合作了对但当初我们做这个project的时候也没有说必须要用仿真因为当初我先做了VIP对吧从人的视频里学奖励函数所以我们一开始想做转笔的时候我们的思路是先用人的视频去学能不能把转笔的奖励函数这个function学出来但当初我在尝试这个idea的时候我就发现首先我们没有一个真正的灵脚手可以在真机上验证这个转笔的policy所以我就说那如果真机是bottle 9我们必须要从simulation里开始但从simulation里开始这个问题就非常的obvious在simulate我都不知道这个模拟器能不能训练出一个模型可以转笔因为simulation就是做模拟器最大的问题在robotic就是有一些任务你不知道这个模拟器还能不能就是虚拟就是连模拟都能不能模拟出来当初转笔因为没有人做过这个任务所以就是一个未知然后我就觉得OK在这个情况我们就首先手挫一些奖励函数吧然后就觉得手挫奖励函数这个没有出路了就必须要用模型自己去开发一些奖励函数所以这就变成了Eureka这个工作你后来去了Google之后几时做GVL吗好像又是回到了之前VIP的一个延续的工作程式吗可以这么说吧因为我当初我PhD大部分的工作就是解决在robotics能力奖励函数和一些其他的标注从哪里来这个问题我加入Google的时候当初正好Gemini 1.5刚出来其实Gemini的multi-model的能力一直都不错所以我就想有没有办法去把这些东西运用在robotics上所以我就搞了一个算法可以用VLM直接做in-context learning去把奖励函数写出来当初效果还很好其实我当初还挺惊讶的我就说为什么这个东西会work它应该不work肯定不叫pre-training对然后现在也有很多创业公司就是做GVL这样的东西去做标注不要奖励函数不要subtax annotation用VLM所以现在这种说实话GVL可能比Eureka和VIP都更commercialized一些对就是今年我觉得出来了好多数据公司对他们很大的一个落底的方向就是卖给机器人公司最近超级赚钱对然后标注就是一个大问题对所以用VLM标注挺好的你想要创业是在Google之后但你为什么没有加入你实习过的这三家公司反而是想要创业的可能是因为我当初做了很多research然后我就觉得我其实想在真实世界上有更大的影响因为我就觉得写paper这件事对我当初来说已经没有太大的吸引力然后我觉得我把这个巨深的战场不是在Lav里写paper而是真正把机器人带到真正的应用场景里看看能不能work所以你当时就意识到地步为门很重要对因为我在学术界的时候不管是在这些industry大阪的学校做过很多paper然后做过很多demo然后我当初就觉得好像我个人感觉就是我是自己在评估自己的作业没有一个真实的客户没有一个真实的ground truth因为在robotics当初就是每一篇paper都有新的demo就是想做得更酷炫但是这些所有的人我都是researcher自己猜出来了就我自己设定人就比如说我在Dr.Eureka里你叫一个狗怎么在一个球上保持平衡这个没有人做过的在我之前但我当初想出来就是想验证这个算法我觉得这个很酷但我觉得更实际应用场景那就是两码事对吧我就觉得想把我的research做了impact更大一点然后我觉得去做个startup尤其是像我们这种就是product和research都在一起的startup我觉得learning和impact会更高一些我刚刚其实也好奇了就是说你在三个不同的lab都呆过对你之后的影响是什么是不是有哪些技术方面的影响但是现在听起来反而是一个更多是一种选择和非技术方面的会不会在商业化这方面对你的影响会更多一点我觉得我在这些大厂工作对我最有帮助的有几点吧第一点就是首先就是人脉吧之前的这些mentor也是现在在机器人领域非常有影响力的人然后我跟他们其实关系一直都挺好第二点我觉得就是因为我在三个厂或者在PhD里其实不是说我在一种方法就一直写paper对吧就比如说我从人的视频里学用VM直接来做推理也用模拟器仿真去做一些reward function所以我觉得我之前就是因为我这个coverage比较高所以我在创业的时候其实没有就像我刚刚说的没有特定说我们必须要从这种一种技术路线里出发所以我就更imparsial一点我就每一个时刻就看这个阶段用什么方法最好这样我觉得让我们公司长期发展也会有帮助吧就是不会只堵在一个技术路线上这里我其实还有一个小follow因为其实你前面讲到你做很多东西其实有些时候你不太expect这个模型能够work但其实它最后反而actuallywork了那我相信现在可能有很多同学包括是在现在在读PhD的同学或者说准备想再去博士深造的同学你觉得现在模型已经能handle大部分的所有的任务吗就是在模型方面还有新的research问题吗还有没有必要读PhD对我觉得新的问题还是有很多吧因为我觉得做PhD最重要的就是要去探索新的问题而不是在已有问题上比人的刷分高了两三分这种所以我一开始讲我PhD的一些工作的时候我提的就是你要写的paper就是这种没有办法有baseline的paper你就创新了一个新的一个problem如果这个problem make sense那肯定是自然会有很多人follow out像我当初在Eureka的时候其实没有baseline对我得自己想一些baseline因为当初没有人从reward从language model里搞reward然后搞一些RSI这种东西然后做VIP GBL也是相同的要把这个problem statement想要整齐我觉得这是research最重要的所以我觉得做PhD学生的话最重要就是要找一些新问题而不是要跟比如说GBT6或者什么其他模型去比一些benchmark我觉得这样是没有太大意义的你什么时候遇到York跟Linden我是2024年3月份来的部落然后当初刚来几周我其实就认识了Linden和York对他们不在谷歌吧他们当时应该是他们keeper被收购了吗对他们当初就被收购了对当初Linden应该在Miami里对然后York好像在国内被收购之后呢休息期间吗我觉得没有我觉得我们三个都不是那种就是闲得下来的人闲得下来的人对然后当初其实是Monica介绍刚加入了Google的时候也其实在想接下来要做什么吧因为我其实就是想把robot真正带到一些真正的environment而不是就在lab的自己想任务所以我就觉得当初他们的想法跟我的想法其实是能走到一起所以那个时候可能是因为Linden跟York他们是在上一个创业项目的时候两个人是已经互为GoFounder所以他们项目被收购了退出了之后他们在想下一个项目的时候想要开始做lobotics然后这个时候呢可能Monica之前是投资人现在已经肉身加入你们了对他们是他们说我们需要一个做前沿模型的这样的一个scientist所以就找到了你对吧对那我也好奇啊就是你当时有很多不管是research还是startup的方向你可能也有很多选择Linden和York身上有哪些特质跟你是特别一拍即合的或者是为什么你选择了首先我觉得一点就是我觉得要把robotics公司做好我个人感觉是不能只做学术因为就算我是学术背景的我最后还是想把一个模型本体啊做成一个产品出来所以就是我们现在这个技术路线如果只跟比如说research一起去创业那就在这个founder team里就有很大的bias所以我觉得长期的话未必是最优的这种发展路线其次就是因为我觉得他们也做过startup然后也做得挺好的也是一个硬件的startup所以我觉得他们会在某一些领域懂得东西跟我在技术上懂东西很互补所以这个其实挺重要的LindenYork跟你现在各负责什么Linden更负责就是他是CEO嘛那就是executive的东西就是比如说对外找钱找人找一下对我主要管就是技术路线一点对技术路线就是research我们要做什么然后technical milestone整个公司technically我们接下来要做一些什么样的东西然后York其实是我目前见过其实做engineering最强的engineer之一对所以我觉得有啥特别难的东西他都可以做然后他也做一些engineering上的一些management你们三个会吵架吗我觉得必须要有争议对吧对我觉得如果没有争议那就是you don't talk in it但我不会说争议是吵架我觉得争议是好事这样我们大家就能尽早地发现问题然后解决问题因为我们三个都是想把公司做好做大的比如说你们会在什么样的问题上会有争议对可能就是比如说一些技术路线呀商业路线或者对可能大家有不同的想法但我觉得最后都是能解决的东西技术路线跟商业路线有的时候会有冲突吗把Dyna这种公司做好其实最难的一点就是如何在商业和技术上能找到就是共鸣点就是你做这些任务既能推动就是我们商业的部署也能让模型或者我们整个这个flywork达得更好所以我们一开始学一些folding就是这个原因我觉得这是做robot foundation model的第一个任务因为它就容错就是你不能你不会把这个东西撕坏不像比如说洗盘子这种你打碎一个盘子那就很麻烦了所以我们就从这个角度出发找第一个任务第二个任务但现在公司做大了之后我们之后的这个策略也可能有一些改变来我们回到DynaDyna Zero的时候你们要发Dyna One的时候你们当时选择了叠毛巾然后叠衣服作为你们的demo那个时候我觉得还是蛮兴趣性的因为你们最开始也是叠毛巾的demo活起来的当然现在我们看到很多人公司都在Dyna毛巾Dyna那个衣服我之前去WSC还有WRC的时候发现每家公司都在Dyna衣服Dyna毛巾了但是那个场景是你们当时从商业化的考虑也从技术化的考虑是觉得是一个很好的第一落地场景的对这样的一个选择是因为当初就觉得Dyna毛巾Dyna餐巾这些模型应该是能做的那最大的问题不是模型能不能做这个任务而是能不能百分之百去完成这个任务我们第一个模型发布的一个重点就是说目前有这么多什么VLAGeneral Model但都没有达到很高的成功率如果成功率很低其实是没有任何商业价值的所以我们第一个技术突破就是能不能达到百分之百接下来我们Dyna1发布之后其实我觉得大部分其他公司都在那个方向有一些跟进就发现很多公司都在发Religability的demo说明我们当初发的东西其实是有很大的影响对你们三个开始创业之后有没有讨论过只做Fundation Model的那个Layer这件事情在你们那儿就没有任何的可能性吗因为当时你看到比如说Physical Intelligence也应该成立了吧他们其实从Day1就只想做这种Intelligence Layer不想去碰硬件但是你们从Day1就没有往那方面去考虑过对一开始的话没有硬件的情况下那肯定就是先买一些别人的币去尝试先把Model做起来但我们从一开始就有做硬件的打算但把硬件要做好的话那肯定是要花很长时间的所以最近我们才把我们最新的硬件发出来大家也可以看到我觉得你们硬件还是就是能在部署一边部署的时候一边去改进硬件还是很厉害的我自己的共鸣是之前在做这种挑检机器人的时候可能有些时候因为这个线数它的设计的不当啊包括像一些这个相机的摆放的位置啊可能就导致你这个线受力过大或者这个影响你的每一次重复的这个consistency对吧它的reliability所以对我也好奇是不是在为了要达到很好的reliability你们是在硬件上也要花很大的功夫对对那是肯定的对因为我觉得reliability就是真正不管你是intelligence layer还是什么layer我觉得最后都要做到对吧但这个reliability不仅仅是model的reliability是整个system的这个稳定性那如果你只做模型不做硬件那就是这个这整个系统的稳定性很大一部份你根本就没有这个掌握所以我觉得这样的话做产品的话其实是会很吃亏的嗯你们最开始叠毛巾的时候其实都不是说一个就现在一样的一个轮盘啊也没有一个好像机器人的头好像那个时候也没有其实就是两个两个甲爪基本上这两个币对你们当时在跟投资人聊的时候他们会觉得你们不够fancy吗我觉得有可能吧就是我觉得是不够fancy同时的时候你们看到很多公司已经有人型啦双足啦humanoate对但是你们没有觉得会干扰你们是说就是做人型的公司干扰我们对我们肯定是有想就是这个接下来验尽要怎么做但我觉得我们公司一直都是非常就是务实的对吧不会说就一步要做一个很fancy的东西没有落地的机会对吧因为我们最后都是我们是非常相信这种用迭代去推进这个技术发展的这种理念所以我们不会就是从零一步就做一个最终的硬件这个的话中间出错率很高然后也没有这个商业落地的这个闭环的feedback所以我觉得这个其实想把技术做好的话技术做好的话是很吃亏的一件事技术做好是一件很吃亏的一件事就是说比如说你要把模型做好你就必须在这个你的硬件上做很多eval但如果硬件就很不稳定那你连eval都评估都做不了那你就无法知道这个模型如果work了或者不work是什么原因其实很多人就其实有这个问题就是这个系统太不稳了就会对模型发展有很多不好的这种negative feedback但像我们的话就首先部署的话就有一些比较简单的系统这样我们在这个现在目前的部署和模型可以达成个绯闻那同步我们可以把硬件我们自己的硬件做好这样就有一个parallel这种概念对是不是除非这个任务本身涉及到比如说要跨越一些很复杂的这个地形包括像需要有很大范围的移动否则不一定完全有需要做人形因为有一些人形的这个展示也是一个人形机器人但是它是在一个固定的地方我个人感觉是没有什么必要的所以我觉得很多内部就室内的工作很多其实不需要双腿尤其是就在比如说工厂啊或者商业的这种场景但我觉得家用的话因为家用这个家都是给人设计的对吧人是有腿的比如说你这个家里这个客厅有上下楼梯这种对那我觉得做轮实可能会有一些局限性但我觉得工业啊或者就是商业场景地都是很平的因为他们尤其是在美国他们是有一些这个regulation就是必须把低做了一遍所以我觉得这对一开始不熟的话是会有很大的优势那么回到那个叠毛巾的那个案例上面来哈叠毛巾的难点在哪里啊我们一开始觉得就是叠毛巾难然后后来发现叠毛巾我们模型其实做得很好很快最后难的就是把你叠完的毛巾能不能就很整齐的一个一个往上叠这个其实比较难精准的要求比较高尤其比如说你要叠十个毛巾在一起如果你第三个毛巾比较歪那你上面的毛巾那你就继续挖下去就抗胖了所以每个毛巾都要叠得非常的整齐对在很准确的位置对所以把这些整齐这个度提升其实是后来发现其实还比较难中间最难的一点是什么就是比如说甲转啊它的难点在哪里呢就是说我发现我叠错了然后我能怎么把它给纠正过来这块是最难的吗因为我看那个Dynamic 1当中也是有三款嘛然后你的Foundation with one model到autonomous exploration然后到intentional failure recovery那是不是这种intentional failure recovery也就是说哎呀我搞砸了这事我能够把它给掰回来这一步其实是模型最重要也是最难的一步对这种是肯定最难让模型学习的这种动作对所以我觉得是有一些难点的对但我觉得现在Dynamic 1一年多之后了我觉得这个在我们公司目前来说我们知道如何去解决然后能解决得很好怎么去解决这个就不能透过了这是通过RL的方式吗我觉得RL是一种对但我们有多种秘密的recipe对其实我待会在那个world model这方面其实我也挺好奇你们的一些技术路线的选择以及world model的一些具体的应用方式是不是能帮到这样的类似于这种的failure case那么现在就问了好呀对其实我这也好奇了因为你说一开始的这个错误可能会之后会compound那现在有了这个world model我知道你们没有选择在inference time去产生这个未来的video prediction但是如果选择的话是不是可以理解为可以去预测未来的这个视频是什么样子那在inference time的时候是不是就可以去预测可能的这个错误的情形就是就可以去预测可能的这个错误的情形从而在就像比如说你一下围棋在inference time就想很多步哪一步有可能有问题然后我在dynamically再选择因为跟这个相关的其实也是dynamically达到了比如说110毫秒可以生成未来三秒的这个视频吗按理说应该也算比较快了那你们为什么没有选择在inference time的时候产生这个视频对我们在写那个blockpost的那个那几个模型是没有用到inference time就是产生视频但我们这个现在的模型是有这个capability但我觉得就是很多情况下有一些问题可以用更简单的方法去解决我们就用更简单的方法去解决像这个inference time generated video其实是比较expensive的一个东西所以我们现在还在探索哪一些scenario真正需要这个capability哪些其实不需要对看来还是很部署这个就部署focus这第一步想不知道是部署啊包括像这个成本和这个性能的一个平衡对不仅仅是部署吧我觉得就是在machine learning 里就是总体来说就是更简单的方法才就是其实更work更scalable所以我们经常从做研究的角度就是要要选一些就是非常simple非常elegant的东西去scale因为我觉得这太complicate的东西就很难真正work就是说太多里面的里面可能有几步就很容易出错或者就是要调餐的话要调的很惨这一点是不是也你也是你从一开始到现在贯穿的一个不管是科研啊还是技术上面的一个一种自己的一个 taste吧对吧就是要做的简单然后要做的比较elegant这样子对就是越简单越好就是太复杂了后我觉得就很难真正的去work因为其实现在你看一下比如说在语言模型里的所有的一些big idea其实都不是很复杂尤其是一开始的一些deep learning idea对就是越simple的东西更scalable好那我们回到这个deployment上面来哈我看你们当时dana1是在六周之内最开始只能跑五分钟然后变成了一个小时八小时二十四个小时然后最后能够一天折八百多条这个餐进啊那过程当中发生了什么就是为什么会要有最开始只能跑五分钟然后到后面能够ready的这个过程对就在这个五周过程中其实我们用模型自己的rollout或者我们就是继续去做targeted error recovery可以收集很多很高质量的数据就可以让模型每次重新跑的时候就会有大量的这个质量的进步所以这个就是就是continual learning的一个过程但是这是不是说你们当时把模型或者你们的机器放在一个新的环境当中或者放到一个新的客户那儿就需要那么长的时间去部署啊其实不是的对我们这五周其实就是讲我们当初做research的五周真正部署啊像我们最近的话部署其实有一些场景有一些任务其实几天都不需要竟然达到一个模型就是跟客户的要求是完全一致的这种capabilityDyna1的时候你们就已经找一些真实的客户然后把机器人送到他们的那个地方开始去给他们叠参见了是吗是当时有跟哪些客户合作其实我们从Dyna1的时候我们就跟简台风有一些合作当初就是非常early pilot他们也很open嘛让他们的这个厨房给你们开放挺open对我们一开始都比较喜欢更open的一些客户这样因为因为我们一开始也不能保证我们的模型能work所以如果能在这些英文场景里就是迭代能收取一些教训其实对我们公司发展其实王者挺大的也就是在早期当初我们就在简台风尝试去叠参金这个认为其实特别特别的难对所以现在真正能做出来其实我觉得也是一个like very big milestone难的点是在把它叠整齐对其实叠参金比叠毛巾要难很多叠毛巾其实你就叠两下差不多就行了但如果你去看一下天台峰会的其他一些餐厅的这些餐巾它都叠得很细致了对吧所以这个客户的要求就是比如说几毫米和一厘米这种差别就是pass和不pass的这种区别所以这对模型的精准力度要求很高你能不能把叠好的餐巾放在一个box里摆得很整齐如果摆得不整齐那有时候这些餐巾就算你一开始叠的时候叠好你放到这个box里才就会乱掉了我看你们当时给他们有五个grade12345它分别是对应它能做到多少的准确度或者做到什么样的任务就是5和4或者5和3就是几毫米的区别那么细微对所以能把模型做到在这几毫米这个容错率都能达到最高的这个grade其实是很难的事我看DinoOne当时的你们说LAB里面实验室的成功率是做到了99.4%但是呢只有75%的叠餐巾是达到了后来真实的客户的标准这中间的差距是没有什么这个成功率就是按有没有把一个餐巾折好去算所以如果它是grade3,grade2也算折好但这个pass rate就是你刚刚提70%就是按其实我们在所有折好的参集里有多少个是达到了grade4和5Customer他最后只接受grade4和5grade3是不可以接受的对Internally做评估还是有一个12345这样我们就知道我们模型现在的progress在那里是的对但不过我也好奇啊就在这么难的这个提高百分之零点几的这样的一个成功率的要求下在当时是靠模型的这个进步来改进的还是说尽量采集更多的真实的这个客户数据来我觉得都有模型有很多的进步然后数据也有很多的进步就是更高质量的数据把这种一个任务做到百分百然后就是这个质量很高的这种exercise你做几次就能感受到这个高质量数据和低质量数据的差距和差别我觉得这个其实真正做部署或者做产品的话是很重要的东西Dainna 1的数据是怎么样的一个构成了我们当初所有的数据都是我们自己内部采的但现在就很不一样了对因为现在就有很多很多的数据我们就不仅仅是要利用我们自己采的数据而就是利用所有我们觉得能用上的数据所以其实有很多新的research课题要做Dainna 1是全部用的腰草数据对采了多少小时这个我们就不用透露了但是都是在你们办公室自己所有自己的research去采的对用自己的research去采的因为我记得好像一年半去你们办公室采访的时候看到有人在现场的在不停的采对采数据我觉得是必须一直做的工作对我们待会可以聊聊Dainna 2的那个数据我还有几个关于Dainna 1的那个部署deployment的问题你觉得Dainna 1的部署给你们最大的教训是什么最大的教训就是我们在lab里做的东西跟真正能deploy的东西其实差距是很大的因为就像我们刚刚说Dainna 1做出来的时候是业界里就成功率最高的模型但这个成功率最高的模型带到真正商业场景里真正的deployment其实gap还是有很多的就像我刚刚提的一些问题比如说整齐度啊language following或者速度其实Dainna 1的速度也没有达到真正理台风可以接受的速度所以我觉得就算把成功率堆上去了其实还是有很大的gap但幸好你们有一个听上去比较耐心的客户我之前工作的公司叫Vicarious对后来就被Intrinsic收购了可能有些客户他对于cycle time的要求高或者他的这个不一定那么耐心的话可能你就要去花很多资源去做这样的一个客户那作为一个startup与此同时也要考虑到这个多个客户的这种pilot那我们前面讲到技术和商业的这个结合和balance就是你们怎么样在做好一个客户的前提下也要去这个cover到会不会有多个pilot同时在进行对我觉得这有两点第一点就是如果这个base model越来越好那就可以帮你把任何部署都做得更快一些对吧更通用那第二点就是我觉得manage这个pilot我觉得其实是挺重要的就因为不同的pilot不同的deployment有不同的问题你deploy到足够的数量的时候你就会同时flush out所有的问题我觉得这样对这个把这个engineering做到其实是有很大帮助的这就是scaling的问题你在一个deployment上发现的问题跟你在同时部署10台100台1000台发现的问题都是完全不一样的你每次scale就会发现新的问题所以我觉得作为一个巨身的公司必须要有这个conviction就是我真正要把部署做下去要scale下去要不过你永远就在1到10台或者1到5台这种境界的话你是很难发现很多你只有scale up上去才能发现的一些把运营和deployment的问题对大家提到成功率这件事情我也听说就是机器人行业中的成功率我们要怎么去看待它虽然99%听上去是一个很高很高的成功率的数字了之前其实君武也跟我聊过Vacarius这个公司也是做到百分之九十几的成功率吧但是还是没有办法很好的存活下来所以后来就是被收购嘛那就even是99%的这个成功率当你去重复这个任务一千次的时候它是有十次是做不好的那十次有可能就把整个生产线给弄混掉了所以对客户来说可能是没有办法接受的这就是为什么机器人公司必须对产品形态要有很多深刻的思考像流水线这些任务就是convair belt对吧就是物流的这些任务就是我觉得成功率就是致命的东西就是如果你成功率不是百分之百那就说明这整条线上会有一些物品你是没有把它做好那就说明这个robot做完工作之后下游必须还有一些机器或者一些人去做keyway把这个质量这个保证好其实这样的话你的机器人其实没有autonomously对把整个线都包了而且是其实给人或者其他机器加了更多的工作所以我们一开始就觉得做convair belt这些其实不是做巨神智能通用智能最好的这个出发点所以我们一开始追求的任务都是就是这个机器人能不能他就自己把这整一个任务全都包掉的这种workflow如果机器人能不能把整个workflow就不需要任何人去做keyway不需要任何人去做intervention能做好那就算这个机器人现在比较慢它同样也是能产生商业价值我们就觉得要从这里出发去引导我们怎么去做技术怎么去做模型怎么去做硬件和其他所有的一些technical decision我看你们把Denon One的十个月的deployment称作是bitter lessonbitter的点在于你们发现这个东西even 99.4%的成功率也是不够的对我觉得从现在来看可能是bitter sweet lessonbitter就是比我们想象到要难但sweet就是因为难你就必须要去解决如果你解决了那你就会领先其他公司很多因为其实很多要解决的问题都不是那种就是非常就是很酷炫的比如说搞个新模型把模型搞大数据scale上去的这些问题所以我觉得我们团队是有就是这种问题我们就必须要解决的这种conviction可能有一些团队其实没有这种DNA那他们就永远不会自己想把deployment做得好好但我觉得这个的话长期的话可能会是一个劣势你觉得这些lensons是如果你们没有做deployment的话可能你们是没有办法没有办法学习到这些lensons教训的对是这样所以你们是有专门的deployment team是吗可以这么说吧我们有个product team但deployment也需要很多research所以我们做project都是非常collaborative不是说就是一个队在做就大家都能帮上忙面键软件模型product deployment operation都可以那我看从DNA1到DNA2你们整个的模型上面其实变得挺多的你们当时为什么不是说DNA1做了之后发现deployment的问题不是针对当时DNA1的问题比如说我把数据再做好一点把这个准确率再做高一点再把deployment做好一点而是说回到那个模型foundation model上面对模型进行一些新的创新这个决策或者这个过程是怎么发生的其实我们当初DNA1是个VLA模型我们在VLA模型做了很久的时候就发现其实这个模型从框架角度来说是有一些缺陷的所以在VLA上你可以就是做很多很多的补丁但我觉得最后补丁做多了我觉得就很难继续在这个一个不是特别solid的Foundation上继续把东西做大所以我们当初就又同时在deploy VLA同时在fundamental research里开始做一些更我们觉得能scalable的一些architecture然后这就变成我们现在做了DNA2 World Action Model然后我们当初就觉得有很多性能都是一个质的提升就比如说泛化性啊这个ability to follow language然后其他很多东西我们在Blog Post也讲了因为我们最后的目标不是说就在一个点台风或者在一些冰箱里折衣服折什么我们最后还是要做一个就是通用的这个机器人智能平台所以从这个目标里来讲的话那换模型或者要做更scalable的东西其实是很本质然后我们愿意去做的东西那这里能不能简单给我们听众拆解一下就是说什么是VLA和World Action Model的区别以及Jason你前面讲到比如说VLA会有一些缺陷那这些缺陷主要是在哪里我觉得其实World Model最重要的东西有其实就是一点就是我们去做Model它要就是推理一个东西对吧做VLA的话你就是去算这个Robot的轨迹Action做World Model的话就不仅仅是Robot的轨迹你把这个整个世界未来要发生什么这个轨迹也去用来做训练这样的话就可以让这个模型学到就是更本质的一些feature和information帮助这个模型去推理这个世界接下来会怎么evolve我觉得这个其实是对机器人泛化和其他一些capability都很重要的一些task那你们当时在比如说一边在部署VLA一边在探索别的这个model architecture的时候是除了World Model以外还探索过别的框架吗就是为什么选到了World Action Model这样的一个框架因为我们当初的思路是我们想从Video Model里出发因为Video Model它已经能predict video这个对在真实世界上做一些physical manipulation是会有很大帮助的然后我们就觉得Video Model它有很多propertyVLM没有就直接能利用上所以我们就从那里开始出发然后当初其实除了VLM和Video Model也没有其他太多的模型可以去做探索还有一个小follow up是比如说就算在World Model里面当然除了这个diffusion based的也有就predict这个pixel本身的可能也有像那个jpa这样子的对吧就是predict另外的一种representation那这算不算是一种可以选择可供探索的一个架构以及你们当时为什么没有选jpa这个道路因为当初我们还是想从一些pretrained的video model开始出发像大部分pretrained的video model他们一开始的use case都是video generation所以他们就已经predict video了当初其实没有什么jpa的什么checkpoint可以用I see对那要pretrained的这个benefit是不是说就是互联网上大海量的这样子的这样的数据都可以用来用对这样就可以让你的这个dly速度会快很多了所以你在做Dyna1然后当时你们都是在用摇操数据的时候当时你是不是就觉得说已经知道说这不是最终的solution就是one day还是得需要去用大量的互联网的数据去做对这个可能又回到你的这个vip啊还有比较早前的一些对其实也不是说摇操是就是不正确的方案我觉得robotics我们现在还是要分pre training和post training在预训练的时候那就是什么东西能给你最大的coverage能最广给你最多的数据你就应该用那个数据 figure out怎么让这个model generalize但如果你要做后训练要真正把模型部署到一些商业场景那就是这个稳定性和质量要求特别高那就是post training要干的事摇操是能说的最高质量数据的唯一方法我觉得其他任何数材的方案都会对质量有一些差距的所以在dina2当中post training当中也是还会用到摇操的数据对要用的摇操的数据会比重新要少很多像我们在dina2.1就是我们接下来要发的东西或者dina2里我们都有就是用几十分钟数据就能学一个新的任务的这些results从前的话我觉得几十分钟其实肯定不行那我们在dina2里面的这个发布我觉得你们最惊艳的一个结论呢就是用了一百万小时的第一人成数据找到了机器人数据scaling law的端倪能不能给我们解释一下这个research过程是什么样子的其实我们当初就在尝试ego-centric data对吧我们当初就已经尝试了一千小时一万小时和十万个小时这种级别的pre-training然后在这三个级别我们就发现了scaling这个scaling到一千小时的时候就发现了不是就从一百小时一千一万到十万所以就是四个阶梯每个阶段都发现说它数据越大就越好对就每一次我们把数据10x这个模型的prediction就变好然后这个变好不仅仅是在predict这个人的motion因为预讯呢我们只用人的数据所以如果你更多人的数据让这个模型predict人的motion更好其实也可能不是特别的surprising但是我觉得特别surprising就是在人的数据多了之后这个模型在predict robot action就是机器人这个轨迹也会变得更好但就是这个模型它当初做推理的时候它根本就没有见过这些robots所以我觉得这个是非常surprising的一点所以这个我们在blog post也讲叫cross embodiment transfer scaling law就是我们在想做cross embodiment transfer是个模型scaling law然后我觉得这个其实是非常重要的东西因为就像我刚刚我们一开始谈scaling law我觉得如果你data这个总体这个数量不够其实没有太大的意义去做scaling law但在机器人领域的话我觉得摇操就很难达到100万小时这个数据量所以我觉得要做scaling law那必须要从更scalable或者就直接从最scalable的data source开始所以我们就首先挑了人的数据但是在robotics里越scalable的data source它有个tradeoff就是那就跟robot最终这个部署这个robot长什么样它可以假装长什么就越远所以如果我们能从一个很scalable但跟robot其实关系不是很大的数据能达到能获取scaling law on robots那我觉得这是一个非常大的突破这样我们就有办法能让这个巨身的模型更聪明然后不需要利用很多机器人的数据因为在巨身的话那个机器人数据永远都是一个瓶颈这100万小时的第一人身数据都是比如说从机器人的那个视角去看然后看到我的双手在做什么样的事情也不是说从机器人的视角吧就是从人的视角比如说有很多数据是人头上戴个相机这样去拍的但各个不同的这个数据我们的partner或者我们内部的这些设备其实都不是一致的所以它这个view point 其实是很广的可能就是因为它这个很广然后人的胳膊你能穿衣服我穿衣服每个人也都不一样所以巨人模型有这个generalization capability这100万个小时大部分都是合作伙伴那边买的是吗?很多都是合作伙伴但我们内部也有自己的一国设备在采但我觉得就是一个公司去采那就很难scale那么大这个100万个小时在现在机器人数据当中是一个什么样的量啊?我觉得就是从publicly available这个信息里100万个小时pre-training就是最大的pre-training这个很贵吗?我觉得是有些贵的然后数据更多那肯定要花更多的钱但我觉得那是一个什么样的成本量?我觉得这个就不好透露但我觉得就是人的数据成本会远低于腰操或者其他的数据方案因为就是你不需要一个机器人你不需要像腰操的你必须要教这个人怎么去腰操的话那人的数据你就是给他一个相机让他去record他每天都做了什么就很多这样的数据其实是也已经能用上了不过我在好奇如果要体验更大的话可能互联网上就是第三人称啊或者说一些非egocentric的数据可能占到更大的百分比就我好奇这个cross embodiment transfer有多少是可以说所谓的依赖于这个视频里面人的这个形态跟机械病的形态本身就是挺像的那如果换成第三人称视角的视频这个scaling law会不会可能还会继续有这样的scaling law应该会有scaling law但可能这个scaling law这个slope就很不一样因为如果从第三视角或者就是跟robot就是manipulation没有任何关系的视频去学的话可能会让这个模型对这个世界这个整体这个knowledge有improve但如果想直接transfer到manipulation那可能会这个distance更大一些所以可能更难但我们的dynamic tool里也有一些就是如果我们只scale video数据会怎么样但我们那个result还是scale人就是做任务的视频不是说就是任何random的视频所以我觉得random的视频能不能对robotics有帮助我觉得应该会有我觉得应该会有但我觉得现在还没有很多的evidence你们下一步是准备再去验证一下这个scaling law比如说从一百万小时到几百万小时一千万小时这个scaling law还能不能站住吗对这个肯定是我觉得就是我们肯定会尝试去做的对吧因为我们去做scaling law的原因就是想继续scale就想找到就是很能scalable的方法就是scale data你觉得有可能越scale之后他会发现说可能不是这个不是scaling law会有这种可能性吗我觉得这种概率可能比较小因为我觉得说实话现在robotics的模型都比较小我们在大部分robotics可能所有robotics scaling results它没有同时scale比如说数据scale模型大小和scale compute我们一般都是就是只scale一个axis所以我觉得如果把三个axis这个工作都做得很好我觉得一定是能发现一个很不错的scaling law但我觉得这样的话就是工程量就会大很多因为其实在那个图形上嘛主要有这个scaling law是很很不错的但是好像从100k到1million的这个数据的改善相对于之前一个10k到100k的这样的改善速度是稍微有点下降的所以可能才会好奇就是说这样的scaling law会不会到后面数据量越大就越难对我们当初发DNA2的时候我们发现了这个slope从10万到100万更低的原因是因为我们当初搞100万小时的数据的时候其实这整个行业都没有100万小时就高质量数据我们在搞1000个小时1万10万个小时的数据的时候这10万小时所有的数据都是我们认为是高质量数据像我们到100万小时的时候就是首先就是没有100万个小时就是已经有标注的视频所以到100万小时这个scale很多视频就没有标注了这也是为什么从10万到100万可能有一些更小的这个弧度但我觉得如果我们有100万小时就是真正高质量数据我觉得这个scaling law是我们是非常confident它其实不会被搜掉的包括像我觉得这次blog里面这个视频是一方面了但是能够真的把这些视频用好的架构还是world action model我的理解说这个blog里面也讲到很多world model的一些东西那包括比如说你们加了没有action label的video prediction这样的一个training你可能joint action加上video还要好那怎么样去拆解这样子的一个实验的结果我觉得这个区别就是在只做joint video action的时候如果你所有的数据都要做video和action prediction那就说明这些数据必须要有action轨迹的标注那你能用的这个数据量就会比如果你有一些数据没有action你也可以用来做训练的这个数量肯定会少所以我们的point就是说如果我们能在video prediction上也发现有scaling那就可以让我们模型用更多更多的数据我觉得这个其实很重要因为在做human video的数据中标注这个action标注人的这个手和这个手的关节的这些标记其实是比较费劲的一件事所以如果能有办法去用纯视频去做训练的话是一个对模型generalization是会有很大帮助的一个东西那这些没有action label的视频它是不是就是大多数都被用于训练world model就是怎么样去predict这个future state那我们怎么知道这个predict的这些future state真的是在学到背后的这个物理规律呢因为比如说人拿一个有水的杯子或者没有水的杯子它的这个视频看上去有可能是一样的然后我想拉一个重的门或者轻的门但是这个能不能学到背后的物理对于实践来说真的重要吗对我觉得对于实践来说是挺重要的但我觉得你说的也很对就是说有一些任务从视频上是很难判断比如说这个门到底是轻是重的如果是一个水杯很transparent很透明那里面有没有水这些就是我觉得做world model一个 caveat 就是很少人说就是说如果这个world model比如说做一些任务你需要视觉和触觉但你这个数据就没有触觉那你不管怎么训练怎么predict你都不知道真是世界里背后这个物理的这个certainty所以我觉得其实现在做world model在robotics的world model大部分model还是从这个视频里开始选但我觉得视频做一些任务是不够的所以这就是现在的这些框架的一些创架了一些很本质的一些缺陷但可能就是我们现在还没有大量的不是这个camera的一些data是的 这种力的这种数据还比较比较难猜测对 我之前采访Android Data的时候因为他在做visual reasoning就是想要把视频里面的物理规则让模型真正的理解到因为我理解可能这个research还是在比较早期的阶段但是确实是唐一眼大家都在开始反力要去做的事情但这些问题也未必必要用预训练去解决就比如说有一些触觉的数据你人的数据上是没有但如果你机器人上有触觉传感器那你说不定在后训练你就用很少量的数据就可以学到因为我觉得视频或者图片或者图片它其实是这个重复性很高的一种模型对吧 就比如说你一张图片里你这个pixel和那个pixel其实长得差不多但触觉啊 比如说这个audio它其实information per bit会高很多所以说不定不需要一百万小时的触觉数据就能学一个很好的有触觉和input都爆发的什么对 你们接下来会考虑加触觉进去吗其实我们在看但我觉得触觉其实是在整个robot learning 领域也是一个争取就是争取很大的一个领域就是因为很多人觉得其实不需要但也有很多人觉得需要这很难说我们的看法就是要从实践里发现什么东西work然后什么东西在什么场景下work是的 是的对 因为我本来还蛮好奇就是说如果说world action model有这样的一些缺陷那机器人从research来说它下一步的方向可能会是哪里可能会是新的模型架构呢还是说在post training里面加更多不同形态的包括像有利益的这些数据听上去好像是post training的数据是一个比较大的一个方向对 post training我觉得一直都会是很大的方向因为我觉得做robotics很难就是一个模型它zero shot不需要任何训练数据就可以做很多任务为什么呢因为就是每一个客户或者每个人的需求都不一样对 如果大家需求都不一样你不可能一个模型就能猜对所有人的需求对 所以后续呢如何进入很少的数据去改这个模型这个模型我觉得是长期一直都有的一个工作然后预训练呢我觉得这个数据就是很重要了对吧 能不能用更scalable的方法去采集高这样的数据对 不过讲到这里我还可能还有一个问题就是不管是pre training还是post training我们都在讲数据多难采集数据的质量多高但是其实是不是大家容易忽略的一个点是就算采集了很多数据高质量的数据怎么样把它去做ingestion怎么样把它去读取然后真正转化为能用的数据这个背后的infra是不是也是需要很大的工程量对 是需要很大的工程量我们其实有个infra blog就是讲这些事儿对 我觉得做百万小时这个scale的训练不仅仅是训练模型的问题也是一个很大的infrastructure问题如果没有好的infrastructure你根本就连这个job你都跑不起来或者跑几次就会挂掉然后就比较很费力对 所以我觉得做什么large scale的experiment一开始都是要把infra先打好他们像幕后英雄这样 是吧infra都是这样的我觉得在那个LLM那边也是的infra团队都是不被看见的那个团队但是又是最重要的对 但我觉得在我们这里我觉得还是有很多visibility我们写了一个blog post就专门讲infra对吧我觉得这些幕后英雄they deserve to be known包括像blog里面也讲到这个crossing body and transfer这个视频已经跟机器人本身长得比较像了那就我可能好奇就是说你们认为人类视频里面的什么东西真正被机器人给学过去了我觉得有几点就是首先就是用world action model的时候就是把这个世界的物理能从视频里判断出来的东西我觉得这些都有transfer对吧因为我们首先就是预测这个视频介绍会发生什么东西这是一点其次呢就是对比如说做一些任务不管你这个end effect就是你这个是不是甲爪或者林敲手这个大致的这种策略怎么去解决一个任务都是可以学过来的比如说你抓东西你的现在手臂在这你的东西在这不管你是什么样的林敲手或者甲爪你都一开始要先把你的手移过去对吧这种concept是完全可以从人的视频里学出来可能wrist比较类似对但如果就是非常精细的动作那就首先这个标注的质量高不高如果不高的话那就会有很多飘移那其实把这些数据用起来做林敲手训练的话帮助也未必很大如果接下来的路线是从100万个小时到1000万个小时感觉中间的数据gap会多吗如果还是以跟数据公司合作的方式那你们也很需要很多的标注或者需要很多高质量的这个数据那这些数据接下来从哪来呢这个市场里面有这么多的supply吗其实这是个好问题对我觉得supply是个问题另外一个就是infrastructure的问题对吧我觉得我们现在infrastructure可以handle就是100万小时这个级别但我觉得要handle1000万个小时级别不仅是训练然后就是标注做QA的话其实还是有很多工作要继续做的就是你们有一个结论啊就是说dana2之后呢不要再把model当产品要把model加hardware加deployment加datainfra加teachability加physical agent一起scale对然后这六块柱子一起scale然后才是真正的scaling law我觉得真正就是能把产品做下去因为我觉得robotics整个stack是很长的只做中间的一部分的话我觉得是很能把东西做好的所以是一个木桶原理就是每一块都是要做得很好每一块都很重要缺一块其实就很难把东西真正做好对那从这个角度来说每一块都是比较非常重要的这一次跟鼎泰峰的合作跟上一次应该优化了不少吧对对对我们一直就在鼎泰峰里做最后做到了一种程度真正我觉得可以当成一个产品了这也是我们为什么我们现在发出来我看数据提升还挺高的最开始的时候dana1是每个小时叠35个纸巾大概是每天可以叠480个但是当时客户就给你们的要求是说希望你们可以做到每天1500个有一个18个小时的shiftdana2是能够达到每个小时叠95张达到了每天1590张所以也是满足了客户的标准对我觉得这其中有很多improvement模型是一个比较大的improvement对但我觉得就是数据啊和其他一些这个continual learning的东西做好我觉得是很重要的因为我觉得模型达到一种程度比如说我们现在到每天能叠1400个参金我们如何达到1500个参金其实这个没有很多low hanging fruits就不是说我们要再多采一些数据就能又跌快很多其实不是这样的所以我觉得越离你的目标越近其实难度就越来越高像一开始你没有模型你穿一个模型能DS30个参金一个小时其实不是很难从我们现在的from what we know now不是很难那如果要进一步提升的话可能又是要模型加数据上面再进一步的一个提升对我觉得是这样的但如果在一个task上提升都这么难那大家现在很多在讲通用一个机器人可以做所有的task那你觉得就是真的要达到那一天是不是也还有一些距离对我觉得这个差距就是通用机器人我不可能一个机器人一个模型就所有任务都百分之百对吧就像我刚刚说的ZeroShot就是很难的东西很难你能猜一下人家的要求是什么所以我觉得通用的话如果能达到任何任务就百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百就是百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分之百分Data Mixer 是什么你们刚才还提到一个概念啊就是说机器人他最后要落地的话他必须要怎么说替代一个人力就是他要做这样的一个完整的一个任务而不是一个任务中间的某一个动作不然的话还是替代不了一个人力的他也没有办法最终的被客户接受那么在Dana 2当中你们的这个落地还选择了比如说洗衣房的一些任务对不对那就比如说你们Dana 2找的一些use case或者是想要进一步验证落地的方向有那些对我们一开始还是先从洗衣房开始对因为我们之前叠毛巾的话就像你说还是需要一个人过来把毛巾全拿过来就是已经轰杆好的毛巾拿过来然后我们的robot叠完之后一个人必须要拿走其实这个是很繁琐的任务然后有一点比较就非常有意思就是这个模型如果是一个固定的就是station robot这个模型越好那这个人的这个intervention率就更高因为如果你如果把模型更好那你跌得更快那你跌得更快那这个桌子上就有很多毛巾人就必须要拿走因为就没地儿了对吧所以就是你模型越好人就是参与就要越高但如果你模型不好那就根本就没人买对吧所以就比较尴尬的一个点从这一点我们就觉得那我们必须接下来要做一个像physical agent一样的东西就像agent对吧这个我们做physical agent就是这个agent他就把整个任务全包了不需要人去interview我觉得就是现在做coding agent跟几年前我们那个可以做autocomplete的那些model的区别当初做autocomplete的模型那你过几秒你我就要tub一下那我一直看着他去携带码那现在的话就是你把一个任务交给coding agent他就直接一口气就全做完我们想在这个physical world里达到这种效果接下来自然的一步会不会就是说就你指的这个physical agent是不是多个机器人协同啊或者比如说你的毛巾就直接放在你们的一个可以移动的这样的一个平台上自动的一个机械车就可以推走对说不定我们会探索那样的路线但我们现在的physical agent就是一个robot我们这个robot是一个semi-humanoid他就可以把一个洗衣房里所有的东西就是说洗 轰 然后叠然后把叠好的毛巾放在一个柜子上这些都能一口气端到端就是很长上面全部完成中间也需要很多reasoning就是推理我看你们demo其实就很make sense自己把毛巾送进去洗拿出来去烘干然后去按按钮还会扭它的那个转盘温度多高多低这些都可以做到对 是接下来要发布的东西就是在这里这是我们周二要发布的Dyna 2.1自己开发的一个robot叫Taku在日文有一个词叫Takumi就是cross mission就是指这个工作做得很好然后我们给我们自己的robot也起了一个降薪的对 降薪的对我们为什么要做自己的本体呢就是因为我们在部署了很多次之后就发现各个商家厂家想要的不仅仅是一个能完成一个任务的机器人是能把一个整个工作流全包了这个robot所以我们有了自己的本体加上自己的模型然后这个robot就不仅仅是折衣服了它就能把洗衣服烘干衣服这些所有在一个洗衣房里所有做的工作这一个机器人都能一下子包下来不需要有人来interview这样才能真正达到这个autonomy很高这个工作还挺丝滑的对然后如果这个它掉了它还会下去剪它掉了它就会抓它剪完了就会丢到那个脏的毛巾的这个框对很不错的一点就是它其实不会撞到东西位置没有算得足够精准的话这个头其实是会撞到那个对洗衣机的但这个完全没有发生就说明这个模型全身运控其实是非常不错的嗯然后它会扭到这个正确的这个modeon button其实精准要素很高但是这个robot就会试好几次然后最后试成功很像这样嗯但你们还是针对特定的洗衣机进行了一些优化的对方还是说一些any random的洗衣机也都可以还是需要有一点需要有一点优化但就是换一个洗衣机换一个空间其实学习的很快嗯十几分钟几十分钟的数据就多你看就真正在跑了就所有的步骤都会做就是我们的long term vision把我们的robot做成一个像robot脸铺一样对对对它这个其实还是蛮长城任务对就非常长城那中间你觉得最难的难点是什么我觉得每一步就其实难度比较高都有几率会出错这个洗衣房这个任务如果真要做起来三十分钟到一个小时中间哪一步出一个小撮来就会失败对这个模型的泛化性和泛化性量其实特别特别高你们的客户喜欢这样的产品吗就对于你们的这个产品需求用完之后他们是什么样的反应我觉得他们挺喜欢的我们可能之前在我们blog post也说过一些用户就是真实的反馈他们会经常发短信说哇这个东西好好那有一些客户他们能不能再多弄几个robot那个时候是什么时候是鼎泰风还是洗衣房因为我看到你们有发一个就是说客户有问你们说什么时候能deploy更多几个对我忘了是哪个的具体鼎泰风也有吧然后也有一些就是洗衣房这种那那个moment对你来说意味着什么就是说他们竟然喜欢我们的产品然后这个东西成了是吗我觉得是跟从前就是发paper就是很不一样的这种成就感吧因为这就说明我们内部里就是我们在做的这些技术真正有人想用因为从前写paper呢就是我写给别的researcher看那我们就是自己自娱自乐的这种感觉但我觉得现在就真正就是迈向这个更大的社会的第一步这样的感觉所以从公司从技术角度我觉得都是一个很好的迈向你觉得接下来你们在research包括在deployment上面的一些新的目标是什么的有一个目标就是我觉得要做这种mobility加manipulation就是用半人线做的这些任务我觉得难度会比stationer要高很多然后对这个运控的要求也高很多把运控和模型都做好的情况下也能把这个模型的速度提升我觉得是个比较难的点所以我觉得这些是我们接下来值得去探索的一些问题那我觉得其他的一些比如说模型泛滑呀模型这个架构我觉得这些都是我们都会继续去做的然后不做的话别人也会发所以就有很多东西可以直接来利用对于之后的机器人公司自己的这种核心竞争力除了模型以外是不是硬件啊帮我想你说的这些别的给大家想象的更重要因为模型有很多是开源其实硬件和部署我觉得是最重要的因为这就是决定你的distribution对就像XGPT一样如果一开始没有电脑没有手机不管你这模型有多指呢大家都不知道没人能用所以如果我们能把部署deployment做好那我们假如说我们有成千上万台那如果有一天我们发现有一个很好的开源模型或者别人的模型跟我们差不多好或者比我们更更cheap或者我们可以用他们的模型加我们的模型我觉得就很容易去distribute对吧但如果没有我们如果只做模型那如果有另外一家的模型比我们当下的做好那我觉得这个比较被动的一个environment如果你只做模型那你要依靠人家integrator帮你去distribute your intelligence但如果你的intelligence不是最好的那为什么人家要distribute你的intelligence而不是别人的intelligence对然后这个论点也是基于像你之前说的机器人的大脑和它的这个形态还是很有关系的对吧因为像也有一些公司认为我就是做通用智能那你不管是什么distribution我都能上去给你做但是可能你认为更加还是要跟这个形态相关对然后我觉得模型和形态模型本体一起做的话最终的效果我现在感觉还是会是最好之前来说一下整个硅谷的一些情况好最近感觉competition又起来了虽然大家会有一些不一样的路线但是我感觉最近机器人赛道真的是非常的热闹先说一下这个派这个公司好不好因为它也是最开始说聚焦在大脑这个层面的它是完全没有自己做本体的我有听过很不看好他们的观点觉得他们可能有一天必须要被卖掉的这样的一个结论在了解我觉得我很好奇说你们怎么去看他们想要做physical intelligence layer的这样的一个路线对我觉得派的research都很强然后我个人看法是这个physical intelligence layer这个东西还是没有proven据我所知还没有一个successful example就这些东西不仅仅是做demo就是真正能落地做得很好因为我觉得现在的话把模型做得很好的话post training的工作还是需要很多的所以如果没有一个公司就预训练后训练这些都在一起做觉得很难真正能达到商业价值那如果你做intelligence layer然后你的下游客户无法达到商业价值或者真正能获得ROI那你也没有办法获得ROI对吧因为他们不可能付费给你然后他们没有办法收他们下游客户的费所以这个是为什么我觉得就是也跟无人车当初有一些相似的点就是说如果你只做里面的一部分那你就是被上被下都会有最后压榨的感觉那如果你做整套系统的话那我觉得it can be better对就是说Vimo为什么有可能跑不过特斯拉就是因为他没有自己的车成本就会非常的跪下不来Vimo可能还算有一些自己的deployment但是别的公司可能有一些相对来说更以这个卖服务或者卖这个卫生的那可能就对我大概能理解这一项的意思对Pi 现在路线还是非常明确的是VLA那边的这个我不是很了解对于他们内部的话我不是很清楚你觉得就是VLA 跟 WAM 会是两个不同的 track还是说他们其实其实是 ultimately会合并在一起我觉得应该会合并在一起因为现在大家就是system 1 2 0对吧就是每一层会有不同的价格我觉得 WAM 和 VLA 最本质的区别就是你要不要 predict the future我觉得最后大家都会是会 predict the future就像 language modelnext token prediction就是你预测语言的这个未来我觉得做 physical agent 的话那你也是要预测不仅仅是这个 robot 接下来做什么这个世界 around you它怎么 evolvebased on就是你robot 的 action那我觉得Pi 在开源整个的数据里面还是蛮重要的我觉得他们对整个行业其实有很大的贡献他们就是一开始做很多开源的模型但是感觉这也就是一波一波这么发展起来的因为最近 WAM 又很这个相对可能走进主流了嘛现在有很多很多公司在开源一些模型但我觉得从开源模型到能做商业部署就这个 gap 是很 large然后我觉得现在可能没有很多的 team真正 figure out我觉得反正也很有意思因为想到你前面讲你原来做 VIP 的一些这个视频的一些东西就有一点点乔布斯说你只能回头看的时候才能 connect the dots这种感觉就是现在反而这个视频变成了一种更加主流的这个模型框架的一个选择对 我觉得就是算当初也有很多人说我们要从视频里学习但当初就没有首先没有很好的视频设计没有很好的模型有啥都没有所以我们只有 idea所以当初的 Robotics 做这些 paper 的话能做一些很简单的任务但我觉得最后都没有 scale up 起来所以我觉得现在就很多一些已经很久的 idea 都被 rediscovered然后就做了 much better我还想补充刚才世界模型的一个问题就是如果我们用的Crimic Centric 的这个视频数据那比如说世界模型可以直接生成这样的数据这些数据是足够好的吗是够用的吗我觉得世界模型是可以生成这些数据但这些数据足够不足够好我觉得是个 open question其实有很多 paper 它们就是做从 world model 里 generate 数据用 generated 出来的数据做训练然后是能把 policy 这个鲁棒性上升一些但我个人的看法就是就是很多 paper 它们会说我们把一个模型从 40% 拉到 60%或者拉到 70%但在我看来就是从 40% 到 70% 这个过程是用很容易的方法都能达到的不一定要用它是模型的不一定 对所以我更 care 是假如说我们到了 95%到 99%然后就很传统的方法就很难再给你很多高质量的数据在真的那种情况下你能不能有效地利用一些更 synthetic data 去帮助你这是为什么我觉得很多时候从学术界的一些 idea 和 paper 其实不是很容易能 transfer 到真正 practical application 上说到世界模型刚刚发生了一件新闻就是李菲菲老师的 new lab 被 AMD 收购了这些下午的事情在过来之前刚看到了我想看见了但我以为世界模型它们会落地场景主要在机器人公司因为机器人公司会买很多这种数据但是目前看起来 revenue 还是没有办法足够支撑公司对 我觉得做世界模型找 use case我觉得是比较难的东西做 video generation 我觉得就已经很难了 很卷了对 work model 那我觉得那更 unproven了所以我觉得会有很多公司可能会陆续被收购的这种感觉也太受算力了所以整个infra要求也很高我们来说一下skill的这个公司他们最近也是发了s1嘛理念就是一个brain要学会adaptation然后他们说any task any robotone brain的这种omnibody intelligence这个概念你同意吗我觉得这是值得去探索的一个问题我觉得可能会比较困难吧我个人看法是我觉得最有价值的这个大脑就是人的大脑我们的大脑我们只控制我们自己的body但这个已经足够好了如果我们能达到人的大脑这种capability那我觉得已经某种程度是physical agi所以我觉得我更care的是如何能在一个身体上用一个大脑就能做任何人物我觉得这个可能是更能行的一个路径吧那我觉得从纯学术角度来说如何能用一个模型去控制很多不同的robot我觉得也有很多paper在看对但我觉得目前的话还没有一个breakthrough就是真正就是你在别的robot上学然后在一个新的robot上能做得很好这样说一下figure这公司争议很大他们最近好像是发了新的demo反正我觉得他们每次发demo然后就会有机器人行业里面的人然后会喷一喷他们对我觉得他们其实硬件做的挺好的我觉得很精致然后他们的面控这个视频拍的都很丝滑我觉得这些是我们公司也还在学习的一些点因为我觉得figure也没有做很多public demo所以你很难知道这个模型到底好不好我觉得大部分公司都是这样的所以你很难亲眼肉眼看见他们的模型在那里来做事所以很难做一些比较objective的一些评估行业里面有对他们的批评啊就是说他们demo放的有点太aggressive了demo放出来说你有十次可能你成功了那么两三次然后你把成功的拼在一起好像给大众的一种印象说我的robot非常的fancy它可以做好多好多事情它可以走进千江万户可以帮我叠被子弄枕头浇花还有很多的这种demo都可以出来但机器人行业我知道有些公司是蛮鄙视人这样的一个行为的你们觉得这种demo是对行业来说有害的还是也能理解这种行为我觉得都有吧我觉得hype那就是带动整个行业对吧就像伊朗对吧但我觉得不好的地方就是可能人们对我们机器人现在这个技术的这个到达什么点可能有些miss expectation大家觉得通用机器人应该到了但说实话现在还没有到对所以可能是这方面会有一些negative impact你觉得反而对那种很扎实的像你们踏踏实实做deployment的公司来说会对你们带来一些noise吗我相信很多的投资人肯定会问你们说他们可以做这些东西为了你们不行我们现在robotics我觉得noise很多所以我觉得这是为什么我觉得做公司我还需要一个这个mission所以就不能就是别人这个公司发个demo那个公司发个demo然后就非常被sway对吧我觉得是需要找就是本质上就必须要做的东西把自己能做好我看你们联创york它有个bubble公式啊我觉得还挺有意思的他说它的bubble等于当前capability和公众expectation之间的gap乘以需要补上这个gap的时间我觉得这做的挺好的做的挺对的对你也认为是这样对我挺认同的我觉得york就是发这些观念的时候其实大部分都对在业界很多人都很赞同这些你觉得现在整个机器人行业的bubble肯定是有bubble的但是这个bubble现在大吗我个人感觉还好吧因为我觉得就是就算有一些hype但我觉得也是有真有很多的progress对吧我觉得现在一些progress已经足够可能在某些场景里落地了就像我们做的别的公司也肯定做了一些对所以我觉得接下来这个progress肯定会越来越快对所以不好说现在是不是一个就纯bubble就没有东西然后就hype的很高的那种bubble你说这个progress的时候就是真的我们会看到一些工厂里面的use case开始运转起来希望是这样的那像你说没有达到大家的这个 expectation那这当中的gap 具体到底是在但我知道我们刚刚也聊了很多这个这些gap如果一定让你说比如说top3的这个最大的原因有哪些原因是还没有达到对我觉得最大的原因还是数据和硬件对如果硬件没有很多台那就很难scale数据呢就是没有足够的数据那这个模型intelligence不在那我觉得做post training的话就会更吃力吧所以我觉得这两者永远都是平静我觉得模型什么架构这些我觉得其实我觉得会每时每刻就会经常变对吧过几个月这个火过几个月那个火我觉得这些都不是最本质的东西那如果这样说硬件足够重要并且它的产量足够重要的话在美国硅谷市场的话那特斯拉会是一个非常强劲的领先者吗我觉得有可能吧对但我觉得大厂的话我觉得robotics这种事其实也比较难做因为robotics就是你必须要所有人一起合作那大厂不管是哪个厂他们都会有就是这个team的这种概念就是这个team跟那个team所以我觉得很多时候这个信息这个communication就不足够多然后有时候尤其是做硬件的话有一些决定的话就很难改对吧你做了你就必须首先把这几百台都生产出来然后再做下一代那这样的话我觉得dai数据就会比较慢我觉得在硅谷啊就是现在大厂大家就是有一个公识就是说intelligence它之后如果真的是要反悔到它最大的效益的话一定是要go physical的所以我们看到open AI其实也是在非常快速的找非常多的top talents去组建他们的机器人团队而且他们跑的也非常的快对你会担心这样的竞争吗我说实话不是特别的担心因为我觉得我们做startup其实最大的mode就是我们这整个flywheel就我们会做部署我们要大量在部署的数据我们也对数据质量的要求我觉得我们的见解会比只做大脑但是没有达到百分百成功率压力的公司要高很多然后其次我们还有硬件我们把整个硬件模型都做成一个平台如果别的公司有更好的模型或者他们有个模型可以帮助我们这整stack每一个部分或者某一些部分我们都是非常欢迎的去用的对对这是我觉得从我角度来说我们公司这个架构上来说别的公司把模型做好都是对我们有帮助的东西而不是跟我们直接紧张不过我觉得我们刚刚两个问题都是讲startup和更大的公司的这些区别我觉得我在两种环境都工作过我是对你刚刚说的这个teams和communication是很有感触的但是我也好奇在公司scale的这个路上这个startup总有一天也会变成更大的公司对你们是怎么看待这个问题对我觉得是个好问题我觉得在早期的话就如果能想办法就没有这么多barrier我觉得是最好的然后我觉得公司scale up那最重要的就是公司文化能不能继续拥有对所以我觉得我们现在的规模还是足够可以manage对因为刚才我们说的特斯拉我也比较好奇就是说自动驾驶给特斯拉带来的一些经验那比如说他们的video啊fleet啊然后他们的这种simulation policy learning啊这种东西其实会对他们的optimist team带来一些正向的帮助吗自动驾驶当中的很多lesson learn它是能够transfer到机器人公司里面去的吗我觉得很多是可以transfer就比如说data infrastructure这是肯定我觉得是能直接transfer的但我觉得有一些其他的lesson我觉得因为我觉得自动驾驶这个数据数量不是问题所以我觉得有很多机器人最本质的problem就是有没有足够多的数据所以我觉得这个是个很不同的一点但我觉得其他一些模型上的一些概念我觉得都是有一部分是可以transfer的模型上的什么概念是可以transfer的比如说在做自驾的时候就是你这个模型要推理这个车接下来的轨迹比如在一秒两秒钟要做什么这其实在做无人车里是个非常standard practice这个已经做了很多年了但在robotics直到三年前左右人们才就有像Aloha这种paper说我们必须不仅仅要预测下一步的这个action而是把下整个一秒或者两秒的action全都预测出来所以我觉得像这种idea是transfer的很好的是的 我也在想我觉得自动驾驶很有意思因为它本来人就是在开这个车所以它数据采集可能比较自然但是对于如果大家要做通用机器人来说在数据这方面自己采ego-centric data就是主要的路径吗ego是目前最scalable的数据唯一一个能更scalable的我想就是simulation对 因为simulation就是因为不管你是ego腰操还是比如说WUMI这种假装都是operation很大的问题人力的问题对吧 然后像WUMI你需要很多的设备这些设备也要维修所以其实是很很繁琐的一件事但如果是simulation的话那就是所有东西就是一个compute problem对吧 你有足够多的compute数据 有足够多的intelligence所以我觉得这是the next frontierone of the next frontiers那是不是也是一个寄生蛋诞生计的问题就是如果你有更好的这个这个ground truth data你simulation里面generate的也会更加好一点对 对所以我觉得这是一个open question还需要很多的工作那我们刚才讲到就是说在整个硅谷嘛我们看到有非常多这种top tier的startup出来包括像你们还有这样比如说Sunday Robotics他们其实都做得非常好同时我们看到open AImetaNVIDIA我相信Androbicmaybe one day也会自己做robotics因为确实是physical AI是一个太大太大的蛋糕了你觉得以后的终局会是什么样子的蛋糕足够大让很多的机器人公司可以共同存在还是说它之后会有一个winner takes all的管头或者双管头的这样的一个形式存在那为什么是startup能够outbeat这种巨头能够跑出来了解对 我觉得应该会有很多winner因为我觉得在physical world里这个switching cost其实是非常高的对就比如说你你是一个客户你有一套这个机器人系统已经用得很好你是很难把这个系统换换出去换换出去因为这个原因我觉得就是distribution做的越早其实是会帮助越大的那就是看哪几家能distribute的更多200我觉得这个advantage会compound但我觉得从model layer来说我觉得switching cost那就非常低了对吧就是比如说哪一家出了更好的模型我就用对但我觉得最后这个巨身的价值还是在这个service你最终给客户provided的service是带来的价值所以我就如果把那一层own的很好我觉得if there's many people就是很多不同的公司做不同的行业我觉得都是能做得不错的如果model可以switch的话当然jason前面也讲到一般来说模型控制自己的这样的一个硬件或者说硬件和模型一起设计会比较有助于模型的这个效果但是如果大公司比如说OpenEye或者anthropic他们的模型用的机器人本体和你们的不一样那这样的情况下这个switching cost这个就是还能够很方便的去switch model吗我觉得如果要switch hardware那就是真正的switching cost很高对吧但如果就是如果最终在某一个本体上最好的模型不是针对那个本体做的那个模型那我觉得其实对这个做本体的公司这个影响不是特别大因为他们就可以换个模型对吧就比如说我觉得羽树他们现在能做很多跳舞的东西那很多跳舞的这些模型也会必是他们自己训练出来但如果你有这个platform我觉得你的存活率就高很多对那看起来distribution和硬件设计其实至少目前看来还是比较紧密的联系在一起对我觉得是这样的对非常重要你们选择把这个拿来自己的手里面对我们从战略角度上是觉得这个必须也要自己去做自己去用我觉得这个问题很有意思因为现在这个large language model里面还是open AI和anthropic或者就那么几家独大嘛然后可能很多做agent application的公司说哎呀这个是不是会不会大公司做出来类似的东西我们就会被替代但是现在看来在这个硬件上因为它的switching cost比较高所以说可能不一定会有那样子的情况对所以我觉得distribution其实是最important然后非常就是被忽略忽略的一个东西就比如说muse从meta对吧其实meta在AI落后了很久一年多然后因为它有distribution所以muse一出来就很火所以他们其实就算在模型落后但人家有distribution所以人家可以落后一阵子doesn't matter苹果也是对所谓distribution就真正大家用的这个场景你抓住了可能就会对和这个用户和付费和这个商业模式会更进一点对手机就是比如什么iPhone现在你在iPhone上做任何软件你都要给苹果钱都要分红对所以他都不需要自己做AI对我看硅谷大家其实在选择落地上面也是蛮分裂的那比如特斯拉呀Figer还有onex他们其实就非常明显说要做home robot对我理解说可能他们觉得home robot听起来更fancy估值也更高其实是一个更大的市场因为全世界有几十亿的这个人但是另外一派就包括你们就是非常的旗帜鲜明的说要先去做工业的进工厂进2B的落地化你觉得这种分裂就是会一直的并行的往前走其实我个人感觉是首先进工厂做2B的话首先就是能进一个厂远比进一个家容你要考虑安全但是你不需要把这包装成一个完整的产品一开始部署的时候其次你也不需要担心比如说隐私啊这些问题或者有个小孩这些问题所以一开始就让你这个部署你就可以focus你这个很专注把这个模型和这个必要的这B环做好要做家用的话就一开始做deployment你就要做成一个产品然后有很多东西其实跟robotics本身没有太大的关系或者就是跟巨生智能没有太大关系就是你做一个robotics产品就是说做一个扫地机器人跟做一个家用的一些consideration都要做所以我觉得一开始会让你进家更难所以我往往觉得就是如果能把2B做好说不定接下来做2C可能还会更快一点因为我觉得一开始的话很多问题比如说模型要泛化模型做东西要做够快我觉得都是大同小异的但我觉得2B的话就可以让你的机器人进这个deployment setting much faster我觉得这个其实对做迭代挺重要的因为就像machine learning一样有个train set和test set做home robot你就永远都看到不了test set因为就算你去租几个Airbnb或者你在你自己家里去不是这跟比如说一个美国家前去best buy买一个home robot这个家肯定长得很不一样做home robot这个test set比较难但我觉得做2B的话test setlike you know the test set但是Dynam有一天可能也会做home robot我觉得这个不好说目前没有这个做home robot的打算因为我觉得2B的opportunity still too big对于你来说觉得做机器人的意义在哪里做机器人的意义你是说对社会的意义还是对我个人的对你个人的也对社会的我个人的话我一直就很喜欢做research做研究然后我觉得这是一个很好把我之前passion的东西真正带到全世界的这种平台make an impactmake something work作为世界的话呢我就觉得increase physical productivityreduce manual labor人可以更多的有free time去做他们想做的事然后我觉得现在人工也挺缺的在很多国家像美国日本都是很缺人工所以如果机器人能真正把整个workflow都做好我觉得商业价值会很大的Infinite abundance这个概念比较大的是的是的OKOK确实是那我觉得在想如果要讲未来的话不管是Dyna3还是比如说别的一些model我可能自己有一个比较好奇的一个点就是说tokenized这个因为现在很本来从transformer大家都是把很多东西去tokenize那这样子的一个approach对于机器人来说真的work机器人的动作不像词语它是可以这个就是它是有单个的它是可以不连贯的但机器人很多时候是continuous不是discrete这样的一个token就好奇可能从这个科研角度你对未来有什么展望包括也可以聊一聊这个之后的Dyna3的一些我觉得tokenization因为tokenization就是把一个continuous东西做discrete那你肯定会丢失一些信息对吧所以如果就是很精准度要求很高的任务可能会做的没有就直接predict continuous 要好然后Dyna3我觉得这个现在很难说我们会具体发布什么对但我觉得现在我觉得是most exciting time就是做机器人最激动人性的时刻所以就有很多东西可以做我们也在不同的方向有一些探索对你希望Dyna3能够证明什么scanning log真的一千万小时能成我觉得scanning log肯定是一个非常exciting的东西但我们公司一直的看法就是模型技术只是这个整个stack的一部分Dyna3或者我们可能会care很多把我们的半人型我们刚发布的这个机器人和模型真正deploy到很多应用场景去show ROI这样的技术上我觉得我也提到了比如说人的数据啊post trainingRL simulation或者这些还有就是breakthrough的机会所以Dyna3我觉得最开始成立的时候他们的RL的应急还挺强的但是慢慢的我觉得它已经pivot了对我觉得RL最重要的问题就是做决定要不要做RL这件事是一个very important decision因为我觉得从历史这个RL发展的角度来看你会发现RL最work的setting都是就是我一开始说必须要有一个模拟器然后这个奖定函数必须非常明确对所以我觉得robotics说实话没有这些property所以一开始就用RL去做了就是问题都没有看清楚就直接用一个solution但是我们是更追求从一个问题出发去想solution而不是我有一个solution不管啥问题我都尝试去reply这样的这个还挺有意思的因为Dyna这个名字其实是一个很RL的名字是的对因为我在一年半之前采访你们的时候其实并不知道Dyna跟RL的关系是然后参访完你们之后有一天我正在做那个强化学习的一个稿子然后看到是强化学习之父对他写了一个Dyna其实他当时的一个框架的一个paper的名字我说哦原来这个是Dyna Robotics名字的来源对那是motivation之一对然后他那边Richard那篇paper其实不是只讲RL他那是讲一个world model去做RL所以其实跟我们现在技术路线也有一些相似这个大词又连起来了对我觉得RL要做robotics的话没有world model或者没有simulator我就觉得是很难做的事所以从技术路线角度来说你也可以看到我们首先把这个基础based modelworld model先做好然后再考虑要不要RL这种东西对我是很喜欢这些前面聊到就是说要先有问题再找解决方案就可能你们现在的问题最核心的还是说怎么样帮客户创造更多的价值或者我觉得预信链或者Data还是最大的问题而不是要不要做RL对先把Data的这个这个预信链的基础打起来对然后模型的这个这个泛换是的泛换能力的先提上来是的好的那以上就是我所有问题了有没有什么问题我没有cover大的你还想补充的我觉得都cover到了对对因为我觉得我们聊了很多很多不同的问题我觉得挺好的谢谢Jason不用谢谢非常感谢你们也来做这个podcast非常期待之后Data3是什么样子的好好好敬请期待所以这是你们的新办公室对这就是我们的新的办公室然后这一层都是我们很多机器人很多做研发的main office我们记得这里跑很多model eval今天这个就是一个convator belt这种任务就是把不同的机器比如说手套啊这边都处理在不同的这个箱子里像这个任务就在餐厅里需要用不同的铲子来这些食物都放在这个餐盘里然后把这个箱子也关上然后这全都是autonomous然后最后就会把这个关上我特别喜欢这个cresting action对做得很精细这样然后往这边我们就有一些更工业一点的任务在一个撤工厂的一些任务就要做一些精准度要求很高的这种组装像这里就是要把这些不同的东西一个一个放上去我觉得这其实是我们现在做eval其中最难的任务之一那像这个就是另外一种精准的任务这是一个冰箱然后冰箱后面其实有很多要这种把一些tube都要插进去这种任务也是惊人度很高然后这个模型他就会尝试好几次然后他像现在他就成功把这个已经给insert进去了这个demo我上次见过是吗对其实我们所有的demo都是从我们自己这个dynet2一个base model里做一些post training去训练出来这个其实就是鲁帮性其实特别高我觉得它切的还比较均匀这个是减药品对这是减药品把这些pill一个一个拿起来其实对这个甲爪的精准度要求挺高因为它很滑对比较滑或者就是你用力太大就会把这个药挤出去对吧这里就是更多researcherengineer做研发也是做一些更多的素材3D打印机的room现在什么东西是3D打印的就很多那种我们的甲爪或者就是一些不同的parts大家都在努力的工作大家好忙你现在一共有多少人了在美国这边应该有70到80人了然后我们office也是你office也是pet friendlypet friendly就是上面吗我们家也有一只好可爱讲得有点像你们的新机器人对能放机器人的地方我们都放了机器人我记得Sunday Robotics的那个Tony他就说现在机器人公司都是搬办公室越搬越大越搬越大对对我觉得很make sense我们现在也需要更多的space然后我们的厨房里也做一些experiment我们今天有一个demo就是用这个robot可以在这个冰箱里拿不同的饮料做这个机器人也有一点就是想让这个机器人到我们的办公室里帮我们做一些事很好的feedback cycle在office里好我选了这个sparkling water对所以选了sparkling water这个robot就会开始他就有视觉的识别能力也有这个语言的understanding开冰箱其实也比较难是对所以也需要全身的这个ordination他这种任务会不会灵巧手会更好一点对开冰箱就是很多这些东西都是给人用的所以我觉得用灵巧手的话其实会更容易一点会继续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续续�