最近看到苹果发了一篇机器人控制系统的论文,叫 HALO,挂在 arXiv 上。有意思的是他们拿阿里千问当基座模型,自己只做规划层,真机验证平台是宇树的 G1。更抓眼球的是那个 91% 的平均成功率,而且是零样本迁移——训练全在仿真里,真机上一次没调过。我这两天翻了好几遍论文里的实验设计部分,觉得这个评测方法值得掰开聊一下,因为仿真到真机的坑太常见了,能按这个路数交出 91% 的数据,说明他们测试框架做得很实。
先说评测的具体设计。论文里写了,测试覆盖 6 类单项技能:抓取、放置、推、拉、打开容器、按按钮。每类技能在不同的环境里反复测,总共 360 次试跑。关键点是环境——他们选了 6 个全新场景,训练阶段完全没见过,连扫描数据都没有。这意味着机器人进到房间后的第一帧视觉输入就是陌生的,模型必须靠千问的视觉理解能力实时解读场景,再用 HALO 的规划层把理解转化成动作序列。
我觉得这个 91% 的含金量主要来自两个细节。第一,测试环境不是那种实验室白墙加固定光源的干净场景。论文里提到的场景包括厨房、书架、办公桌,光线和物体摆放都有变化。第二,360 次测试不是闭着眼睛重复同样动作,而是每次物体位置、朝向、背景都不一样。拿抓取来说,同一个杯子可能放在桌面正中、靠近边缘、或者被其他物体半挡住,模型必须适应这些变化。
不过 91% 不代表机器人真的能搞定一切。细看论文,他们定义的“成功”是任务级通过,比如“把杯子放到指定区域”就算一次成功,不管过程中碰倒了什么或者动作有多笨拙。而且测试只测了单项技能,没有组合——比如先推开门再进去抓东西这种多步操作没在 360 次测试里。所以 91% 是一个很具体很保守的数字,说明 HALO 在单步操作上已经能做到非常可靠的零样本泛化,但离“家里随便跑”还有不少距离。
说到仿真到真机的 gap,我自己折腾过类似的东西,深有体会。通常卡住的地方有两类:一是视觉 domain gap——仿真里渲染出来的图片太干净,真机摄像头拍出来有噪点、有反光、有阴影,模型就认不出来了。二是物理参数 mismatch——仿真里假设摩擦系数 0.3,真机桌面可能只有 0.1,机器人一推就滑过头。HALO 能用千问的视觉能力做实时理解,等于把第一类 gap 跳过去了——不需要传统域适应那一套,直接靠大模型的泛化性读真机画面。第二类 gap 他们是通过在仿真里随机化物理参数来覆盖的,论文提到训练时摩擦、质量、刚度都做了随机采样。
另外值得一提的是,苹果在 HALO 里没有自己训练千问这个级别的基座模型。他们直接调阿里千问的 API 或者本地部署的权重,只做感知理解层的推理,规划控制层才是他们自己 train 的。这个选择很务实,因为训练一个通用视觉语言模型的成本太高了,而且机器人场景不需要千问的全部能力,只需要它能把场景描述成结构化的语义。苹果的做法相当于把千问当成了一个可插拔的“视觉编码器”,自己专注做运动规划。
这个合作路线跟国行 Apple 智能那边的情况是一致的。之前有报道说 iOS 27.3 会整合阿里千问,Siri、写作工具、视觉智能都能调用千问的文本和图像理解能力。HALO 用千问做机器人视觉,等于把同一套模型能力延伸到物理世界,技术栈上可以复用苹果在手机端的部署经验。不过机器人对推理时延和稳定性要求比手机高得多,千问跑在 G1 上是不是云端调用还是本地推理,论文里没细说,我觉得大概率是云端,因为 G1 的板载算力跑千问级别的模型太吃力了。
再拉长远看,这个 91% 的实验放在整个行业里算是什么水平?同期特斯拉 Optimus 在工厂里做电池分拣,Meta 和傅利叶在迭代家庭原型,OpenAI 也在往物理世界延伸。HALO 的价值不在于它比 Optimus 强或者弱——根本没法比,因为测试任务和场景不一样。它的贡献是展示了一种“纯仿真训练+大模型视觉理解”的可行路线,成本低、迭代快,不需要真机大量试错。对于想做机器人但又没条件大规模部署真机的团队来说,这条路线很吸引人。
不过话说回来,91% 的成功率测的是“在未见环境里做未见物体的单步操作”,不代表着机器人的通用能力到了这个水平。如果场景里出现训练时完全没见过的物体类型(比如形状极不规则的),或者需要精细力控的操作(比如拧瓶盖),成功率大概率会掉下来。论文里也提到,HALO 在处理柔性物体和透明物体时表现会变差,因为千问的视觉理解在那类场景下本身就容易出错。
总结一下我的感觉:这个评测方法设计得很严谨,360 次、6 类技能、6 个未见环境,覆盖了常见的泛化维度,91% 的数据经得起推敲。但“零样本迁移成功”不等于“机器人真的学会了”,它只是证明了仿真训练加好的视觉理解模型可以跨越一部分 domain gap。下一步如果能测多步组合任务、增加失败恢复机制、把时延压到实时级别,那才真正接近实用。目前看,还是一个很扎实的起点。
苹果用阿里千问在宇树 G1 上跑 HALO,91% 成功率是怎么测出来的
| 人围观 |随便看看
- 短篇漫画-牛郎织女[15P]
- 再度重逢[15P]
- [写真] 性感美图168期白猫公主[75P]
- [欧美] 穿着黑色长筒袜的红发美女[28P]
- 砂舞舞厅能摸能扣 几个有趣的短视频15 [12V]
- [微博谈 2025/07/18] 中国审查制度的本质
- 如果共惨裆真的爱人民
- 分享我的骚老婆[10P]
- [国产GIF动图] 你在胯下享受的样子真诱人20250108[1
- 表姐的淫穴还是挺紧的[16P]
- 结婚率暴跌,真相现实的不敢看
- [微博谈 2026/04/29] 国家机密
- 别急,我们再努力努力老外就也没有年假了
- 反差婊们(二十六)[93P]
- [亚洲] 群P真的不要太爽[30P]
- 张雪峰走后才明白他说的都是真话
- 但愿是杞人忧天,但愿永远用不着!多一份准备,少一分风险
- 迷情小护士 [30P]
- [亚洲] 极具韵味的波老师[28P]
- 美国对俄政策转向 冲击与乌克兰关系
- Z资FY玻璃遭美搜查 疑涉洗钱人口贩运
- [扒B福利社]5.16精品移植手机游戏合集--都市怪谈、
- [亚洲] JVID套图2 [46P]
- [转载]中欧白兰地案对欧方的启示
- [名器赏析]美少女甜妞 色情业斗士(kenna james)黑心
- 为什么人们总是不喜欢直接更改他们 的认知?,记外地三
- [写真] 韩国人气模特 孙允珠 高清套图 890 [30P]
- 反差婊,真de骚[10P]
- [老牛分享第121期] 反差婊之此生最爱眼镜婊 [138P]
- [欧美] 米歇尔[20P]
- ③今日主题评论区偷窥视角比拼[27P]
- 大奶大屁股妹子!超级bbw请诸君品鉴[12P]
- 女人的危机
- [亚洲] 白衬衫下的诱人肉体[29P]
- [原创]今日投稿,029分享[20P]
- 短篇漫画-打破最后的斋戒[27P]
- [技术讨论] 最近电子科技圈的话题
- [原创]淫荡娇妻性配合[23P+6V]