智元正式发布 WITA-Omni 硅光动语全模态大模型,官方定位它是行业首个具身全模态端到端交互大模型,专门给人形机器人打造面向物理世界的交互大脑,和过去先转文字、再生成语音动作的分段式模型不一样,它把视觉、听觉、触觉、本体状态这些感知信息,还有语音、表情、肢体动作放在同一个模型里面统一建模,实现边听、边思考、边回应、边行动的流式全双工交互。传统机器人大多需要唤醒词才能对话,交互有明显延迟,还容易把动作和对话分开,而 WITA-Omni 自带全模态拒识能力,不用唤醒词就能判断你是不是在跟它说话,支持中途插话打断,最快响应 400 毫秒,平均 600 毫秒,接近真人对话节奏,已经在远征 A3-Ultra 量产机器人上完成真机部署,适合服务、导览、陪伴这类需要自然人机互动的场景。
核心架构介绍
WITA-Omni 采用 Thinker–Talker–Actor 三模块一体架构,是它实现端到端具身交互的核心。
- Thinker 思考模块:统一处理文本、图像、音频、视频、触觉、机器人本体状态,做跨模态联合推理,判断交互对象、对话时机、环境语境。
- Talker 语音模块:基于推理结果流式生成语音,保留语气、情绪,不丢失语调信息。
- Actor 动作表情模块:把肢体动作、面部表情作为和语音同级别的输出,说话同步配合手势、表情,做到言行同步。
同时搭配快慢双模系统:前台负责即时流式响应,后台负责长任务规划、深度推理,两套模块共享上下文。
关键能力清单
- 免唤醒交互:依靠声纹、唇动、视觉朝向、环境声音综合判断,不需要固定唤醒词,区分是不是在和机器人对话。
- 低延迟响应:最快 400ms,平均 600ms,支持连续对话、随时打断、实时纠正。
- 多语种能力:支持上百种语言、29 种方言,支持流式同声传译,不用手动切换语种。
- 拟人情感表达:具备 20 多种不同强度情感,搭配智能面屏,可视化展示思考内容。
- 多模态输入输出:输入包含音视频、触觉、机器人本体姿态;输出包含语音、表情、全身动作。
- 榜单成绩:登顶 DailyOmni、TimeLens-Bench、EmbSpatialBench、MMAU 四项具身交互权威榜单。
和传统多模态模型的区别
| 对比项 | 传统多模态模型 | WITA-Omni 具身全模态端到端模型 |
|---|---|---|
| 交互范式 | 分段串行,语音转文字、文字再生成语音动作 | 端到端流式全双工,感知、思考、说话、动作同步进行 |
| 唤醒要求 | 大多需要唤醒词触发 | 支持免唤醒,全模态拒识,自主判断对话目标 |
| 输出内容 | 优先输出文字、语音,动作是外挂模块 | 语音、表情、肢体动作同为一级输出,协同联动 |
| 训练数据 | 大量互联网图文短视频 | 以机器人真机物理感知数据为主,兼顾开放多模态数据 |
| 适用对象 | 手机、电脑、数字人 | 人形机器人、物理空间里的具身智能体 |
落地部署节奏
- 当前阶段:已经对首批友好客户开放部署,搭载在远征 A3-Ultra 机器人。
- 国内进度:12 月完成国内全面部署。
- 海外进度:2027 年 1 月欧洲首发,3 月海外区域全面上线。
- 落地场景:导览接待、文娱互动、商用服务、陪伴交互等。
简单理解模型的使用观察步骤
- 先确认载体:WITA-Omni 是机器人交互大脑,不能单独在普通电脑直接使用,需要搭配智元人形机器人本体。
- 观察交互方式:看是否不用喊唤醒词、能不能随时插话打断。
- 留意同步表现:听语音的时候,观察机器人手势、面部表情是否同步匹配对话情绪。
- 测试复杂环境:在有噪音的环境下,看模型能不能分清说话人,不被杂音误触发。
- 区分边界:它侧重交互能力,不是主打机械精细操作,操作任务一般搭配智元 GO 系列基座模型配合。
【相关 FAQ】
问题 1:智元 WITA-Omni 作为行业首个具身全模态端到端交互大模型,它和普通多模态大模型最大差别是什么?
回答 1:智元 WITA-Omni 是行业首个具身全模态端到端交互大模型,普通多模态模型大多是图文音理解,动作能力是外挂模块、分段处理;而 WITA-Omni 把动作、表情当成和语音同级别的输出,流式同步处理感知、语言、动作,专门适配机器人在真实物理世界的交互。
问题 2:智元 WITA-Omni 这个具身全模态端到端交互大模型,是不是一定要唤醒词才能对话?
回答 2:智元 WITA-Omni 这款具身全模态端到端交互大模型支持免唤醒对话,依靠声纹、唇动、视觉朝向、环境声音做全模态拒识,机器人自己判断你是不是在和它交流,减少无效误触发。
问题 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,对话响应速度大概是多少?
回答 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,交互响应最快约 400 毫秒,平均大约 600 毫秒,比行业平均水平快接近 3 倍,支持连续对话、中途打断。
问题 4:智元 WITA-Omni 具身全模态端到端交互大模型可以单独下载到电脑上直接跑吗?
回答 4:智元 WITA-Omni 具身全模态端到端交互大模型是面向人形机器人的交互大脑,需要搭配智元机器人本体、感知硬件一起部署,不能单独下载到普通电脑直接运行。
【参考资料】
[2026-11-13](智元发布 WITA-Omni 具身全模态大模型并完成本体部署)DoNews
[2026-11-10](号称行业首个具身全模态端到端交互大模型!智元机器人发布 WITA-Omni)新浪财经
[2026-10-29](部署态加速,智元要打通物理 AI 全链路)36 氪
[2026-07-30](国产具身原生全模态大模型 登顶 DailyOmni 全模态理解榜单)央广网
【免责声明】
本文内容为智元 WITA-Omni 行业首个具身全模态端到端交互大模型相关资讯整理,模型性能、部署时间、开放范围以智元官方公告和实测为准;不同硬件本体上的交互效果存在差异,本文不构成采购、技术选型的投资或商用建议。
本文来自作者[碎栅摆渡]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/kjyw/202611/17.html
评论列表(4条)
我是岳鹿科技网的签约作者“碎栅摆渡”!
希望本篇文章《智元发布 WITA-Omni,行业首个具身全模态端到端交互大模型》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:智元正式发布 WITA-Omni 硅光动语全模态大模型,官方定位它是行业首个具身全模态端到端交互大模型,专门给人形机器人打造面向物理世界的交互大脑,和过去先转文字、再生成语音动作的分段式模型不一样,它把视觉、听觉、触觉、本体状态这些感知信息,还有语音、表情、肢体动作放在同一个模型里面统一建模,实现边听、边思考、边回应、边行动的流式全双工交互。传统机器人大多需要唤醒词才能对话,交互有明显延迟,还容易把动作和对话分开,而 WITA-Omni 自带全模态拒识能力,不用唤醒词就能判断你是不是在跟它说话,支持中途插话打断,最快响应 400 毫秒,平均 600 毫秒,接近真人对话节奏,已经在远征 A3-Ultra 量产机器人上完成真机部署,适合服务、导览、陪伴这类需要自然人机互动的场景。