智元发布 WITA-Omni,行业首个具身全模态端到端交互大模型

智元正式发布 WITA-Omni 硅光动语全模态大模型,官方定位它是行业首个具身全模态端到端交互大模型,专门给人形机器人打造面向物理世界的交互大脑,和过去先转文字、再生成语音动作的分段式模型不一样,它把视觉、听觉、触觉、本体状态这些感知信息,还有语音、表情、肢体动作放在同一个模型里面统一建模,实现边听、边思考、边回应、边行动的流式全双工交互。传统机器人大多需要唤醒词才能对话,交互有明显延迟,还容易把动作和对话分开,而 WITA-Omni 自带全模态拒识能力,不用唤醒词就能判断你是不是在跟它说话,支持中途插话打断,最快响应 400 毫秒,平均 600 毫秒,接近真人对话节奏,已经在远征 A3-Ultra 量产机器人上完成真机部署,适合服务、导览、陪伴这类需要自然人机互动的场景。

核心架构介绍

WITA-Omni 采用 Thinker–Talker–Actor 三模块一体架构,是它实现端到端具身交互的核心。

  • Thinker 思考模块:统一处理文本、图像、音频、视频、触觉、机器人本体状态,做跨模态联合推理,判断交互对象、对话时机、环境语境。
  • Talker 语音模块:基于推理结果流式生成语音,保留语气、情绪,不丢失语调信息。
  • Actor 动作表情模块:把肢体动作、面部表情作为和语音同级别的输出,说话同步配合手势、表情,做到言行同步。

同时搭配快慢双模系统:前台负责即时流式响应,后台负责长任务规划、深度推理,两套模块共享上下文。

关键能力清单

  1. 免唤醒交互:依靠声纹、唇动、视觉朝向、环境声音综合判断,不需要固定唤醒词,区分是不是在和机器人对话。
  2. 低延迟响应:最快 400ms,平均 600ms,支持连续对话、随时打断、实时纠正。
  3. 多语种能力:支持上百种语言、29 种方言,支持流式同声传译,不用手动切换语种。
  4. 拟人情感表达:具备 20 多种不同强度情感,搭配智能面屏,可视化展示思考内容。
  5. 多模态输入输出:输入包含音视频、触觉、机器人本体姿态;输出包含语音、表情、全身动作。
  6. 榜单成绩:登顶 DailyOmni、TimeLens-Bench、EmbSpatialBench、MMAU 四项具身交互权威榜单。

和传统多模态模型的区别

对比项传统多模态模型WITA-Omni 具身全模态端到端模型
交互范式分段串行,语音转文字、文字再生成语音动作端到端流式全双工,感知、思考、说话、动作同步进行
唤醒要求大多需要唤醒词触发支持免唤醒,全模态拒识,自主判断对话目标
输出内容优先输出文字、语音,动作是外挂模块语音、表情、肢体动作同为一级输出,协同联动
训练数据大量互联网图文短视频以机器人真机物理感知数据为主,兼顾开放多模态数据
适用对象手机、电脑、数字人人形机器人、物理空间里的具身智能体

落地部署节奏

  1. 当前阶段:已经对首批友好客户开放部署,搭载在远征 A3-Ultra 机器人。
  2. 国内进度:12 月完成国内全面部署。
  3. 海外进度:2027 年 1 月欧洲首发,3 月海外区域全面上线。
  4. 落地场景:导览接待、文娱互动、商用服务、陪伴交互等。

简单理解模型的使用观察步骤

  1. 先确认载体:WITA-Omni 是机器人交互大脑,不能单独在普通电脑直接使用,需要搭配智元人形机器人本体。
  2. 观察交互方式:看是否不用喊唤醒词、能不能随时插话打断。
  3. 留意同步表现:听语音的时候,观察机器人手势、面部表情是否同步匹配对话情绪。
  4. 测试复杂环境:在有噪音的环境下,看模型能不能分清说话人,不被杂音误触发。
  5. 区分边界:它侧重交互能力,不是主打机械精细操作,操作任务一般搭配智元 GO 系列基座模型配合。

【相关 FAQ】

问题 1:智元 WITA-Omni 作为行业首个具身全模态端到端交互大模型,它和普通多模态大模型最大差别是什么?

回答 1:智元 WITA-Omni 是行业首个具身全模态端到端交互大模型,普通多模态模型大多是图文音理解,动作能力是外挂模块、分段处理;而 WITA-Omni 把动作、表情当成和语音同级别的输出,流式同步处理感知、语言、动作,专门适配机器人在真实物理世界的交互。

问题 2:智元 WITA-Omni 这个具身全模态端到端交互大模型,是不是一定要唤醒词才能对话?

回答 2:智元 WITA-Omni 这款具身全模态端到端交互大模型支持免唤醒对话,依靠声纹、唇动、视觉朝向、环境声音做全模态拒识,机器人自己判断你是不是在和它交流,减少无效误触发。

问题 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,对话响应速度大概是多少?

回答 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,交互响应最快约 400 毫秒,平均大约 600 毫秒,比行业平均水平快接近 3 倍,支持连续对话、中途打断。

问题 4:智元 WITA-Omni 具身全模态端到端交互大模型可以单独下载到电脑上直接跑吗?

回答 4:智元 WITA-Omni 具身全模态端到端交互大模型是面向人形机器人的交互大脑,需要搭配智元机器人本体、感知硬件一起部署,不能单独下载到普通电脑直接运行。

【参考资料】

[2026-11-13](智元发布 WITA-Omni 具身全模态大模型并完成本体部署)DoNews

[2026-11-10](号称行业首个具身全模态端到端交互大模型!智元机器人发布 WITA-Omni)新浪财经

[2026-10-29](部署态加速,智元要打通物理 AI 全链路)36 氪

[2026-07-30](国产具身原生全模态大模型 登顶 DailyOmni 全模态理解榜单)央广网

【免责声明】

本文内容为智元 WITA-Omni 行业首个具身全模态端到端交互大模型相关资讯整理,模型性能、部署时间、开放范围以智元官方公告和实测为准;不同硬件本体上的交互效果存在差异,本文不构成采购、技术选型的投资或商用建议。

本文来自作者[碎栅摆渡]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/kjyw/202611/17.html

赞 (2)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 碎栅摆渡
    碎栅摆渡 2026年11月14日

    我是岳鹿科技网的签约作者“碎栅摆渡”!

  • 碎栅摆渡
    碎栅摆渡 2026年11月14日

    希望本篇文章《智元发布 WITA-Omni,行业首个具身全模态端到端交互大模型》能对你有所帮助!

  • 碎栅摆渡
    碎栅摆渡 2026年11月14日

    本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索

  • 碎栅摆渡
    碎栅摆渡 2026年11月14日

    本文概览:智元正式发布 WITA-Omni 硅光动语全模态大模型,官方定位它是行业首个具身全模态端到端交互大模型,专门给人形机器人打造面向物理世界的交互大脑,和过去先转文字、再生成语音动作的分段式模型不一样,它把视觉、听觉、触觉、本体状态这些感知信息,还有语音、表情、肢体动作放在同一个模型里面统一建模,实现边听、边思考、边回应、边行动的流式全双工交互。传统机器人大多需要唤醒词才能对话,交互有明显延迟,还容易把动作和对话分开,而 WITA-Omni 自带全模态拒识能力,不用唤醒词就能判断你是不是在跟它说话,支持中途插话打断,最快响应 400 毫秒,平均 600 毫秒,接近真人对话节奏,已经在远征 A3-Ultra 量产机器人上完成真机部署,适合服务、导览、陪伴这类需要自然人机互动的场景。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们