谷歌联合 Artificial Analysis 推出 MKA 基准Gemini 4 Carbon 多模态知识工作居次、任务成本约为第一名六分之一

一、核心结论

谷歌于 2026 年 11 月 10 日联合第三方 AI 评测机构 Artificial Analysis 发布了 MKA(Multimodal Knowledge Agent,多模态知识智能体)基准测试,专门评估 AI 智能体阅读、理解视觉复杂文件并完成端到端专业知识工作的能力。在首批参测的前沿模型中,Claude Fable 5.2 排名第一,谷歌 Gemini 4 Carbon 位列第二;两者成绩差距不大,但 Carbon 完成单个任务的平均成本约为第一名的六分之一(公开口径为成本低 6 倍以上、Token 用量少约 5.7 倍)。这次评测的重点不是单看答题分数,而是模拟真实职场里 "给一批图纸、表格、文档和明确任务要求,让智能体自己走完多步骤流程并交付成品" 的场景,因此分数和成本要放在一起看:Carbon 属于在接近第一梯队质量的前提下,把单次任务花费压到很低的一档。对企业选型来说,MKA 补上了以往只靠文本基准测不出的视觉理解和办公交付能力这一块。

二、为什么需要 MKA 这类基准测试

1. 传统知识工作基准大多只考文本

现有不少知识工作评测,模型只靠文字推理就能答出来,不需要真正查看图片、页面布局、图表结构或图纸细节。但现实专业工作恰恰高度依赖视觉信息:建筑师要交叉核对建筑蓝图,工程师要追溯工程示意图,分析师要从表格和图表里找数据,再把结论整理成演示文稿、报告和电子表格。只测文本,测不出模型处理这类视觉密集型文件的真实水平。

2. 智能体任务是端到端交付,不是单点问答

MKA 面向的是 agentic workflow(智能体工作流):模型拿到任务提示词和一组多模态输入文件后,需要自己提取信息、跨文件结合、推理判断,最终交付符合专业要求的成品。评测关注的是整个任务链条能不能走通、交付物是否达标,而不是某一道选择题答对与否。

3. 质量和成本需要同时评估

前沿模型之间能力差距缩小后,企业更关心 "完成一项真实工作要花多少钱"。MKA 在评分之外同时统计每个任务的 Token 消耗和任务成本,让使用者既能比较质量排位,也能比较性价比,避免只看跑分选型。

三、MKA 基准是怎么设计的

1. 任务来源与行业覆盖

谷歌与来自 10 个垂直行业、83 种职业的领域专家合作,共同构建了包含 200 项任务的评测集。覆盖行业包括:

  • 商业(Business)
  • 建筑(Construction)
  • 教育(Education)
  • 工程(Engineering)
  • 金融(Finance)
  • 医疗(Healthcare)
  • 法律与政府(Law & government)
  • 物流与地图(Logistics & mapping)
  • 科学(Science)
  • 软件与数据(Software & data)

2. 任务形态与输入文件

  • 每项任务模拟一个多步骤专业项目,包含真实工作提示词和一组多模态输入文件。
  • 输入文件格式涵盖 .xlsx、.pptx、.pdf、.docx、.html、.png 等。
  • 谷歌称这些任务通常需要经验丰富的专业人员花费 3—8 小时完成,任务复杂度贴近真实办公场景。

3. 评分方式

  • 由沙箱化的智能体自动评分器(agentic autorater)按专家加权评分规则(rubric)打分。
  • 专家评分研究中,自动评分器与人类领域专家在 96.2% 的标准判断上一致,Cohen's κ = 0.91。
  • 核心指标包括:
  • WSR(Weighted Satisfaction Rate,加权满意度):总体交付达标率。
  • Climb-WSR:针对尚未被前代模型 "刷饱和" 的前沿标准打分,用于区分头部模型之间的细微差距。

4. 参测模型

首批纳入评测的前沿模型包括:Gemini 4 Carbon、Claude Fable 5.2、Claude Opus 5.5、GPT-6 Astra。

四、MKA 评测结果与成本对照

1. 质量与单任务成本(公开披露口径)

排名模型Climb-WSR(前沿标准)Overall WSR(总体)单任务成本备注
1Claude Fable 5.256.6%73.3%$35.28质量第一,成本最高
2Gemini 4 Carbon54.3%71.9%$5.63成本约为第一名的六分之一,Token 用量少约 5.7 倍
3Claude Opus 5.553.0%—$10.29质量接近头部,成本居中
4GPT-6 Astra50.2%—$6.19成本较低,质量排位靠后

2. 结果怎么读

  • 质量差距集中在头部:第一名 Fable 5.2 与第二名 Carbon 的 Climb-WSR 相差约 2.3 个百分点,Overall WSR 相差约 1.4 个百分点,属于同一梯队内的小幅差距。
  • 成本差距非常明显:Carbon 单任务 $5.63,第一名 $35.28,约为后者的六分之一;相比第三名 Opus 5.5 的 $10.29 也低约四成以上。
  • Token 效率是成本优势来源:论文口径显示 Carbon 相比第一名少用约 5.7 倍 Token,说明成本下降不只是定价低,也和模型完成任务时的调用效率有关。
  • 头部模型仍有提升空间:即便最强模型,Climb-WSR 也低于 57%,说明多模态知识智能体在端到端专业交付上还远未饱和。

五、Gemini 4 Carbon 的背景与定位

1. 模型发布与其他榜单表现

  • Gemini 4 Carbon 于 2026 年 10 月底发布,是谷歌当前的前沿模型之一,主打复杂推理、知识、科学任务、编码与智能体能力,以及网络安全相关表现。
  • 在 Artificial Analysis 智能指数 v5(Intelligence Index v5)上,Carbon 以 59 分位列第一;在编码智能体指数上排名第二,仅次于 Claude Opus 5.5。
  • 公开基准中,Carbon 在 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience、AutomationBench-AA 等评测上处于领先位置。

2. 定价与性价比

  • 引入期 API 定价:每百万输入 Token 2 美元,每百万输出 Token 10 美元。
  • 缓存命中可享受较高折扣(公开口径为缓存 95% 折扣)。
  • 结合 MKA 中的单任务成本表现,谷歌在这一代模型上把 "头部能力 + 较低调用成本" 作为主要卖点之一。

3. MKA 结果在 Carbon 整体能力中的位置

需要区分不同榜单:Carbon 在综合智能指数、部分编码和自动化评测上排名靠前,但在 MKA 这个多模态知识工作专项基准上是第二名。也就是说,MKA 反映的是它在视觉密集型办公交付场景下的排位,不能直接等同于所有评测都拿第一。

六、基准测试的实际使用价值

1. 对模型研发方

  • 暴露模型在跨文件视觉理解、长流程交付上的短板,指导后续能力优化。
  • Climb-WSR 这类未饱和指标,帮助区分头部模型之间难以从普通分数看出的差距。

2. 对企业和开发者选型

  • 评估模型能否处理图纸、表格、文档混合的真实办公任务,而不只是文本对话。
  • 把质量得分和单任务成本放在一起比较,测算规模化调用时的费用。
  • 可结合自身行业文件类型(图纸、报表、合同、演示稿等)参考对应垂直任务的表现。

3. 对评测行业

  • 推动基准从 "文本问答" 走向 "多模态端到端交付",并把成本效率纳入评测维度。
  • 专家参与出题、自动评分器与人类专家一致性校验,提升了任务贴近真实工作的程度。

七、使用这类基准时需要注意的点

  • 基准不等于生产环境:MKA 任务经过专家设计和沙箱评分,实际业务中的文件规范、数据质量、权限流程和异常情况会更复杂。
  • 成本随档位和用法变化:单任务成本与推理档位、上下文长度、缓存命中率、任务复杂度相关,公开数字是特定评测条件下的均值。
  • 榜单会持续更新:参测模型、版本和定价可能调整,排位应结合最新官方榜单核对。
  • 多基准交叉验证:选型时建议把 MKA 与编码、自动化、计算机操作、幻觉率等其他基准对照看,避免单榜单下结论。

八、总结

谷歌联合 Artificial Analysis 推出的 MKA 基准,把评测焦点从纯文本推理拉回到真实职场里的视觉密集型知识工作:200 项任务覆盖 10 个行业、83 种职业,要求智能体跨图纸、表格、文档等多模态文件完成端到端交付。首批结果中 Claude Fable 5.2 质量第一,Gemini 4 Carbon 以约 2.3 个百分点的差距位列第二,但单任务成本约为第一名的六分之一、Token 用量少约 5.7 倍。这一结果说明,头部模型在多模态知识工作上已经比较接近,竞争重点正转向交付质量与调用成本的平衡;对关注办公自动化和智能体落地的团队,MKA 可以作为评估视觉理解与任务交付能力的一项参考,但仍需结合自身业务场景和多基准交叉验证。

【相关 FAQ】

问题 1:MKA 基准测试是什么,谷歌为什么联合 Artificial Analysis 推出它?

回答 1:MKA 全称 Multimodal Knowledge Agent(多模态知识智能体)基准,由谷歌与 Artificial Analysis 于 2026 年 11 月 10 日合作发布,用来评估 AI 智能体处理视觉复杂文件、完成端到端专业知识工作的能力。推出它是因为传统知识工作基准大多只考文本,测不出模型看图纸、图表、文档并交付成品的真实水平;Artificial Analysis 作为第三方评测机构参与,保证评测组织和成本统计的独立性。

问题 2:Gemini 4 Carbon 在 MKA 基准测试中取得什么成绩,成本表现如何?

回答 2:Gemini 4 Carbon 在 MKA 多模态知识工作测试中位列第二,Climb-WSR 为 54.3%,Overall WSR 为 71.9%;第一名 Claude Fable 5.2 分别为 56.6% 和 73.3%。Carbon 单任务成本约 5.63 美元,第一名约 35.28 美元,成本约为第一名的六分之一,Token 用量少约 5.7 倍,属于接近头部质量、调用成本明显更低的一档。

问题 3:MKA 基准的任务是怎么设计的,覆盖哪些行业?

回答 3:MKA 与 10 个垂直行业、83 种职业的领域专家合作,构建了 200 项任务,覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学、软件与数据。每项任务包含真实工作提示词和 .xlsx、.pptx、.pdf、.docx、.html、.png 等多模态输入文件,资深专业人员通常需要 3—8 小时完成,评分采用专家加权规则和沙箱智能体自动评分器。

问题 4:MKA 里的 WSR 和 Climb-WSR 分别是什么意思?

回答 4:WSR 是 Weighted Satisfaction Rate(加权满意度),衡量交付物按专家规则加权后的总体达标率;Climb-WSR 则针对尚未被前代模型饱和的前沿标准打分,用来区分头部模型之间的细微差距。MKA 同时公布总体 WSR 和 Climb-WSR,自动评分器与人类专家在 96.2% 的标准判断上一致(Cohen's κ = 0.91)。

问题 5:除了 MKA,Gemini 4 Carbon 在其他评测上表现如何?

回答 5:Gemini 4 Carbon 在 Artificial Analysis 智能指数 v5 上以 59 分排名第一,编码智能体指数排名第二、仅次于 Claude Opus 5.5,并在部分科学推理、幻觉控制和自动化评测上处于领先。需要注意的是,MKA 是多模态知识工作专项基准,Carbon 在该榜单排第二,不能等同于它在所有评测中都拿第一。

问题 6:企业参考 MKA 结果选型时,应该怎么看待质量和成本?

回答 6:建议把质量排位和单任务成本放在一起评估:Carbon 与第一名质量差距约 2 个百分点,但成本约为六分之一,适合对调用预算敏感、任务量较大的场景;如果更看重极限交付质量,可再对照第一名模型。同时要考虑推理档位、上下文长度、缓存命中率和自身文件类型,MKA 结果只是参考之一,应结合编码、自动化、幻觉率等其他基准和实际业务测试综合判断。

【参考资料】

  • [2026-11-14](谷歌六周连发三款大模型,压力给到 OpenAI)上游财经(今日头条)
  • [2026-11-11](谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一)IT 之家(今日头条)
  • [2026-11-11](谷歌最强 AI「碳」全球解禁,再现人类首次登月)36 氪(今日头条)
  • [2026-11-11](IT 之家:谷歌联合 Artificial Analysis 推出 MKA 基准,Gemini 4 Carbon 获第二)微博
  • [2026-11-10](Introducing the Multimodal Knowledge Agent benchmark)Google The Keyword
  • [2026-11-10](Gemini 4 Carbon is now available)Google The Keyword
  • [2026-10-29](刚刚,Gemini 4 Carbon 发布,谷歌重回世界第一)36 氪
  • [2026-10-28](Gemini 4 Carbon is the new #1 on the Artificial Analysis Intelligence Index v5)Artificial Analysis
  • [2026-10-28](Introducing Gemini 4 Carbon)Google The Keyword
  • [论文](MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks)Google DeepMind 技术论文

【免责声明】

本文内容基于谷歌官方博客、Artificial Analysis 公开页面、技术论文及媒体报道整理,仅用于技术资讯与科普参考,不构成任何模型选型、采购或投资建议。文中榜单排位、WSR 分数、单任务成本、Token 倍数和定价均来自公开披露口径,评测结果与特定模型版本、推理档位、任务集和统计条件相关,后续可能随模型更新和榜单迭代发生变化。实际业务表现需以企业自有场景测试和官方最新文档为准。

本文来自作者[隙栅回响人]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/kjyw/202611/36.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 隙栅回响人
    隙栅回响人 2026年11月14日

    我是岳鹿科技网的签约作者“隙栅回响人”!

  • 隙栅回响人
    隙栅回响人 2026年11月14日

    希望本篇文章《谷歌联合 Artificial Analysis 推出 MKA 基准Gemini 4 Carbon 多模态知识工作居次、任务成本约为第一名六分之一》能对你有所帮助!

  • 隙栅回响人
    隙栅回响人 2026年11月14日

    本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索

  • 隙栅回响人
    隙栅回响人 2026年11月14日

    本文概览:谷歌于 2026 年 11 月 10 日联合第三方 AI 评测机构 Artificial Analysis 发布了 MKA(Multimodal Knowledge Agent,多模态知识智能体)基准测试,专门评估 AI 智能体阅读、理解视觉复杂文件并完成端到端专业知识工作的能力。在首批参测的前沿模型中,Claude Fable 5.2 排名第一,谷歌 Gemini 4 Carbon 位列第二;两者成绩差距不大,但 Carbon 完成单个任务的平均成本约为第一名的六分之一(公开口径为成本低 6 倍以上、Token 用量少约 5.7 倍)。这次评测的重点不是单看答题分数,而是模拟真实职场里 "给一批图纸、表格、文档和明确任务要求,让智能体自己走完多步骤流程并交付成品 " 的场景,因此分数和成本要放在一起看:Carbon 属于在接近第一梯队质量的前提下,把单次任务花费压到很低的一档。对企业选型来说,MKA 补上了以往只靠文本基准测不出的视觉理解和办公交付能力这一块。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们