ES synthetic_source_keep=arrays 详解数组字段会额外存一份原始数据

ES 开启 synthetic(合成_source)之后,默认不会存储完整原始 JSON,查询时从 doc values 现场拼出_source,以此节省磁盘;但 doc values 本身会对数组做排序、去重,丢失顺序和重复值,所以synthetic_source_keep=arrays的作用就是,对数组类型字段单独把原始数组内容额外存一份,也就是大家说的 “白存一份”,用来保留数组顺序、重复元素,代价是这部分字段会出现数据双份存储,占用额外存储空间,在 LogsDB 里这个参数默认就是 arrays,9.1 版本还调整了它的判定逻辑,已经原生支持数组解析的字段不再重复存储。

一、synthetic_source_keep 三个取值对照表

取值行为说明存储开销适用场景
none不额外保留原始数组,完全靠 doc values 重建,数组会排序、去重、丢顺序最低不关心数组顺序、重复值,追求极致压缩
arrays只对数组字段额外保存原始数组信息,单值字段不额外存中等日志头、DNS 记录、顺序数组,LogsDB 默认值
all数组 + 单值字段都保留原始内容,等价于接近原版_source最高要求字段原始结构完全不变,对还原精度要求极高

二、为什么要单独存一份数组

原生 doc values 底层是列式存储,多值数组写入之后,会自动排序、去重,没法还原入库时的顺序。

举个例子:入库["b","a","a"],doc values 读出会变成["a","b"],顺序和重复信息直接丢失。

开启arrays模式之后,ES 会单独把原始数组放到_ignored_source里,查询合成_source 的时候优先读取这份原始数组,保证顺序、重复元素保留,但是数据就变成两份:一份 doc values 用于检索,一份原始数组用于还原_source,这就是 “白存一份” 的由来。

三、9.1 版本重要改动

9.1 之前:只要字段是数组形式,就触发额外存储;

9.1 之后:如果字段本身的类型原生就支持数组解析(flattened、nested 等),不再重复保存,避免无意义的双倍存储浪费,减少磁盘放大。

四、典型使用示例

索引开启 synthetic source,全局设置 arrays:

PUT test-logs

{

"settings": {

"index": {

"mapping.source.mode": "synthetic",

"index.mapping.synthetic_source_keep": "arrays"

}

}

}

也可以在 mapping 里单字段设置,只对个别字段开启保留数组,而不是全局生效,精细化控制存储成本。

五、优缺点与取舍

✅ 收益

  1. 保留数组元素顺序、重复值,适合 HTTP header、链路序列、DNS 记录这类有序数组;
  2. 不用回到完整 source 模式,整体存储依然比原生 source 省很多;
  3. LogsDB 时序日志场景开箱即用,不用手动处理数组还原。

⚠️ 代价

  1. 数组字段会双份存储,索引体积上涨;
  2. 写入、合并段的时候,要维护_ignored_source,轻微增加写入开销;
  3. 嵌套深层数组不一定保证 100% 原样,官方文档说明结构等价即可,不保证完全一模一样。

六、选型建议

  1. 普通业务检索,数组顺序无关:直接用 none,省空间;
  2. 日志、链路、有序数组,使用 LogsDB:保持默认 arrays;
  3. 少量字段需要保序,大部分字段不需要:不要全局开,字段级单独配置;
  4. 所有字段都要求原始 JSON 完全不变:直接用 all,或者干脆关闭 synthetic source。

【相关 FAQ】

问题 1:ES synthetic_source_keep=arrays,为什么说数组字段是白存一份?

回答 1:ES synthetic_source_keep=arrays 模式下,数组一份写入 doc values 用来检索,另一份原始数组单独存放用来还原_source,相当于数组数据存两份,所以行业里叫做白存一份,目的是保住数组顺序和重复值。

问题 2:ES synthetic_source_keep=arrays 和 none 的核心差别是什么?

回答 2:none 模式完全依靠 doc values 重建数组,数组会排序、去重,丢失顺序;arrays 模式额外保存原始数组内容,合成_source 的时候可以还原入库时的顺序和重复元素,但是会增加存储开销。

问题 3:ES 升级到 9.1 之后,synthetic_source_keep=arrays 的行为有什么变化?

回答 3:9.1 版本修改了 synthetic_source_keep=arrays 的判定逻辑,如果字段本身类型原生支持数组解析,就不会再额外保存一份数组,避免不必要的双倍存储,降低磁盘占用。

问题 4:ES synthetic_source_keep=arrays 适合什么场景,时序日志一定要开吗?

回答 4:适合 HTTP 请求头、DNS 记录、事件序列这类依赖数组顺序和重复值的日志场景;LogsDB 索引默认就是 arrays,时序日志一般建议保持开启,如果业务完全不关心数组顺序,可以改成 none 压缩存储。

【参考资料】

[2026-11-13](检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份)腾讯云开发者社区

[2026-10-20](Elasticsearch 9.1 synthetic_source_keep 行为变更说明)Elastic 官方文档

[2026-09-02](Synthetic source arrays keep 模式、_ignored_source 存储原理)Elastic Labs

[2026-08-15](LogsDB 索引 synthetic_source_keep 默认配置介绍)Elastic 文档

【免责声明】

本文为 ES synthetic_source_keep=arrays 技术科普,存储放大比例、数组还原效果受 ES 版本、字段类型、嵌套深度影响;开启 arrays 会带来磁盘开销上涨,生产环境上线前建议做压测和存储评估,本文不直接作为线上索引配置方案。

本文来自作者[元涡校准]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/811.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 元涡校准
    元涡校准 2026年11月16日

    我是岳鹿科技网的签约作者“元涡校准”!

  • 元涡校准
    元涡校准 2026年11月16日

    希望本篇文章《ES synthetic_source_keep=arrays 详解数组字段会额外存一份原始数据》能对你有所帮助!

  • 元涡校准
    元涡校准 2026年11月16日

    本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索

  • 元涡校准
    元涡校准 2026年11月16日

    本文概览:ES 开启 synthetic(合成_source)之后,默认不会存储完整原始 JSON,查询时从 doc values 现场拼出_source,以此节省磁盘;但 doc values 本身会对数组做排序、去重,丢失顺序和重复值,所以synthetic_source_keep=arrays的作用就是,对数组类型字段单独把原始数组内容额外存一份,也就是大家说的 “白存一份”,用来保留数组顺序、重复元素,代价是这部分字段会出现数据双份存储,占用额外存储空间,在 LogsDB 里这个参数默认就是 arrays,9.1 版本还调整了它的判定逻辑,已经原生支持数组解析的字段不再重复存储。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们