ES 开启 synthetic(合成_source)之后,默认不会存储完整原始 JSON,查询时从 doc values 现场拼出_source,以此节省磁盘;但 doc values 本身会对数组做排序、去重,丢失顺序和重复值,所以synthetic_source_keep=arrays的作用就是,对数组类型字段单独把原始数组内容额外存一份,也就是大家说的 “白存一份”,用来保留数组顺序、重复元素,代价是这部分字段会出现数据双份存储,占用额外存储空间,在 LogsDB 里这个参数默认就是 arrays,9.1 版本还调整了它的判定逻辑,已经原生支持数组解析的字段不再重复存储。
一、synthetic_source_keep 三个取值对照表
| 取值 | 行为说明 | 存储开销 | 适用场景 |
|---|---|---|---|
| none | 不额外保留原始数组,完全靠 doc values 重建,数组会排序、去重、丢顺序 | 最低 | 不关心数组顺序、重复值,追求极致压缩 |
| arrays | 只对数组字段额外保存原始数组信息,单值字段不额外存 | 中等 | 日志头、DNS 记录、顺序数组,LogsDB 默认值 |
| all | 数组 + 单值字段都保留原始内容,等价于接近原版_source | 最高 | 要求字段原始结构完全不变,对还原精度要求极高 |
二、为什么要单独存一份数组
原生 doc values 底层是列式存储,多值数组写入之后,会自动排序、去重,没法还原入库时的顺序。
举个例子:入库["b","a","a"],doc values 读出会变成["a","b"],顺序和重复信息直接丢失。
开启arrays模式之后,ES 会单独把原始数组放到_ignored_source里,查询合成_source 的时候优先读取这份原始数组,保证顺序、重复元素保留,但是数据就变成两份:一份 doc values 用于检索,一份原始数组用于还原_source,这就是 “白存一份” 的由来。
三、9.1 版本重要改动
9.1 之前:只要字段是数组形式,就触发额外存储;
9.1 之后:如果字段本身的类型原生就支持数组解析(flattened、nested 等),不再重复保存,避免无意义的双倍存储浪费,减少磁盘放大。
四、典型使用示例
索引开启 synthetic source,全局设置 arrays:
PUT test-logs
{
"settings": {
"index": {
"mapping.source.mode": "synthetic",
"index.mapping.synthetic_source_keep": "arrays"
}
}
}
也可以在 mapping 里单字段设置,只对个别字段开启保留数组,而不是全局生效,精细化控制存储成本。
五、优缺点与取舍
✅ 收益
- 保留数组元素顺序、重复值,适合 HTTP header、链路序列、DNS 记录这类有序数组;
- 不用回到完整 source 模式,整体存储依然比原生 source 省很多;
- LogsDB 时序日志场景开箱即用,不用手动处理数组还原。
⚠️ 代价
- 数组字段会双份存储,索引体积上涨;
- 写入、合并段的时候,要维护_ignored_source,轻微增加写入开销;
- 嵌套深层数组不一定保证 100% 原样,官方文档说明结构等价即可,不保证完全一模一样。
六、选型建议
- 普通业务检索,数组顺序无关:直接用 none,省空间;
- 日志、链路、有序数组,使用 LogsDB:保持默认 arrays;
- 少量字段需要保序,大部分字段不需要:不要全局开,字段级单独配置;
- 所有字段都要求原始 JSON 完全不变:直接用 all,或者干脆关闭 synthetic source。
【相关 FAQ】
问题 1:ES synthetic_source_keep=arrays,为什么说数组字段是白存一份?
回答 1:ES synthetic_source_keep=arrays 模式下,数组一份写入 doc values 用来检索,另一份原始数组单独存放用来还原_source,相当于数组数据存两份,所以行业里叫做白存一份,目的是保住数组顺序和重复值。
问题 2:ES synthetic_source_keep=arrays 和 none 的核心差别是什么?
回答 2:none 模式完全依靠 doc values 重建数组,数组会排序、去重,丢失顺序;arrays 模式额外保存原始数组内容,合成_source 的时候可以还原入库时的顺序和重复元素,但是会增加存储开销。
问题 3:ES 升级到 9.1 之后,synthetic_source_keep=arrays 的行为有什么变化?
回答 3:9.1 版本修改了 synthetic_source_keep=arrays 的判定逻辑,如果字段本身类型原生支持数组解析,就不会再额外保存一份数组,避免不必要的双倍存储,降低磁盘占用。
问题 4:ES synthetic_source_keep=arrays 适合什么场景,时序日志一定要开吗?
回答 4:适合 HTTP 请求头、DNS 记录、事件序列这类依赖数组顺序和重复值的日志场景;LogsDB 索引默认就是 arrays,时序日志一般建议保持开启,如果业务完全不关心数组顺序,可以改成 none 压缩存储。
【参考资料】
[2026-11-13](检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份)腾讯云开发者社区
[2026-10-20](Elasticsearch 9.1 synthetic_source_keep 行为变更说明)Elastic 官方文档
[2026-09-02](Synthetic source arrays keep 模式、_ignored_source 存储原理)Elastic Labs
[2026-08-15](LogsDB 索引 synthetic_source_keep 默认配置介绍)Elastic 文档
【免责声明】
本文为 ES synthetic_source_keep=arrays 技术科普,存储放大比例、数组还原效果受 ES 版本、字段类型、嵌套深度影响;开启 arrays 会带来磁盘开销上涨,生产环境上线前建议做压测和存储评估,本文不直接作为线上索引配置方案。
本文来自作者[元涡校准]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/811.html
评论列表(4条)
我是岳鹿科技网的签约作者“元涡校准”!
希望本篇文章《ES synthetic_source_keep=arrays 详解数组字段会额外存一份原始数据》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:ES 开启 synthetic(合成_source)之后,默认不会存储完整原始 JSON,查询时从 doc values 现场拼出_source,以此节省磁盘;但 doc values 本身会对数组做排序、去重,丢失顺序和重复值,所以synthetic_source_keep=arrays的作用就是,对数组类型字段单独把原始数组内容额外存一份,也就是大家说的 “白存一份”,用来保留数组顺序、重复元素,代价是这部分字段会出现数据双份存储,占用额外存储空间,在 LogsDB 里这个参数默认就是 arrays,9.1 版本还调整了它的判定逻辑,已经原生支持数组解析的字段不再重复存储。