ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Erupt 对接 Elasticsearch 数据源全解析:注解驱动索引绑定、查询下推与完整 CRUD 实现

Erupt 对接 Elasticsearch 数据源全解析:注解驱动索引绑定、查询下推与完整 CRUD 实现
  • 后端
  • 低代码
  • AI 应用
  • 人工智能
  • AI Agent
  • 认证鉴权
  • RAG

【免费下载链接】erupt

🚀 通用数据管理框架,VORM 对象视图模型,注解驱动低代码开发

项目地址:https://gitcode.com/erupts/erupt
点击查看免费下载

erupt-data-es是 Erupt 通用数据管理框架下的 Elasticsearch 数据源实现,它基于 Spring Data Elasticsearch,让你可以用一套@Erupt注解模型直接绑定 ES 索引,让过滤、排序、分页全部下推到_search,同时由框架基础引擎完成 drill(钻取)与条件字符串的解析。读完本文,你将掌握如何在 Erupt 项目中接入 ES 集群、如何编写可被管理后台识别的 ES 模型类、CRUD 背后的 upsert 与 refresh 语义,以及精确查询/排序必须遵守的字段类型约束。

一、模块定位:Erupt 数据源体系中的 ES 实现

Erupt 的核心是"注解驱动 + 数据源可插拔":业务模型通过@Erupt声明为一个可管理的实体,而数据实际存储在何处,则由模型上标注的数据处理器(Data Processor)决定。默认数据处理器是 JPA(见 EruptConst.java 中的DEFAULT_DATA_PROCESSOR = "JPA"),而erupt-data-es注册了一个名为ELASTICSEARCH的处理器,专门负责把模型读写映射到 ES 索引。

整个接入机制分三步,对应 EruptDataProcessor 注解 上的注释说明:

  1. 实现xyz.erupt.core.service.IEruptDataService接口(此处由EruptEsDataService完成);
  2. 通过DataProcessorManager.register("数据源名称", 实现类)注册数据源;
  3. 在模型类上用@EruptDataProcessor("数据源名称")引用它。

数据源的注册与获取由 DataProcessorManager.java 统一管理:register把名称与实现类放入一个 Map,运行时getEruptDataProcessor读取模型上的注解(缺省时回退到JPA),再从 Spring 容器取出对应的 Service Bean。因此EruptEsDataService的静态块中:

public static final String DATA_PROCESSOR = "ELASTICSEARCH"; static { DataProcessorManager.register(DATA_PROCESSOR, EruptEsDataService.class); }

就是整个模块被识别的关键入口(见 EruptEsDataService.java)。

模块本身还实现了EruptModule接口,由 EruptEsAutoConfiguration.java 通过@ComponentScan扫描并注册到 Erupt 模块列表,从而在应用启动时随 Spring Boot 自动装配。

二、快速上手:引入依赖与集群配置

2.1 Maven 依赖

在项目中引入erupt-data-es即可,它会把spring-boot-starter-data-elasticsearch作为传递依赖自动带进来(见 pom.xml):

<dependency> <groupId>xyz.erupt</groupId> <artifactId>erupt-data-es</artifactId> <version>2.3.0</version> </dependency>

从源码结构看,模块只依赖erupt-core与 Spring Data Elasticsearch Starter,不引入任何额外的 ES 客户端,集群访问完全交由 Spring Data 的ElasticsearchOperations完成。

2.2 集群连接配置

ES 集群的连接参数全部使用标准的 Spring Boot 配置项(原文档即如此约定,这也是 Spring Data Elasticsearch 的通用做法):

spring: elasticsearch: uris: http://localhost:9200 username: elastic password: changeme
  • uris:集群节点地址,可配置多个(逗号分隔),默认http://localhost:9200;
  • username/password:启用安全认证时的账号密码;
  • 其余如连接超时、SSL 等均沿用 Spring Boot 对spring.elasticsearch.*的标准支持。

配置完成后,Spring 会自动装配ElasticsearchOperations,该 Bean 被EruptEsDataService通过@Resource注入(见 EruptEsDataService.java),所有读写操作都由它转发给集群。

三、注解驱动:把 Java 模型绑定到 ES 索引

原文档给出了一个完整的Product示例,它是 ES 数据源下模型声明的标准写法。核心是三组注解的配合:

注解作用
@Document(indexName = "product")Spring Data 原生注解,声明模型映射到名为product的索引
@Erupt(name = "Product", primaryKeyCol = "id")Erupt 注解,声明这是一个可管理的 Erupt 模型,主键字段为id
@EruptDataProcessor(EruptEsDataService.DATA_PROCESSOR)指定数据源处理器为ELASTICSEARCH

字段层面,使用@Id标注主键、@Field(type = ...)声明 ES 字段类型、@EruptField声明该字段在管理后台的展示(views)与编辑(edit)行为:

@Getter @Setter @Document(indexName = "product") @Erupt(name = "Product", primaryKeyCol = "id") @EruptDataProcessor(EruptEsDataService.DATA_PROCESSOR) public class Product { @Id @EruptField(views = @View(title = "ID")) private String id; @Field(type = FieldType.Keyword) @EruptField( views = @View(title = "SKU"), edit = @Edit(title = "SKU", notNull = true, search = @Search) ) private String sku; @Field(type = FieldType.Text, fielddata = true) @EruptField( views = @View(title = "Name"), edit = @Edit(title = "Name", search = @Search) ) private String name; @Field(type = FieldType.Double) @EruptField(views = @View(title = "Price"), edit = @Edit(title = "Price")) private Double price; @Field(type = FieldType.Date) @EruptField(views = @View(title = "Created")) private Date createdAt; }

几个容易忽略但影响运行的细节:

  • @Document必不可少。EruptEsDataService.document()方法在每次操作前都会校验模型类是否标注了@Document,缺失时直接抛出运行时异常提示@Document(indexName = ...) annotation is missing(见 EruptEsDataService.java)。这也是文档_id与索引名映射的唯一依据。
  • primaryKeyCol与@Id必须对应。文档_id映射到模型上用@Id标注(或名为id的字段)的属性,必须显式声明,否则写入与按主键查询都会失效。
  • search = @Search控制可搜索性。原示例中sku与name开启了搜索,二者会在后台表格的搜索栏出现,并最终转换为下推的 ES 查询条件。

@EruptField的视图与编辑能力(@View/@Edit)由 Erupt 框架统一处理,与数据源无关,因此 ES 模型在管理后台的列表、表单交互体验与 JPA 模型完全一致。

四、完整 CRUD:save 即 upsert,写入后立即 refresh

原文档明确说明该数据源支持完整 CRUD(list / find / add / edit / delete),且新增与编辑都经由 Spring Data 的save方法——也就是针对文档_id的 upsert(存在则更新、不存在则插入)。源码实现印证了这一设计(见 EruptEsDataService.java):

操作方法底层调用
列表分页查询queryListelasticsearchOperations.search(CriteriaQuery + PageRequest)
按主键查询findDataByIdelasticsearchOperations.get(id, document)
新增addDatasave(object)后执行索引refresh()
编辑editData校验主键非空后save(object),再执行索引refresh()
删除deleteData校验主键非空后delete(id, document),再执行索引refresh()

其中值得注意的两点:

  1. save的 upsert 语义:ES 的index操作天然按_id幂等写入,所以新增与编辑共用save是安全且简洁的。编辑前requireId会读取模型主键,若为空则抛出es.primary_key_missing的本地化异常(见 EruptEsDataService.java)。
  2. 写后 refresh:ES 默认近实时,写入后 1 秒内可能不可见。由于管理后台每次写操作后都会立即重新查询表格,EruptEsDataService在addData/editData/deleteData之后都会调用elasticsearchOperations.indexOps(document).refresh()强制刷新索引,保证数据立即可见(见 EruptEsDataService.java)。

原文档的 Gotchas 提示:对于写入频繁的生产环境热索引,频繁 refresh 会带来性能开销,此时可以考虑继承EruptEsDataService重写写方法,去掉 refresh 调用。

五、查询下推:条件如何翻译成_search

这是本模块最核心的设计:管理后台的过滤、排序、分页,最终都会翻译成CriteriaQuery交给ElasticsearchOperations.search执行,即下推到 ES 的_searchAPI,而不是把全量数据拉回内存再过滤。

5.1 条件表达式映射

EruptEsDataService.buildCriteria()把 Erupt 通用条件(Condition,字段、表达式、值三元组)逐一映射为 Spring Data ES 的Criteria(见 EruptEsDataService.java):

Erupt 表达式生成的 Criteria语义
EQCriteria.where(key).is(value)等值(term)匹配
NEQwhere(key).is(value).not()不等
GT/GTE/LT/LTEgreaterThan/greaterThanEqual/lessThan/lessThanEqual范围比较
LIKEwhere(key).contains(value)包含匹配
NOT_LIKEwhere(key).contains(value).not()不包含
RANGEwhere(key).between(a, b)闭区间
IN/NOT_INin(...)/notIn(...)集合匹配
NULL/NOT_NULLwhere(key).exists().not()/exists()存在性判断

多个条件之间通过criteria.and(sub)串联,最终生成 AND 语义的组合查询;无任何条件时返回空Criteria。表达式枚举定义在 QueryExpression.java。

值得注意的是,条件值会先经过基类EruptBeanDataService.convertTarget()按字段类型做转换(如字符串 "100" 转为数值 100),保证数值与日期比较语义正确(见 EruptBeanDataService.java)。

5.2 条件字符串与 drill 解析

Erupt 的"钻取(drill)"与静态过滤器会产生形如Entity.field = value的条件字符串。基类EruptBeanDataService的mergeConditions会把EruptQuery中的结构化条件(conditions)与条件字符串(conditionStrings)合并,parseConditionString负责解析Entity.field = value片段为EQ条件,值带单引号时自动去引号(见 EruptBeanDataService.java)。

由于 ES 服务的data()已经在_search阶段按条件过滤过了,EruptEsDataService重写了conditionsPushedDown()返回true(见 EruptEsDataService.java),基类因此跳过内存中的二次条件求值,避免语义差异与双重过滤——这是"下推"能够成立的关键开关(基类逻辑见 EruptBeanDataService.java)。

5.3 排序与分页

queryList用PageRequest.of(pageIndex - 1, pageSize, buildSort(...))构造分页与排序,直接作用于 ES 查询;总条数取自searchHits.getTotalHits()(见 EruptEsDataService.java)。排序规则优先采用页面传入的page.getSort(),为空时回退到@Erupt(orderBy = ...)声明的默认排序,DESC/ASC方向被翻译为 Spring Data 的Sort.Direction(见 EruptEsDataService.java)。

另外,data()方法(供图表、列查询等场景取数)设置setMaxResults(10000),这是对 ES 默认from + size窗口上限(10,000)的显式遵守(见 EruptEsDataService.java 与 EruptEsDataService.java)。

六、使用注意事项与最佳实践

原文档在 Gotchas 一节给出了三条关键约束,这里结合源码进一步展开:

6.1 字符串字段:精确过滤与排序必须用 Keyword

ES 中FieldType.Text字段会经过分析器分词,等值查询(term)几乎不可能命中完整的原始值,也无法按原始值稳定排序。因此:

  • 需要精确过滤、去重统计或排序的字符串列,必须声明为FieldType.Keyword,或使用 multi-fields(fields子字段同时保留 keyword 与 text 两种形态);
  • FieldType.Text只适合全文搜索场景,本模块中LIKE(contains)对 text 字段仍可工作,但EQ对 text 字段通常不会命中。

原示例中sku声明为Keyword、name声明为Text,恰好演示了两种场景的取舍。

6.2 主键必须显式声明

文档_id映射到模型的@Id(或名为id的字段),必须在模型上显式声明(既包括 Spring Data 的@Id,也包括@Erupt的primaryKeyCol)。否则save时无法确定_id、findDataById与deleteData也无法按主键定位文档。

6.3 写后 refresh 的性能权衡

如前所述,EruptEsDataService每次写操作后都执行refresh(),保证管理后台立即看到最新数据。对于写入压力大的生产环境,建议继承该服务并重写addData/editData/deleteData,去掉 refresh 调用,改由业务层按需刷新。

七、延伸:数据源体系中的横向对照

从erupt-data目录下的各模块可以看出,Erupt 已为多种后端提供同类实现,且注册机制完全一致——例如AIRTABLE、FEISHU_BITABLE、JDBC、REDIS、S3、NOTION、KUBERNETES、HTTP、LDAP、FILE、DINGTALK_NOTABLE等(各模块 Service 中的DATA_PROCESSOR常量)。它们都遵循"实现IEruptDataService+ 静态注册 +@EruptDataProcessor引用"的同一套约定,因此本文讲解的模型绑定方式与查询下推思路同样适用于理解其他数据源模块,而EruptEsDataService与基类EruptBeanDataService的分工(下推查询由子类原生执行、通用逻辑由基类兜底)是其中最具代表性的模式之一。

总结

erupt-data-es把 Erupt 的注解驱动开发体验完整地带到了 Elasticsearch 之上:模型声明、后台管理界面与 CRUD 交互和 JPA 完全一致,而过滤、排序、分页全部下推到_search,写操作则利用save的 upsert 语义并配合写后 refresh 保证即时可见。接入时只需记住三件事——引入依赖并配置spring.elasticsearch.*、为模型加上@Document+@EruptDataProcessor("ELASTICSEARCH")、对需要精确匹配与排序的字符串字段使用FieldType.Keyword。

进一步深入可阅读:

  • 数据源实现主类:EruptEsDataService.java
  • 模块自动装配:EruptEsAutoConfiguration.java
  • 基类与条件解析:EruptBeanDataService.java
  • 数据源注册中心:DataProcessorManager.java
  • 数据服务接口契约:IEruptDataService.java
  • 后端
  • 低代码
  • AI 应用
  • 人工智能
  • AI Agent
  • 认证鉴权
  • RAG

【免费下载链接】erupt

🚀 通用数据管理框架,VORM 对象视图模型,注解驱动低代码开发

项目地址:https://gitcode.com/erupts/erupt
点击查看免费下载

相关推荐

上一篇:还在为网页视频无法下载而烦恼?这款Chrome插件让你一键搞定!
下一篇:KubeVela CloneSet 渐进式发布实战:基于 AppRollout 的分批滚动升级与回滚指南

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进