其他 Elasticsearch 操作支持

本章介绍了对无法通过存储库界面直接访问的 Elasticsearch 操作的额外支持。 建议将这些操作添加为自定义实施,如 Custom Repository Implementations 中所述。spring-doc.cn

索引设置

使用 Spring Data Elasticsearch 创建 Elasticsearch 索引时,可以使用 Comments 定义不同的索引设置。 可以使用以下参数:@Settingspring-doc.cn

  • useServerConfiguration不会发送任何设置参数,因此 Elasticsearch 服务器配置会确定这些参数。spring-doc.cn

  • settingPath引用一个 JSON 文件,该文件定义必须在 Classpath 中解析的设置spring-doc.cn

  • shards要使用的分片数,默认为 1spring-doc.cn

  • replicas副本数,默认为 1spring-doc.cn

  • refreshIntervall,默认为 “1s”spring-doc.cn

  • indexStoreType默认为 “fs”spring-doc.cn

也可以定义索引排序(查看链接的 Elasticsearch 文档,了解可能的字段类型和值):spring-doc.cn

@Document(indexName = "entities")
@Setting(
  sortFields = { "secondField", "firstField" },                                  (1)
  sortModes = { Setting.SortMode.max, Setting.SortMode.min },                    (2)
  sortOrders = { Setting.SortOrder.desc, Setting.SortOrder.asc },
  sortMissingValues = { Setting.SortMissing._last, Setting.SortMissing._first })
class Entity {
    @Nullable
    @Id private String id;

    @Nullable
    @Field(name = "first_field", type = FieldType.Keyword)
    private String firstField;

    @Nullable @Field(name = "second_field", type = FieldType.Keyword)
    private String secondField;

    // getter and setter...
}
1 定义排序字段时,请使用 Java 属性的名称 (firstField),而不是可能为 Elasticsearch 定义的名称 (first_field)
2 sortModes,并且是可选的,但如果它们已设置,则条目数必须与元素数匹配sortOrderssortMissingValuessortFields

索引映射

当 Spring Data Elasticsearch 使用这些方法创建索引映射时,它会使用 Mapping Annotation Overview中描述的 Comments,尤其是 Comments。 除此之外,还可以将 annotation 添加到类中。 此批注具有以下属性:IndexOperations.createMapping()@Field@Mappingspring-doc.cn

  • mappingPathJSON 格式的 Classpath 资源;如果此项不为空,则将其用作映射,不执行其他映射处理。spring-doc.cn

  • enabled当设置为 false 时,此标志将写入 Map,并且不会进行进一步处理。spring-doc.cn

  • dateDetection并在映射中设置相应的属性(如果未设置为 )。numericDetectionDEFAULTspring-doc.cn

  • dynamicDateFormats当此 String 数组不为空时,它定义用于自动日期检测的日期格式。spring-doc.cn

  • runtimeFieldsPathJSON 格式的 Classpath 资源,其中包含写入索引映射的运行时字段的定义,例如:spring-doc.cn

{
  "day_of_week": {
    "type": "keyword",
    "script": {
      "source": "emit(doc['@timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ROOT))"
    }
  }
}

过滤器生成器

Filter Builder 提高了查询速度。spring-doc.cn

private ElasticsearchOperations operations;

IndexCoordinates index = IndexCoordinates.of("sample-index");

Query query = NativeQuery.builder()
	.withQuery(q -> q
		.matchAll(ma -> ma))
	.withFilter( q -> q
		.bool(b -> b
			.must(m -> m
				.term(t -> t
					.field("id")
					.value(documentId))
			)))
	.build();

SearchHits<SampleEntity> sampleEntities = operations.search(query, SampleEntity.class, index);

对大结果集使用 Scroll

Elasticsearch 有一个滚动 API,用于以块的形式获取大结果集。 Spring Data Elasticsearch 在内部使用它来提供该方法的实现。<T> SearchHitsIterator<T> SearchOperations.searchForStream(Query query, Class<T> clazz, IndexCoordinates index)spring-doc.cn

IndexCoordinates index = IndexCoordinates.of("sample-index");

Query searchQuery = NativeQuery.builder()
    .withQuery(q -> q
        .matchAll(ma -> ma))
    .withFields("message")
    .withPageable(PageRequest.of(0, 10))
    .build();

SearchHitsIterator<SampleEntity> stream = elasticsearchOperations.searchForStream(searchQuery, SampleEntity.class,
index);

List<SampleEntity> sampleEntities = new ArrayList<>();
while (stream.hasNext()) {
  sampleEntities.add(stream.next());
}

stream.close();

API 中没有访问卷轴 ID 的方法,如果需要访问它,可以使用以下方法(这是不同实现的基本实现):SearchOperationsAbstractElasticsearchTemplateElasticsearchOperationsspring-doc.cn

@Autowired ElasticsearchOperations operations;

AbstractElasticsearchTemplate template = (AbstractElasticsearchTemplate)operations;

IndexCoordinates index = IndexCoordinates.of("sample-index");

Query query = NativeQuery.builder()
    .withQuery(q -> q
        .matchAll(ma -> ma))
    .withFields("message")
    .withPageable(PageRequest.of(0, 10))
    .build();

SearchScrollHits<SampleEntity> scroll = template.searchScrollStart(1000, query, SampleEntity.class, index);

String scrollId = scroll.getScrollId();
List<SampleEntity> sampleEntities = new ArrayList<>();
while (scroll.hasSearchHits()) {
  sampleEntities.addAll(scroll.getSearchHits());
  scrollId = scroll.getScrollId();
  scroll = template.searchScrollContinue(scrollId, 1000, SampleEntity.class);
}
template.searchScrollClear(scrollId);

要将 Scroll API 与存储库方法一起使用,必须将返回类型定义为在 Elasticsearch 存储库中。 然后,该方法的实现将使用 ElasticsearchTemplate 中的 scroll 方法。Streamspring-doc.cn

interface SampleEntityRepository extends Repository<SampleEntity, String> {

    Stream<SampleEntity> findBy();

}

排序选项

除了分页和排序中描述的默认排序选项之外, Spring Data Elasticsearch 还提供了派生自 的类。 它提供了其他参数,在指定结果的排序时,这些参数可以发送到 Elasticsearch(请参阅 www.elastic.co/guide/en/elasticsearch/reference/7.15/sort-search-results.html)。org.springframework.data.elasticsearch.core.query.Orderorg.springframework.data.domain.Sort.Orderspring-doc.cn

还有一个类,可用于按地理距离对搜索操作的结果进行排序。org.springframework.data.elasticsearch.core.query.GeoDistanceOrderspring-doc.cn

如果要检索的类具有名为 location 的属性,则以下代码将按到给定点的距离对结果进行排序:GeoPointSortspring-doc.cn

Sort.by(new GeoDistanceOrder("location", new GeoPoint(48.137154, 11.5761247)))

运行时字段

从 Elasticsearch 版本 7.12 开始,添加了运行时字段 (www.elastic.co/guide/en/elasticsearch/reference/7.12/runtime.html) 的功能。 Spring Data Elasticsearch 以两种方式支持此功能:spring-doc.cn

索引映射中的运行时字段定义

定义运行时字段的第一种方法是将定义添加到索引映射中(参见 www.elastic.co/guide/en/elasticsearch/reference/7.12/runtime-mapping-fields.html)。 要在 Spring Data Elasticsearch 中使用此方法,用户必须提供包含相应定义的 JSON 文件,例如:spring-doc.cn

示例 1.runtime-fields.json
{
  "day_of_week": {
    "type": "keyword",
    "script": {
      "source": "emit(doc['@timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ROOT))"
    }
  }
}

然后,必须在实体的 annotation 中设置此 JSON 文件的路径(必须存在于 Classpath 中):@Mappingspring-doc.cn

@Document(indexName = "runtime-fields")
@Mapping(runtimeFieldsPath = "/runtime-fields.json")
public class RuntimeFieldEntity {
	// properties, getter, setter,...
}

在 Query 上设置的运行时字段定义

定义运行时字段的第二种方法是将定义添加到搜索查询中(请参阅 www.elastic.co/guide/en/elasticsearch/reference/7.12/runtime-search-request.html)。 以下代码示例显示如何使用 Spring Data Elasticsearch 执行此操作:spring-doc.cn

使用的实体是一个具有属性的简单对象:pricespring-doc.cn

@Document(indexName = "some_index_name")
public class SomethingToBuy {

	private @Id @Nullable String id;
	@Nullable @Field(type = FieldType.Text) private String description;
	@Nullable @Field(type = FieldType.Double) private Double price;

	// getter and setter
}

以下查询使用一个运行时字段,该字段通过向价格添加 19% 来计算值,并在搜索查询中使用此值来查找高于或等于给定值的所有实体:priceWithTaxpriceWithTaxspring-doc.cn

RuntimeField runtimeField = new RuntimeField("priceWithTax", "double", "emit(doc['price'].value * 1.19)");
Query query = new CriteriaQuery(new Criteria("priceWithTax").greaterThanEqual(16.5));
query.addRuntimeField(runtimeField);

SearchHits<SomethingToBuy> searchHits = operations.search(query, SomethingToBuy.class);

这适用于接口的每个实现。Queryspring-doc.cn

时间点 (PIT) API

ElasticsearchOperations支持 Elasticsearch 的时间点 API(参见 www.elastic.co/guide/en/elasticsearch/reference/8.3/point-in-time-api.html)。 以下代码片段演示如何将此功能与虚构类一起使用:Personspring-doc.cn

ElasticsearchOperations operations; // autowired
Duration tenSeconds = Duration.ofSeconds(10);

String pit = operations.openPointInTime(IndexCoordinates.of("person"), tenSeconds); (1)

// create query for the pit
Query query1 = new CriteriaQueryBuilder(Criteria.where("lastName").is("Smith"))
    .withPointInTime(new Query.PointInTime(pit, tenSeconds))                        (2)
    .build();
SearchHits<Person> searchHits1 = operations.search(query1, Person.class);
// do something with the data

// create 2nd query for the pit, use the id returned in the previous result
Query query2 = new CriteriaQueryBuilder(Criteria.where("lastName").is("Miller"))
    .withPointInTime(
        new Query.PointInTime(searchHits1.getPointInTimeId(), tenSeconds))          (3)
    .build();
SearchHits<Person> searchHits2 = operations.search(query2, Person.class);
// do something with the data

operations.closePointInTime(searchHits2.getPointInTimeId());                        (4)
1 为索引创建时间点(可以是多个名称)和保持活动持续时间,并检索其 ID
2 将该 ID 传递到查询中,以便与下一个 keep-alive 值一起搜索
3 对于下一个查询,请使用上一次搜索返回的 ID
4 完成后,使用最后返回的 ID 关闭时间点

搜索模板支持

支持使用搜索模板 API。 要使用它,首先需要创建一个存储脚本。 接口 extends 提供了必要的功能。 此处使用的示例假定我们有具有名为 的属性的实体。 搜索模板脚本可以像这样保存:ElasticsearchOperationsScriptOperationsPersonfirstNamespring-doc.cn

import org.springframework.data.elasticsearch.core.ElasticsearchOperations;
import org.springframework.data.elasticsearch.core.script.Script;

operations.putScript(                            (1)
  Script.builder()
    .withId("person-firstname")                  (2)
    .withLanguage("mustache")                    (3)
    .withSource("""                              (4)
      {
        "query": {
          "bool": {
            "must": [
              {
                "match": {
                  "firstName": "{{firstName}}"   (5)
                }
              }
            ]
          }
        },
        "from": "{{from}}",                      (6)
        "size": "{{size}}"                       (7)
      }
      """)
    .build()
);
1 使用该方法存储搜索模板脚本putScript()
2 脚本的名称/ID
3 搜索模板中使用的脚本必须使用 mustache 语言。
4 脚本源
5 脚本中的 search 参数
6 分页请求偏移量
7 分页请求大小

为了在搜索查询中使用搜索模板, Spring Data Elasticsearch 提供了 ,这是接口的实现。SearchTemplateQueryorg.springframework.data.elasticsearch.core.query.Queryspring-doc.cn

在以下代码中,我们将使用搜索模板查询向自定义存储库实现添加调用(请参阅自定义存储库实现),作为如何将其集成到存储库调用中的示例。spring-doc.cn

我们首先定义自定义存储库片段接口:spring-doc.cn

interface PersonCustomRepository {
	SearchPage<Person> findByFirstNameWithSearchTemplate(String firstName, Pageable pageable);
}

此存储库片段的实现如下所示:spring-doc.cn

public class PersonCustomRepositoryImpl implements PersonCustomRepository {

  private final ElasticsearchOperations operations;

  public PersonCustomRepositoryImpl(ElasticsearchOperations operations) {
    this.operations = operations;
  }

  @Override
  public SearchPage<Person> findByFirstNameWithSearchTemplate(String firstName, Pageable pageable) {

    var query = SearchTemplateQuery.builder()                               (1)
      .withId("person-firstname")                                           (2)
      .withParams(
        Map.of(                                                             (3)
          "firstName", firstName,
          "from", pageable.getOffset(),
          "size", pageable.getPageSize()
          )
      )
      .build();

    SearchHits<Person> searchHits = operations.search(query, Person.class); (4)

    return SearchHitSupport.searchPageFor(searchHits, pageable);
  }
}
1 创建一个SearchTemplateQuery
2 提供搜索模板的 ID
3 参数以Map<String,Object>
4 以与其他查询类型相同的方式执行搜索。

嵌套排序

以下示例取自该类,演示如何定义嵌套排序。org.springframework.data.elasticsearch.core.query.sort.NestedSortIntegrationTestsspring-doc.cn

var filter = StringQuery.builder("""
	{ "term": {"movies.actors.sex": "m"} }
	""").build();
var order = new org.springframework.data.elasticsearch.core.query.Order(Sort.Direction.DESC,
	"movies.actors.yearOfBirth")
	.withNested(
		Nested.builder("movies")
			.withNested(
				Nested.builder("movies.actors")
					.withFilter(filter)
					.build())
			.build());

var query = Query.findAll().addSort(Sort.by(order));

关于筛选条件查询:不能在此处使用 a,因为此查询将被转换为 Elasticsearch 嵌套查询,该查询在筛选条件上下文中不起作用。所以 only or can be used here使用其中之一时,如上面的术语 query,必须使用 Elasticsearch 字段名称,因此在使用定义重新定义这些名称时要小心。CriteriaQueryStringQueryNativeQuery@Field(name="…​")spring-doc.cn

对于订单路径和嵌套路径的定义,应使用 Java 实体属性名称。spring-doc.cn