此版本仍在开发中,尚未被视为稳定版本。最新的快照版本请使用 Spring AI 1.0.0-SNAPSHOT! |
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 请参阅 Repositories 部分,将这些存储库添加到您的构建系统中。 |
财产 | 描述 | 违约 |
---|---|---|
spring.ai.embedding.transformer.enabled |
启用 Transformer Embedding 模型。 |
真 |
spring.ai.embedding.transformer.tokenizer.uri |
由 ONNX 引擎创建的预训练 HuggingFaceTokenizer 的 URI(例如 tokenizer.json)。 |
onnx/all-MiniLM-L6-v2/tokenizer.json |
spring.ai.embedding.transformer.tokenizer.options |
HuggingFaceTokenizer 选项,例如 'addSpecialTokens'、'modelMaxLength'、'truncation'、'padding'、'maxLength'、'stride'、'padToMultipleOf'。留空可回退到默认值。 |
空 |
spring.ai.embedding.transformer.cache.enabled |
启用远程资源缓存。 |
真 |
spring.ai.embedding.transformer.cache.directory |
缓存远程资源(如 ONNX 模型)的目录路径 |
${java.io.tmpdir}/spring-ai-onnx-model |
spring.ai.embedding.transformer.onnx.modelUri |
现有的预训练 ONNX 模型。 |
onnx/all-MiniLM-L6-v2/model.onnx |
spring.ai.embedding.transformer.onnx.model输出名称 |
ONNX 模型的输出节点名称,我们将用于嵌入计算。 |
last_hidden_state |
spring.ai.embedding.transformer.onnx.gpuDeviceId |
要执行的 GPU 设备 ID。仅当 >= 0 时适用。否则为 Ignored。(需要额外的 onnxruntime_gpu 依赖项) |
-1 |
spring.ai.embedding.transformer.metadataMode |
指定 Documents 内容和元数据的哪些部分将用于计算嵌入。 |
没有 |
如果您看到类似 的错误,则还需要启用分词器填充,如下所示: spring.ai.embedding.transformer.tokenizer.options.padding=true |
如果收到类似 的错误,则需要根据模型将模型输出名称设置为正确的值。
请考虑错误消息中列出的名称。
例如: spring.ai.embedding.transformer.onnx.modelOutputName=token_embeddings |
如果您收到类似 ,
这意味着您的模型大于 2GB,并序列化为两个文件:和 . 称为 External Data,应位于 的同一目录下。 目前,唯一的解决方法是将 large 复制到运行 Boot 应用程序的文件夹中。 |
如果您收到类似 ,
这意味着您使用的是 GPU parameters ,但缺少 onnxruntime_gpu 依赖项。 <dependency> <groupId>com.microsoft.onnxruntime</groupId> <artifactId>onnxruntime_gpu</artifactId> </dependency> 请根据 CUDA 版本(ONNX Java Runtime)选择合适的 onnxruntime_gpu 版本。 |
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 |
尺寸 |
384 |
平均性能 |
58.80 |
速度 |
14200 句/秒 |
大小 |
80兆字节 |
如果手动创建 的实例,则必须在设置属性之后和使用客户端之前调用该方法。TransformersEmbeddingModel afterPropertiesSet() |