此版本仍在开发中,尚未被视为稳定版本。最新的快照版本请使用 Spring AI 1.0.0-SNAPSHOT! |
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅 Repositories 部分,将这些存储库添加到您的构建系统中。 |
财产 | 描述 | 违约 |
---|---|---|
spring.ai.ollama.base-url |
运行 Ollama API 服务器的基 URL。 |
财产 |
描述 |
违约 |
spring.ai.ollama.embedding.enabled |
启用 Ollama 嵌入模型自动配置。 |
真 |
spring.ai.ollama.embedding.options.model |
要使用的受支持模型的名称。 您可以使用专用的 Embedding Model 类型 |
米斯特拉尔 |
spring.ai.ollama.embedding.options.keep_alive |
控制模型在请求后加载到内存中的时间 |
5 分钟 |
spring.ai.ollama.embedding.options.truncate |
截断每个输入的结尾以适应上下文长度。如果超出 false 且超出上下文长度,则返回错误。 |
真 |
财产 |
描述 |
违约 |
spring.ai.ollama.embedding.options.numa |
是否使用 NUMA。 |
假 |
spring.ai.ollama.embedding.options.num-ctx |
设置用于生成下一个标记的上下文窗口的大小。 |
2048 |
spring.ai.ollama.embedding.options.num-batch |
提示处理最大批量大小。 |
512 |
spring.ai.ollama.embedding.options.num-gpu |
要发送到 GPU 的层数。在 macOS 上,默认为 1 表示启用 Metal 支持,默认为 0 表示禁用。此处的 1 表示应动态设置 NumGPU |
-1 |
spring.ai.ollama.embedding.options.main-gpu |
使用多个 GPU 时,此选项控制将哪个 GPU 用于小张量,对于不值得在所有 GPU 之间拆分计算的开销。有问题的 GPU 将使用稍多的 VRAM 来存储暂存缓冲区以获得临时结果。 |
0 |
spring.ai.ollama.embedding.options.low-vram |
- |
假 |
spring.ai.ollama.embedding.options.f16-kv |
- |
真 |
spring.ai.ollama.embedding.options.logits-all |
返回所有令牌的 logit,而不仅仅是最后一个令牌。要使 completions 返回 logprobs,这必须为 true。 |
- |
spring.ai.ollama.embedding.options.vocab-only |
仅加载词汇表,而不加载权重。 |
- |
spring.ai.ollama.embedding.options.use-mmap |
默认情况下,模型会映射到内存中,这允许系统根据需要仅加载模型的必要部分。但是,如果模型大于 RAM 总量,或者系统的可用内存不足,则使用 mmap 可能会增加分页的风险,从而对性能产生负面影响。禁用 mmap 会导致加载时间变慢,但如果您不使用 mlock,则可能会减少分页。请注意,如果模型大于 RAM 总量,则关闭 mmap 将完全阻止模型加载。 |
零 |
spring.ai.ollama.embedding.options.use-mlock |
将模型锁定在内存中,防止在内存映射时将其换出。这可以提高性能,但会牺牲内存映射的一些优势,因为它需要更多的 RAM 来运行,并且可能会在模型加载到 RAM 时减慢加载时间。 |
假 |
spring.ai.ollama.embedding.options.num-thread |
设置计算期间要使用的线程数。默认情况下,Ollama 将检测此参数以获得最佳性能。建议将此值设置为系统具有的物理 CPU 内核数(而不是内核的逻辑数)。0 = 让运行时决定 |
0 |
spring.ai.ollama.embedding.options.num-keep |
- |
4 |
spring.ai.ollama.embedding.options.seed |
设置用于生成的随机数种子。将此设置为特定数字将使模型为同一提示生成相同的文本。 |
-1 |
spring.ai.ollama.embedding.options.num-predict |
生成文本时要预测的最大令牌数。(-1 = 无限生成,-2 = 填充上下文) |
-1 |
spring.ai.ollama.embedding.options.top-k |
降低产生无意义的可能性。较高的值(例如 100)将给出更多样化的答案,而较低的值(例如 10)将更保守。 |
40 |
spring.ai.ollama.embedding.options.top-p |
与 top-k 一起使用。较高的值(例如 0.95)将导致文本更加多样化,而较低的值(例如 0.5)将生成更集中和保守的文本。 |
0.9 |
spring.ai.ollama.embedding.options.tfs-z |
无尾采样用于减少输出中可能性较小的标记的影响。较高的值(例如 2.0)将减少更多影响,而值 1.0 将禁用此设置。 |
1.0 |
spring.ai.ollama.embedding.options.typical-p |
- |
1.0 |
spring.ai.ollama.embedding.options.repeat-last-n |
设置模型回溯多长时间以防止重复。(默认值:64,0 = 禁用,-1 = num_ctx) |
64 |
spring.ai.ollama.embedding.options.temperature |
模型的温度。提高温度会使模型更有创意地回答。 |
0.8 |
spring.ai.ollama.embedding.options.repeat-penalty |
设置对重复项的惩罚强度。较高的值(例如 1.5)将更强烈地惩罚重复,而较低的值(例如 0.9)将更宽松。 |
1.1 |
spring.ai.ollama.embedding.options.presence-penalty |
- |
0.0 |
spring.ai.ollama.embedding.options.frequency-penalty |
- |
0.0 |
spring.ai.ollama.embedding.options.mirostat |
启用 Mirostat 采样以控制困惑度。(默认值:0、0 = 禁用、1 = Mirostat、2 = Mirostat 2.0) |
0 |
spring.ai.ollama.embedding.options.mirostat-tau |
控制输出的连贯性和多样性之间的平衡。较低的值将导致文本更集中、更连贯。 |
5.0 |
spring.ai.ollama.embedding.options.mirostat-eta |
影响算法响应生成文本的反馈的速度。较低的学习率将导致较慢的调整,而较高的学习率将使算法的响应速度更快。 |
0.1 |
spring.ai.ollama.embedding.options.penalize-newline |
- |
真 |
spring.ai.ollama.embedding.options.stop |
设置要使用的停止序列。遇到此模式时,LLM 将停止生成文本并返回。通过在模型文件中指定多个单独的停止参数,可以设置多个停止模式。 |
- |
spring.ai.ollama.embedding.options.functions |
函数列表,由其名称标识,用于在单个提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。 |
- |
通过向调用添加特定于请求的运行时选项,可以在运行时覆盖所有前缀为 的属性。spring.ai.ollama.embedding.options EmbeddingRequest |
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 |
依赖项还提供对 .
有关更多信息,请参阅 Ollama Chat 客户端 部分。spring-ai-ollama OllamaChatModel OllamaChatModel |