watsonx.ai 聊天

借助 watsonx.ai 您可以在本地运行各种大型语言模型 （LLM） 并从中生成文本。 Spring AI 支持使用 watsonx.ai 生成文本。WatsonxAiChatModelspring-doc.cn

先决条件

您首先需要拥有 watsonx.ai 的 SaaS 实例（以及一个 IBM Cloud 帐户）。spring-doc.cn

请参阅免费试用以免费试用 watsonx.aispring-doc.cn

更多信息可以在这里找到

自动配置

Spring AI 为 watsonx.ai Chat 客户端提供 Spring Boot 自动配置。 要启用它，请将以下依赖项添加到项目的 Maven 文件中：pom.xmlspring-doc.cn

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-watsonx-ai-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle 构建文件。build.gradlespring-doc.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-watsonx-ai-spring-boot-starter'
}

聊天属性

连接属性

前缀用作允许您连接到 watsonx.ai 的属性前缀。spring.ai.watsonx.aispring-doc.cn

财产 描述 违约

spring.ai.watsonx.ai.base-urlspring-doc.cn

要连接到的 URLspring-doc.cn

us-south.ml.cloud.ibm.comspring-doc.cn

spring.ai.watsonx.ai.stream-endpointspring-doc.cn

流式处理终结点spring-doc.cn

ml/v1/text/generation_stream？version=2023-05-29spring-doc.cn

spring.ai.watsonx.ai.text-endpointspring-doc.cn

文本端点spring-doc.cn

ml/v1/text/generation？version=2023-05-29spring-doc.cn

spring.ai.watsonx.ai.project-idspring-doc.cn

项目 IDspring-doc.cn

-spring-doc.cn

spring.ai.watsonx.ai.iam-tokenspring-doc.cn

IBM Cloud 帐户 IAM 令牌spring-doc.cn

-spring-doc.cn

配置属性

前缀是属性前缀，允许您为 Watsonx.AI 配置聊天模型实施。spring.ai.watsonx.ai.chatspring-doc.cn

财产 描述 违约

spring.ai.watsonx.ai.chat.enabledspring-doc.cn

启用 Watsonx.AI 聊天模型。spring-doc.cn

真spring-doc.cn

spring.ai.watsonx.ai.chat.options.temperaturespring-doc.cn

模型的温度。提高温度会使模型更有创意地回答。spring-doc.cn

0.7spring-doc.cn

spring.ai.watsonx.ai.chat.options.top-pspring-doc.cn

与 top-k 一起使用。较高的值（例如 0.95）将导致文本更加多样化，而较低的值（例如 0.2）将生成更集中和保守的文本。spring-doc.cn

1.0spring-doc.cn

spring.ai.watsonx.ai.chat.options.top-kspring-doc.cn

降低产生无意义的可能性。较高的值（例如 100）将给出更多样化的答案，而较低的值（例如 10）将更保守。spring-doc.cn

50spring-doc.cn

spring.ai.watsonx.ai.chat.options.decoding-methodspring-doc.cn

解码是模型用于在生成的输出中选择标记的过程。spring-doc.cn

贪婪spring-doc.cn

spring.ai.watsonx.ai.chat.options.max 新令牌spring-doc.cn

设置 LLM 遵循的令牌限制。spring-doc.cn

20spring-doc.cn

spring.ai.watsonx.ai.chat.options.min-new-tokensspring-doc.cn

设置 LLM 必须生成的令牌数量。spring-doc.cn

0spring-doc.cn

spring.ai.watsonx.ai.chat.options.stop-sequencesspring-doc.cn

设置 LLM 应停止的时间。（例如，[“\n\n\n”]），那么当 LLM 生成三个连续的换行符时，它将终止。在生成 Min tokens 参数中指定的令牌数之前，将忽略停止序列。spring-doc.cn

-spring-doc.cn

spring.ai.watsonx.ai.chat.options.repetition-penaltyspring-doc.cn

设置对重复项的惩罚强度。较高的值（例如 1.8）将更强烈地惩罚重复，而较低的值（例如 1.1）将更宽松。spring-doc.cn

1.0spring-doc.cn

spring.ai.watsonx.ai.chat.options.random-seedspring-doc.cn

产生可重复的结果，每次设置相同的随机种子值。spring-doc.cn

随机生成spring-doc.cn

spring.ai.watsonx.ai.chat.options.modelspring-doc.cn

Model 是要使用的 LLM 模型的标识符。spring-doc.cn

谷歌/flan-ul2spring-doc.cn

运行时选项

WatsonxAiChatOptions.java 提供模型配置，例如要使用的模型、温度、频率损失等。spring-doc.cn

启动时，可以使用 constructor 或 properties 配置默认选项。WatsonxAiChatModel(api, options)spring.ai.watsonxai.chat.options.*spring-doc.cn

在运行时，您可以通过向调用添加新的、特定于请求的选项来覆盖默认选项。 例如，要覆盖特定请求的默认模型和温度：Promptspring-doc.cn

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        WatsonxAiChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的WatsonxAiChatOptions.java您还可以使用使用 ChatOptionsBuilder#builder（） 创建的可移植 ChatOptions 实例。
有关更多信息，请访问 watsonx-parameters-info

使用示例

public class MyClass {

    private final static String MODEL = "google/flan-ul2";
    private final WatsonxAiChatModel chatModel;

    @Autowired
    MyClass(WatsonxAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    public String generate(String userInput) {

        WatsonxAiOptions options = WatsonxAiOptions.create()
            .withModel(MODEL)
            .withDecodingMethod("sample")
            .withRandomSeed(1);

        Prompt prompt = new Prompt(new SystemMessage(userInput), options);

        var results = this.chatModel.call(prompt);

        var generatedText = results.getResult().getOutput().getContent();

        return generatedText;
    }

    public String generateStream(String userInput) {

        WatsonxAiOptions options = WatsonxAiOptions.create()
            .withModel(MODEL)
            .withDecodingMethod("greedy")
            .withRandomSeed(2);

        Prompt prompt = new Prompt(new SystemMessage(userInput), options);

        var results = this.chatModel.stream(prompt).collectList().block(); // wait till the stream is resolved (completed)

        var generatedText = results.stream()
            .map(generation -> generation.getResult().getOutput().getContent())
            .collect(Collectors.joining());

        return generatedText;
    }

}