附录
遇到 Spring Cloud Data Flow 问题,我们愿意提供帮助!
-
提出问题。我们监控 stackoverflow.com 的问题 标记为
spring-cloud-dataflow
。 -
在 github.com/spring-cloud/spring-cloud-dataflow/issues 报告 Spring Cloud Data Flow 的 bug。
附录 A:数据流模板
如 API 指南一章中所述,Spring Cloud Data Flow 的功能完全通过 REST 端点公开。 虽然您可以直接使用这些终端节点,但 Spring Cloud Data Flow 还提供了一个基于 Java 的 API,这使得使用这些 REST 终端节点变得更加容易。
中心入口点是包中的类。DataFlowTemplate
org.springframework.cloud.dataflow.rest.client
此类实现接口并委托给以下子模板,这些子模板为每个功能集提供特定功能:DataFlowOperations
接口 | 描述 |
---|---|
|
用于流操作的 REST 客户端 |
|
用于计数器操作的 REST 客户端 |
|
用于字段值计数器操作的 REST 客户端 |
|
用于聚合计数器操作的 REST 客户端 |
|
用于任务操作的 REST 客户端 |
|
用于作业操作的 REST 客户端 |
|
用于应用程序注册表操作的 REST 客户端 |
|
用于完成操作的 REST 客户端 |
|
用于运行时操作的 REST 客户端 |
初始化时,可以通过 REST 关系发现子模板,这些关系由 HATEOAS(超媒体作为应用程序状态的引擎)提供。DataFlowTemplate
如果无法解析资源,则会产生相应的子模板 在 NULL 中。一个常见的原因是 Spring Cloud Data Flow 允许特定的 启动时要启用或禁用的功能集。有关更多信息,请参阅本地、Cloud Foundry 或 Kubernetes 配置章节之一,具体取决于您部署应用程序的位置。 |
A.1. 使用数据流模板
当您使用数据流模板时,唯一需要的数据流依赖项是 Spring Cloud Data Flow Rest 客户端,如以下 Maven 代码片段所示:
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-dataflow-rest-client</artifactId>
<version>2.10.4-SNAPSHOT</version>
</dependency>
通过该依赖项,您可以获得类以及调用 Spring Cloud Data Flow 服务器所需的所有依赖项。DataFlowTemplate
实例化 时,您还会传入一个 .
请注意,所需的需要一些额外的配置才能在 .
当将 a 声明为 bean 时,以下配置就足够了:DataFlowTemplate
RestTemplate
RestTemplate
DataFlowTemplate
RestTemplate
@Bean
public static RestTemplate restTemplate() {
RestTemplate restTemplate = new RestTemplate();
restTemplate.setErrorHandler(new VndErrorResponseErrorHandler(restTemplate.getMessageConverters()));
for(HttpMessageConverter<?> converter : restTemplate.getMessageConverters()) {
if (converter instanceof MappingJackson2HttpMessageConverter) {
final MappingJackson2HttpMessageConverter jacksonConverter =
(MappingJackson2HttpMessageConverter) converter;
jacksonConverter.getObjectMapper()
.registerModule(new Jackson2HalModule())
.addMixIn(JobExecution.class, JobExecutionJacksonMixIn.class)
.addMixIn(JobParameters.class, JobParametersJacksonMixIn.class)
.addMixIn(JobParameter.class, JobParameterJacksonMixIn.class)
.addMixIn(JobInstance.class, JobInstanceJacksonMixIn.class)
.addMixIn(ExitStatus.class, ExitStatusJacksonMixIn.class)
.addMixIn(StepExecution.class, StepExecutionJacksonMixIn.class)
.addMixIn(ExecutionContext.class, ExecutionContextJacksonMixIn.class)
.addMixIn(StepExecutionHistory.class, StepExecutionHistoryJacksonMixIn.class);
}
}
return restTemplate;
}
您还可以使用RestTemplate DataFlowTemplate.getDefaultDataflowRestTemplate();
|
现在,您可以使用以下代码实例化 :DataFlowTemplate
DataFlowTemplate dataFlowTemplate = new DataFlowTemplate(
new URI("http://localhost:9393/"), restTemplate); (1)
1 | 指向 Spring Cloud Data Flow Server 的 ROOT。URI |
根据您的要求,您现在可以调用服务器。例如 如果要获取当前可用应用程序的列表,可以运行以下代码:
PagedResources<AppRegistrationResource> apps = dataFlowTemplate.appRegistryOperations().list();
System.out.println(String.format("Retrieved %s application(s)",
apps.getContent().size()));
for (AppRegistrationResource app : apps.getContent()) {
System.out.println(String.format("App Name: %s, App Type: %s, App URI: %s",
app.getName(),
app.getType(),
app.getUri()));
}
A.2. 数据流模板和安全性
使用 时,您还可以提供所有与安全性相关的
选项,就像您使用的是数据流 Shell 一样。事实上,数据流 Shell 使用 for 其所有操作。DataFlowTemplate
DataFlowTemplate
为了让您开始使用,我们提供了一个使用 builder
pattern 设置各种与安全性相关的选项:HttpClientConfigurer
HttpClientConfigurer
.create(targetUri) (1)
.basicAuthCredentials(username, password) (2)
.skipTlsCertificateVerification() (3)
.withProxyCredentials(proxyUri, proxyUsername, proxyPassword) (4)
.addInterceptor(interceptor) (5)
.buildClientHttpRequestFactory() (6)
1 | 使用提供的目标 URI 创建 HttpClientConfigurer。 |
2 | 设置基本身份验证的凭据(使用 OAuth2 密码授予) |
3 | 跳过 SSL 证书验证(仅用于开发!) |
4 | 配置任何代理设置 |
5 | 添加自定义拦截器,例如设置 OAuth2 Authorization 标头。这允许 u 传递 OAuth2 访问令牌,而不是用户名/密码凭证。 |
6 | 构建可在 上设置的 。ClientHttpRequestFactory RestTemplate |
配置完成后,您可以使用它来构建 ,然后设置相应的
属性。然后,你可以使用该 .HttpClientConfigurer
buildClientHttpRequestFactory
ClientHttpRequestFactory
RestTemplate
DataFlowTemplate
RestTemplate
要配置基本身份验证,需要进行以下设置:
RestTemplate restTemplate = DataFlowTemplate.getDefaultDataflowRestTemplate();
HttpClientConfigurer httpClientConfigurer = HttpClientConfigurer.create("http://localhost:9393");
httpClientConfigurer.basicAuthCredentials("my_username", "my_password");
restTemplate.setRequestFactory(httpClientConfigurer.buildClientHttpRequestFactory());
DataFlowTemplate dataFlowTemplate = new DataFlowTemplate("http://localhost:9393", restTemplate);
附录 B:“操作方法”指南
本节提供了一些常见的“我该怎么做......“的问题。
如果您有我们在此处未涵盖的特定问题,您可能需要查看 stackoverflow.com 以查看是否有人已经提供了答案。
这也是提出新问题的好地方(使用标签)。spring-cloud-dataflow
我们也非常乐意扩展此部分。如果您想添加 “how-to”,可以向我们发送拉取请求。
B.1. 配置 Maven 属性
在启动数据流服务器时,可以通过命令行属性设置 Maven 属性,例如本地 Maven 存储库位置、远程 Maven 存储库、身份验证凭据和代理服务器属性。
或者,可以通过设置数据流服务器的 environment 属性来设置属性。SPRING_APPLICATION_JSON
如果使用 Maven 存储库解析应用程序,则需要显式配置远程 Maven 存储库。
此规则的一个例外是数据流服务器安装,它已经预先配置了 Maven Central 和 Spring Artifactory 远程存储库。
其他 () 服务器安装没有远程存储库的默认值。local
non-local
如果您配置自己的远程存储库,请务必添加 Maven central (),因为它不会自动为您添加。repo.maven.apache.org/maven2 |
要将属性作为命令行选项传递,请使用类似于以下内容的命令运行服务器:
$ java -jar <dataflow-server>.jar --maven.localRepository=mylocal
--maven.remote-repositories.repo1.url=https://repo1
--maven.remote-repositories.repo1.auth.username=repo1user
--maven.remote-repositories.repo1.auth.password=repo1pass
--maven.remote-repositories.repo2.url=https://repo2 --maven.proxy.host=proxyhost
--maven.proxy.port=9018 --maven.proxy.auth.username=proxyuser
--maven.proxy.auth.password=proxypass
您还可以使用 environment 属性:SPRING_APPLICATION_JSON
export SPRING_APPLICATION_JSON='{ "maven": { "local-repository": "local","remote-repositories": { "repo1": { "url": "https://repo1", "auth": { "username": "repo1user", "password": "repo1pass" } },
"repo2": { "url": "https://repo2" } }, "proxy": { "host": "proxyhost", "port": 9018, "auth": { "username": "proxyuser", "password": "proxypass" } } } }'
以下是格式良好的 JSON 中的相同内容:
SPRING_APPLICATION_JSON='{
"maven": {
"local-repository": "local",
"remote-repositories": {
"repo1": {
"url": "https://repo1",
"auth": {
"username": "repo1user",
"password": "repo1pass"
}
},
"repo2": {
"url": "https://repo2"
}
},
"proxy": {
"host": "proxyhost",
"port": 9018,
"auth": {
"username": "proxyuser",
"password": "proxypass"
}
}
}
}'
根据 Spring Cloud Data Flow 服务器实现,您可能必须使用特定于平台的环境设置功能来传递环境属性。例如,在 Cloud Foundry 中,您可以将它们传递为 .cf set-env SPRING_APPLICATION_JSON |
B.2. 故障排除
本节介绍如何在您选择的平台上对 Spring Cloud Data Flow 进行故障排除。请参阅微型网站的 Stream 和 Batch processing 的疑难解答部分。
B.3. 扩展应用程序 Classpath
用户可能需要将依赖项添加到现有 Stream 应用程序或特定数据库驱动程序到 Dataflow 和 Skipper 或项目的任何其他容器提供程序。
Spring Cloud Dataflow 存储库包含可帮助完成此任务的脚本。以下示例假定您已克隆存储库并正在执行 中的脚本。spring-cloud-dataflow src/templates/add-deps |
B.3.1. 容器
为了将依赖项添加到现有容器,以下步骤将是方法。
-
创建具有额外依赖项的文件夹。
-
在将文件复制到 libraries 文件夹时创建新的容器映像。
-
将镜像推送到私有注册表。
环境变量
-
DEPS_FOLDER
应该是要复制到容器的文件的完整文件名或路径表达式。 -
CONTAINER_REPO
源 Docker 镜像名称。 -
CONTAINER_TAG
源图像的标签。 -
PRIVATE_REGISTRY
私有注册表的主机名。
例子
export CONTAINER_REPO="springcloud/spring-cloud-dataflow-server"
export CONTAINER_TAG="2.9.5-jdk17"
export PRIVATE_REGISTRY="our.private.registry"
export DEPS_FOLDER="./extra-libs/"
docker build -f Dockerfile -t "$PRIVATE_REGISTRY/$CONTAINER_REPO:$CONTAINER_TAG"
docker push "$PRIVATE_REGISTRY/$CONTAINER_REPO:$CONTAINER_TAG"
如上所述,位于 下 的存储库中的 .Dockerfile spring-cloud-dataflow src/templates/add-deps |
B.3.2. JAR 文件
使用 CloudFoundry 或本地部署时,您需要先更新 jar,然后再将其发布到私有注册表或 Maven Local。
例
此示例添加依赖项,然后将 jar 安装到 Maven local。
./gradlew -i publishToMavenLocal \
-P appFolder="." \
-P appGroup="org.springframework.cloud" \
-P appName="spring-cloud-dataflow-server" \
-P appVersion="2.9.5" \
-P depFolder="./extra-libs"
使用任务发布到远程存储库。使用远程存储库详细信息更新 。或者,将 和 移动到 ~/.gradle/gradle.propertiespublishMavenPublicationToMavenRepository gradle.properties repoUser repoPassword |
B.4. 为尚不支持的架构创建容器。
对于 M1 上的 macOS,amd64/x86_64 的性能是不可接受的。
我们提供了一组脚本,可用于下载已发布构件的特定版本。
我们还提供了一个脚本,该脚本将使用下载的构件为主机平台创建容器。
在各种项目中,您将找到 then in 或 folders.src/local
local
项目 | 脚本 | 笔记 |
---|---|---|
数据流 |
|
下载或创建容器: |
船长 |
|
下载或创建容器: |
Stream 应用程序 |
|
|
B.4.1. 脚本spring-cloud-dataflow
src/local/download-apps.sh
从 Maven 存储库下载所需的所有应用程序。create-containers.sh
如果快照的时间戳匹配,将跳过下载。
用法:download-apps.sh [version]
-
version
是数据流服务器版本,如 。默认值为2.9.6
2.10.4-SNAPSHOT
src/local/create-containers.sh
创建所有容器并推送到本地 docker 注册表。
此脚本需要 jib-cli
用法:create-containers.sh [version] [jre-version]
-
version
是数据流服务器版本,如 。默认值为2.9.6
2.10.4-SNAPSHOT
-
jre-version
应该是 11、17 之一。默认值为 11
B.4.2. 脚本spring-cloud-skipper
local/download-app.sh
从 Maven 存储库下载所需的所有应用程序。create-containers.sh
如果快照的时间戳匹配,将跳过下载。
用法:download-app.sh [version]
-
version
是 skipper 版本喜欢还是默认是2.8.6
2.9.4-SNAPSHOT
local/create-container.sh
创建所有容器并推送到本地 docker 注册表。 此脚本需要 jib-cli
用法:create-containers.sh [version] [jre-version]
-
version
是 skipper 版本喜欢还是默认是2.8.6
2.9.4-SNAPSHOT
-
jre-version
应为 11、17 之一
B.4.3. 脚本stream-applications
local/download-apps.sh
从 Maven 存储库下载所需的所有应用程序。create-containers.sh
如果快照的时间戳匹配,将跳过下载。
用法:download-apps.sh [version] [broker] [filter]
-
version
是 Stream Applications 版本,或者默认是3.2.1
3.2.2-SNAPSHOT
-
broker
是 RabbitMQ、Rabbit 或 Kafka 之一 -
filter
是应用程序的名称或将匹配的部分名称。
local/create-containers.sh
创建所有容器并推送到本地 docker 注册表。
此脚本需要 jib-cli
用法:create-containers.sh [version] [broker] [jre-version] [filter]
-
version
是 stream-applications 版本,或者默认是3.2.1
3.2.2-SNAPSHOT
-
broker
是 RabbitMQ、Rabbit 或 Kafka 之一 -
jre-version
应为 11、17 之一 -
filter
是应用程序的名称或将匹配的部分名称。
如果创建容器所需的文件不存在,则脚本将跳过该文件。
local/pack-containers.sh
创建所有容器并推送到本地 docker 注册表。
此脚本需要 packeto pack
用法:pack-containers.sh [version] [broker] [jre-version] [filter]
-
version
是 stream-applications 版本,或者默认是3.2.1
3.2.2-SNAPSHOT
-
broker
是 RabbitMQ、Rabbit 或 Kafka 之一 -
jre-version
应为 11、17 之一 -
filter
是应用程序的名称或将匹配的部分名称。
如果不存在创建容器所需的文件,则脚本将跳过该文件。
如果提供了任何参数,则其左侧的所有用户都应被视为必需参数。 |
B.5. 配置 Kubernetes 以进行本地开发或测试
B.5.1. 先决条件
您需要安装 kubectl,然后为本地集群安装 kind 或 minikube。
所有示例都假定您已克隆存储库并执行 中的脚本。spring-cloud-dataflow
src/local/k8s
在 macOS 上,您可能需要从 Macports 或realpath
brew install realpath
这些脚本需要类似于 or 的 shell,并且应该可以在 Linux、WSL 2 或 macOS 上运行。bash zsh |
B.5.2. 步骤
-
选择 Kubernetes provider (Kubernetes 提供商)。Kind、Minikube 或远程 GKE 或 TMC。
-
确定用于部署的命名空间,如果不是 。
default
-
配置 Kubernetes 和 loadbalancer。
-
选择 Broker with (代理方式)
export BROKER=kafka|rabbitmq
-
为 Skipper 和 Data Flow Server 构建或拉取容器映像。
-
部署并启动 Spring Cloud Data Flow。
-
将 Data Flow Server 地址导出到 env。
Kubernetes 提供商
我如何在 minikube 和 kind 之间进行选择?kind 通常会提供比 Minikube 更快的设置和拆卸时间。除了在部署 minikube 时能够配置 CPU 和内存的限制外,两者之间的性能几乎没有什么可选择的。因此,如果你有内存限制或需要强制执行内存限制,Minikube 将是一个更好的选择。
kubectl
您需要安装 kubectl 才能配置 Kubernetes 集群
类
Kind 是 Docker 中的 Kubernetes,非常适合本地开发。
LoadBalancer 将由脚本安装,需要更新 yaml 文件以提供 LoadBalancer 可用的地址范围。configure-k8s.sh
远程 TMC 集群
B.5.3. 构建和加载容器。
对于本地开发,您需要控制本地环境中使用的容器。
为了确保管理特定版本的数据流和skipper容器,您可以设置SKIPPER_VERSION和DATAFLOW_VERSION环境变量,然后调用和/或者,如果要使用本地构建的应用程序,则可以调用和./pull-dataflow.sh
./pull-skipper.sh
./build-skipper-image.sh
./build-dataflow.sh
B.5.4. 配置 k8s 环境
您可以调用以下脚本之一来选择要目标的安装类型:
use-kind.sh [<namespace>] [<database>] [<broker>]
use-mk-docker.sh [<namespace>] [<database>] [<broker>]
use-mk-kvm2.sh [<namespace>] [<database>] [<broker>]
use-mk.sh <driver> [<namespace>] [<database>] [<broker>] (1)
use-tmc.sh <cluster-name> [<namespace>] [<database>] [<broker>]
use-gke.sh <cluster-name> [<namespace>] [<database>] [<broker>]
1 | <driver> 必须是 、 或 之一。 是本地开发的推荐选项。kvm2 docker vmware virtualbox vmwarefusion hyperkit docker |
<namespace> 如果未提供,将会是。默认值为 ,默认值为 。default <database> postgresql <broker> kafka |
由于这些脚本导出环境变量,因此需要执行,如以下示例所示:
source ./use-mk-docker.sh test-ns postgresql rabbitmq
云中的 TMC 或 GKE 集群
集群在使用前必须存在,您应该在执行之前使用相关的 cli 登录source ./use-gke.sh
Create Local Cluster(创建本地集群)。
以下脚本将创建本地集群。
./configure-k8s.sh
-
对于 kind,请按照说明进行更新,然后使用
src/local/k8s/yaml/metallb-configmap.yaml
kubectl apply -f src/local/k8s/yaml/metallb-configmap.yaml
-
对于 minikube,启动一个新的 shell 并执行
minikube tunnel
部署 Spring Cloud Data Flow。
配置 Broker
export BROKER=<broker> (1)
1 | <broker> 或kafka rabbitmq |
配置数据库
export DATABASE=<database> (1)
1 | <database> 或mariadb postgresql |
这仍然是可选的,PostgreSQL 支持尚不可用,但很快就会推出。 |
./install-scdf.sh
source ./export-dataflow-ip.sh
从集群中删除部署。
./delete-scdf.sh
删除集群
如果您已配置 TMC 集群,此脚本还将删除该集群。
./destroy-k8s.sh
B.5.5. 实用程序
以下实用程序列表可能很有用。
名字 | 描述 |
---|---|
k9s 是一个基于文本的监视器,用于探索 Kubernetes 集群。 |
|
根据各种命名标准对各种 Pod 的日志进行 Extra 和 tail 处理。 |
kail
-
使用 kail 记录与特定流相关的活动。
kail --label=spring-group-id=<stream-name>
-
使用 kail 记录特定命名空间中的所有 pod。
kail --ns=<namespace>
B.5.6. 脚本
一些脚本也适用于本地容器,可以在 中找到 ,Kubernetes 特定的脚本位于src/local
src/local/k8s
脚本 | 描述 |
---|---|
|
构建 Restaurant Sample Stream Apps 的所有镜像 |
|
从 Docker Hub 中提取 Restaurant Sample Stream Apps 的所有映像 |
|
基于 从 DockerHub 拉取数据流。 |
|
基于 从 Tanzu Network 中提取 Dataflow Pro。 |
|
根据 . |
|
从 Dataflow 的本地存储库构建 Docker 镜像 |
|
从 Dataflow Pro 的本地存储库构建 docker 镜像。在环境中设置为使用 Dataflow Pro |
|
从 Skipper 的本地存储库构建 docker 镜像。 |
|
根据您的 Kubernetes 配置配置 Kubernetes 环境K8S_DRIVER。 |
|
删除部署创建的所有 Kubernetes 资源。 |
|
删除 cluster、kind 或 minikube。 |
|
将数据流服务器的 URL 导出到 |
|
按名称将特定流的 http 源的 url 导出到 |
|
为 Spring Cloud Dataflow 配置和部署所有容器 |
|
将测试所需的所有容器镜像加载到 kind 或 minikube 中,以确保您可以控制使用的内容。 |
|
将特定容器镜像加载到 local kind 或 minikube 中。 |
|
对 is 指向的集群执行验收测试。 |
|
注册单元测试使用的 Task 和 Stream 应用程序。 |
请报告脚本中的任何错误以及有关相关环境的详细信息。 |
B.6. 常见问题
在本节中,我们将回顾 Spring Cloud Data Flow 的常见问题。 有关更多信息,请参阅微型网站的“常见问题”部分。