此版本仍在开发中,尚未被视为稳定版本。最新的稳定版请使用 spring-cloud-task 3.1.1! |
此版本仍在开发中,尚未被视为稳定版本。最新的稳定版请使用 spring-cloud-task 3.1.1! |
本节介绍如何使用
入门包含在 Spring Cloud Task 中。此启动器允许您使用配置
定义一个、一个或一个完整的单步 Spring Batch。
有关 Spring Batch 及其功能的更多信息,请参阅 Spring Batch 文档。Job
Step
ItemReader
ItemWriter
Job
若要获取 Maven 的入门版本,请将以下内容添加到您的构建中:
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-single-step-batch-job</artifactId>
<version>2.3.0</version>
</dependency>
要获取 Gradle 的入门版,请将以下内容添加到您的构建中:
compile "org.springframework.cloud:spring-cloud-starter-single-step-batch-job:2.3.0"
定义作业
您可以使用启动器来定义小至 an 或 an 或 full 等于 full 。
在本节中,我们将定义需要定义哪些属性才能配置 .ItemReader
ItemWriter
Job
Job
性能
首先,初学者提供了一组属性,可让您通过一个步骤配置作业的基础知识:
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
作业的名称。 |
|
|
|
步骤的名称。 |
|
|
|
每个事务要处理的项目数。 |
配置上述属性后,您就拥有了一个具有单个基于块的步骤的作业。
这个基于块的步骤读取、处理和写入实例作为
项目。但是,该步骤尚未执行任何操作。您需要配置一个 、
可选的,并给它一些事情做。配置一个
其中,您可以使用属性并配置已提供的选项之一
自动配置,或者您可以使用标准 Spring 配置配置自己的配置
机制。Map<String, Object>
ItemReader
ItemProcessor
ItemWriter
如果配置自己的类型,则输入和输出类型必须与步骤中的其他类型匹配。
此启动器中的实现和实现都使用
a 作为输入项和输出项。ItemReader ItemWriter Map<String, Object> |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
作业的名称。 |
|
|
|
步骤的名称。 |
|
|
|
每个事务要处理的项目数。 |
如果配置自己的类型,则输入和输出类型必须与步骤中的其他类型匹配。
此启动器中的实现和实现都使用
a 作为输入项和输出项。ItemReader ItemWriter Map<String, Object> |
ItemReader 实现的自动配置
此启动器为四种不同的实现提供自动配置:、、 和 。
在本节中,我们将概述如何使用提供的
自动配置。ItemReader
AmqpItemReader
FlatFileItemReader
JdbcCursorItemReader
KafkaItemReader
AmqpItemReader
您可以使用 .这
此实现的自动配置依赖于两组
配置。首先是 .您可以
自行配置或使用 Spring Boot 提供的自动配置。请参阅 Spring Boot AMQP 文档。
配置 后,可以启用批处理功能来支持它
通过设置以下属性:AmqpItemReader
ItemReader
AmqpTemplate
AmqpTemplate
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
如果 ,将执行自动配置。 |
|
|
|
指示是否应注册以分析消息。 |
有关详细信息,请参阅 AmqpItemReader
文档。
FlatFileItemReader
FlatFileItemReader
允许您从平面文件(如 CSV)中读取数据
和其他文件格式)。若要读取文件,可以提供一些组件
自己通过正常的 Spring 配置(、、、或)。您还可以使用
用于配置读取器的以下属性:LineTokenizer
RecordSeparatorPolicy
FieldSetMapper
LineMapper
SkippedLinesCallback
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应保存状态以供重新启动。 |
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
要从文件中读取的最大项目数。 |
|
|
0 |
已读取的项目数。在重新启动时使用。 |
|
|
空列表 |
指示文件中注释行(要忽略的行)的字符串列表。 |
|
|
|
要读取的资源。 |
|
|
|
如果设置为 ,则在未找到资源时,读取器将引发异常。 |
|
|
|
读取文件时要使用的编码。 |
|
|
0 |
指示在文件开头要跳过的行数。 |
|
|
|
指示文件是否为带分隔符的文件(CSV 和其他格式)。此属性中只有一个,或者可以同时存在。 |
|
|
|
如果读取分隔文件,则指示要分析的分隔符。 |
|
|
|
用于确定用于引用值的字符。 |
|
|
空列表 |
用于确定要包含在项目中的记录中的哪些字段的索引列表。 |
|
|
|
指示是否按列号分析文件的记录。此属性中只有一个,或者可以同时存在。 |
|
|
空列表 |
用于分析固定宽度记录的列范围列表。请参阅 Range 文档。 |
|
|
|
从记录中解析的每个字段的名称列表。这些名称是从此返回的 in 项中的键。 |
|
|
|
如果设置为 ,则无法映射字段,则映射失败。 |
JdbcCursorItemReader
对关系数据库运行查询并循环访问
生成的游标 () 以提供生成的项。此自动配置
允许您提供 a 和 /或 a 或两者。你
还可以使用以下属性来配置:JdbcCursorItemReader
ResultSet
PreparedStatementSetter
RowMapper
JdbcCursorItemReader
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应保存状态以供重新启动。 |
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
要从文件中读取的最大项目数。 |
|
|
0 |
已读取的项目数。在重新启动时使用。 |
|
|
向驱动程序提示,指示每次调用数据库系统要检索多少条记录。为了获得最佳性能,您通常希望将其设置为与块大小匹配。 |
|
|
|
要从数据库中读取的最大项数。 |
|
|
|
查询超时的毫秒数。 |
|
|
|
|
确定读取器在处理时是否应忽略 SQL 警告。 |
|
|
|
指示是否应在每次读取后验证光标的位置,以验证光标是否未前进。 |
|
|
|
指示驱动程序是否支持光标的绝对定位。 |
|
|
|
指示连接是否与其他处理共享(因此是事务的一部分)。 |
|
|
|
要从中读取的 SQL 查询。 |
还可以使用以下属性专门为读取器指定 JDBC 数据源:
.性能JdbcCursorItemReader
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应启用。 |
|
|
|
数据库的 JDBC URL。 |
|
|
|
数据库的登录用户名。 |
|
|
|
数据库的登录密码。 |
|
|
|
JDBC 驱动程序的完全限定名称。 |
如果未指定,则将使用 default。DataSource JDBCCursorItemReader jdbccursoritemreader_datasource |
KafkaItemReader
从 Kafka 主题引入数据分区非常有用,而且正是可以执行的操作。要配置 ,两件
的配置是必需的。首先,使用 Spring Boot 的 Kafka 配置 Kafka
自动配置是必需的(请参阅 Spring Boot Kafka 文档)。
从 Spring Boot 配置 Kafka 属性后,可以通过设置以下属性来配置 Kafka 属性:KafkaItemReader
KafkaItemReader
KafkaItemReader
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
要从中读取的主题的名称。 |
|
|
空列表 |
要从中读取的分区索引列表。 |
|
|
30 |
操作超时。 |
|
|
|
确定是否应保存状态以供重新启动。 |
请参阅 KafkaItemReader
文档。
原生编译
单步批处理的优点是,它允许您在使用 JVM 时动态选择要在运行时使用的读取器和写入器 Bean。 但是,使用本机编译时,必须在生成时(而不是运行时)确定读取器和写入器。 以下示例执行此操作:
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<executions>
<execution>
<id>process-aot</id>
<goals>
<goal>process-aot</goal>
</goals>
<configuration>
<jvmArguments>
-Dspring.batch.job.flatfileitemreader.name=fooReader
-Dspring.batch.job.flatfileitemwriter.name=fooWriter
</jvmArguments>
</configuration>
</execution>
</executions>
</plugin>
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
如果 ,将执行自动配置。 |
|
|
|
指示是否应注册以分析消息。 |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应保存状态以供重新启动。 |
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
要从文件中读取的最大项目数。 |
|
|
0 |
已读取的项目数。在重新启动时使用。 |
|
|
空列表 |
指示文件中注释行(要忽略的行)的字符串列表。 |
|
|
|
要读取的资源。 |
|
|
|
如果设置为 ,则在未找到资源时,读取器将引发异常。 |
|
|
|
读取文件时要使用的编码。 |
|
|
0 |
指示在文件开头要跳过的行数。 |
|
|
|
指示文件是否为带分隔符的文件(CSV 和其他格式)。此属性中只有一个,或者可以同时存在。 |
|
|
|
如果读取分隔文件,则指示要分析的分隔符。 |
|
|
|
用于确定用于引用值的字符。 |
|
|
空列表 |
用于确定要包含在项目中的记录中的哪些字段的索引列表。 |
|
|
|
指示是否按列号分析文件的记录。此属性中只有一个,或者可以同时存在。 |
|
|
空列表 |
用于分析固定宽度记录的列范围列表。请参阅 Range 文档。 |
|
|
|
从记录中解析的每个字段的名称列表。这些名称是从此返回的 in 项中的键。 |
|
|
|
如果设置为 ,则无法映射字段,则映射失败。 |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应保存状态以供重新启动。 |
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
要从文件中读取的最大项目数。 |
|
|
0 |
已读取的项目数。在重新启动时使用。 |
|
|
向驱动程序提示,指示每次调用数据库系统要检索多少条记录。为了获得最佳性能,您通常希望将其设置为与块大小匹配。 |
|
|
|
要从数据库中读取的最大项数。 |
|
|
|
查询超时的毫秒数。 |
|
|
|
|
确定读取器在处理时是否应忽略 SQL 警告。 |
|
|
|
指示是否应在每次读取后验证光标的位置,以验证光标是否未前进。 |
|
|
|
指示驱动程序是否支持光标的绝对定位。 |
|
|
|
指示连接是否与其他处理共享(因此是事务的一部分)。 |
|
|
|
要从中读取的 SQL 查询。 |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应启用。 |
|
|
|
数据库的 JDBC URL。 |
|
|
|
数据库的登录用户名。 |
|
|
|
数据库的登录密码。 |
|
|
|
JDBC 驱动程序的完全限定名称。 |
如果未指定,则将使用 default。DataSource JDBCCursorItemReader jdbccursoritemreader_datasource |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
要从中读取的主题的名称。 |
|
|
空列表 |
要从中读取的分区索引列表。 |
|
|
30 |
操作超时。 |
|
|
|
确定是否应保存状态以供重新启动。 |
ItemProcessor 配置
单步批处理作业自动配置接受 if
在 .如果找到正确类型的
(),它是自动接线的
进入步骤。ItemProcessor
ApplicationContext
ItemProcessor<Map<String, Object>, Map<String, Object>>
ItemWriter 实现的自动配置
此启动器为以下实现提供自动配置
匹配支持的实现:、 、 和 。本节
介绍如何使用自动配置来配置受支持的 .ItemWriter
ItemReader
AmqpItemWriter
FlatFileItemWriter
JdbcItemWriter
KafkaItemWriter
ItemWriter
AmqpItemWriter
要写入 RabbitMQ 队列,您需要两组配置。首先,您需要一个 .最简单的方法是使用 Spring Boot 的
RabbitMQ 自动配置。请参阅 Spring Boot AMQP 文档。AmqpTemplate
配置 后,可以通过设置
以下属性:AmqpTemplate
AmqpItemWriter
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
如果 ,则运行自动配置。 |
|
|
|
指示是否应注册以转换邮件。 |
FlatFileItemWriter
要将文件写入作为步骤的输出,您可以配置 .
自动配置接受已显式配置的组件(如 、 、 或 ) 和
已通过设置指定的以下属性来配置的组件:FlatFileItemWriter
LineAggregator
FieldExtractor
FlatFileHeaderCallback
FlatFileFooterCallback
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
要读取的资源。 |
|
|
|
指示输出文件是否为分隔文件。如果 ,则必须是 。 |
|
|
|
指示输出文件是否为格式化文件。如果 ,则必须是 。 |
|
|
|
用于生成格式化文件输出的格式。格式设置是通过使用 来执行的。 |
|
|
|
生成文件时要使用的。 |
|
|
0 |
记录的最大长度。如果为 0,则大小不受限制。 |
|
|
0 |
最小记录长度。 |
|
|
|
用于分隔分隔文件中的字段。 |
|
|
|
写入文件时要使用的编码。 |
|
|
|
指示是否应在刷新时将文件强制同步到磁盘。 |
|
|
|
从记录中解析的每个字段的名称列表。这些名称是 for this 接收到的项目中的键。 |
|
|
|
指示如果找到输出文件,是否应追加文件。 |
|
|
|
用于分隔输出文件中的行。 |
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
确定是否应保存状态以供重新启动。 |
|
|
|
如果设置为 ,则在作业完成时删除空文件(没有输出)。 |
|
|
|
如果设置为 并且找到输出文件应位于的位置的文件,则在步骤开始之前将其删除。 |
|
|
|
指示读取器是否为事务队列(指示读取的项目在失败时返回到队列)。 |
JdbcBatchItemWriter
要将步骤的输出写入关系数据库,此入门器提供了以下功能
自动配置 .通过自动配置,您可以提供
own 或 和
通过设置以下属性来配置选项:JdbcBatchItemWriter
ItemPreparedStatementSetter
ItemSqlParameterSourceProvider
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
用于插入每个项的 SQL。 |
|
|
|
是否验证每个插入是否都会导致至少一条记录的更新。 |
还可以使用以下属性专门为编写器指定 JDBC DataSource:
.性能JdbcBatchItemWriter
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应启用。 |
|
|
|
数据库的 JDBC URL。 |
|
|
|
数据库的登录用户名。 |
|
|
|
数据库的登录密码。 |
|
|
|
JDBC 驱动程序的完全限定名称。 |
如果未指定,则将使用 default。DataSource JdbcBatchItemWriter jdbcbatchitemwriter_datasource |
KafkaItemWriter
要将步骤输出写入 Kafka 主题,您需要 .这个开胃菜
通过使用两个位置的设施为 A 提供自动配置。
第一个是 Spring Boot 的 Kafka 自动配置。(请参阅 Spring Boot Kafka 文档。
其次,此启动器允许您在编写器上配置两个属性。KafkaItemWriter
KafkaItemWriter
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
要编写的 Kafka 主题。 |
|
|
|
传递给编写器的项目是否全部作为删除事件发送到主题。 |
有关 的配置选项的更多信息,请参阅 KafkaItemWiter
文档。KafkaItemWriter
春季 AOT
将 Spring AOT 与 Single Step Batch Starter 一起使用时,必须将读取器和
编译时的 writer name 属性(除非您为 reader 和 /or writer 创建 bean)。
为此,您必须包括要用作的读取器和编写器的名称
以及 boot maven 插件或 gradle 插件中的参数或环境变量。例如,如果
您希望在 Maven 中启用 and 它如下所示:FlatFileItemReader
FlatFileItemWriter
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<executions>
<execution>
<id>process-aot</id>
<goals>
<goal>process-aot</goal>
</goals>
</execution>
</executions>
<configuration>
<arguments>
<argument>--spring.batch.job.flatfileitemreader.name=foobar</argument>
<argument>--spring.batch.job.flatfileitemwriter.name=fooWriter</argument>
</arguments>
</configuration>
</plugin>
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
如果 ,则运行自动配置。 |
|
|
|
指示是否应注册以转换邮件。 |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
要读取的资源。 |
|
|
|
指示输出文件是否为分隔文件。如果 ,则必须是 。 |
|
|
|
指示输出文件是否为格式化文件。如果 ,则必须是 。 |
|
|
|
用于生成格式化文件输出的格式。格式设置是通过使用 来执行的。 |
|
|
|
生成文件时要使用的。 |
|
|
0 |
记录的最大长度。如果为 0,则大小不受限制。 |
|
|
0 |
最小记录长度。 |
|
|
|
用于分隔分隔文件中的字段。 |
|
|
|
写入文件时要使用的编码。 |
|
|
|
指示是否应在刷新时将文件强制同步到磁盘。 |
|
|
|
从记录中解析的每个字段的名称列表。这些名称是 for this 接收到的项目中的键。 |
|
|
|
指示如果找到输出文件,是否应追加文件。 |
|
|
|
用于分隔输出文件中的行。 |
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
确定是否应保存状态以供重新启动。 |
|
|
|
如果设置为 ,则在作业完成时删除空文件(没有输出)。 |
|
|
|
如果设置为 并且找到输出文件应位于的位置的文件,则在步骤开始之前将其删除。 |
|
|
|
指示读取器是否为事务队列(指示读取的项目在失败时返回到队列)。 |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
用于在 中提供唯一键的名称。 |
|
|
|
用于插入每个项的 SQL。 |
|
|
|
是否验证每个插入是否都会导致至少一条记录的更新。 |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
确定是否应启用。 |
|
|
|
数据库的 JDBC URL。 |
|
|
|
数据库的登录用户名。 |
|
|
|
数据库的登录密码。 |
|
|
|
JDBC 驱动程序的完全限定名称。 |
如果未指定,则将使用 default。DataSource JdbcBatchItemWriter jdbcbatchitemwriter_datasource |
财产 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
|
|
要编写的 Kafka 主题。 |
|
|
|
传递给编写器的项目是否全部作为删除事件发送到主题。 |