文件拆分器

它是在版本 4.1.2 中添加的,其命名空间支持是在版本 4.2 中添加的。 根据 将文本文件拆分为单独的行。 默认情况下,拆分器使用 an 在从文件中读取行时一次发出一行。 将属性设置为 to 会导致它在将所有行作为消息发出之前将它们读入内存。 一个用例可能是,您希望在发送任何包含行的消息之前检测文件上的 I/O 错误。 但是,它仅适用于相对较短的文件。FileSplitterFileSplitterBufferedReader.readLine()Iteratoriteratorfalsespring-doc.cn

入站负载可以是 、 (路径)、 或 。 其他负载类型保持不变。FileStringFileInputStreamReaderspring-doc.cn

以下清单显示了配置 :FileSplitterspring-doc.cn

@SpringBootApplication
public class FileSplitterApplication {

    public static void main(String[] args) {
        new SpringApplicationBuilder(FileSplitterApplication.class)
            .web(false)
            .run(args);
    }

    @Bean
    public IntegrationFlow fileSplitterFlow() {
        return IntegrationFlow
            .from(Files.inboundAdapter(tmpDir.getRoot())
                 .filter(new ChainFileListFilter<File>()
                        .addFilter(new AcceptOnceFileListFilter<>())
                        .addFilter(new ExpressionFileListFilter<>(
                             new FunctionExpression<File>(f -> "foo.tmp".equals(f.getName()))))))
            .split(Files.splitter()
                     .markers()
                     .charset(StandardCharsets.US_ASCII)
                     .firstLineAsHeader("fileHeader")
                     .applySequence(true))
            .channel(c -> c.queue("fileSplittingResultChannel"))
            .get();
    }

}
@Bean
fun fileSplitterFlow() =
    integrationFlow(
        Files.inboundAdapter(tmpDir.getRoot())
            .filter(
                ChainFileListFilter<File?>()
                    .addFilter(AcceptOnceFileListFilter())
                    .addFilter(ExpressionFileListFilter(FunctionExpression { f: File? -> "foo.tmp" == f!!.name }))
            )
    ) {
        split(
            Files.splitter()
                .markers()
                .charset(StandardCharsets.US_ASCII)
                .firstLineAsHeader("fileHeader")
                .applySequence(true)
        )
        channel { queue("fileSplittingResultChannel") }
    }
@Splitter(inputChannel="toSplitter")
@Bean
public MessageHandler fileSplitter() {
    FileSplitter splitter = new FileSplitter(true, true);
    splitter.setApplySequence(true);
    splitter.setOutputChannel(outputChannel);
    return splitter;
}
<int-file:splitter id="splitter" (1)
    iterator=""                  (2)
    markers=""                   (3)
    markers-json=""              (4)
    apply-sequence=""            (5)
    requires-reply=""            (6)
    charset=""                   (7)
    first-line-as-header=""      (8)
    input-channel=""             (9)
    output-channel=""            (10)
    send-timeout=""              (11)
    auto-startup=""              (12)
    order=""                     (13)
    phase="" />                  (14)
1 splitter 的 bean 名称。
2 设置为(默认值)以使用迭代器或在发送行之前将文件加载到内存中。truefalse
3 设置为 to 可在文件数据之前和之后发出文件开始和文件结束标记消息。 标记是具有有效负载(属性中包含 and 值)的消息。 在筛选某些行的下游流中按顺序处理文件时,可以使用标记。 它们使下游处理能够知道文件何时被完全处理。 此外,包含这些消息或添加到这些消息的标头。 该标记包括行数。 如果文件为空,则仅发出 和 标记,并将其作为 . 默认值为 . 默认情况下,, 是 。 另请参阅 (next 属性)。trueFileSplitter.FileMarkerSTARTENDmarkfile_markerSTARTENDENDSTARTEND0lineCountfalsetrueapply-sequencefalsemarkers-json
4 当为 true 时,将此项设置为将对象转换为 JSON 字符串。 (使用 under)。markerstrueFileMarkerSimpleJsonSerializer
5 设置为 可禁用在邮件中包含 和 标头。 默认值为 ,除非为 。 当 和 is 时,标记包含在排序中。 当 和 is 时,标头设置为 ,因为大小未知。falsesequenceSizesequenceNumbertruemarkerstruetruemarkerstruetrueiteratortruesequenceSize0
6 设置为 to 会导致在文件中没有行时引发 a。 默认值为 .trueRequiresReplyExceptionfalse
7 设置将文本数据读取到有效负载时要使用的字符集名称。 默认值为 platform charset。String
8 在为其余行发出的消息中作为标题携带的第一行的标题名称。 从 5.0 版本开始。
9 设置用于将消息发送到拆分器的输入通道。
10 设置将消息发送到的输出通道。
11 设置发送超时。 仅当 can 阻止时适用 — 例如完整的 .output-channelQueueChannel
12 设置为 to 以禁用在刷新上下文时自动启动拆分器。 默认值为 .falsetrue
13 如果 是 ,则设置此端点的顺序。input-channel<publish-subscribe-channel/>
14 设置分流器的启动阶段(在 is 时使用)。auto-startuptrue

还会将任何基于文本的内容拆分为多行。 从版本 4.3 开始,当与 FTP 或 SFTP 流入站通道适配器或者使用该选项检索文件的 FTP 或 SFTP 出站网关结合使用时,拆分器会在文件完全使用时自动关闭支持该流的会话 有关这些工具的更多信息,请参阅 FTP Streaming Inbound Channel AdapterSFTP Streaming Inbound Channel Adapter 以及 FTP Outbound GatewaySFTP Outbound GatewayFileSplitterInputStreamstreamspring-doc.cn

使用 Java 配置时,可以使用其他构造函数,如下例所示:spring-doc.cn

public FileSplitter(boolean iterator, boolean markers, boolean markersJson)

当为 true 时,标记表示为 JSON 字符串(使用 a )。markersJsonSimpleJsonSerializerspring-doc.cn

版本 5.0 引入了一个选项,用于指定内容的第一行是标题(例如 CSV 文件中的列名称)。 传递给此属性的参数是标头名称,在该名称下,第一行作为其余行发出的消息中的标头。 此行不包含在序列标题中(如果为 true),也不包含在与 关联的 中。 注意:从版本 5.5 开始,lineCount' 也作为消息的 into 标头包含在内,因为可以序列化为 JSON。 如果文件仅包含 header 行,则该文件将被视为空,因此,在拆分期间仅发出实例(如果启用了标记 — 否则,不会发出任何消息)。 默认情况下(如果未设置标头名称),第一行被视为 data 并成为第一个发出的消息的有效负载。firstLineAsHeaderapplySequencelineCountFileMarker.ENDFileHeaders.LINE_COUNTFileMarker.ENDFileMarkerFileMarkerspring-doc.cn

如果您需要有关从文件内容中提取标头的更复杂的逻辑(不是第一行、不是行的整个内容、不是一个特定的标头等),请考虑在 . 请注意,已移动到标题的行可能会从正常内容流程的下游进行筛选。FileSplitterspring-doc.cn

幂等下游处理拆分文件

当 为 true 时,拆分器会在标题中添加行号(当为 true 时,标记计为行)。 该行号可与幂等接收器一起使用,以避免在重新启动后重新处理行。apply-sequenceSEQUENCE_NUMBERmarkersspring-doc.cn

例如:spring-doc.cn

@Bean
public ConcurrentMetadataStore store() {
    return new ZookeeperMetadataStore();
}

@Bean
public MetadataStoreSelector selector() {
    return new MetadataStoreSelector(
            message -> message.getHeaders().get(FileHeaders.ORIGINAL_FILE, File.class)
                    .getAbsolutePath(),
            message -> message.getHeaders().get(IntegrationMessageHeaderAccessor.SEQUENCE_NUMBER)
                    .toString(),
            store())
                    .compareValues(
                            (oldVal, newVal) -> Integer.parseInt(oldVal) < Integer.parseInt(newVal));
}

@Bean
public IdempotentReceiverInterceptor idempotentReceiverInterceptor() {
    return new IdempotentReceiverInterceptor(selector());
}

@Bean
public IntegrationFlow flow() {
    ...
    .split(new FileSplitter())
    ...
    .handle("lineHandler", e -> e.advice(idempotentReceiverInterceptor()))
    ...
}