代表 Spring XD 团队,我非常高兴地宣布 Spring XD 1.1 候选版本现在可以下载。
1.1 RC1 版本包含一些新功能以及错误修复。
1.1 版本的一个主题是围绕流处理。 1.1 M2 版本引入了对处理模块中 Reactor 的 Stream API 的支持。 1.1 RC1 版本增加了对使用 RxJava 的 Observable API 和 Spark Streaming 以及现有 Spark 作业支持进行流处理的支持。 通过提供一系列选项,您可以选择最适合当前任务的函数式编程模型。
Spark Streaming 集成功能包括
- XD 处理器模块,用作 Spark 集群上工作负载的驱动程序。
- XD 处理器的输入 DStream 是从 XD 消息总线上接收的数据生成的,并且其输出 DStream 中的 RDD 被发送到总线。 这使您可以立即利用许多源模块来驱动 Spark 中的计算并将输出定向到 XD Sinks。 这消除了您需要编写的大量复杂代码,例如将 Kafka 分区映射到多个 DStream。
- 如果 Spark Streaming 驱动程序进程由于 XD 固有的模块重新部署功能而死掉,它会自动重启。
- 通过将 Spark 计算代码与设置输入和输出数据的代码分离,简化 Spark 应用程序的开发和测试。 这允许使用测试消息总线创建集成测试,以将特定数据发送到 Spark 模块的输入通道并断言输出通道中包含的结果。
RxJava 集成功能包括
其他功能包括
- 在 YARN 上运行 XD 时的容器组管理。 现在,您可以在 YARN 上创建 XD Admin 和 XD Container 实例组。 组可以指定初始成员实例的数量,在运行时增加或减少实例数量,并指定将部署它们的特定机器或机架。 如果任何 YARN 容器失败,它们将自动重启以维持为该组指定的实例数量。
- 基于新的 Spring Integration Kafka 客户端库 重构了基于 Kafka 的消息总线和 Kafka 源。 对于 Kafka 源,这转化为新选项,例如指定源可以监听的分区,或用于可重放性的起始偏移量。
- Gemfire 源和接收器支持多个定位器。
- 改进了自定义模块开发的工具和更新的示例。
反馈非常重要,因此请通过以下方式与我们保持联系,提出问题和意见