我代表 Spring XD 团队,非常高兴地宣布 Spring XD 1.1 发布候选版本现已提供下载。
1.1 RC1 版本包含一些新功能以及错误修复。
1.1 版本的一个主题是围绕流处理。1.1 M2 版本在处理模块中引入了对 Reactor 的 Stream API 的支持。1.1 RC1 版本除了现有的 Spark 作业支持外,还增加了使用 RxJava 的 Observable API 和 Spark Streaming 进行流处理的支持。通过提供一系列选项,您可以选择最适合当前任务的功能编程模型。
Spark Streaming 集成功能包括
- XD 处理器模块,充当 Spark 集群上工作负载的驱动程序。
- XD 处理器的输入 DStream 由从 XD 消息总线上接收到的数据生成,其输出 DStream 中的 RDD 发送到总线。这使您可以立即利用许多源模块来驱动 Spark 中的计算并将输出定向到 XD 接收器。这消除了您可能需要编写的许多复杂代码,例如将 Kafka 分区映射到多个 DStream。
- 如果 Spark Streaming 驱动程序进程由于 XD 的固有模块重新部署功能而死机,它将自动重启。
- 通过将 Spark 计算代码与设置输入和输出数据的代码解耦,简化 Spark 应用程序的开发和测试。这允许使用测试消息总线创建集成测试,将特定数据发送到 Spark 模块的输入通道,并在输出通道中包含的结果上进行断言。
RxJava 集成功能包括
其他功能包括
- 在 YARN 上运行 XD 时的容器组管理。您现在可以在 YARN 上创建 XD Admin 和 XD Container 实例组。组可以指定初始成员实例的数量,在运行时增加或减少实例的数量,并指定将在其中部署它们的特定机器或机架。如果任何 YARN 容器失败,它们将自动重新启动以维护为该组指定的实例数。
- 基于新的Spring Integration Kafka 客户端库重构了基于 Kafka 的消息总线和基于 Kafka 的源。对于 Kafka 源,这意味着新的选项,例如指定源可以监听的分区或用于重放的起始偏移量。
- 支持多个定位器的 Gemfire 源和接收器。
- 改进了自定义模块开发的工具和更新的示例。
反馈非常重要,因此请通过以下方式与我们保持联系,提出您的问题和意见: