我非常高兴地代表 Spring XD 团队宣布 Spring XD 1.1 Release Candidate 现已可下载。
1.1 RC1 版本包含了几项新功能以及错误修复。
1.1 版本的一个主题是围绕流处理。1.1 M2 版本引入了对 Reactor 的 Stream API 在处理模块中的支持。1.1 RC1 版本除了现有的 Spark 作业支持外,还增加了对使用 RxJava 的 Observable API 和 Spark Streaming 进行流处理的支持。通过提供一系列选项,您可以选择最适合当前任务的函数式编程模型。
Spark Streaming 集成功能包括:
- 作为 Spark 集群上工作负载驱动程序的 XD Processor 模块。
- XD processor 的输入 DStream 是从 XD Message Bus 接收到的数据生成的,其输出 DStream 的 RDD 会发送到总线。这使得您可以立即利用许多 Source 模块来驱动 Spark 中的计算,并将输出定向到 XD Sinks。这消除了您否则需要编写的大量复杂代码,例如将 Kafka 分区映射到多个 DStreams。
- 如果 Spark Streaming 驱动程序进程因 XD 的固有模块重新部署功能而崩溃,它将自动重新启动。
- 通过将 Spark 计算代码与设置输入和输出数据的代码分离开来,简化 Spark 应用程序的开发和测试。这允许使用测试消息总线创建集成测试,将特定数据发送到 Spark 模块的输入通道,并断言输出通道中包含的结果。
RxJava 集成功能包括:
其他功能包括:
- 在 YARN 上运行 XD 时进行容器组管理。您现在可以在 YARN 上创建 XD Admin 和 XD Container 实例的组。组可以指定初始成员实例的数量,在运行时增加或减少实例的数量,以及指定它们将被部署到的特定机器或机架。如果任何 YARN 容器失败,它们将自动重新启动以维持组指定的实例数量。
- 基于新的 Spring Integration Kafka 客户端库 重构了基于 Kafka 的消息总线和 Kafka Source。对于 Kafka Source,这转化为新的选项,例如指定 Source 可以监听的分区,或用于可重放性的起始偏移量。
- Gemfire Source 和 Sink 支持多个定位器。
- 改进了自定义模块开发的工具和更新的示例。
您的反馈非常重要,请通过以下方式保持联系,提出您的问题和评论: