Spring XD 1.1 RC1 发布

工程 | Mark Pollack | 2015 年 1 月 29 日 | ...

我非常高兴地代表 Spring XD 团队宣布 Spring XD 1.1 Release Candidate 现已可下载。

1.1 RC1 版本包含了几项新功能以及错误修复。

1.1 版本的一个主题是围绕流处理。1.1 M2 版本引入了对 Reactor 的 Stream API 在处理模块中的支持。1.1 RC1 版本除了现有的 Spark 作业支持外,还增加了对使用 RxJava 的 Observable API 和 Spark Streaming 进行流处理的支持。通过提供一系列选项,您可以选择最适合当前任务的函数式编程模型。

Spark Streaming 集成功能包括:

  • 作为 Spark 集群上工作负载驱动程序的 XD Processor 模块
  • XD processor 的输入 DStream 是从 XD Message Bus 接收到的数据生成的,其输出 DStream 的 RDD 会发送到总线。这使得您可以立即利用许多 Source 模块来驱动 Spark 中的计算,并将输出定向到 XD Sinks。这消除了您否则需要编写的大量复杂代码,例如将 Kafka 分区映射到多个 DStreams。
  • 如果 Spark Streaming 驱动程序进程因 XD 的固有模块重新部署功能而崩溃,它将自动重新启动。
  • 通过将 Spark 计算代码与设置输入和输出数据的代码分离开来,简化 Spark 应用程序的开发和测试。这允许使用测试消息总线创建集成测试,将特定数据发送到 Spark 模块的输入通道,并断言输出通道中包含的结果。

RxJava 集成功能包括:

  • 使用 RxJava 的 Observable API 开发处理器模块。这允许您使用函数式编程模型来处理事件流。结合 XD 对消息总线上的数据分区 Data Partitioning on the Message Bus 的支持,您可以创建非常强大的分布式流处理解决方案。
  • 支持将输入消息映射到一个或多个 Observable Stream 实例,例如允许每个 Kafka 分区有一个 Stream。
  • 有关使用 RxJava 的 Observable API 的示例,请参阅 rxjava-moving-average 项目。

其他功能包括:

  • 在 YARN 上运行 XD 时进行容器组管理。您现在可以在 YARN 上创建 XD Admin 和 XD Container 实例的组。组可以指定初始成员实例的数量,在运行时增加或减少实例的数量,以及指定它们将被部署到的特定机器或机架。如果任何 YARN 容器失败,它们将自动重新启动以维持组指定的实例数量。
  • 基于新的 Spring Integration Kafka 客户端库 重构了基于 Kafka 的消息总线和 Kafka Source。对于 Kafka Source,这转化为新的选项,例如指定 Source 可以监听的分区,或用于可重放性的起始偏移量。
  • Gemfire Source 和 Sink 支持多个定位器。
  • 改进了自定义模块开发的工具和更新的示例。

您的反馈非常重要,请通过以下方式保持联系,提出您的问题和评论:

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获得支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

即将举行的活动

查看 Spring 社区所有即将举行的活动。

查看所有