Spring XD 1.1 RC1 发布

工程 | Mark Pollack | 2015年1月29日 | ...

代表 Spring XD 团队,我非常高兴地宣布 Spring XD 1.1 候选版本现在可以下载。

1.1 RC1 版本包含一些新功能以及错误修复。

1.1 版本的一个主题是围绕流处理。 1.1 M2 版本引入了对处理模块中 Reactor 的 Stream API 的支持。 1.1 RC1 版本增加了对使用 RxJava 的 Observable API 和 Spark Streaming 以及现有 Spark 作业支持进行流处理的支持。 通过提供一系列选项,您可以选择最适合当前任务的函数式编程模型。

Spark Streaming 集成功能包括

  • XD 处理器模块,用作 Spark 集群上工作负载的驱动程序。
  • XD 处理器的输入 DStream 是从 XD 消息总线上接收的数据生成的,并且其输出 DStream 中的 RDD 被发送到总线。 这使您可以立即利用许多源模块来驱动 Spark 中的计算并将输出定向到 XD Sinks。 这消除了您需要编写的大量复杂代码,例如将 Kafka 分区映射到多个 DStream。
  • 如果 Spark Streaming 驱动程序进程由于 XD 固有的模块重新部署功能而死掉,它会自动重启。
  • 通过将 Spark 计算代码与设置输入和输出数据的代码分离,简化 Spark 应用程序的开发和测试。 这允许使用测试消息总线创建集成测试,以将特定数据发送到 Spark 模块的输入通道并断言输出通道中包含的结果。

RxJava 集成功能包括

其他功能包括

  • 在 YARN 上运行 XD 时的容器组管理。 现在,您可以在 YARN 上创建 XD Admin 和 XD Container 实例组。 组可以指定初始成员实例的数量,在运行时增加或减少实例数量,并指定将部署它们的特定机器或机架。 如果任何 YARN 容器失败,它们将自动重启以维持为该组指定的实例数量。
  • 基于新的 Spring Integration Kafka 客户端库 重构了基于 Kafka 的消息总线和 Kafka 源。 对于 Kafka 源,这转化为新选项,例如指定源可以监听的分区,或用于可重放性的起始偏移量。
  • Gemfire 源和接收器支持多个定位器。
  • 改进了自定义模块开发的工具和更新的示例。

反馈非常重要,因此请通过以下方式与我们保持联系,提出问题和意见

获取 Spring 新闻资讯

随时关注 Spring 新闻资讯

订阅

抢先一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获取支持

Tanzu Spring 在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部