Spring XD 1.0.0.M7 发布

发布 | Mark Pollack | 2014年6月3日 | ...

Spring XD 团队很高兴地宣布,Spring XD Milestone 7 现已提供下载

本次发布亮点

  • 传输数据分区:默认情况下,消息会以轮循方式传递给流模块的多个实例。但是,如果一个模块执行的操作使其无法随机消耗流中的消息,那么您可以根据流的内容对流进行分区,以便相似的消息始终传递到同一个模块实例。例如,如果一个处理模块基于每个客户执行有状态操作,则可以根据消息中的 customerId 字段对流进行分区。这是通过在部署清单中指定分区属性来完成的。下面展示了一个小示例。

  • HDFSHDFS DataSet Sink 改进:这些 Sink 现在支持根据分区函数写入多个路径和文件。查看 HDFS 分区示例,了解使用分区功能的几种方法。

  • 分布式运行时增强功能

  • 作业部署清单

  • 更新以支持更新的 Hadoop 发行版:现在总共有 8 个。

  • Admin UI 增强功能

  • Rabbit 消息总线可配置选项:配置消息传递选项、并发设置和高可用性策略等选项。这些选项也可以针对特定模块进行覆盖,例如 modue.http.producer.deliveryMode=NON_PERSISTENT

  • 自动化系统测试中改进了模块覆盖

数据分区示例

为了演示数据分区功能,请使用 Rabbit 作为传输启动两个容器。在 shell 中

stream create words --definition "http | splitter --expression=payload.split(' ') | log"  

stream deploy words --properties module.splitter.producer.partitionKeyExpression=payload,module.log.count=2  

http post --data "How much wood would a woodchuck chuck if a woodchuck could chuck wood"  

在一个容器日志中,您将看到

16:33:27,486 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - How
16:33:27,507 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
16:33:27,508 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck

在另一个容器中

16:33:27,503 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - much
16:33:27,512 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
16:33:27,513 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - would
16:33:27,514 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,520 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,522 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - if
16:33:27,523 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,524 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,526 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - could
16:33:27,528 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood

这表明包含相同单词的消息被定向到同一个容器实例。

请注意,分区仅在将 RabbitMQ 用作传输时支持。对 Redis 作为传输的支持将在下一个版本中提供。

总结

您还可以 使用 homebrew 在 OSX 上使用 yum 在 RHEL/CentOs 上 安装 Spring XD。

Spring XD 项目主页是了解 Spring XD 的中心枢纽。一些有用的链接包括 参考文档示例应用程序QCon SF 2013 会议回放:介绍 Spring XD

我们期待您的评论和反馈

SpringOne 2GX 2014 即将到来

尽快 预订 Dallas, TX 的 SpringOne 的席位,日期为 9 月 8 日至 11 日。这是了解最新动态和提供直接反馈的最佳机会。将有关于 Spring XD 的深度探讨会议,以及关于大数据景观和开发大数据应用程序挑战的入门介绍。

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获得支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

即将举行的活动

查看 Spring 社区所有即将举行的活动。

查看所有