领先一步
VMware 提供培训和认证,助您加速进步。
了解更多Spring XD 团队很高兴地宣布,Spring XD Milestone 7 现已提供下载。
本次发布亮点
传输数据分区:默认情况下,消息会以轮循方式传递给流模块的多个实例。但是,如果一个模块执行的操作使其无法随机消耗流中的消息,那么您可以根据流的内容对流进行分区,以便相似的消息始终传递到同一个模块实例。例如,如果一个处理模块基于每个客户执行有状态操作,则可以根据消息中的 customerId 字段对流进行分区。这是通过在部署清单中指定分区属性来完成的。下面展示了一个小示例。
HDFS 和 HDFS DataSet Sink 改进:这些 Sink 现在支持根据分区函数写入多个路径和文件。查看 HDFS 分区示例,了解使用分区功能的几种方法。
更新以支持更新的 Hadoop 发行版:现在总共有 8 个。
Rabbit 消息总线可配置选项:配置消息传递选项、并发设置和高可用性策略等选项。这些选项也可以针对特定模块进行覆盖,例如 modue.http.producer.deliveryMode=NON_PERSISTENT
自动化系统测试中改进了模块覆盖
数据分区示例
为了演示数据分区功能,请使用 Rabbit 作为传输启动两个容器。在 shell 中
stream create words --definition "http | splitter --expression=payload.split(' ') | log"
stream deploy words --properties module.splitter.producer.partitionKeyExpression=payload,module.log.count=2
http post --data "How much wood would a woodchuck chuck if a woodchuck could chuck wood"
在一个容器日志中,您将看到
16:33:27,486 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - How
16:33:27,507 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
16:33:27,508 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
在另一个容器中
16:33:27,503 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - much
16:33:27,512 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
16:33:27,513 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - would
16:33:27,514 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,520 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,522 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - if
16:33:27,523 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,524 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,526 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - could
16:33:27,528 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
这表明包含相同单词的消息被定向到同一个容器实例。
请注意,分区仅在将 RabbitMQ 用作传输时支持。对 Redis 作为传输的支持将在下一个版本中提供。
总结
您还可以 使用 homebrew 在 OSX 上 和 使用 yum 在 RHEL/CentOs 上 安装 Spring XD。
Spring XD 项目主页是了解 Spring XD 的中心枢纽。一些有用的链接包括 参考文档、示例应用程序 和 QCon SF 2013 会议回放:介绍 Spring XD。
我们期待您的评论和反馈
spring-xd 标签SpringOne 2GX 2014 即将到来
尽快 预订 Dallas, TX 的 SpringOne 的席位,日期为 9 月 8 日至 11 日。这是了解最新动态和提供直接反馈的最佳机会。将有关于 Spring XD 的深度探讨会议,以及关于大数据景观和开发大数据应用程序挑战的入门介绍。