领先一步
VMware 提供培训和认证,助您加速进步。
了解更多Spring XD 团队很高兴地宣布 Spring XD Milestone 6 现已可供下载。
这是我们迄今为止最大的发布!团队辛勤工作,Milestone 6 包含了大量满足企业在可靠性、性能和用户体验方面要求的新功能。以下是快速的 Top Ten(排名不分先后),但如果您查看 发行说明,您会意识到从 299 个条目中选出 10 个是多么困难。
分布式容错运行时:多个 xd-admin 服务器之间的领导者选举,以及在发生故障时将模块自动重新部署到其他 xd-containers。引入 ZooKeeper 来管理集群及其部署状态。
支持在 YARN 上运行 XD:在 Hadoop YARN 集群上运行 admin 和 container 节点,而不是在您需要管理的 VM 或物理服务器上。简单的配置和 shell 脚本使此过程非常容易。
部署清单:在部署流时,您可以提供一个部署清单,该清单描述如何将逻辑流定义(例如,http | hdfs)转换为集群上的物理部署。您可以指定每个模块的实例数量,以及一个标准表达式(使用 SpEL)来评估集群中的每个可用容器,以确定最适合这些模块实例的匹配项。这将是下一个版本中的积极开发领域,因为我们将扩展清单以支持数据分区策略。
实时评估机器学习评分算法:集成了 JPMML-Evaluator 库,该库支持多种模型类型,并与从流行数据分析包(如 R)导出的模型兼容。通过提供 XD 的 Analytic 和 MappedAnalytic 抽象的实现,支持与其他库的集成。请尝试基于 经典鸢尾花数据集 的 示例应用程序。
更新的 UI:对 UI 进行了重新设计和重写,使其具有现代的外观和感觉。
增强的 DSL 自动补全:在创建流和作业时,Tab 键补全现在可以在 --definition 选项的值内工作。创建流和作业从未如此简单。请通过 xd-shell 尝试!
批处理作业生命周期的默认流:批处理作业是事件数据的来源。向批处理作业添加 tap 以在作业成功/失败、单个步骤操作甚至项目级别操作时接收事件。此功能以及通过向命名通道发送消息来启动作业的支持,使您的应用程序能够在批处理和流域之间拥有复杂的事件驱动流程。
改进的服务器和模块配置选项:服务器和模块配置已分开,以便能够独立升级它们。模块配置已变得更加模块化,同时允许在相关模块之间共享配置。
高性能 TCP/UDP 源:基于 Reactor 项目 - 在普通硬件上,Reactor IP 源每秒可处理约 100 万条消息。
FTP 到 HDFS 的作业:开箱即用地支持将文件从 FTP 传输到 HDFS 的作业。这些作业利用了另一项新功能:跨多个 XD 容器对步骤进行分区。
总结
您还可以 使用 homebrew 在 OSX 上安装 Spring XD,并 使用 yum 在 RHEL/CentOs 上安装。
Spring XD 项目主页是了解 Spring XD 的中心枢纽。一些有用的链接包括 参考文档、示例应用程序以及 QCon SF 2013 会话回放:介绍 Spring XD。
我们期待您的评论和反馈
spring-xd 标签我们的计划是在七月份发布 GA 版本之前,每月发布一次。
SpringOne 2GX 2014 即将到来
尽快 预订 Dallas, TX 的 SpringOne 的席位,日期为 9 月 8 日至 11 日。这是了解最新动态和提供直接反馈的最佳机会。将有关于 Spring XD 的深度探讨会议,以及关于大数据景观和开发大数据应用程序挑战的入门介绍。