Spring Cloud Data Flow 1.2 RC1 发布

版本发布 | Mark Pollack | 2017 年 4 月 20 日 | ...

我代表团队很高兴地宣布 Spring Cloud Data Flow 1.2 的第一个发布候选版本。

注意:开始使用这个新版本的一个好方法是遵循参考文档中的入门指南

1.2 RC1 版本亮点

组合任务 (Composed Tasks)

此版本引入了 组合任务!此功能提供了将任务流编排为一个内聚工作单元的能力。复杂的 ETL 流水线可能包含顺序执行、并行执行、条件转换或上述所有方式的组合。组合任务功能附带了 DSL 原语和一个交互式图形界面,可以更轻松地快速构建这些类型的拓扑结构。您可以从参考指南中阅读更多相关内容。

例如,一个 ETL 作业可能包含多个步骤。拓扑结构中的每个步骤都可以构建为一个有限的、生命周期短暂的 Spring Cloud Task 应用。借助 Data Flow Task DSL,可以轻松定义将多个任务作为步骤进行编排。

task create simple-etl --definition "extractDbToHDFS && <analysisInSpark || enrichAndLoadHawq> && <populateMgmtDashboard || runRegulatoryReport || loadAnalyticsStore>"

这将首先运行 `extractDbToHDFS`,然后并行运行 `analysisInSpark` 和 `enrichAndLoadHawq`,等待它们都完成后,再并行运行剩余的三个任务,并等待它们全部完成后,最终结束作业。此拓扑结构的图形表示如下所示。

Visualization of Composed Tasks

实时指标和监控

实时指标现已成为已部署流的运维视图的一部分。构成流的应用会发布其 Spring Boot `/metrics` 执行器端点中包含的指标。这包括发送和接收消息速率。一个新的服务器,即 Spring Cloud Data Flow Metrics Collector,会收集这些指标并计算聚合消息速率。Data Flow 服务器查询 Metrics Collector 以支持在 UI 和 shell 中显示消息速率。有关架构的更多详细信息,请参阅参考指南中的监控已部署应用部分。

下面的截图显示了一个 `time | log` 流的聚合消息速率,该流包含三个 `time` 和 `log` 应用实例。主应用框下方的每个点显示了每个独立应用的消息速率,以及一个 `guid` 值,该值可用于在应用运行的平台上识别该应用。

Visualization of Input and Output Rates in Flo

如下所示的 Runtime 选项卡也得到了改进,可以显示消息速率以及平台公开的任何其他指标。对于熟悉脚本的用户,shell 体验也通过 runtime apps 命令包含了这些详细信息。

Runtime Apps UI

配套Artifact

1.2 M3 中引入的配套 artifact 支持得到了一些改进。批量注册工作流现在会积极解析和下载所有开箱即用应用的元数据 artifact。这在 Shell 或 UI 中查看每个应用支持的属性时非常方便。

OAUTH 改进

这一变更将为 REST-API 用户提供一个额外的选项。除了通过 BasicAuth 提供 username:password 组合外,用户现在可以直接从其 OAuth2 提供者获取 OAuth2 访问令牌,然后在对受保护的 Spring Cloud Data Flow 设置发起 RESTful 调用时,在 HTTP 头中提供该访问令牌。

Spring Cloud Stream App Starters - Bacon.RELEASE

Bacon.RELEASE 现已正式发布。所有开箱即用的流应用都构建在 Spring Cloud Stream Chelsea.RELEASE 和 Spring Cloud Dalston.RELEASE 基础上。现有应用进行了一些增强和错误修复,此发布火车还带来了新的应用,例如 MongoDB-sink、Aggregator-processor、Header-Enricher-processor 和 PGCopy-sink。

为了方便起见,我们生成了 bit.ly 链接,其中包含 docker 和 maven artifact 的最新坐标。

Spring Cloud Task App Starters - Belmont.RC1

App Starters Belmont.RC1 版本现已完成。为了支持 Spring Cloud Data Flow 中的 组合任务 功能,我们添加了一个新的开箱即用应用,名为 Composed Task Runner。这是一个任务,它根据通过 --graph 命令行参数传入的 DSL,在有向图中执行其他任务。

Belmont.RC1 构建在 Spring Cloud Task 1.2 RC1 和 Spring Cloud Dalston.RELEASE 基础上。

为了方便起见,我们生成了 bit.ly 链接,其中包含 docker 和 maven artifact 的最新坐标。

接下来是什么?

1.2.0.RELEASE 即将到来。我们的目标是在接下来的 2-3 周内完成它。核心版本发布后,Spring Cloud Data Flow 的运行时实现将很快跟进并适应这个基础。

反馈很重要。请在 StackOverflowGitHub 上联系我们,提出问题和功能请求。我们也欢迎贡献!任何帮助改进 Spring Cloud Data Flow 生态系统的努力都将受到赞赏。

订阅 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

抢占先机

VMware 提供培训和认证,助您事半功倍。

了解更多

获取支持

Tanzu Spring 在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区即将举行的所有活动。

查看全部