领先一步
VMware 提供培训和认证,以加速您的进步。
了解更多我谨代表团队宣布 Spring Cloud Data Flow 1.2 的第一个候选版本。
注意:开始使用此新版本的一个好方法是参考文档中的入门指南。
此版本引入了组合任务!此功能提供了将任务流编排为一个内聚的工作单元的能力。一个复杂的 ETL 管道可能包括按顺序执行、并行执行、条件转换或以上所有组合。组合任务功能附带 DSL 原语和交互式图形界面,可以更轻松地快速构建此类拓扑。您可以在参考指南中了解更多信息。
例如,ETL 作业可能包含多个步骤。拓扑中的每个步骤都可以构建为一个有限的短生命周期 Spring Cloud Task 应用程序。借助 Data Flow Task DSL,可以轻松定义多个任务作为步骤的编排。
task create simple-etl --definition "extractDbToHDFS && <analysisInSpark || enrichAndLoadHawq> && <populateMgmtDashboard || runRegulatoryReport || loadAnalyticsStore>"
这将首先运行extractDbToHDFS
,然后并行运行analysisInSpark
和enrichAndLoadHawq
,等待两者都完成后,再并行运行其余三个任务,并等待它们全部完成后,结束作业。此拓扑的图形表示如下所示。
实时指标现在已成为已部署流的操作视图的一部分。作为流一部分的应用程序发布包含在其 Spring Boot /metrics
执行器端点中的指标。这包括发送和接收消息速率。一个新的服务器,Spring Cloud Data Flow 指标收集器,收集这些指标并计算聚合消息速率。Data Flow 服务器查询指标收集器以支持在 UI 和 shell 中显示消息速率。有关体系结构的更多详细信息,请参阅参考指南中的监控已部署应用程序部分。
下面的屏幕截图显示了具有三个 time
和 log
应用程序实例的 time | log
流的聚合消息速率。主应用程序框下方的每个点都显示每个单独应用程序的消息速率以及可用于识别应用程序在运行平台上的 guid
值。
下面显示的“运行时”选项卡也进行了改进,以显示消息速率和平台公开的任何其他指标。对于精通脚本的用户,shell 体验还通过runtime apps
命令包含这些详细信息。
在1.2 M3 中引入的配套工件支持有一些改进。批量注册工作流现在会急切地解析并下载所有开箱即用应用程序的元数据工件。在 shell 或 UI 中查看每个应用程序支持的属性时,这非常方便。
此更改将为 REST-API 用户提供其他选项。用户现在无需通过 BasicAuth 提供username:password
组合,而是可以直接从其 OAuth2 提供程序检索 OAuth2 访问令牌,然后在对受保护的 Spring Cloud Data Flow 设置调用 RESTful 调用时在 HTTP 标头中提供访问令牌。
Bacon.RELEASE 现已普遍可用。所有开箱即用的流应用程序都基于 Spring Cloud Stream Chelsea.RELEASE 和 Spring Cloud Dalston.RELEASE 基础。对现有应用程序进行了一些增强和错误修复,并且此发布列车还带来了新的应用程序,例如 MongoDB-sink、Aggregator-processor、Header-Enricher-processor 和 PGCopy-sink。
为方便起见,我们生成了bit.ly 链接,其中包含 docker 和 maven 工件的最新坐标。
应用程序启动器 Belmont.RC1 版本现已完成。为了支持 Spring Cloud Data Flow 中的组合任务功能,我们添加了一个名为组合任务运行器的新开箱即用应用程序。这是一个执行其他任务的任务,这些任务以有向图的形式指定,并通过--graph
命令行参数传递的 DSL 指定。
Belmont.RC1 基于Spring Cloud Task 1.2 RC1和 Spring Cloud Dalston.RELEASE 基础。
为方便起见,我们生成了bit.ly 链接,其中包含 docker 和 maven 工件的最新坐标。
1.2.0.RELEASE 即将发布。我们的目标是在未来 2-3 周内完成它。Spring Cloud Data Flow 的运行时实现将在核心版本发布后立即赶上并适应此基础。
您的反馈非常重要。如果您有任何问题或功能请求,请在StackOverflow和GitHub上联系我们。我们也欢迎您的贡献!感谢您帮助改进Spring Cloud Data Flow 生态系统。