领先一步
VMware 提供培训和认证,以加快您的进度。
了解更多我代表团队高兴地宣布 Spring Cloud Data Flow 1.2 正式版已在多个平台上发布。
以下是相关的文档和入门指南链接。
此版本引入了组合任务!此功能提供了一种将任务流编排为一个凝聚的“工作单元”的能力。复杂的 ETL 管道可能包括按顺序执行、并行执行、条件转换或上述所有组合。组合任务功能附带 DSL 原语和交互式图形界面,可以更轻松地快速构建这些类型的拓扑。您可以从参考指南中了解更多信息。
例如,ETL 作业可能包含多个步骤。拓扑中的每个步骤都可以构建为一个有限的短暂 Spring Cloud Task 应用程序。借助 Data Flow Task DSL,可以轻松定义多个任务作为步骤的编排。
task create simple-etl --definition "extractDbToHDFS && <analysisInSpark || enrichAndLoadHawq> && <populateMgmtDashboard || runRegulatoryReport || loadAnalyticsStore>"
这将首先运行extractDbToHDFS
,然后并行运行analysisInSpark
和enrichAndLoadHawq
,等待两者都完成之后,再并行运行其余三个任务,并等待所有任务完成之后才结束作业。此拓扑的图形表示如下所示。
实时指标现在是已部署流的操作视图的一部分。作为流一部分的应用程序会发布其 Spring Boot /metrics
执行器端点中包含的指标。这包括发送和接收消息的速率。一个新的服务器,Spring Cloud Data Flow 指标收集器,收集这些指标并计算聚合消息速率。Data Flow 服务器查询指标收集器以支持在 UI 和 shell 中显示消息速率。有关架构的更多详细信息,请参阅参考指南中的监控已部署应用程序部分。
下面的屏幕截图显示了具有三个time
和log
应用程序实例的time | log
流的聚合消息速率。主应用程序框下方的每个点都显示每个单独应用程序的消息速率以及可用于识别其运行平台上的应用程序的guid
值。
如下所示的“运行时”选项卡也进行了改进,以显示消息速率和平台公开的任何其他指标。对于精通脚本的用户,shell 体验还通过runtime apps
命令包含这些详细信息。
在1.2 M3 中引入的配套构件支持已经得到了一些改进。批量注册工作流现在会积极解析和下载所有现成应用程序的元数据构件。在 shell 或 UI 中查看每个应用程序支持的属性时,这非常方便。
此更改将为 REST API 用户提供另一个选项。用户现在无需通过 BasicAuth 提供username:password
组合,而是可以直接从其 OAuth2 提供程序检索 OAuth2 访问令牌,然后在对安全 Spring Cloud Data Flow 设置调用 RESTful 调用时在 HTTP 标头中提供访问令牌。
添加基于角色的访问控制以定义谁有权创建、部署、销毁或查看流/任务。这与支持的身份验证方法无缝协作。
仪表板中新增的 REST 端点和关于页面,用于将服务器实现详细信息收集到剪贴板中,以便用于错误报告。
Stream 应用启动器Bacon.RELEASE现已正式发布,它为您提供了一系列来源、处理器和接收器,可以开始创建流。所有现成的流应用程序都基于 Spring Cloud Stream Chelsea.RELEASE 和 Spring Cloud Dalston.RELEASE 基础构建。此版本对现有应用程序进行了一些增强和错误修复,此版本还带来了新的应用程序,例如 MongoDB-sink、Aggregator-processor、Header-Enricher-processor 和 PGCopy-sink。
为方便起见,我们生成了bit.ly 链接,其中包含 Docker 和 Maven 构件的最新坐标。
Task 应用启动器 Belmont.RELEASE 版本现已发布。为了支持 Spring Cloud Data Flow 中的 *组合任务* 功能,我们添加了一个新的开箱即用型应用程序,名为 组合任务运行器。这是一个执行其他任务的任务,这些任务以有向图的形式执行,由通过 `--graph` 命令行参数传入的 DSL 指定。
Belmont.RELEASE 版本基于 Spring Cloud Task 1.2 RELEASE 和 Spring Cloud Dalston.RELEASE。
为方便起见,我们生成了 bit.ly 链接,其中包含 Docker 和 Maven 工件的最新坐标。
一个直接的目标是添加更多自动化的集成测试,并将其作为一项额外的面向用户的特性公开。您可以 在这里跟踪这项工作。
在 1.2.x 版本之后,我们将开始规划 2.0 版本。一些总体主题包括支持部署单个应用程序,以及跟踪应用程序部署属性和元数据(如应用程序版本)。此功能将构建到支持应用程序级别的丰富持续交付主题中,该主题也扩展到运行时“编辑”流。此外,我们还在研究支持函数,无论是作为 Java 代码的“内联”函数,还是编译的 `java.util.Function`,作为流数据处理的一流编程模型。
您的反馈非常重要。请在 StackOverflow 和 GitHub 上联系我们,提出问题和功能请求。我们也欢迎贡献!任何帮助改进 Spring Cloud Data Flow 生态系统 都将不胜感激。