Spring Cloud Data Flow 和 Skipper 2.0 M2 已发布

发布 | Mark Pollack | 2019年2月6日 | ...

Spring Cloud Data Flow 团队很高兴地宣布 Data Flow 2.0 M2 的发布。请遵循“入门”指南,了解如何在 本地Cloud FoundryKubernetes 上运行。

与之同步发布的是 Spring Cloud Skipper 的 2.0 M2 版本。如果您想单独使用 Skipper 而不与 Data Flow 集成,参考指南中的 入门部分 是最佳起点。

Data Flow 的亮点

  • 跨多个平台启动任务

  • 对已部署应用程序的指标和监控进行了重新设计

  • 其他安全角色

  • 仪表板改进

  • 数据库迁移支持

在多个平台启动任务

启动任务时,您可以指定其执行的平台。Data Flow 服务器允许您配置多个 Kubernetes 和 Cloud Foundry 任务平台。当您希望跨多个平台编排数据管道,但又希望从一个中心位置进行管理时,这尤其有用。

例如,如果您正在 Cloud Foundry 的 org1/space1 中运行 Data Flow,则可以在 org2/space2 中启动任务。如果本地运行 Data Flow 服务器,您可以指定不同的本地任务平台,例如具有不同 JVM 属性的平台,作为任务部署属性的替代方案。文档中描述了如何配置 本地Cloud FoundryKubernetes 的多个任务平台。

改进的已部署应用程序的指标和监控

Data Flow 2.0 为流应用程序的指标收集和显示引入了新的架构。Data Flow 1.4 中引入的 Data Flow Metrics Collector 已被移除。

Monitoring Architecture

这种新架构基于在已部署应用程序中使用 Micrometer 库,将指标发送到流行的监控系统,然后使用 Grafana 进行可视化。应用程序启动器 Einstein 发布链 中的每个应用程序都包含用于 Prometheus、InfluxDB 和 DataDog 的 Micrometer 库。

我们提供了关于如何开始使用 PrometheusInfluxDB 作为 Data Flow 在本地笔记本上运行的监控系统的说明。CloudFoundry 和 Kubernetes 的说明将在几周内的 2.0 RC1 版本中提供。Data Flow UI 中的 Grafana 仪表板链接也已提供。还提供了两个 Grafana 仪表板,一个显示了更侧重于应用程序的视图,另一个显示了更侧重于流的视图。这是 Prometheus 的 Grafana 仪表板的截图,显示了流中应用程序的消息速率。

Grafana Dashboard for applications in a stream

应用程序和流的选择器允许您导航到感兴趣的特定区域。

其他安全角色。

Data Flow 2.0 完全兼容 OAuth2/OpenIDConnect。基于令牌的授权、密码授予类型验证和 LDAP 集成是几个选项,它们在 UAA 作为后端的情况下得到了持续的支持。

在此基础上,在此里程碑中,我们还添加了新的粒度化的角色来管理流/任务的部署操作。粒度化能够更好地与预期操作对齐,并且客户端工具(Shell 和 Dashboard)也会自动适应它。

仪表板改进

  • UI 支持在后端平台集合上启动任务。UI/UX 的设计对于流和任务的启动都提供了统一的体验。

  • 在另一个重要的功能集之上,现在可以根据 Data Flow 中定义的粒度化角色来自动启用/禁用 Dashboard 功能。

  • Grafana 的启动图标已原生集成到 Dashboard 的 Streams 和 Runtime 页面中。通过将 Data Flow 配置为与可用的 Micrometer 后端集成,只需单击一下即可监控流式管道的指标,如消息速率、错误计数和延迟!

  • 现在支持一个新的按钮,用于回滚流到之前的版本。

  • 分析选项卡已被移除,将在 2.0 RC1 版本中被基于 Micrometer 的 Grafana 仪表板取代。

数据库迁移支持

从 Data Flow 1.7 到 Data Flow 2.0 的过程中引入了架构变更。现在包含一个基于 Flyway 的迁移,允许您在启动 2.0 Data Flow 服务器时轻松地将现有的流/任务定义更新到新格式。

下一步是什么

我们计划在几周内发布 2.0 RC1。大部分功能开发已完成,但除了上面提到的监控改进之外,我们还将支持获取任务部署的详细历史记录 - 应用程序属性、部署属性,这与今天流的可用性类似。

另请注意,Spring Cloud Data Flow 的 1.x 系列将在 2.0 GA 发布公告日期后十二个月停止维护。2.0 GA 计划暂定于 2019 年 2 月,因此在 2020 年 2 月,1.x 系列将达到一般支持结束状态。

保持联系……

一如既往,我们欢迎反馈和贡献,因此请通过 StackoverflowGitHub 或通过 Gitter 与我们联系。

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获得支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

即将举行的活动

查看 Spring 社区所有即将举行的活动。

查看所有