SpringOne2GX 2015 回放:Hadoop 工作流、分布式 YARN 应用和 Spring

新闻 | Pieter Humphrey | 2016年3月8日 | ...

录制于 SpringOne2GX 2015 演讲者:Thomas Risberg 大数据专题 幻灯片:http://www.slideshare.net/SpringCentral/hadoop-workflows-using-spring-technologies

Hadoop 生态系统越来越大,也越来越复杂。使用该生态系统中的多个项目时,您将不得不处理这些项目所推崇的不同理念和使用模式。“Spring for Apache Hadoop”项目使用许多 Spring 项目(如 Data、Integration、Batch 和 Boot)来解决许多这些问题。它通过提供统一的配置模型和易于使用的 API 来使用 HDFS、MapReduce、Pig 和 Hive,从而简化了 Apache Hadoop 的开发。如果您使用“Spring for Apache Hadoop”项目,则可以在转向编写 Apache Hadoop 的应用程序和工作流时利用您现有的 Java 和 Spring 技能。在本演示中,我们将了解它如何简化使用 Map Reduce、Spark、Hive 和 Pig 作业开发工作流的过程,同时提供跨 Apache、Cloudera、Hortonworks 和 Pivotal 发行版的可移植性。

我们还将展示在构建可在 Hadoop YARN 上运行的分布式应用程序时 Spring Cloud 的实用性,这些应用程序可以使用集中式配置、领导者选举、分布式锁和状态。

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获得支持

Tanzu Spring在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部