领先一步
VMware 提供培训和认证,以加速您的进步。
了解更多录制于 SpringOne2GX 2015 演讲者:Thomas Risberg 大数据专题 幻灯片:http://www.slideshare.net/SpringCentral/hadoop-workflows-using-spring-technologies
Hadoop 生态系统越来越大,也越来越复杂。使用该生态系统中的多个项目时,您将不得不处理这些项目所推崇的不同理念和使用模式。“Spring for Apache Hadoop”项目使用许多 Spring 项目(如 Data、Integration、Batch 和 Boot)来解决许多这些问题。它通过提供统一的配置模型和易于使用的 API 来使用 HDFS、MapReduce、Pig 和 Hive,从而简化了 Apache Hadoop 的开发。如果您使用“Spring for Apache Hadoop”项目,则可以在转向编写 Apache Hadoop 的应用程序和工作流时利用您现有的 Java 和 Spring 技能。在本演示中,我们将了解它如何简化使用 Map Reduce、Spark、Hive 和 Pig 作业开发工作流的过程,同时提供跨 Apache、Cloudera、Hortonworks 和 Pivotal 发行版的可移植性。
我们还将展示在构建可在 Hadoop YARN 上运行的分布式应用程序时 Spring Cloud 的实用性,这些应用程序可以使用集中式配置、领导者选举、分布式锁和状态。