录制于 SpringOne2GX 2014。

演讲者：Vineet Goel, Girish Lingappa, Rodrigo Meneses

幻灯片：http://www.slideshare.net/SpringCentral/spring-one2gx-2014springxdhadoopworkloadanalysis

大数据轨迹

随着 Hadoop 在企业大数据部署中日益普及，IT 组织对生产环境中 Hadoop 集群的运维管理提出了更高的期望和要求。管理员需要的不仅仅是集群健康监控；他们还需要进行实时工作负载分析以进行性能调优和故障排除。对用户或应用程序级别的作业进行实时日志分析，可以使管理员更好地管理和调优工作负载，尤其是在多租户 Hadoop 集群服务中。加入我们，了解 Pivotal 团队如何利用 Spring XD 数据摄取和批处理框架、GemFire XD 及其他组件，在一个大型的 1000 节点（分析工作台）集群上解决这一有趣的挑战。通过 Spring XD 将 YARN 服务和 MapReduce 应用程序日志通过实时数据管道摄取到 HDFS 中，该团队利用熟悉的基于 SQL 的查询来分析精细的集群利用率。

!{iframe width="560" height="315" src="//www.youtube.com/embed/cBcznXjL840" frameborder="0" allowfullscreen}{/iframe}