录制于 SpringOne2GX 2014。

演讲者：Vineet Goel，Girish Lingappa，Rodrigo Meneses

幻灯片：http://www.slideshare.net/SpringCentral/spring-one2gx-2014springxdhadoopworkloadanalysis

大数据专题

随着 Hadoop 在企业大数据部署中日益普及，IT 组织期望并要求增强其生产环境中 Hadoop 集群的运营管理。管理员需要的不仅仅是集群健康状况监控；他们需要能够进行实时工作负载分析以进行性能调优和故障排除。对用户或应用程序级别的作业进行实时日志分析可以让管理员更好地管理和调整工作负载，尤其是在多租户 Hadoop 集群服务中。加入我们，了解 Pivotal 团队如何利用 Spring XD 数据摄取和批处理框架、GemFire XD 和其他组件来解决大型 1000 节点（分析工作台）集群上的这一有趣挑战。通过实时数据管道将 YARN 服务和 MapReduce 应用程序日志摄取到 HDFS 中，该团队利用熟悉的基于 SQL 的查询来分析细粒度的集群利用率。

!{iframe width="560" height="315" src="//www.youtube.com/embed/cBcznXjL840" frameborder="0" allowfullscreen}{/iframe}