录制于 SpringOne2GX 2014。
讲师:Vineet Goel, Girish Lingappa, Rodrigo Meneses
幻灯片:http://www.slideshare.net/SpringCentral/spring-one2gx-2014springxdhadoopworkloadanalysis
大数据专题
随着 Hadoop 在企业大数据部署中日益普及,IT 组织期望并要求增强其生产环境中 Hadoop 集群的运维管理。管理员不仅需要集群健康监控;他们还需要进行实时工作负载分析以进行性能调优和故障排除的能力。在用户或应用程序级别对作业进行实时日志分析,可以帮助管理员更好地管理和调优工作负载,尤其是在多租户 Hadoop 集群服务中。加入我们,了解 Pivotal 团队如何利用 Spring XD 数据摄取和批处理框架、GemFire XD & 其他组件来解决在大型 1000 节点(Analytics Workbench)集群上的这一有趣挑战。团队使用 Spring XD 通过实时数据管道将 YARN 服务和 MapReduce 应用日志摄取到 HDFS 中,并利用熟悉的基于 SQL 的查询来分析细粒度的集群利用率。
!{iframe width="560" height="315" src="//www.youtube.com/embed/cBcznXjL840" frameborder="0" allowfullscreen}{/iframe}