录制于 SpringOne2GX 2015。讲者：Joseph Paulchell, CapitalOne 大数据轨迹 幻灯片：http://www.slideshare.net/SpringCentral/supercharging-operations-analysis-using-spring-xd-to-support-analytics-and-cep 运营、分析和业务团队正要求越来越多的数据被输送到大数据分析平台和工具中。这种需求源于更好地理解用户体验、服务质量、系统实时性能以及那些隐藏的、可以改善服务、销售产品和取悦用户的模式与机会的愿望。Capital One Technology 使用 Spring Extreme Data (XD) 和定制的 Java 库，将数据从应用程序实时流式传输到 Hadoop HDFS、Mongo、Kafka、Splunk 等平台，解决了来自面向消费者的应用程序日益增长的数据需求。本次演讲将讨论我们从面向批处理的数据库流程转向实时数据流解决方案的历程以及取得的显著成效。我们将涵盖采用流式解决方案的意义、我们选择 Spring XD 的原因以及我们正在实施的目标架构，以将数据落地到 HDFS。我们将介绍我们如何实现环境配置的自动化、我们客户端库（Java、Spring）的设计、我们的 XD 环境以及我们如何利用所有这些数据。我们将描述在此过程中克服的挑战，包括连接到我们的 HDFS 集群、处理多个 Mongo 存储、使用 Kerberos 以及确保敏感数据的端到端保护和加密。最后，我们将讨论我们正在评估 Spring XD 的一些用例，并看到潜在的益处，包括“滚动窗口”系统分析、数字消息传递和事件驱动架构。