领先一步
VMware 提供培训和认证,以加速您的进步。
了解更多录制于 SpringOne2GX 2015。演讲者:Joseph Paulchell,CapitalOne 大数据主题 幻灯片:http://www.slideshare.net/SpringCentral/supercharging-operations-analysis-using-spring-xd-to-support-analytics-and-cep 运营、分析和业务团队要求将越来越多的数据交付给大数据分析平台和工具。这种需求是由更好地了解用户体验、服务质量、系统的实时性能以及提高服务、销售产品和取悦用户的现有模式和机会的愿望驱动的。Capital One Technology 使用 Spring Extreme Data (XD) 和自定义 Java 库,解决了来自面向消费者的应用程序的不断增长的数据需求,以便将数据实时从应用程序流式传输到 Hadoop HDFS、Mongo、Kafka、Splunk 等。在本演讲中,我们将讨论我们从使用数据库的批处理导向流程到实时数据流解决方案的历程以及取得的显著收益。我们将介绍采用流解决方案的含义、我们选择 Spring XD 的原因以及我们正在实施的目标架构以将数据落地到 HDFS 中。我们将介绍我们如何自动化环境配置、客户端库(Java、Spring)的设计、我们的 XD 环境以及我们如何利用所有这些数据。我们将描述我们在这一旅程中克服的挑战,包括连接到我们的 HDFS 集群、使用多个 Mongo 存储、使用 Kerberos 以及确保端到端敏感数据的保护和加密。最后,我们将讨论一些我们正在评估 Spring XD 并看到潜在益处的用例,包括“滚动窗口”系统分析、数字消息传递和事件驱动架构。