录制于 SpringOne2GX 2015。演讲者：Joe Stein 大数据主题 幻灯片：http://www.slideshare.net/SpringCentral/developing-realtime-data-pipelines-with-apache-kafka-53201942 使用 Apache Kafka 开发实时数据管道 http://kafka.apache.org/ 是为开发者介绍为什么以及如何使用 Apache Kafka。Apache Kafka 是一个发布-订阅消息系统，被重新设计为一个分布式提交日志。Kafka 的设计允许单个集群充当中心数据主干。单个 Kafka 代理可以处理来自数千个客户端的每秒数百兆字节的读写操作。它可以弹性且透明地扩展，而无需停机。数据流被分区并分布在多个机器上，以允许数据流大于任何单个机器的能力，并允许协调消费者集群。消息持久化到磁盘并在集群内复制以防止数据丢失。每个代理可以处理数 TB 的消息。对于 Spring 用户，Spring Integration Kafka 和 Spring XD 提供与 Apache Kafka 的集成。