录制于 SpringOne2GX 2015。演讲者：Joe Stein 大数据专场 幻灯片： http://www.slideshare.net/SpringCentral/developing-realtime-data-pipelines-with-apache-kafka-53201942 使用 Apache Kafka 构建实时数据管道 http://kafka.apache.org/ 旨在为开发者介绍为何以及如何使用 Apache Kafka。Apache Kafka 是一个发布-订阅消息系统，被重新构想为一个分布式提交日志。Kafka 被设计用来允许单个集群充当中心数据骨干。单个 Kafka Broker 每秒可以处理来自数千个客户端的数亿字节的读写操作。它可以弹性、透明地扩展，而不会停机。数据流被分区并分散在机器集群上，以允许数据流大于任何单台机器的能力，并允许协调的消费者集群。消息会被持久化到磁盘并在集群内复制，以防止数据丢失。每个 Broker 可以处理 TB 级的数据。对于 Spring 用户，Spring Integration Kafka 和 Spring XD 提供了与 Apache Kafka 的集成。