阿里云 消息队列 Kafka/优惠购买/产品优势/应用场景

产品功能

开箱即用

100% 兼容开源社区 Kafka（0.10.0.0 及以上版本），全面兼容 Kafka 开源客户端。

无缝迁移

基于现有的开源 Apache Kafka 生态的代码，无需任何改造，即可无缝迁移上云。

生态丰富

开源与云服务相结合，全面融合 Kafka 开源社区生态，以及阿里云平台大数据产品生态。

高可靠/高可用

跨可用区、多副本数据冗余，数据可靠性 99.999999%，服务可用性 99.9%。

海量消息堆积

在海量消息堆积的情况下，始终保持 Kafka 集群的消息收、发的高吞吐能力。

弹性伸缩

可根据业务规模按需扩容，Broker、Topic、分区横向伸缩，上层业务无感知。

HouseKeeping（健康巡检组件）

Kafka 核心链路运行时巡检，每分钟会对集群做一次全面扫描诊断并健康预警。

业务监控与告警

实例、消息堆积、TPS 等多维度监控与告警设置，帮助用户及时发现问题。

Open API

完善的管控类 Open API，用于实现一系列资源管理和运维功能。

访问控制

VPC 网络隔离，对每次消息收、发请求进行安全访问控制，确保消息的安全性。

主子账号

全面支持 RAM 主子账号、黑白名单、STS 等功能，提供授权能力。

数据安全

SASL 用户身份认证与 SSL 加密传输，确保数据传输过程中不被窃取或篡改，保证客户数据的安全。

应用场景

构建日志分析平台（日志聚合）

淘宝、天猫平台等公司每天都会产生大量的日志。Kafka 性能高效，同时 Kafka 的特性决定它非常适合作为”日志收集中心”： 1. 采集日志时业务无感知；2. Hadoop/ODPS 等离线仓库存储和 Storm/Spark 等实时在线分析对接​​。解决了：

• 应用与分析解耦

  构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

• 在线/离线分析系统

  支持实时在线分析系统和类似于Hadoop之类的离线分析系统；

网站活动跟踪场景（高吞吐，大数据集成）

通过消息队列 Kafka 可以实时收集网站活动数据（包括用户浏览页面、搜索及其他行为等）。发布-订阅的模式可以根据不同的业务数据类型，将消息发布到不同的 Topic；还可通过订阅消息的实时投递，将消息流用于实时监控与业务分析或加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理。​​解决了：

• 高吞吐

  网站所有用户产生的行为信息极为庞大，需要非常高的吞吐量来支持；

• 大数据分析

  可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统；

数据在流动中产生价值（流计算处理）

股市走向分析、气象数据测控、网站用户行为分析等领域，由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。​​​​解决了：

• 高可扩展性

  由于数据产生非常快且数据量大，需要非常高的可扩展性；

• 流计算引擎

  可对接开源 Storm/Samza/Spark 以及 EMR、Blink、StreamCompute 等阿里云产品；

数据中转枢纽（多路转发）

近年来KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等等专用系统应运而生，产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka 作为数据中转枢纽，同份数据可以被导入到不同专用系统中。​​能够解决：

• 一对多消费模型

  发布/订阅模型，支持同份数据集能同时被消费多次；

• 同时支持实时和批处理

  本地数据持久以及PageCache，在无性能损耗的情况下能同时传送消息到实时和批处理消费者；

阿里云消息队列 Kafka 热卖推荐

消息队列 Kafka 系统架构

一个典型的消息队列 Kafka 集群包含：

• Producer：通过 push 模式向消息队列 Kafka Broker 发送消息，可以是网站的页面访问、服务器日志等，也可以是 CPU 和内存相关的系统资源信息；
• Kafka Broker：消息队列 Kafka 的服务器，用于存储消息；支持水平扩展，一般 Broker 节点数量越多，集群吞吐率越高；
• Consumer Group：通过 pull 模式从消息队列 Kafka Broker 订阅并消费消息;
• Zookeeper：管理集群的配置、选举 leader，以及在 Consumer Group 发生变化时进行负载均衡。

消息队列 Kafka 的 Pub/Sub 模型

消息队列 Kafka 采用 Pub/Sub（发布/订阅）模型，其中：

• Consumer Group 和 Topic 的关系是 N:N。 同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以同时被多个 Consumer Group 订阅。
• 同一 Topic 的一条消息只能被同一个 Consumer Group 内的任意一个 Consumer 消费，但多个 Consumer Group 可同时消费这一消息。