Apache Pulsar

Apache Pulsar 是 Apache 软件基金会旗下的顶级开源项目，一个云原生的分布式消息和流平台，旨在统一消息队列和流处理。它被数百家不同规模的公司用于生产环境，每秒处理数百万条消息。

核心功能

• 快速水平扩展：独特的架构设计使得存储层和计算层分离，可以在数秒内通过增加节点来应对流量突增，无需数据重分布。
• 低延迟消息与流处理：支持单条消息确认（类似 RabbitMQ）或按分区累积确认（类似 Kafka），在数百节点规模下延迟低于 10ms。
• 无缝地理复制：跨不同地理区域复制数据，支持自动客户端故障切换至健康集群，保障业务连续性。
• 多租户：通过租户（tenant）实现资源隔离和访问控制，可对特定 broker 进行隔离以避免噪声干扰。
• 分层存储：将老数据自动卸载到廉价存储（如 S3、GCS），降低存储成本。
• 官方多语言客户端：提供 Java、Go、Python、C++、Node.js、C# 等语言的官方客户端。
• 内置连接器：官方维护与 MySQL、Elasticsearch、Cassandra 等系统的连接器，方便数据导入/导出。
• Pulsar Functions：支持用 Java、Go、Python 编写无服务器函数，直接在 Pulsar 内处理消息，无需部署完整应用。
• 支持百万级 topic：单个集群可支持多达 100 万个 topic，简化应用架构。

适用人群

• 后端/系统架构师：构建高可用、可扩展的消息系统。
• 大数据工程师：实时流处理和数据管道。
• DevOps 工程师：运维大规模分布式消息平台。

使用方式

Pulsar 可部署在本地或 Kubernetes 环境中。用户通过客户端 API 生产或消费消息，支持主题（topic）发布/订阅模式。新集群推荐使用 Oxia 作为元数据存储（替代 ZooKeeper）。

注意事项

Pulsar 采用分层架构（Broker 无状态，数据存储在 BookKeeper），运维相对简单。建议根据业务需求配置租户和复制策略。社区活跃，可通过 Slack 或 GitHub 参与贡献。