针对 Azure 事件中心的 Apache Kafka 开发人员指南

项目
10/21/2024

本文提供相关文章的链接，这些文章介绍了如何将 Apache Kafka 应用程序与 Azure 事件中心集成。

概述

事件中心提供 Kafka 终结点，现有的基于 Kafka 的应用程序可将该终结点用作运行你自己的 Kafka 群集的替代方案。事件中心可与许多现有 Kafka 应用程序配合使用。有关详细信息，请参阅适用于 Apache Kafka 的事件中心

快速入门

你可以在 GitHub 和此内容集中找到各种快速入门文章，快速熟悉用于 Kafka 的事件中心。

GitHub 中的快速入门

请参阅 azure-event-hubs-for-kafka 存储库中的以下快速入门教程：

客户端语言/框架	说明
.NET	本快速入门介绍如何使用通过 .Net Core 2.0 以 C# 编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。此示例基于 Confluent 的 Apache Kafka .NET 客户端，经过修改后可与用于 Kafka 的事件中心配合使用。
Java	本快速入门介绍如何使用以 Java 编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。
Node.js	本快速入门介绍如何使用以 Node 编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。此示例使用 node-rdkafka 库。
Python	本快速入门介绍如何使用以 Python 编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。此示例基于 Confluent 的 Apache Kafka Python 客户端，经过修改后可与用于 Kafka 的事件中心配合使用。
Go	本快速入门介绍如何使用以 Go 编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。此示例基于 Confluent 的 Apache Kafka Golang 客户端，经过修改后可与用于 Kafka 的事件中心配合使用。
Sarama kafka Go	本快速入门介绍如何使用通过 Sarama Kafka 客户端库以 Go 编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。
Kafka	本快速入门介绍如何使用 Apache Kafka 发行版附带的 CLI 来创建和连接事件中心 Kafka 终结点。
kcat	kcat 是一个非 JVM 的命令行使用者和创建者。它基于 librdkafka，因其速度快且资源占用量小而广受欢迎。本快速入门包含一个示例配置和几个简单的示例 kafkacat 命令。

DOCS 中的快速入门

请参阅此内容集中的这个快速入门：使用 Kafka 协议通过事件中心进行数据流式传输，其中提供的分步说明介绍了如何将数据流式传输到事件中心。你将了解如何只需更改应用程序配置，即可使用生产者和使用者与事件中心通信。

教程

GitHub 中的教程

请参阅 GitHub 中的以下教程：

教程	说明
Akka	本教程演示如何在不更改协议客户端或运行自己的群集的情况下，将 Akka Streams 连接到已启用 Kafka 的事件中心。有两个单独的使用 Java 和 Scala 编程语言的教程。
“连接”	本文档将详细介绍如何将 Kafka Connect 与 Azure 事件中心集成，以及如何部署基本的 FileStreamSource 和 FileStreamSink 连接器。虽然这些连接器不是用于生产的，但它们可以用于演示端到端 Kafka Connect 方案，让 Azure 事件中心冒充 Kafka 中转站。
Filebeat	本文档详述如何通过 Filebeat 的 Kafka 输出来集成 Filebeat 和事件中心。
Flink	本教程将演示如何在不更改协议客户端或运行自己的群集的情况下，将 Apache Flink 连接到已启用 Kafka 的事件中心。
FluentD	本文档详述如何使用 Fluentd 的 `out_kafka` 输出插件来集成 Fluentd 和事件中心。
互操作	本教程介绍如何在使用不同协议的使用者与创建者之间交换事件。
Logstash	本教程详述如何将 Logstash 与使用 Logstash Kafka 输入/输出插件且支持 Kafka 的事件中心集成。
MirrorMaker	本教程介绍事件中心和 Kafka MirrorMaker 如何通过在事件中心服务中镜像 Kafka 输入流将现有 Kafka 管道集成到 Azure 中。
NiFi	本教程演示如何将 Apache NiFi 连接到事件中心命名空间。
OAuth	这两个快速入门介绍如何使用以 Go 和 Java 编程语言编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。
Spark	本教程将演示如何在不更改你的协议客户端或运行你自己的 Kafka 群集的情况下，将 Spark 应用程序连接到事件中心。

DOCS 中的教程

请参阅此内容集中的这个教程：使用流分析处理用于事件中心的 Apache Kafka 事件，该教程介绍如何将数据流式传输到事件中心，并使用 Azure 流分析对其进行处理。

操作指南

请参阅文档中的以下操作指南：

文章	说明
在事件中心镜像 Kafka 中转站	演示如何使用 Kafka MirrorMaker 在事件中心镜像 Kafka 中转站。
将 Apache Spark 连接到事件中心	详细介绍如何将 Spark 应用程序连接到事件中心进行实时流式处理。
将 Apache Flink 连接到事件中心	演示如何在不更改你的协议客户端或运行你自己的群集的情况下，将 Apache Flink 连接到事件中心。
将 Apache Kafka Connect 与事件中心（预览版）集成	详细介绍如何将 Kafka Connect 与事件中心集成，以及如何部署基本的 FileStreamSource 和 FileStreamSink 连接器。
将 Akka Streams 连接到事件中心	演示如何在不更改你的协议客户端或运行你自己的群集的情况下，将 Akka Streams 连接到事件中心。
将适用于 Apache Kafka 的 Spring Boot Starter 与 Azure 事件中心配合使用	介绍如何配置基于 Java 的 Spring Cloud Stream Binder，它是使用 Spring Boot Initializer 创建的，目的是将 Apache Kafka 与 Azure 事件中心配合使用。

后续步骤

请查看 GitHub 存储库 azure-event-hubs-for-kafka 中 quickstart 和 tutorials 文件夹下的示例。

另请参阅以下文章：

通过