Kafka Connector 教程设置
本节中的教程在开发环境中运行,使用Docker打包运行MongoDB connector for Apache Kafka所需的依赖项和配置。 在继续学习教程之前,请确保完成开发环境设置步骤。
要求
创建或登录您的 Docker 帐户以下载本教程所需的 Docker 容器。 要了解如何注册帐户和安装 Docker Desktop,请阅读 Docker Hub 快速入门中的注册和下载步骤。
终端应用程序和 Shell。对于 MacOS 用户,请使用终端或类似应用程序。对于 Windows 用户,请使用 PowerShell。
可选。 安装git以下载设置文件。 要了解如何安装 git,请阅读 Git 下载 页面。
使用 Docker 设置开发环境
克隆或下载教程存储库
接下来,使用以下命令克隆教程 git 存储库:
git clone https://github.com/mongodb-university/kafka-edu.git
如果您没有安装 git,您可以改为下载 zip 存档。
运行开发环境
选择与您的操作系统匹配的选项卡,获取有关如何运行本指南中的命令的说明:
使用 bash shell 导航到存储库或未解压存档中的教程目录 "mongodb-kafka-base"。如果使用 git 克隆存储库,则相应命令类似于以下内容:
cd kafka-edu/docs-examples/mongodb-kafka-base/
使用 PowerShell 导航到存储库或解压缩存档中的教程目录“mongodb-kafka-base”。如果使用 git 克隆存储库,则命令类似于以下内容:
cd kafka-edu\docs-examples\mongodb-kafka-base\
使用以下命令启动 Docker 镜像:
docker-compose -p mongo-kafka up -d --force-recreate
注意
端口映射
沙箱会将以下服务映射到主机上的端口:
沙箱 MongoDB 服务器映射到主机上的
35001
端口沙箱 Kafka Connect JMX 服务器映射到主机上的端口
35000
这些端口必须空闲才能启动沙箱。
如下图所示,“mongo-kafka-base”镜像会创建 Docker 容器,其中包含教程中所需的所有服务,并在名为“mongodb-kafka-base_localnet”的共享网络上运行:
命令成功执行后,会输出以下文本:
... Creating zookeeper ... done Creating broker ... done Creating schema-registry ... done Creating connect ... done Creating rest-proxy ... done Creating mongo1 ... done Creating mongo1-setup ... done
验证设置是否成功
运行以下命令,确认开发环境已成功启动:
docker exec mongo1 status
成功设置 Docker 开发环境后,该命令应输出以下信息:
Kafka topics: "topic": "docker-connect-status", "topic": "docker-connect-offsets", "topic": "docker-connect-configs", "topic": "__consumer_offsets", The status of the connectors: Currently configured connectors [] Version of MongoDB Connector for Apache Kafka installed: {"class":"com.mongodb.kafka.connect.MongoSinkConnector","type":"sink","version":"1.8.0"} {"class":"com.mongodb.kafka.connect.MongoSourceConnector","type":"source","version":"1.8.0"}
由于您尚未启动连接器,因此状态和已配置列表都是空的。
开发环境设置已完成,可以继续执行本教程的下一步。
提示
连接到开发环境 MongoDB
您可以使用以下连接MongoDB cluster 连接到在开发环境中运行的string :
mongodb://localhost:35001/?directConnection=true