Docs Menu
Docs Home
/

MongoDB Kafka Connector

Apache Kafka์šฉ MongoDB Connector๋Š” ApacheKafka ํ† ํ”ฝ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ์ดํ„ฐ ์‹ฑํฌ๋กœ์„œ MongoDB์— ์ง€์†์‹œํ‚ค๊ณ , ๋ณ€๊ฒฝ ์‚ฌํ•ญ์„ ๋ฐ์ดํ„ฐ ์†Œ์Šค๋กœ์„œ MongoDB์—์„œ Kafka ํ† ํ”ฝ์œผ๋กœ ๊ฒŒ์‹œํ•˜๋Š” Confluent ๊ฒ€์ฆ ์ปค๋„ฅํ„ฐ์ž…๋‹ˆ๋‹ค.

๋‹ค์Œ MongoDB ์ œํœด ์„œ๋น„์Šค ์ค‘ ํ•˜๋‚˜๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ Apache Kafka ํด๋Ÿฌ์Šคํ„ฐ์™€ MongoDB Kafka Connector๋ฅผ ํ˜ธ์ŠคํŒ…ํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค:

์ฐธ๊ณ 

๋˜ํ•œ MongoDB ์ฟผ๋ฆฌ API๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” Atlas Stream Processing์„ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๊ฐœ๋ฐœ์ž๊ฐ€ ์ตœ์‹  ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•˜๋Š” ๋ฐฉ์‹์„ ๋ณ€ํ™”์‹œํ‚ต๋‹ˆ๋‹ค.

Atlas Stream Processing์„ ์‚ฌ์šฉํ•˜์—ฌ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ง€์†์ ์œผ๋กœ ํ”„๋กœ์„ธ์Šคํ•˜๊ณ , ์Šคํ‚ค๋งˆ์˜ ์œ ํšจ์„ฑ์„ ๊ฒ€์‚ฌํ•˜๊ณ , ๋ณด๊ธฐ๋ฅผ Atlas database collections ๋˜๋Š” Apache Kafka ํ† ํ”ฝ์œผ๋กœ ๊ตฌ์ฒดํ™”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Atlas Stream Processing์— ๋Œ€ํ•ด ์ž์„ธํžˆ ์•Œ์•„๋ณด๋ ค๋ฉด Atlas Stream Processing ์ œํ’ˆ ํŽ˜์ด์ง€๋ฅผ ์ฐธ์กฐํ•˜๊ฑฐ๋‚˜ Docs๋ฅผ ์ฝ์–ด ๋ณด์„ธ์š”.

๊ฐ ๋ฒ„์ „์˜ ์ƒˆ๋กœ์šด ๊ธฐ๋Šฅ ๋ฐ ๋ณ€๊ฒฝ ์‚ฌํ•ญ ๋ชฉ๋ก์€ ์ƒˆ๋กœ์šด ๊ธฐ๋Šฅ ์„น์…˜์„ ์ฐธ์กฐํ•˜์„ธ์š”.

Kafka Connector ๋น ๋ฅธ ์‹œ์ž‘ ์„น์…˜์—์„œ MongoDB Kafka Connector๋ฅผ ์‹œ์ž‘ํ•˜๊ณ  ๋ฐ์ดํ„ฐ ์ž‘์—…์„ ์‹œ์ž‘ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

์†Œ๊ฐœ ์„น์…˜์—์„œ MongoDB Kafka Connector๊ฐ€ Apache Kafka์™€ MongoDB ๊ฐ„์— ๋ฐ์ดํ„ฐ๋ฅผ ์ „๋‹ฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”. ์ด ์„น์…˜์—์„œ๋Š” Connector๋ฅผ ์„ค์น˜ํ•˜๋Š” ๋ฐฉ๋ฒ•๊ณผ MongoDB deployment์— ์—ฐ๊ฒฐํ•˜๋„๋ก ๊ตฌ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ๋„ ์•Œ์•„๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์—ฌ๋Ÿฌ ์‚ฌ์šฉ ์‚ฌ๋ก€์— ๋Œ€ํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ๊ณ  ์“ฐ๋„๋ก MongoDB Kafka Connector๋ฅผ ์„ค์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ํŠœํ† ๋ฆฌ์–ผ์—์„œ ์•Œ์•„๋ณด์„ธ์š”.

Sink Connector ์„น์…˜์—์„œ MongoDB Kafka sink connector๋กœ MongoDB์— Apache Kafka ๋ฐ์ดํ„ฐ๋ฅผ ์“ฐ๋Š” ๋ฐฉ๋ฒ•์„ ์–ด๋–ป๊ฒŒ ๊ตฌ์„ฑํ•˜๋Š”์ง€ ์•Œ์•„๋ณด์„ธ์š”.

Source Connector ์„น์…˜์—์„œ MongoDB Kafka connector๊ฐ€ MongoDB์—์„œ Apache Kafka๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋กํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๊ตฌ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

๋ณด์•ˆ ๋ฐ ์ธ์ฆ ์„น์…˜์—์„œ MongoDB์™€ MongoDB Kafka Connector ๊ฐ„์˜ ํ†ต์‹ ์„ ๋ณดํ˜ธํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”. ์ด ์„น์…˜์—์„œ๋Š” AWS ID ๋ฐ IAM ์ž๊ฒฉ ์ฆ๋ช…์„ ์‚ฌ์šฉํ•˜์—ฌ MongoDB์— ์ธ์ฆํ•˜๋„๋ก MongoDB Kafka Connector๋ฅผ ๊ตฌ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•๋„ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ชจ๋‹ˆํ„ฐ๋ง ์„น์…˜์—์„œ MongoDB Kafka ์†Œ์Šค ๋ฐ ์‹ฑํฌ ์ปค๋„ฅํ„ฐ๋ฅผ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ ๊ฐ€์ด๋“œ๋ฅผ ์ฝ๊ณ  ๋ ˆ๊ฑฐ์‹œ Kafka Connect MongoDB ์‹ฑํฌ connector์—์„œ ๊ณต์‹ MongoDB Kafka Connector๋กœ ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

๋ฌธ์ œ ํ•ด๊ฒฐ ์„น์…˜์—์„œ MongoDB Kafka Connector๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๋™์•ˆ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

๊ธฐ์—ฌํ•˜๋Š” ๋ฐฉ๋ฒ• ์„น์…˜์—์„œ MongoDB Kafka Connector ์ฝ”๋“œ๋ฒ ์ด์Šค์— ๊ธฐ์—ฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

์ด์Šˆ & ๋„์›€๋ง ์„น์…˜์—์„œ ๋ฒ„๊ทธ๋ฅผ ์‹ ๊ณ ํ•˜๊ณ  ๊ธฐ๋Šฅ์„ ์š”์ฒญํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.

MongoDB Kafka Connector์™€ MongoDB ๊ฐ„์˜ ํ˜ธํ™˜์„ฑ์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ˜ธํ™˜์„ฑ ์„น์…˜์„ ์ฐธ์กฐํ•˜์„ธ์š”. ์ด ์„น์…˜์—์„œ๋Š” MongoDB Kafka Connector์™€ Confluent Kafka Connect ๊ฐ„์˜ ํ˜ธํ™˜์„ฑ์— ๋Œ€ํ•ด์„œ๋„ ์•Œ์•„๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋Œ์•„๊ฐ€๊ธฐ

๋‹ค์Œ์— ๋Œ€ํ•œ ์•Œ๋ ค์ง„ ๋ฌธ์ œ