개요
Spark Connector는 Spark 구조화된 스트리밍을 사용하여 시간 간격이 지날 때까지 기다리지 않고 사용 가능한 즉시 데이터를 처리하는 스트리밍 모드를 지원합니다. Spark 구조화된 스트리밍은 데이터세트 또는 데이터프레임 API를 사용하여 액세스할 수 있는 데이터 스트림 처리 엔진입니다.
중요
Apache Spark에는 두 가지의 스트림 처리 엔진이 포함되어 있습니다.
DStreams 를 사용한 Spark 스트리밍, 이제 지원되지 않는 레거시 엔진
이 가이드는 Spark 구조화된 스트리밍에만 적용됩니다.
다음 섹션에서는 Spark Connector를 사용하여 스트리밍 모드로 MongoDB에서 데이터를 읽고 MongoDB에 데이터를 쓰는 방법을 보여 줍니다.