Spark Connector 支持流媒体模式,该模式使用 Spark 结构化流媒体在数据可用时立即处理数据,而不是等待一段时间。Spark Structured Streaming 是一个数据流处理引擎,您可以使用数据集或 DataFrame API 进行访问。
Apache Spark 包含两个不同的流处理引擎:
使用 DStreams 的Spark Streaming,现在是不支持的旧引擎
Spark 结构化流媒体。
本指南仅适用于 Spark 结构化流媒体。
以下部分介绍如何使用 Spark Connector 以流媒体方式从 MongoDB 读取数据以及将数据写入 MongoDB:
以流媒体模式从 MongoDB 读取
以流媒体模式写入 MongoDB
要学习;了解有关使用Spark进程数据流的更多信息,请参阅Spark编程指南。
后退
配置
来年
读取
在此页面上