对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。
Docs 菜单

MongoDB Connector for Spark

MongoDB Connector for Spark 提供 MongoDB 和 Apache Spark 之间的集成。

注意

10.x 版本的 MongoDB Spark Connector 是基于最新 Spark API 的全新连接器。安装并迁移到版本 10.x 以使用新功能,例如与Spark Structured Streaming 更紧密的集成。

版本 10.x 使用新的命名空间 com.mongodb.spark.sql.connector.MongoTableProvider。这允许您将旧版 connector(版本 3.x 及更早版本)与版本 10.x 并行使用。

要了解有关 Connector 及其优点的更多信息,请参阅 MongoDB 博客文章。

通过该连接器,您可以访问旨在与 MongoDB 数据集搭配使用的所有 Spark 库:Dataset,它可用于通过 SQL 进行分析(得益于自动模式推断)、流式处理、机器学习和图形 API。您还可将此连接器与 Spark Shell 结合使用。

MongoDB Spark Connector 与以下版本的 Apache Spark 和 MongoDB 兼容:

MongoDB Connector for Spark
Spark 版本
MongoDB 版本

10.7.0

3.2 至 3.5

4.2 或更高版本