El El conector MongoDB para Spark proporciona integración entre MongoDB y Apache Spark.
Nota
La versión 10.x del conector Spark de MongoDB es un conector completamente nuevo basado en la API Spark más reciente. Instale y migre a la versión 10.x para aprovechar las nuevas funciones, como una mayor integración con Transmisión estructurada Spark.
La versión 10.x utiliza el nuevo espacio de nombres
com.mongodb.spark.sql.connector.MongoTableProviderEsto le permite utilizar versiones antiguas del conector (versiones 3.x y anteriores) en paralelo con la versión 10.x.
Para aprender más sobre el nuevo conector y sus ventajas, se puede consultar la entrada de blog de anuncios de MongoDB.
Con el conector, se tiene acceso a todas las librerías de Spark para usar con conjuntos de datos de MongoDB: Dataset para análisis con SQL (beneficiándose de la inferencia automática de esquemas), transmisión, aprendizaje automático y API de grafos. También se puede usar el conector con Spark Shell.
El MongoDB Spark Connector es compatible con las siguientes versiones de Apache Spark y MongoDB:
MongoDB Connector for Spark | Versión de Spark | Versión de MongoDB |
|---|---|---|
10.4.1 | 3.1 a 3.5 | 6.0 o posterior |