El MongoDB Connector for Spark proporciona integración entre MongoDB y Apache Spark.
Nota
La versión 10.x del MongoDB Spark Connector es completamente nueva y se basa en la API más reciente de Spark. Instalar y migrar a la versión 10.x para aprovechar las nuevas capacidades, como una integración más estrecha con transmisión estructurada de Spark.
La versión 10.x utiliza el nuevo namespace com.mongodb.spark.sql.connector.MongoTableProvider. Esto permite usar versiones antiguas del conector (versiones 3.x y anteriores) en paralelo con la versión 10.x.
Para aprender más sobre el nuevo conector y sus ventajas, se puede consultar la entrada de blog de anuncios de MongoDB.
Con el conector, se tiene acceso a todas las librerías de Spark para usar con conjuntos de datos de MongoDB: Dataset para análisis con SQL (beneficiándose de la inferencia automática de esquemas), transmisión, aprendizaje automático y API de grafos. También se puede usar el conector con Spark Shell.
El MongoDB Spark Connector es compatible con las siguientes versiones de Apache Spark y MongoDB:
MongoDB Connector for Spark | Versión de Spark | Versión de MongoDB |
|---|---|---|
10.7.0 | 3.2 a 3.5 | 4.2 o posterior |