Página inicial do Docs → Visualizar & analisar dados → MongoDB Spark Connector
MongoDB Connector para Spark
O conector do MongoDB para Spark fornece integração entre MongoDB e Apache Spark.
Observação
A versão 10.x do conector do MongoDB para Spark é um conector totalmente novo com base na mais recente API do Spark. Instale e migre para a versão 10.x para aproveitar os novos recursos, como integração mais estreita com o Spark Structured Streaming.
A versão 10.x utiliza o novo namespace com.mongodb.spark.sql.connector.MongoTableProvider. Com isso é possível usar versões antigas do conector (versões 3.x e anteriores) em paralelo com a versão 10.x.
Para saber mais sobre o novo conector e suas vantagens, consulte o blog post com o anúncio do MongoDB.
Com o conector, você tem acesso a todas as bibliotecas do Spark para uso com conjuntos de dados do MongoDB: Dataset para análise com SQL (beneficiando-se da inferência automática de esquemas), transmissão, machine learning e APIs de gráficos. Você também pode usar o conector com o Spark Shell.
O conector Spark do MongoDB é compatível com as seguintes versões do Apache Spark e MongoDB:
MongoDB Connector para Spark | Versão do Spark | Versão do MongoDB |
|---|---|---|
10 . 2 . 2 | 3.1 a 3.2.4 | 4.0 ou posterior |