Docs Menu
Docs Home
/ /
PyMongoArrow
Docs Home
/
Librerías de clientes
/
Python
/
PyMongoArrow
Docs Home
/
Librerías de clientes
/
Python
/
PyMongoArrow

Tipos de datos

PyMongoArrow admite la mayoría de los tipos BSON. Dado que Arrow y los polares ofrecen compatibilidad de primera clase con listas y estructuras, esto incluye matrices y documentos incrustados.

Se añadirá soporte para tipos adicionales en versiones posteriores.

Tip

Para obtener más información sobre los tipos de BSON, consulte la Especificación BSON.

Tipo BSON
Identificadores de tipo

String

py.str, una instancia de pyarrow.string

Documento incrustado

py.dict, y la instancia de pyarrow.struct

Matriz incrustada

Un ejemplo de pyarrow.list_

ObjectId

py.bytes, bson.ObjectId, una instancia de pymongoarrow.types.ObjectIdType, una instancia de pymongoarrow.pandas_types.PandasObjectId

Decimal128

bson.Decimal128, una instancia de pymongoarrow.types.Decimal128Type, una instancia de pymongoarrow.pandas_types.PandasDecimal128

Booleano

Una instancia de ~pyarrow.bool_, ~py.bool

punto flotante binario de 64 bits

py.float, una instancia de pyarrow.float64

entero de 32 bits

Un ejemplo de pyarrow.int32

entero de 64 bits

~py.int, bson.int64.Int64, una instancia de pyarrow.int64

Fecha y hora UTC

Una instancia de ~pyarrow.timestamp con resolución ms, py.datetime.datetime

Datos binarios

bson.Binary, una instancia de pymongoarrow.types.BinaryType, una instancia de pymongoarrow.pandas_types.PandasBinary.

Código JavaScript

bson.Code, una instancia de pymongoarrow.types.CodeType, una instancia de pymongoarrow.pandas_types.PandasCode

Nota

PyMongoArrow solo admite Decimal128 en sistemas little-endian. En sistemas big-endian, usa null.

Utilice identificadores de tipo para especificar que un campo es de un tipo determinado durante la declaración pymongoarrow.api.Schema. Por ejemplo, si sus datos tienen los campos f1 y f2 con tipos enteros de 32 bits y fecha y hora UTC, y un _id que es un ObjectId, puede definir su esquema de la siguiente manera:

schema = Schema({
  '_id': ObjectId,
  'f1': pyarrow.int32(),
  'f2': pyarrow.timestamp('ms')
})

Los tipos de datos no admitidos en un esquema generan un ValueError que identifica el campo y su tipo de dato.

Consideraciones sobre matrices integradas

El esquema utilizado para una matriz incrustada debe usar el tipo pyarrow.list_() para especificar el tipo de los elementos de la matriz. Por ejemplo,

from pyarrow import list_, float64
schema = Schema({'_id': ObjectId,
  'location': {'coordinates': list_(float64())}
})

Tipos de extensión

PyMongoArrow implementa los tipos ObjectId, Decimal128, Binary data y JavaScript code como tipos de extensión para PyArrow y Pandas. En las tablas de flechas, los valores de estos tipos tienen el tipo de extensión pymongoarrow adecuado, como pymongoarrow.types.ObjectIdType. Puede obtener el objeto de Python bson adecuado mediante el método .as_py() o llamando a .to_pylist() en la tabla.

>>> from pymongo import MongoClient
>>> from bson import ObjectId
>>> from pymongoarrow.api import find_arrow_all
>>> client = MongoClient()
>>> coll = client.test.test
>>> coll.insert_many([{"_id": ObjectId(), "foo": 100}, {"_id": ObjectId(), "foo": 200}])
<pymongo.results.InsertManyResult at 0x1080a72b0>
>>> table = find_arrow_all(coll, {})
>>> table
pyarrow.Table
_id: extension<arrow.py_extension_type<ObjectIdType>>
foo: int32
----
_id: [[64408B0D5AC9E208AF220142,64408B0D5AC9E208AF220143]]
foo: [[100,200]]
>>> table["_id"][0]
<pyarrow.ObjectIdScalar: ObjectId('64408b0d5ac9e208af220142')>
>>> table["_id"][0].as_py()
ObjectId('64408b0d5ac9e208af220142')
>>> table.to_pylist()
[{'_id': ObjectId('64408b0d5ac9e208af220142'), 'foo': 100},
 {'_id': ObjectId('64408b0d5ac9e208af220143'), 'foo': 200}]

Al convertir a pandas, las columnas de tipo de extensión tienen un tipo de extensión pymongoarrow apropiado, como pymongoarrow.pandas_types.PandasDecimal128. El valor del elemento en el dataframe es del tipo bson apropiado.

>>> from pymongo import MongoClient
>>> from bson import Decimal128
>>> from pymongoarrow.api import find_pandas_all
>>> client = MongoClient()
>>> coll = client.test.test
>>> coll.insert_many([{"foo": Decimal128("0.1")}, {"foo": Decimal128("0.1")}])
<pymongo.results.InsertManyResult at 0x1080a72b0>
>>> df = find_pandas_all(coll, {})
>>> df
                       _id  foo
0  64408bf65ac9e208af220144  0.1
1  64408bf65ac9e208af220145  0.1
>>> df["foo"].dtype
<pymongoarrow.pandas_types.PandasDecimal128 at 0x11fe0ae90>
>>> df["foo"][0]
Decimal128('0.1')
>>> df["_id"][0]
ObjectId('64408bf65ac9e208af220144')

Polars no admite tipos de extensión.

Valores nulos y conversión a DataFrames de Pandas

En Arrow y Polars, todos los arrays admiten valores NULL. Pandas tiene tipos de datos experimentales que admiten valores NULL,Int64 como. Puedes indicarle a Arrow que cree un DataFrame de Pandas usando tipos de datos que admiten valores NULL con el siguiente código de la documentación de Apache.

>>> dtype_mapping = {
...     pa.int8(): pd.Int8Dtype(),
...     pa.int16(): pd.Int16Dtype(),
...     pa.int32(): pd.Int32Dtype(),
...     pa.int64(): pd.Int64Dtype(),
...     pa.uint8(): pd.UInt8Dtype(),
...     pa.uint16(): pd.UInt16Dtype(),
...     pa.uint32(): pd.UInt32Dtype(),
...     pa.uint64(): pd.UInt64Dtype(),
...     pa.bool_(): pd.BooleanDtype(),
...     pa.float32(): pd.Float32Dtype(),
...     pa.float64(): pd.Float64Dtype(),
...     pa.string(): pd.StringDtype(),
... }
... df = arrow_table.to_pandas(
...     types_mapper=dtype_mapping.get, split_blocks=True, self_destruct=True
... )
... del arrow_table

Definir una conversión para pa.string() también convierte cadenas Arrow en cadenas NumPy, y no objetos.

Tipos de extensión anidados

Los tipos de extensión ARROW- pendientes,179 ObjectId como, que aparecen en documentos anidados no se convierten al tipo de extensión PyMongoArrow correspondiente, sino que tienen el tipo Arrow sinFixedSizeBinaryType(fixed_size_binary[12]) formato,.

Estos valores se pueden consumir tal cual o convertir individualmente al tipo de extensión deseado, como _id = out['nested'][0]['_id'].cast(ObjectIdType()).

Volver

Empezar

Next

Ejemplos de esquemas

En esta página