Menu Docs

Página inicial do DocsDesenvolver aplicaçõesManual do MongoDB

Migrar dados para uma Coleção de séries temporais

Nesta página

  • Criar uma nova coleção de séries temporais
  • Transformar dados (opcional)
  • Migrar dados para uma Coleção de séries temporais

Para migrar dados de uma coleção existente para uma coleção de séries temporais:

  1. Criar uma nova coleção de séries temporais

  2. Transformar dados (opcional)

  3. Migrar dados para uma Coleção de séries temporais

Para criar uma nova coleção de séries temporais, emita o seguinte comando no mongosh:

db.createCollection(
"weathernew", {
timeseries: {
timeField: "ts",
metaField: "metaData",
granularity: "hours"
}
}
)

Para obter mais informações sobre o comando anterior, consulte Criar uma coleção de séries temporais.

A coleção de séries temporais suporta índice secundário no campo especificado como metaField. Se o Modelo de dados Realm dos seus dados de time-series não tiver um campo designado para seus metadados, você poderá transformar seus dados para criar um. Para transformar os dados em sua collection existente, utilize $merge ou $out para criar uma collection temporária com seus dados de time-series.

Considere uma collection com dados meteorológicos do seguinte formato:

{
"_id" : ObjectId("5553a998e4b02cf7151190b8"),
"st" : "x+47600-047900",
"ts" : ISODate("1984-03-05T13:00:00Z"),
"position" : {
"type" : "Point",
"coordinates" : [ -47.9, 47.6 ]
},
"elevation" : 9999,
"callLetters" : "VCSZ",
"qualityControlProcess" : "V020",
"dataSource" : "4",
"type" : "FM-13",
"airTemperature" : { "value" : -3.1, "quality" : "1" },
"dewPoint" : { "value" : 999.9, "quality" : "9" },
"pressure" : { "value" : 1015.3, "quality" : "1" },
"wind" : {
"direction" : { "angle" : 999, "quality" : "9" },
"type" : "9",
"speed" : { "rate" : 999.9, "quality" : "9" }
},
"visibility" : {
"distance" : { "value" : 999999, "quality" : "9" },
"variability" : { "value" : "N", "quality" : "9" }
},
"skyCondition" : {
"ceilingHeight" : { "value" : 99999, "quality" : "9", "determination" : "9" },
"cavok" : "N"
},
"sections" : [ "AG1" ],
"precipitationEstimatedObservation" : { "discrepancy" : "2", "estimatedWaterDepth" : 999 }
}

Para transformar esses dados, emitimos o seguinte comando:

db.weather_data.aggregate([
{
$addFields: {
metaData: {
"st": "$st",
"position": "$position",
"elevation": "$elevation",
"callLetters": "$callLetters",
"qualityControlProcess": "$qualityControlProcess",
"type": "$type"
}
},
}, {
$project: {
_id: 1,
ts: 1,
metaData: 1,
dataSource: 1,
airTemperature: 1,
dewPoint: 1,
pressure: 1,
wind: 1,
visibility: 1,
skyCondition: 1,
sections: 1,
precipitationEstimatedObservation: 1
}
}, {
$out: "temporarytimeseries"
}
])

Após executar este comando, você tem uma collection temporarytimeseries intermediária:

db.temporarytimeseries.findOne()
{
"_id" : ObjectId("5553a998e4b02cf7151190b8"),
"ts" : ISODate("1984-03-05T13:00:00Z"),
"dataSource" : "4",
"airTemperature" : { "value" : -3.1, "quality" : "1" },
"dewPoint" : { "value" : 999.9, "quality" : "9" },
"pressure" : { "value" : 1015.3, "quality" : "1" },
"wind" : {
"direction" : { "angle" : 999, "quality" : "9" },
"type" : "9",
"speed" : { "rate" : 999.9, "quality" : "9" }
},
"visibility" : {
"distance" : { "value" : 999999, "quality" : "9" },
"variability" : { "value" : "N", "quality" : "9" }
},
"skyCondition" : {
"ceilingHeight" : { "value" : 99999, "quality" : "9", "determination" : "9" },
"cavok" : "N"
},
"sections" : [ "AG1" ],
"precipitationEstimatedObservation" : { "discrepancy" : "2", "estimatedWaterDepth" : 999 },
"metaData" : {
"st" : "x+47600-047900",
"position" : {
"type" : "Point",
"coordinates" : [ -47.9, 47.6 ]
},
"elevation" : 9999,
"callLetters" : "VCSZ",
"qualityControlProcess" : "V020",
"type" : "FM-13"
}
}

Para migrar seus dados de uma coleção existente que não é do tipo timeseries para uma coleção de séries temporais, use mongodump e mongorestore.

Aviso

Ao migrar ou preencher uma coleção de séries temporais, você deve sempre inserir os documentos em ordem, do mais antigo para o mais recente. Nesse caso, mongodump exporta documentos em ordem natural e a opção --maintainInsertionOrder para mongorestore garante a mesma ordem de inserção de documentos.

Por exemplo, para exportar a collection temporarytimeseries, emita o seguinte comando:

mongodump
--uri="mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/weather" \
--collection=temporarytimeseries --out=timeseries

O comando retorna a seguinte saída:

2021-06-01T16:48:39.980+0200 writing weather.temporarytimeseries to timeseries/weather/temporarytimeseries.bson
2021-06-01T16:48:40.056+0200 done dumping weather.temporarytimeseries (10000 documents)

Para importar timeseries/weather/temporarytimeseries.bson para a nova collection weathernew, emita o seguinte comando:

mongorestore
--uri="mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/weather" \
--collection=weathernew --noIndexRestore \
--maintainInsertionOrder \
timeseries/weather/temporarytimeseries.bson

O comando retorna a seguinte saída:

2021-06-01T16:50:56.639+0200 checking for collection data in timeseries/weather/temporarytimeseries.bson
2021-06-01T16:50:56.640+0200 restoring to existing collection weather.weathernew without dropping
2021-06-01T16:50:56.640+0200 reading metadata for weather.weathernew from timeseries/weather/temporarytimeseries.metadata.json
2021-06-01T16:50:56.640+0200 restoring weather.weathernew from timeseries/weather/temporarytimeseries.bson
2021-06-01T16:51:01.229+0200 no indexes to restore
2021-06-01T16:51:01.229+0200 finished restoring weather.weathernew (10000 documents, 0 failures)
2021-06-01T16:51:01.229+0200 10000 document(s) restored successfully. 0 document(s) failed to restore.

Observação

Certifique-se de executar o comando anterior com a opção --noIndexRestore . mongorestore não é possível criar índices em coleções de séries temporais.

Se a sua coleção original tinha índices secundários, recrie-os manualmente agora.

Dica

Veja também:

← Adicionar índices secundários às Coleções de séries temporais