存储大文件

Overview

在本指南中，您可以学习如何使用GridFS在MongoDB中存储和检索大文件。GridFS是由C++驱动程序实现的规范，描述了如何在存储文件时将文件分割为数据块，以及在检索文件时如何重新组合这些文件。GridFS驱动程序的实现是一个抽象，用于管理文件存储的操作和组织。

Use GridFS if the size of your files exceeds the BSON document size limit of 16MB. For more detailed information about whether GridFS is suitable for your use case, see GridFS in the MongoDB Server manual.

GridFS 的工作原理

GridFS 在存储桶中组织文件，存储桶是一组包含文件数据段及其描述信息的MongoDB 集合。存储桶包含以下集合，使用 GridFS 规范中定义的约定命名：

• chunks 集合，存储二进制文件段

• files 集合，存储文件元数据

如果GridFS存储桶不存在，则当您首次向其中写入数据时，驱动程序会创建该存储桶。存储桶包含前面以默认默认桶名称 fs 为前缀的集合，除非您指定了其他名称。为了确保有效检索文件和相关元数据，驱动程序会在每个集合上创建一个索引。在对GridFS存储桶执行读取和写入操作之前，驱动程序会确保这些索引存在。

For more information about GridFS indexes, see GridFS Indexes in the MongoDB Server manual.

使用GridFS存储文件时，驱动程序会将文件分割成较小的数据块，每个数据块由 chunks集合中的单独文档表示。它还在 files 集合中创建一个文档，其中包含文件 ID、文件名称和其他文件元数据。您可以通过将流递给C++驱动程序进行使用或创建新流并直接写入来上传文件。

下图展示了GridFS在上传到存储桶时如何分割文件：

检索文件时， GridFS从指定存储桶的 files集合中获取元数据，并使用该信息从 chunks集合中的文档重建文件。您可以通过将文件内容写入现有流或创建指向该文件的新流来读取该文件。

创建 GridFS 存储桶

要开始从GridFS存储或检索文件，请对数据库调用 gridfs_bucket() 方法。此方法访问现有存储桶，如果不存在，则创建新存储桶。

以下示例对db数据库调用gridfs_bucket()方法：

auto bucket = db.gridfs_bucket();

mongocxx::options::gridfs::bucket opts;
opts.bucket_name("myCustomBucket");
auto bucket = db.gridfs_bucket(opts);

上传文件

您可以使用以下方法将文件上传到GridFS存储桶：

• open_upload_stream() ：打开一个新的上传流，您可以在其中写入文件内容

• upload_from_stream(): Uploads the contents of an existing stream to a GridFS file

mongocxx::options::gridfs::upload opts;
opts.chunk_size_bytes(1048576);
auto uploader = bucket.open_upload_stream("my_file", opts);
// ASCII for "HelloWorld"
std::uint8_t bytes[10] = {72, 101, 108, 108, 111, 87, 111, 114, 108, 100};
for (auto i = 0; i < 5; ++i) {
    uploader.write(bytes, 10);
}
uploader.close();

std::ifstream file("/path/to/input_file", std::ios::binary);
bucket.upload_from_stream("new_file", &file);

检索文件信息

在本部分中，您可以了解如何检索存储在 GridFS 存储桶的 files 集合的文件元数据。元数据包含所引用文件的相关信息，包括：

• 文件的 _id

• 文件的名称

• 文件的长度/大小

• 上传日期和时间

• 可以在其中存储其他信息的 metadata文档

要从GridFS存储桶检索文件，请在您的存储桶上调用 mongocxx::gridfs::bucket::find() 方法。该方法会返回一个 mongocxx::cursor实例，您可以从该实例访问权限结果。要学习；了解有关游标的更多信息，请参阅《从游标访问数据》指南。

auto cursor = bucket.find({});
for (auto&& doc : cursor) {
    std::cout << bsoncxx::to_json(doc) << std::endl;
}

{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "new_file" }
{ "_id" : { "$oid" : "..." }, "length" : 50, "chunkSize" : 1048576, "uploadDate" :
{ "$date" : ... }, "filename" : "my_file" }

下载文件

您可以使用以下方法从GridFS存储桶下载文件：

• open_download_stream(): Opens a new download stream from which you can read the file contents

• download_to_stream(): Writes the entire file to an existing download stream

auto doc = db["fs.files"].find_one(make_document(kvp("filename", "new_file")));
auto id = doc->view()["_id"].get_value();
auto downloader = bucket.open_download_stream(id);
std::vector<uint8_t> buffer(downloader.file_length());
downloader.read(buffer.data(), buffer.size());

std::ofstream output_file("/path/to/output_file", std::ios::binary);
auto doc = db["fs.files"].find_one(make_document(kvp("filename", "new_file")));
auto id = doc->view()["_id"].get_value();
bucket.download_to_stream(id, &output_file);

删除文件

使用delete_file()方法从存储桶中删除文件的集合文档和关联的数据段。 这实际上删除了该文件。 您必须用文件的_id字段而不是文件名来指定文件。

以下示例展示了如何通过将名为 "my_file" 的文件的 _id 值传递给 delete_file() 来删除该文件：

auto doc = db["fs.files"].find_one(make_document(kvp("filename", "my_file")));
auto id = doc->view()["_id"].get_value();
bucket.delete_file(id);

API 文档

要学习更多有关使用C++驱动程序存储和检索大文件的信息，请参阅以下API文档：

• gridfs_bucket()

• mongocxx::options::gridfs::bucket

• open_upload_stream()

• upload_from_stream()

• find()

• open_download_stream()

• download_to_stream()

• delete_file()