O Atlas Data Federation e o Online Archive agora podem ser implantados no Azure

Karthic Subramanian and Sabina Friden
February 29, 2024 | Updated: March 18, 2024

Desenvolvimentos interessantes estão no horizonte para os usuários do Microsoft Azure, marcando um salto significativo nos recursos de gerenciamento de dados. Em primeiro lugar, o Atlas Data Federation agora está disponível de forma geral no Azure. Isso significa que agora você pode implantá-lo diretamente no Azure e até mesmo consultar dados do Blob Storage do Microsoft Azure. E isso não é tudo. Também lançamos a disponibilidade geral do Atlas Online Archive no Azure. Esses avanços dão início a uma nova era de soluções de arquivamento eficientes para soluções de dados baseadas no Azure.

Ambas as atualizações são grandes avanços para tornar o gerenciamento de dados no Azure mais poderoso e flexível. Vamos nos aprofundar no que isso significa para você!

Suporte ao Azure na Atlas Data Federation (disponibilidade geral)

Com o Atlas Data Federation, os usuários podem consultar, transformar e criar visualizações em vários bancos de dados do Atlas e em soluções de armazenamento de objetos em cloud, como o Amazon S3 e, agora, o Microsoft Azure Blob Storage. Esse recurso, antes exclusivo do AWS, é um divisor de águas, permitindo a implantação direta no Azure e a capacidade de acessar o Blob Storage do Microsoft Azure para obter insights de dados.

Figura 1: acesse o armazenamento de Blobs do Azure facilmente a partir da UI do Atlas

Principais recursos do Atlas Data Federation

  • Flexibilidade de cloud: escolha entre AWS e Azure para hospedar instâncias de bancos de dados federados.
  • Diversas fontes de dados: incorpore as soluções de armazenamento do MongoDB Atlas cluster ou do Azure (Azure Blob Storage e Azure Data Lake Storage Gen2) como fontes de dados para queries abrangentes, inclusive entre regiões.
  • Agregação avançada: recursos abrangentes de agregação com operadores que incluem $match, $lookup, $queryHistory, $merge, $out, etc.
    • Suporte direto de $out para o Armazenamento de Blobs do Azure e o Armazenamento de Data Lake do Azure Gen2.
  • Consultas SQL do Atlas no Azure: execute consultas SQL no Azure, integrando dados do MongoDB para uma experiência de análise unificada.

A Atlas Data Federation simplifica o acesso e a análise de conjuntos de dados complexos, combinando dados de várias fontes em uma única visualização federada, fornecendo insights valiosos para decisões comerciais mais informadas.

Explore o Atlas Data Federation no Azure hoje mesmo.

Suporte ao Azure no Atlas Online Archive (disponibilidade geral)

A expansão do Atlas Online Archive para o Azure garante que a classificação dos dados em camadas não seja apenas eficiente, mas também integrada, mantendo os dados de arquivamento no ecossistema do Azure. Essa integração aborda a limitação anterior de usar o AWS como padrão para o armazenamento, mesmo para o cluster hospedado no Azure.

Figura 2: selecione facilmente o Azure ao escolher uma região

Principais recursos do Atlas Online Archive

  • Escolha do provedor: opte pelo AWS ou Azure para se alinhar com sua estratégia de cloud.
  • Arquivamento automático: defina regras para mover automaticamente os dados mais antigos para um armazenamento econômico em cloud, eliminando o descarregamento manual.
  • Endpoint de consulta unificado: acesse todos os dados por meio de um único endpoint, garantindo insights rápidos sem comprometer a disponibilidade dos dados.
  • Gerenciamento integrado da interface do usuário do MongoDB Atlas: gerencie sua classificação e arquivamento de dados na interface familiar do Atlas, simplificando as operações e a manutenção.

Gerencie seu armazenamento em camadas de dados do MongoDB Atlas em escala com o Atlas Online Archive. O Atlas Online Archive permite que você gerencie seu ciclo de vida de dados com eficiência, equilibrando custo e acessibilidade com facilidade.

Por fim, aqui estão alguns pontos a serem considerados:

  • Qualquer arquivo recém-criado em um cluster do Azure em 28/02 ou após essa data terá como padrão as regiões do Azure. Observe que as regiões de armazenamento do Online Archive serão padronizadas para clusters do Azure somente se não houver arquivos do AWS pré-existentes nesse cluster específico do Azure
  • Se houver arquivos on-line do AWS pré-existentes em clusters do Azure, todos os arquivos recém-criados nesse cluster específico permanecerão no AWS
  • Provedores de cloud e regiões de armazenamento não podem ser editados ou modificados depois de configurados

Aproveite todo o potencial do Atlas Online Archive no Azure hoje mesmo.

Estamos entusiasmados em dar suporte à sua jornada de gerenciamento de dados, oferecendo controle e flexibilidade aprimorados sobre seus dados por meio desses novos recursos do Azure. À medida que o MongoDB Atlas continua a se expandir como uma solução multicloud, estamos aqui para garantir que sua estratégia de dados seja tão dinâmica e versátil quanto suas necessidades de negócios.

Para obter orientação sobre como começar, consulte nossa documentação sobre o Atlas Data Federation ou o Atlas Online Archive.

Obrigado por confiar no MongoDB Atlas como sua plataforma de dados para desenvolvedores. Bem-vindo ao futuro do gerenciamento de dados multicloud!

← Previous

Atlas Data Federation과 Online Archive, 이제 Azure에서 배포 가능

Microsoft Azure 사용자에게 데이터 관리 기능의 혁신적 발전이 곧 찾아옵니다. 우선, 이제 Azure에서 Atlas Data Federation 이 정식 출시되었습니다. 이제 Azure 내에서 직접 배포하고 Microsoft Azure Blob Storage에서 데이터를 쿼리할 수도 있습니다. 이뿐만이 아닙니다. 또한 Azure에서 Atlas Online Archive 를 정식 버전으로 출시했습니다. 이러한 발전은 Azure 기반 데이터 솔루션을 위한 효율적인 아카이빙 솔루션의 새로운 시대를 열었습니다. 두 업데이트 모두 Azure의 데이터 관리를 더욱 강력하고 유연하게 만드는 큰 진전입니다. 이것이 여러분에게 어떤 의미인지 자세히 알아봅시다! Atlas Data Federation의 Azure 지원(정식 출시) Atlas Data Federation을 이용하면 사용자는 Amazon S3와 최근 지원이 추가된 Microsoft Azure Blob Storage를 포함한 여러 Atlas 데이터베이스와 클라우드 객체 스토리지 솔루션 간에 원활하게 쿼리를 실행하고, 데이터를 변환하며, 뷰를 생성할 수 있습니다 이전에는 AWS에서만 제공되던 이 기능은 Azure 내 직접 배포와 Microsoft Azure Blob Storage를 활용한 데이터 인사이트 획득을 가능하게 하는 혁신적인 변화입니다. 그림 1: Atlas UI에서 Azure Blob Storage를 쉽게 활용 Atlas Data Federation의 주요 기능 클라우드 유연성: 페더레이션 데이터베이스 인스턴스 호스팅을 위해 AWS와 Azure 중에서 선택하세요. 다양한 데이터 소스 활용: MongoDB Atlas 클러스터 또는 Azure 스토리지 솔루션(Azure Blob Storage 및 Azure Data Lake Storage Gen2)을 데이터 소스로 활용하여 사용자는 여러 리전에 걸친 포괄적인 쿼리를 수행할 수 있습니다. 고급 집계: $match, $lookup, $queryHistory, $merge, $out 등을 포함하는 연산자를 사용한 포괄적인 집계 기능을 제공합니다. Azure Blob Storage 및 Azure Data Lake Storage Gen2에 대한 직접적인 $out 지원을 제공합니다. Azure에서 Atlas SQL 쿼리 실행: MongoDB 데이터와 통합하여 Azure에서 SQL 쿼리를 실행함으로써 통합된 분석 경험을 제공합니다. Atlas Data Federation은 여러 소스에서 온 데이터를 단일 페더레이션 뷰로 결합하여 복잡한 데이터 세트에 대한 액세스 및 분석을 간소화하고, 보다 정보에 기반한 비즈니스 의사 결정을 지원하기 위한 귀중한 인사이트를 제공합니다. 지금 Azure의 Atlas Data Federation을 살펴보세요 . Atlas Online Archive의 Azure 지원(정식 출시) Atlas Online Archive의 Azure 확장으로, 데이터 계층화는 이제 효율적일 뿐만 아니라 Azure 에코시스템과 완전히 통합되어 아카이브 데이터의 Azure 내 보존을 보장합니다. 이 통합은 Azure에서 호스팅되는 클러스터의 경우에도 스토리지를 AWS로 기본 설정하는 이전 제한 사항을 해결합니다. 그림 2: 리전 선택 시 Azure를 원활하게 선택 Atlas Online Archive의 주요 기능 제공업체 선택: 클라우드 전략에 맞게 AWS 또는 Azure를 선택하세요. 자동 아카이빙: 오래된 데이터를 비용 효율적인 클라우드 스토리지로 자동으로 이동하는 규칙을 설정하여 수동 오프로딩을 없애세요. 통합 쿼리 엔드포인트: 단일 엔드포인트를 통해 모든 데이터에 액세스하여 데이터 가용성 저하 없이 빠른 인사이트를 확보할 수 있습니다. 통합된 MongoDB Atlas UI 관리: 익숙한 Atlas 인터페이스 내에서 데이터 계층화 및 아카이빙을 관리하여 운영 및 유지 관리를 간소화하세요. Atlas Online Archive를 통해 대규모로 MongoDB Atlas 데이터 계층화를 원활하게 관리하세요. Atlas Online Archive를 사용하면 데이터 라이프사이클을 효율적으로 관리하여 비용과 접근성의 균형을 쉽게 맞출 수 있습니다. 마지막으로 몇 가지 고려해야 할 사항이 있습니다. 2월 28일 이후에 Azure 클러스터에 새로 생성된 모든 아카이브는 기본적으로 Azure 리전으로 설정됩니다. Online Archive의 스토리지 리전은 해당 특정 Azure 클러스터에 기존 AWS 아카이브가 없는 경우에만 Azure 클러스터로 기본 설정됩니다. Azure 클러스터에 기존 AWS Online Archive가 있는 경우, 해당 특정 클러스터에 새로 생성된 모든 아카이브는 AWS에 유지됩니다. 클라우드 제공업체 또는 스토리지 리전은 한 번 구성하면 편집하거나 수정할 수 없습니다. 지금 Azure에서 Atlas Online Archive의 잠재력을 최대한 활용하세요 . 새로운 Azure 기능을 통해 데이터에 대한 향상된 제어 및 유연성을 제공하여 데이터 관리 여정을 지원하게 되어 기쁘게 생각합니다. MongoDB Atlas가 멀티 클라우드 솔루션으로 계속 확장함에 따라, MongoDB Atlas 팀은 비즈니스 요구에 부합하는 역동적이고 유연한 데이터 전략을 제공하는 데 전념하고 있습니다. 시작하는 방법에 대한 지침은 Atlas Data Federation 또는 Atlas Online Archive 에 대한 설명서를 참조하세요. 개발자 데이터 플랫폼으로 MongoDB Atlas를 신뢰해 주셔서 감사합니다. 멀티 클라우드 데이터 관리의 미래에 오신 것을 환영합니다!

February 29, 2024
Next →

Building AI With MongoDB: Integrating Vector Search And Cohere to Build Frontier Enterprise Apps

Cohere is the leading enterprise AI platform, building large language models (LLMs) which help businesses unlock the potential of their data. Operating at the frontier of AI, Cohere’s models provide a more intuitive way for users to retrieve, summarize, and generate complex information. Cohere offers both text generation and embedding models to its customers. Enterprises running mission-critical AI workloads select Cohere because its models offer the best performance-cost tradeoff and can be deployed in production at scale. Cohere’s platform is cloud-agnostic. Their models are accessible through their own API as well as popular cloud managed services, and can be deployed on a virtual private cloud (VPC) or even on-prem to meet companies where their data is, offering the highest levels of flexibility and control. Cohere’s leading Embed 3 and Rerank 3 models can be used with MongoDB Atlas Vector Search to convert MongoDB data to vectors and build a state-of-the-art semantic search system. Search results also can be passed to Cohere’s Command R family of models for retrieval augmented generation (RAG) with citations. Check out our AI resource page to learn more about building AI-powered apps with MongoDB. A new approach to vector embeddings It is in the realm of embedding where Cohere has made a host of recent advances. Described as “AI for language understanding,” Embed is Cohere’s leading text representation language model. Cohere offers both English and multilingual embedding models, and gives users the ability to specify the type of data they are computing an embedding for (e.g., search document, search query). The result is embeddings that improve the accuracy of search results for traditional enterprise search or retrieval-augmented generation. One challenge developers faced using Embed was that documents had to be passed one by one to the model endpoint, limiting throughput when dealing with larger data sets. To address that challenge and improve developer experience, Cohere has recently announced its new Embed Jobs endpoint . Now entire data sets can be passed in one operation to the model, and embedded outputs can be more easily ingested back into your storage systems. Additionally, with only a few lines of code, Rerank 3 can be added at the final stage of search systems to improve accuracy. It also works across 100+ languages and offers uniquely high accuracy on complex data such as JSON, code, and tabular structure. This is particularly useful for developers who rely on legacy dense retrieval systems. Demonstrating how developers can exploit this new endpoint, we have published the How to use Cohere embeddings and rerank modules with MongoDB Atlas tutorial . Readers will learn how to store, index, and search the embeddings from Cohere. They will also learn how to use the Cohere Rerank model to provide a powerful semantic boost to the quality of keyword and vector search results. Figure 1: Illustrating the embedding generation and search workflow shown in the tutorial Why MongoDB Atlas and Cohere? MongoDB Atlas provides a proven OLTP database handling high read and write throughput backed by transactional guarantees. Pairing these capabilities with Cohere’s batch embeddings is massively valuable to developers building sophisticated gen AI apps. Developers can be confident that Atlas Vector Search will handle high scale vector ingestion, making embeddings immediately available for accurate and reliable semantic search and RAG. Increasing the speed of experimentation, developers and data scientists can configure separate vector search indexes side by side to compare the performance of different parameters used in the creation of vector embeddings. In addition to batch embeddings, Atlas Triggers can also be used to embed new or updated source content in real time, as illustrated in the Cohere workflow shown in Figure 2. Figure 2: MongoDB Atlas Vector Search supports Cohere’s batch and real time workflows. (Image courtesy of Cohere) Supporting both batch and real-time embeddings from Cohere makes MongoDB Atlas well suited to highly dynamic gen AI-powered apps that need to be grounded in live, operational data. Developers can use MongoDB’s expressive query API to pre-filter query predicates against metadata, making it much faster to access and retrieve the more relevant vector embeddings. The unification and synchronization of source application data, metadata, and vector embeddings in a single platform, accessed by a single API, makes building gen AI apps faster, with lower cost and complexity. Those apps can be layered on top of the secure, resilient, and mature MongoDB Atlas developer data platform that is used today by over 45,000 customers spanning startups to enterprises and governments handling mission-critical workloads. What's next? To start your journey into gen AI and Atlas Vector Search, review our 10-minute Learning Byte . In the video, you’ll learn about use cases, benefits, and how to get started using Atlas Vector Search.

April 25, 2024