Isolamento del carico di lavoro per ottenere maggiore scalabilità e disponibilità: Nodi di ricerca ora su Google Cloud

Elliott Gluck
March 28, 2024

Oggi siamo entusiasti di fare il passo successivo nel portare un'architettura scalabile e dedicata alle tue esperienze di ricerca, con l'introduzione dei Nodi di ricerca Atlas in public preview per Google Cloud.

Dopo l'annuncio iniziale dei Nodi di ricerca nel giugno del 2023, abbiamo rapidamente accelerato l'accesso all'architettura dedicata più scalabile, iniziando con la disponibilità generale su AWS e ora con la public preview su Google Cloud. Vediamo di capire meglio che cosa sono i Nodi di ricerca e perché sono importanti per qualsiasi esperienza di ricerca in scala.

I Nodi di ricerca forniscono un'infrastruttura dedicata per i carichi di lavoro di Atlas Search e Vector Search, per consentire un controllo ancora maggiore sui carichi di lavoro di ricerca. Isola e ottimizza le risorse di calcolo per scalare le esigenze di ricerca e database in modo indipendente, offrendo prestazioni migliori su larga scala e maggiore disponibilità.

Una delle ultime problematiche che gli sviluppatori intendono affrontare quando creano e scalano le app è doversi preoccupare dei problemi di infrastruttura. Qualsiasi tempo di inattività o esperienza negativa determina una perdita di utenti o di fatturato, soprattutto per quanto riguarda il database e l'esperienza di ricerca. Questo è uno dei motivi per cui gli sviluppatori si rivolgono a MongoDB, data la facilità d'uso di poter disporre di un sistema unificato per il database e la soluzione di ricerca.

Con l'introduzione dei Nodi di ricerca Atlas abbiamo compiuto il passo successivo offrendo ai nostri sviluppatori il massimo controllo, poiché possono rimanere flessibili e scalare i carichi di lavoro di ricerca senza essere costretti a eseguire un provisioning eccessivo del database. Isolando i carichi di lavoro di ricerca e database e al contempo mantenendo automaticamente i dati del cluster di ricerca sincronizzati con i dati operativi, Atlas Search e Atlas Vector Search consentono di non dover eseguire uno strumento ETL separato, la cui configurazione richiede tempo e impegno e che rappresenta pur sempre un altro punto di errore per la propria app di scalabilità. Ciò consente prestazioni superiori e offre maggiore disponibilità, riducendo al contempo la complessità dell'architettura e gli sprechi di tempo di progettazione per il ripristino da errori di sincronizzazione. In effetti, abbiamo riscontrato una riduzione del 40% - 60% del tempo di esecuzione delle query per molte query complesse, eliminando al contempo la possibilità di conflitti di risorse o tempi di inattività.

Con un semplice cambio di pulsante, i Nodi di ricerca su Google Cloud offrono ai nostri utenti di Atlas Search e Vector Search i seguenti vantaggi:

Disponibilità più elevata
Aumento della scalabilità
Isolamento dei carichi di lavoro
Prestazioni migliori su larga scala
Miglioramento delle prestazioni delle query

Offriamo sia Search Nodes specifici per la ricerca ad alto carico di calcolo per la ricerca di testo basata sulla pertinenza, sia un'opzione ottimizzata per la memoria che è ideale per casi d'uso di produzione semantica e RAG con Atlas Vector Search. Ciò rende i problemi di contesa o disponibilità delle risorse un vecchio ricordo.

Graphic of Search Nodes Search and Database structure, where Atlas Nodes is the Database and Search Nodes are the Search function.

È facile attivare e impostare i Nodi di ricerca: per iniziare, accedi all'IU di MongoDB ed esegui le seguenti operazioni:

Vai alla sezione "Distribuzioni di database" nell'IU di MongoDB
Fai clic sul pulsante verde "+Crea"
Nella pagina "Crea nuovo cluster", modifica il pulsante di opzione per Google Cloud in "Isolamento multi-cloud, multi-regione e carico di lavoro" per abilitare
Attiva il pulsante di opzione "Nodi di ricerca per l'isolamento del carico di lavoro" per abilitare. Seleziona il numero di nodi nella casella di testo
Seleziona la casella di accordo
Fai clic su "Crea cluster"

Per gli utenti esistenti di Atlas Search, fai clic su "Modifica configurazione" nell'IU di MongoDB Atlas Search e abilita l'interruttore per l'isolamento del carico di lavoro. Successivamente, i passaggi sono gli stessi indicati sopra.

Per maggiori informazioni, consulta i nostri documenti.

← Previous

Isolation des charges de travail pour plus d'évolutivité et de disponibilité : nœuds de recherche désormais disponibles sur Google Cloud

Aujourd'hui, nous sommes ravis de passer à l'étape suivante en apportant une architecture évolutive et dédiée à vos expériences de recherche, avec l'introduction des nœuds de recherche d'Atlas dans la version préliminaire publique de Google Cloud. Après l'annonce initiale des nœuds de recherche en juin 2023, nous avons rapidement accéléré l'accès à l'architecture dédiée la plus évolutive, en commençant par la disponibilité générale sur AWS , puis en l'étendant à la version préliminaire publique sur Google Cloud. Découvrons un peu plus de contexte sur ce que sont les nœuds de recherche et pourquoi ils sont importants pour toute expérience de recherche fonctionnant à l'échelle. Les nœuds de recherche fournissent une infrastructure dédiée aux charges de travail Atlas Search et Vector Search afin d'offrir un contrôle encore plus renforcé sur les charges de travail de recherche. Isolez et optimisez les ressources de calcul pour répartir indépendamment les besoins de recherche et de base de données, offrant ainsi de meilleures performances à grande échelle et une plus grande disponibilité. Les problèmes d'infrastructure représentent l'une des dernières choses que les développeurs souhaitent gérer lorsqu'ils créent et mettent à l'échelle des applications. Tout temps d'arrêt ou mauvaise expérience utilisateur se traduit par une perte d'utilisateurs ou de chiffre d'affaires, en particulier lorsque cela concerne votre base de données et de l'expérience de recherche. C'est l'une des raisons pour lesquelles les développeurs se tournent vers MongoDB, étant donné la facilité d'utilisation d'un système unifié pour votre base de données et votre solution de recherche. Avec l'introduction des nœuds de recherche d'Atlas, nous avons franchi une nouvelle étape en offrant à nos constructeurs un contrôle ultime, leur permettant ainsi de rester flexibles en étant capables de répartir les charges de travail de recherche sans être obligés de surapprovisionner la base de données. En isolant vos charges de travail de recherche et de base de données tout en synchronisant automatiquement les données de votre cluster de recherche avec les données opérationnelles, Atlas Search et Atlas Vector Search éliminent le besoin d'exécuter un outil ETL distinct, dont la configuration demande du temps et des efforts et constitue un autre point d'échec pour votre application de mise à l'échelle. Cela permet d'obtenir des performances supérieures et une plus grande disponibilité, tout en réduisant la complexité architecturale et le temps d'ingénierie perdu lors de la récupération après des échecs de synchronisation. En effet, nous avons constaté une diminution de 40 à 60 % du temps de requête pour de nombreuses requêtes complexes, parallèlement à une élimination des risques de conflit de ressources ou de temps d'arrêt. D'un simple clic, les nœuds de recherche sur Google Cloud offrent à nos utilisateurs existants d'Atlas Search et de Vector Search les avantages suivants : Disponibilité plus élevée Évolutivité accrue Isolation des charges de travail Meilleures performances à l'échelle Performances des requêtes renforcées Nous proposons à la fois des nœuds destinés à la recherche gourmande en calcul pour la recherche de texte basée sur la pertinence, ainsi qu'une option optimisée pour la mémoire, idéale pour les cas d'utilisation sémantiques et de production RAG avec Atlas Vector Search. Les problèmes de conflits ou de disponibilité des ressources appartiennent désormais au passé. Les nœuds de recherche sont faciles à utiliser et à configurer. Pour commencer, accédez à l'UI de MongoDB et procédez comme suit : Accédez à la section « Déploiements de bases de données » de l'UI MongoDB. Cliquez sur le bouton vert « + Créer ». Sur la page « Créer un cluster », remplacez le bouton d'option de Google Cloud par « Isolation multi-cloud, multi-région et des charges de travail » pour l'activer. Activez le bouton d'option « Nœuds de recherche pour l'isolation des charges de travail ». Sélectionnez le nombre de nœuds dans la zone de texte. Cochez la case d'accord. Cliquez sur « Créer un cluster ». Pour les utilisateurs existants d'Atlas Search, cliquez sur « Modifier la configuration » dans l'UI de MongoDB Atlas Search et activez l'option d'isolation des charges de travail. Les étapes sont alors les mêmes que celles indiquées ci-dessus. Accédez directement à nos documents pour en savoir plus !

March 28, 2024

Next →

Building AI With MongoDB: Integrating Vector Search And Cohere to Build Frontier Enterprise Apps

Cohere is the leading enterprise AI platform, building large language models (LLMs) which help businesses unlock the potential of their data. Operating at the frontier of AI, Cohere’s models provide a more intuitive way for users to retrieve, summarize, and generate complex information. Cohere offers both text generation and embedding models to its customers. Enterprises running mission-critical AI workloads select Cohere because its models offer the best performance-cost tradeoff and can be deployed in production at scale. Cohere’s platform is cloud-agnostic. Their models are accessible through their own API as well as popular cloud managed services, and can be deployed on a virtual private cloud (VPC) or even on-prem to meet companies where their data is, offering the highest levels of flexibility and control. Cohere’s leading Embed 3 and Rerank 3 models can be used with MongoDB Atlas Vector Search to convert MongoDB data to vectors and build a state-of-the-art semantic search system. Search results also can be passed to Cohere’s Command R family of models for retrieval augmented generation (RAG) with citations. Check out our AI resource page to learn more about building AI-powered apps with MongoDB. A new approach to vector embeddings It is in the realm of embedding where Cohere has made a host of recent advances. Described as “AI for language understanding,” Embed is Cohere’s leading text representation language model. Cohere offers both English and multilingual embedding models, and gives users the ability to specify the type of data they are computing an embedding for (e.g., search document, search query). The result is embeddings that improve the accuracy of search results for traditional enterprise search or retrieval-augmented generation. One challenge developers faced using Embed was that documents had to be passed one by one to the model endpoint, limiting throughput when dealing with larger data sets. To address that challenge and improve developer experience, Cohere has recently announced its new Embed Jobs endpoint . Now entire data sets can be passed in one operation to the model, and embedded outputs can be more easily ingested back into your storage systems. Additionally, with only a few lines of code, Rerank 3 can be added at the final stage of search systems to improve accuracy. It also works across 100+ languages and offers uniquely high accuracy on complex data such as JSON, code, and tabular structure. This is particularly useful for developers who rely on legacy dense retrieval systems. Demonstrating how developers can exploit this new endpoint, we have published the How to use Cohere embeddings and rerank modules with MongoDB Atlas tutorial . Readers will learn how to store, index, and search the embeddings from Cohere. They will also learn how to use the Cohere Rerank model to provide a powerful semantic boost to the quality of keyword and vector search results. Figure 1: Illustrating the embedding generation and search workflow shown in the tutorial Why MongoDB Atlas and Cohere? MongoDB Atlas provides a proven OLTP database handling high read and write throughput backed by transactional guarantees. Pairing these capabilities with Cohere’s batch embeddings is massively valuable to developers building sophisticated gen AI apps. Developers can be confident that Atlas Vector Search will handle high scale vector ingestion, making embeddings immediately available for accurate and reliable semantic search and RAG. Increasing the speed of experimentation, developers and data scientists can configure separate vector search indexes side by side to compare the performance of different parameters used in the creation of vector embeddings. In addition to batch embeddings, Atlas Triggers can also be used to embed new or updated source content in real time, as illustrated in the Cohere workflow shown in Figure 2. Figure 2: MongoDB Atlas Vector Search supports Cohere’s batch and real time workflows. (Image courtesy of Cohere) Supporting both batch and real-time embeddings from Cohere makes MongoDB Atlas well suited to highly dynamic gen AI-powered apps that need to be grounded in live, operational data. Developers can use MongoDB’s expressive query API to pre-filter query predicates against metadata, making it much faster to access and retrieve the more relevant vector embeddings. The unification and synchronization of source application data, metadata, and vector embeddings in a single platform, accessed by a single API, makes building gen AI apps faster, with lower cost and complexity. Those apps can be layered on top of the secure, resilient, and mature MongoDB Atlas developer data platform that is used today by over 45,000 customers spanning startups to enterprises and governments handling mission-critical workloads. What's next? To start your journey into gen AI and Atlas Vector Search, review our 10-minute Learning Byte . In the video, you’ll learn about use cases, benefits, and how to get started using Atlas Vector Search.

April 25, 2024