Benjamin Flast

15 results

MongoDB presenta Atlas Vector Search: crea applicazioni intelligenti con ricerca semantica e intelligenza artificiale su qualsiasi tipo di dati

Siamo lieti di annunciare che Atlas Vector Search è ora disponibile al pubblico. Vector Search ora supporta i carichi di lavoro di produzione, consentendoti di continuare a creare applicazioni intelligenti basate sulla ricerca semantica e sull'IA generativa, ottimizzando al contempo il consumo di risorse e migliorando le prestazioni con i nodi di ricerca. Leggi il blog qui sotto, dove troverai l'annuncio completo e l'elenco dei vantaggi. Il momento è finalmente arrivato. L’intelligenza artificiale ha fatto shift left. Ciò che una volta era costruito e spesso intrappolato all'interno dei team di data science e machine learning a livello aziendale, ora è facilmente disponibile per i costruttori di tutto il mondo. Ma per sfruttare l'incredibile potenza di questi nuovi strumenti, è necessario costruire avvalendosi di una piattaforma dati affidabile, componibile ed elegante. Al contempo, come abbiamo visto tutti, queste nuove funzionalità sono valide solo se lo sono i dati o le "informazioni fondamentali" a cui hanno accesso. Ecco perché siamo entusiasti di aggiungere un'altra funzionalità alla Piattaforma dati per sviluppatori MongoDB Atlas, per sbloccare il pieno potenziale dei tuoi dati e potenziare le applicazioni IA. Oggi, MongoDB è entusiasta di annunciare la sua nuova ed entusiasmante funzionalità di Vector Search , progettata per soddisfare le esigenze di dati in tutte le forme e consentire ai partner di sfruttare queste nuove incredibili funzionalità. Consulta la nostra pagina delle risorse sull'intelligenza artificiale per saperne di più sulla creazione di app basate sull'intelligenza artificiale con MongoDB. Descrizione della funzionalità Per chi non lo sapesse, la ricerca vettoriale è una funzionalità che consente di interrogare i dati in base alla semantica o al significato dei dati anziché ai dati stessi. Questo può avvenire grazie alla possibilità di rappresentare numericamente qualsiasi forma di dato come un Vettore, che successivamente può essere confrontato a un altro tramite sofisticati algoritmi. Il primo passo è prendere i dati di origine (testo, audio, immagine o video) e convertirli in "Vettori" o "Incorporamenti" tramite un "modello di codifica". Con i recenti progressi effettuati dall'intelligenza artificiale, questi vettori sono ora in grado di acquisire meglio il significato dei dati, proiettando dati dimensionali inferiori in uno spazio più elevato che contiene più contesto. Quando questi dati vengono trasformati in queste rappresentazioni numeriche, è possibile eseguire una query per trovare valori simili tramite un algoritmo per la ricerca approssimativa dei vicini, che consente alle query di trovare molto rapidamente dati con vettori simili. Ciò ti consente di rispondere a richieste come "trova film tristi" o "trova immagini che assomiglino a...". Questa funzionalità sblocca una nuova categoria di funzionalità. Come si collega alla nostra piattaforma? Con questa funzionalità, integrata in MongoDB Atlas in modo nativo, non è necessario copiare e trasformare i dati, imparare un nuovo stack e una nuova sintassi o gestire un'intera nuova infrastruttura. Con Atlas Vector Search di MongoDB, tutto questo non è necessario: è possibile utilizzare queste nuove e potenti funzionalità all'interno di una piattaforma di livello mondiale, collaudata per creare applicazioni in modo rapidissimo. Molte delle sfide inerenti allo sfruttamento dell'IA e della ricerca vettoriale derivano dalla complessità di esporre in modo sicuro e protetto i dati delle applicazioni. Questi compiti aggiungono strati di attrito all'esperienza degli sviluppatori e complicano la costruzione, l'individuazione dei bug e la manutenzione dell'applicazione. MongoDB elimina tutte queste sfide portando la potenza della ricerca vettoriale su una piattaforma che si ridimensiona organicamente in verticale e in orizzontale per supportare qualsiasi carico di lavoro che gli viene assegnato. Infine, tutto questo non sarebbe sufficiente senza garanzie di sicurezza e disponibilità e l'impegno di MongoDB a fornire una soluzione di gestione dei dati protetta, oltre che con una disponibilità elevata tramite la ridondanza e il failover automatico, che assicurano che l'applicazione non perda mai un colpo. Novità a MongoDB.local London Per quanto riguarda .Local London, MongoDB è lieta di annunciare l'introduzione di una fase di aggregazione dedicata alla ricerca vettoriale che può essere invocata tramite $vectorSearch. Questa nuova fase di aggregazione introduce alcuni nuovi concetti che conferiscono nuova potenza e rendono più semplice che mai l'utilizzo della ricerca vettoriale. Con $vectorSearch, è anche possibile utilizzare un pre-filtro con sintassi MQL (ad es. $gte, $eq, ecc...) che filtra i documenti mentre attraversi l'indice per ottenere risultati coerenti e prestazioni elevate. Qualsiasi sviluppatore che conosca MongoDB sarà in grado di sfruttare agevolmente questa funzionalità di filtro. Infine stiamo introducendo anche due modi per ottimizzare i risultati all'interno della fase di aggregazione, un parametro "numCandidates" e un parametro "limit", con i quali è possibile ottimizzare il numero di documenti candidati per la ricerca approssimativa del vicino più prossimo, e quindi limitare la quantità di risultati desiderati con il "limite". Come interagisce con l'ecosistema? La quantità di innovazioni che si stanno sviluppando intorno all'intelligenza artificiale è sbalorditiva, ed è sorprendente vedere i progressi che la comunità open source sta rapidamente compiendo. Enormi progressi sono stati compiuti nei modelli linguistici open source, così come nei diversi metodi che possono essere integrati nelle applicazioni. Con la potenza pura dell'intelligenza artificiale, non è mai stato così importante disporre di una solida astrazione sulle funzionalità per dare agli sviluppatori la flessibilità di cui hanno bisogno. Con questa considerazione, siamo entusiasti di comunicare che diverse funzionalità sono supportate in LangChain e LlamaIndex, dal supporto per la ricerca vettoriale fino alla registrazione della chat e all'indicizzazione dei documenti. Stiamo crescendo rapidamente e continueremo a rilasciare nuove funzionalità per i nostri principali fornitori. Riepilogo Ma siamo solo agli inizi. MongoDB si impegna ad aiutare gli sviluppatori a potenziare la prossima generazione di applicazioni abilitate all'IA con la migliore piattaforma di dati per sviluppatori sul mercato. Esamineremo ancora più framework e architetture di plug-in da supportare. Ma come sempre, la parte più importante di questa equazione sono i nostri sviluppatori. Per questo, parleremo con la comunità e troveremo i modi per servirti al meglio e per assicurarci di soddisfare le tue esigenze in ogni fase del processo. Continua a sviluppare! Per scoprire di più su Atlas Vector Search e capire se potrebbe essere la soluzione giusta per te, consulta la nostra documentazione , il whitepaper e i tutorial , oppure inizia subito .

January 31, 2024

Einführung von Atlas Vector Search: Entwickeln Sie intelligente Anwendungen mit Semantic Search und KI für alle Arten von Daten

Wir freuen uns, Ihnen mitteilen zu können, dass Atlas Vector Search jetzt allgemein verfügbar ist. Vector Search unterstützt jetzt Produktions-Workloads, sodass Sie auch weiterhin intelligente Anwendungen auf Basis von Semantic Search und generativer KI erstellen können, während der Ressourcenverbrauch optimiert und die Leistung mit Search Nodes verbessert wird. Die vollständige Ankündigung und die Liste der Vorteile finden Sie unten. Die Zeit ist endlich gekommen. Künstliche Intelligenz hat sich nach links verschoben. Was einst in unternehmensweiten Data-Science- und Machine-Learning-Teams entwickelt wurde und oft dort feststeckte, ist jetzt für Entwickler auf der ganzen Welt leicht verfügbar. Um jedoch die unglaubliche Leistungsfähigkeit dieser neuen Tools nutzen zu können, müssen sie auf einer zuverlässigen, zusammensetzbaren und eleganten Datenplattform aufbauen. Gleichzeitig sind diese neuen Funktionen, wie wir alle gesehen haben, nur so gut, wie die Daten oder die „Grundwahrheit“, auf die sie zugreifen müssen. Aus diesem Grund freuen wir uns, der MongoDB Atlas Developer Data Platform eine weitere Funktion hinzuzufügen, um das volle Potenzial Ihrer Daten auszuschöpfen und KI-Anwendungen voranzutreiben. MongoDB freut sich, heute unsere aufregende neue Vector Search Funktion bekannt zu geben, die den Anforderungen von Daten in allen Formen gerecht wird und es unseren Partnern ermöglicht, diese unglaublichen neuen Funktionen zu nutzen. Auf unserer KI-Ressourcenseite erfahren Sie mehr über die Entwicklung von KI-gestützten Apps mit MongoDB. Was ist die Fähigkeit? Für diejenigen unter Ihnen, die es nicht kennen: Vector Search ist eine Funktion, mit der Sie Ihre Daten auf der Grundlage der Semantik oder der Bedeutung der Daten und nicht auf der Grundlage der Daten selbst abfragen können. Möglich wird dies dadurch, dass man jede Form von Daten numerisch als Vektor darstellen kann, die dann mit Hilfe hochentwickelter Algorithmen miteinander verglichen werden können. Der erste Schritt besteht darin, die Quelldaten, egal ob Text, Audio, Bild oder Video, mithilfe eines „Kodierungsmodells“ in „Vektoren“ oder „Einbettungen“ umzuwandeln. Dank der jüngsten Fortschritte in der künstlichen Intelligenz sind diese Vektoren nun besser in der Lage, die Bedeutung von Daten zu erfassen, indem sie niedrigerdimensionale Daten in einen höherdimensionalen Raum projizieren, der mehr Kontext zu den Daten enthält. Sobald diese Daten in diese numerischen Darstellungen umgewandelt wurden, können Sie Abfragen durchführen, um ähnliche Werte mithilfe eines ANN-Algorithmus (Approximate Nearest Neighbors) zu finden, der es Ihren Abfragen ermöglicht, sehr schnell Daten mit ähnlichen Vektoren zu finden. Auf diese Weise können Sie Anfragen wie „Gib mir Filme mit dem Gefühl der Traurigkeit“ oder „Gib mir Bilder, die aussehen wie ...“ erfüllen. Diese Fähigkeit eröffnet Ihnen eine ganz neue Gruppe von Möglichkeiten. In welcher Beziehung steht dies zu unserer Plattform? Da diese Funktionalität nativ in MongoDB Atlas integriert ist, müssen Sie Ihre Daten nicht kopieren und transformieren, keinen neuen Stack und keine neue Syntax erlernen oder eine völlig neue Infrastruktur managen. Mit Atlas Vector Search von MongoDB ist das alles nicht nötig. Sie können diese leistungsstarken neuen Funktionen innerhalb einer erstklassigen und kampferprobten Plattform nutzen, um Anwendungen schneller als je zuvor zu entwickeln. Viele der mit der Nutzung von KI und Vector Search verbundenen Herausforderungen ergeben sich aus der Komplexität, die mit der sicheren Offenlegung Ihrer Anwendungsdaten verbunden ist. Diese Aufgaben erhöhen die Reibungspunkte für die Entwicklererfahrung und erschweren das Entwickeln, Debuggen und Warten Ihrer Anwendungen. MongoDB beseitigt all diese Herausforderungen und bringt gleichzeitig die Leistungsfähigkeit von Vector Search auf eine Plattform, die organisch vertikal und horizontal skaliert, um jeden Workload zu bewältigen, die Sie ihr auferlegen. Schließlich ist nichts davon ohne Garantien in Bezug auf Sicherheit und Verfügbarkeit von Bedeutung, und das Engagement von MongoDB für eine sichere Datenverwaltungslösung zusammen mit hoher Verfügbarkeit durch Redundanz und automatischem Failover sorgt dafür, dass Ihre Anwendung nie aus dem Takt kommt. Neu bei MongoDB.local London Bei .Local London freuen wir uns, die Einführung einer speziellen Vektorsuch-Aggregationsstufe ankündigen zu können, die über $vectorSearch aufgerufen werden kann. Diese neue Aggregationsstufe führt ein paar neue Konzepte ein, die die Vektorsuche noch leistungsfähiger und einfacher als je zuvor machen. Mit $vectorSearch können Sie auch einen Vorfilter mit MQL-Syntax (z. B. $gte, $eq usw.) verwenden, die beim Durchlaufen des Index Dokumente herausfiltert, was zu konsistenten Ergebnissen und hoher Leistung führt. Jeder Entwickler, der MongoDB versteht, wird diese Filterfunktion problemlos nutzen können! Schließlich führen wir auch zwei Möglichkeiten ein, Ihre Ergebnisse innerhalb der Aggregationsphase zu optimieren, sowohl einen „numCandidates“ -Parameter als auch einen „limit“ -Parameter. Mit diesen Parametern können Sie einstellen, wie viele Dokumente für die ungefähre Suche nach dem nächsten Nachbarn in Frage kommen sollen, und dann die Anzahl der gewünschten Ergebnisse mit dem „Limit“ einschränken. Wie interagiert dies mit der Umgebung? Die Menge an Innovationen im Bereich der künstlichen Intelligenz ist erstaunlich und es ist beeindruckend zu sehen, welche rasanten Fortschritte die Open Source Community macht. Es gibt enorme Fortschritte bei Open-Source-Sprachmodellen sowie bei den verschiedenen Methoden, mit denen sie in Anwendungen integriert werden können. Angesichts der enormen Leistungsfähigkeit, die künstliche Intelligenz bietet, war es noch nie so wichtig, eine solide Abstraktion für diese Funktion zu haben, um Entwicklern die Flexibilität zu bieten, die sie benötigen. Vor diesem Hintergrund freuen wir uns, Ihnen mitteilen zu können, dass wir in LangChain und LlamaIndex mehrere Funktionen unterstützen, von der Unterstützung von Vector Search bis hin zur Chat-Protokollierung und Dokumentindizierung. Wir schreiten hier schnell voran und werden weiterhin neue Funktionen für die führenden Anbieter veröffentlichen. Zusammenfassung Trotz alledem geht es gerade erst los. Wir bei MongoDB setzen uns dafür ein, Entwicklern dabei zu helfen, die nächste Generation von KI-fähigen Anwendungen zu entwickeln – mit der besten Plattform für Entwicklerdaten auf dem Markt. Wir werden uns auch mit weiteren Frameworks und Plugin-Architekturen befassen, die wir unterstützen können. Aber wie immer sind Sie als Entwickler der wichtigste Teil dieser Gleichung. Wir werden mit der Community sprechen und Wege finden, wie wir Ihnen am besten helfen können, und sicherstellen, dass wir Ihre Bedürfnisse bei jedem Schritt erfüllen. Geh los und entwickel! Um mehr über Atlas Vector Search zu erfahren und herauszufinden, ob es die richtige Lösung für Sie ist, schauen Sie sich unsere Dokumentation , unser Whitepaper und unsere Tutorials an oder legen Sie noch heute los .

September 14, 2023

Présentation d'Atlas Vector Search : construire des applications intelligentes avec la recherche sémantique et l'IA sur n'importe quel type de données

Nous sommes ravis d'annoncer qu'Atlas Vector Search est désormais disponible. Vector Search prend désormais en charge les charges de travail de production. Vous pouvez ainsi continuer à créer des applications intelligentes alimentées par la recherche sémantique et l'IA générative, tout en optimisant la consommation des ressources et en améliorant les performances avec les nœuds de recherche. Lisez cet article pour connaître tous les avantages. Le moment est enfin venu. L'intelligence artificielle est là. Ce qui était autrefois construit et souvent piégé au sein des équipes de data science et d'apprentissage automatique au niveau de l'entreprise est désormais facilement accessible aux constructeurs du monde entier. Mais pour exploiter l'incroyable puissance de ces nouveaux outils, vous devez vous appuyer sur une plateforme de données fiable, modulable et élégante. En même temps, comme nous l'avons tous vu, ces nouvelles capacités ne sont valables que dans la mesure où elles ont accès aux données ou à la "vérité de terrain". C'est pourquoi nous sommes ravis d'ajouter une nouvelle fonctionnalité sur MongoDB Atlas, notre Developer Data Platform, pour libérer tout le potentiel de vos données et alimenter les applications d'IA. Aujourd'hui, MongoDB a le plaisir d'annoncer sa nouvelle fonctionnalité de Vector Search , conçue pour répondre aux exigences des données sous toutes leurs formes et permettre à nos partenaires d'exploiter ces nouvelles capacités incroyables. Consultez notre page de ressources sur l'IA pour en savoir plus sur la création d'applications alimentées par l'IA avec MongoDB. En quoi consiste cette fonctionnalité ? Pour ceux qui ne connaissent pas, la recherche vectorielle est une capacité qui vous permet de requêter vos données sur la base de la sémantique ou de la signification des données plutôt que sur les données elles-mêmes. Cela est possible grâce à la représentation numérique de toute forme de données sous la forme d'un vecteur, qui peuvent ensuite être comparées les unes aux autres au moyen d'algorithmes sophistiqués. La première étape consiste à prendre les données sources - texte, audio, image ou vidéo - et à les convertir en « vecteurs » ou « encastrements » à l'aide d'un « modèle d'encodage ». Grâce aux progrès récents de l'intelligence artificielle, ces vecteurs sont désormais mieux à même de saisir la signification des données en projetant des données de faible dimension dans un espace de dimension supérieure qui contient davantage de contexte sur les données. Une fois que ces données ont été transformées en représentations numériques, vous pouvez les interroger pour trouver des valeurs similaires à l'aide d'un algorithme approximatif des voisins les plus proches qui permet à vos requêtes de trouver très rapidement des données avec vecteurs similaires. Cela vous permet de répondre à des requêtes telles que « Donnez-moi des films tristes » ou « Donnez-moi des images qui ressemblent à… ».Cette fonctionnalité ouvre la voie à de nouvelles possibilités. Quel est le lien avec notre plateforme ? Grâce à cette fonctionnalité intégrée à MongoDB Atlas, vous n'avez pas besoin de copier et de transformer vos données, d'apprendre une nouvelle technologie et une nouvelle syntaxe, ou de devoir gérer toute une nouvelle infrastructure. Avec Atlas Vector Search de MongoDB, vous pouvez utiliser ces nouvelles capacités puissantes au sein d'une plateforme de classe mondiale et éprouvée pour créer des applications plus rapidement. La plupart des défis inhérents à l'exploitation de l'IA et de la recherche vectorielle découlent de la complexité liée à l'exposition en toute sécurité des données de l'application. Ces tâches ajoutent des couches de friction à l'expérience du développeur et rendent vos applications plus difficiles à construire, à déboguer et à maintenir. MongoDB relève ces défis tout en apportant la puissance de la recherche vectorielle à une plateforme qui répartit organiquement verticalement et horizontalement pour supporter toutes les charges de travail que vous lui confiez. Enfin, tout cela n'a pas d'importance sans garanties en matière de sécurité et de disponibilité, et l'engagement de MongoDB en faveur d'une solution de gestion des données sécurisée, ainsi que la haute disponibilité grâce à la redondance et au basculement automatique, garantissent que votre application ne perdra jamais de temps. Nouveau chez MongoDB.local London Depuis .Local London, nous sommes ravis d'annoncer l'introduction d'une étape d'agrégation dédiée à la recherche vectorielle qui peut être invoquée via $vectorSearch. Cette nouvelle étape introduit de nouveaux concepts qui renforcent la puissance et facilitent plus que jamais l'utilisation de la recherche vectorielle. Avec $vectorSearch, vous pouvez également utiliser un préfiltre avec la syntaxe MQL (par exemple, $gte, $eq, etc.) qui filtre les documents au fur et à mesure que vous parcourez l'index. Vous obtenez ainsi des résultats cohérents et des performances élevées. Les développeurs qui maîtrisent MongoDB pourront pleinement exploiter cette capacité de filtrage ! Enfin, nous introduisons également deux façons d'ajuster vos résultats au sein de l'étape d'agrégation, les paramètres « numCandidates » et « limit ». Ils vous permettent d'ajuster le nombre de documents qui devraient être candidats pour la recherche approximative du plus proche voisin, puis limiter le nombre de résultats que vous souhaitez obtenir avec le paramètre « limit ». Comment interagit-il avec l'écosystème ? Le nombre d'innovations dans le secteur de l’intelligence artificielle est stupéfiant, et il est étonnant de voir les progrès rapidement réalisés par la communauté open source. Des progrès considérables ont été réalisés dans les modèles de langage open source ainsi que dans les différentes méthodes d'intégration aux applications. Avec la puissance brute exposée par l'intelligence artificielle, disposer d'une abstraction solide sur la capacité à donner aux développeurs la flexibilité dont ils ont besoin est plus que jamais essentiel. C'est pourquoi nous sommes ravis de vous annoncer que plusieurs fonctionnalités sont prises en charge dans LangChain et LlamaIndex, de la recherche vectorielle à l'enregistrement des conversations en passant par l'indexation des documents. Nous avançons rapidement et nous continuerons à développer de nouvelles fonctionnalités pour les principaux fournisseurs. Conclusion Ce n'est que le début. Chez MongoDB, nous nous engageons à aider les développeurs à créer la prochaine génération d'applications basées sur l'IA grâce à la meilleure plateforme de données pour développeurs du marché. Nous allons également nous pencher sur d'autres modèles d'architectures et plugins que nous pouvons soutenir. Mais comme toujours, la partie la plus importante de cette équation, c'est vous, le développeur. Nous allons discuter avec la communauté et trouver les moyens de vous servir au mieux et de nous assurer que nous répondons à vos besoins à chaque étape du processus. Place à la création ! Pour en savoir plus sur Atlas Vector Search et savoir s'il s'agit de la bonne solution pour vous, consultez notre documentation , notre livre blanc et nos tutoriels ou commencez dès aujourd'hui .

September 14, 2023

Presentamos Atlas Vector Search: cree aplicaciones inteligentes con búsqueda semántica e inteligencia artificial sobre cualquier tipo de datos

Nos complace anunciar que Atlas Vector Search se encuentra ahora en Disponibilidad general. Vector Search ahora es compatible con cargas de trabajo de producción que le permiten seguir desarrollando aplicaciones inteligentes basadas en búsqueda semántica e IA generativa, al tiempo que optimiza el consumo de recursos y mejora el rendimiento con nodos de búsqueda. En el blog que se encuentra a continuación podrá leer el anuncio completo y la lista de beneficios. Por fin ha llegado el momento. La inteligencia artificial se ha desplazado hacia la izquierda. Lo que alguna vez se construyó y a menudo quedó atrapado dentro de los equipos de ciencia de datos y aprendizaje automático de toda la empresa ahora está disponible para los constructores de todo el mundo. Pero para aprovechar el increíble poder de estas nuevas herramientas, es necesario construir sobre una plataforma de datos confiable, componible y elegante. Al mismo tiempo, como todos hemos visto, estas nuevas capacidades son tan buenas como los datos o la “verdad sobre el terreno” a los que tienen acceso. Es por eso que estamos encantados de agregar otra capacidad a la plataforma de datos para desarrolladores MongoDB Atlas para desbloquear todo el potencial de sus datos y potenciar las aplicaciones de IA. Hoy, MongoDB se complace en anunciar nuestra nueva y emocionante capacidad de Vector Search diseñada para satisfacer las demandas de datos en todas sus formas y permitir a nuestros socios aprovechar estas nuevas e increíbles capacidades. Consulte nuestra página de recursos de IA para obtener más información sobre la creación de aplicaciones basadas en IA con MongoDB. ¿Cuál es la capacidad? Para aquellos que no están familiarizados, Vector Search es una capacidad que les permite consultar sus datos basándose en la semántica o el significado de los datos en lugar de los datos en sí. Esto es posible gracias a que puede representar numéricamente todas las formas de datos como vectores que luego se pueden comparar entre sí mediante algoritmos sofisticados. El primer paso es tomar los datos de origen como texto, audio o vídeo y convertirlos en "Vectores" utilizando un "modelo de codificación". Con los avances recientes en inteligencia artificial, estos vectores ahora pueden capturar mejor el significado de los datos al proyectar datos de dimensiones inferiores en un espacio de dimensiones superiores que contiene más contexto sobre los datos. Una vez que estos datos se hayan transformado en estas representaciones numéricas, puede realizar consultas para encontrar valores similares utilizando un algoritmo de vecinos que permite que sus consultas encuentren datos con vectores similares muy rápidamente. Esto le permite satisfacer consultas como "dame películas con sentimiento de tristeza" o "dame imágenes que parezcan...". Esta capacidad desbloquea una nueva clase de capacidades. ¿Cómo se relaciona con nuestra plataforma? Con esta funcionalidad integrada de forma nativa en MongoDB Atlas, no hace falta copiar o transformar sus datos, aprender nuevas pilas o sintaxis, ni administrar un conjunto de infraestructura completamente nuevo. Con Atlas Vector Search de MongoDB nada de esto es necesario, puede utilizar estas capacidades nuevas y potentes dentro de una plataforma de primera clase y probada para crear aplicaciones más rápido que nunca. Muchos de los desafíos inherentes al aprovechamiento de la IA y la búsqueda vectorial surgen de la complejidad que implica exponer de forma segura los datos de su aplicación. Estas tareas añaden capas de fricción a la experiencia del desarrollador y hacen que sus aplicaciones sean más difíciles de crear, depurar y mantener. MongoDB elimina estos desafíos y al mismo tiempo lleva el poder de Vector Search a una plataforma que escala orgánicamente de forma tanto vertical como horizontal para soportar cualquier carga de trabajo que le plantee. Finalmente, nada de esto importaría sin garantías de seguridad y disponibilidad. El compromiso de MongoDB con una solución de administración de datos segura con alta disponibilidad a través de redundancia y conmutación por error automática garantiza que su aplicación nunca pierda el ritmo. Nuevo en MongoDB.local London Desde .Local London nos complace anunciar la introducción de una etapa de agregación de Vector Search dedicada que se puede invocar a través de $vectorSearch. Esta nueva etapa de agregación introduce algunos conceptos nuevos que potencian y facilitan más que nunca la utilización de Vector Search. Con $vectorSearch también puede utilizar un prefiltro con sintaxis MQL (p. ej., $gte, $eq, etc.) que filtra los documentos a medida que recorre el índice, lo que genera resultados coherentes y un alto rendimiento. Cualquier desarrollador que comprenda MongoDB podrá aprovechar esta capacidad de filtrado con facilidad. Por último, también estamos introduciendo dos formas de configurar los resultados dentro de la etapa de agregación, los parámetros "numCandidates" y "limit", con los que puede configurar el número de documentos que serán candidatos para la búsqueda aproximada del vecino más cercano y luego limitar el número de resultados que desea obtener con "limit". ¿Cómo interactúa con el ecosistema? La cantidad de innovación que se está produciendo en torno a la Inteligencia Artificial es asombrosa, y es sorprendente ver los avances que la comunidad de código abierto está haciendo. Se están logrando grandes avances en los modelos de lenguaje de código abierto, así como en los diversos métodos que se pueden integrar en las aplicaciones. Con el poder bruto expuesto por la Inteligencia Artificial, nunca fue más importante tener una abstracción sólida sobre la capacidad de brindar a los desarrolladores la flexibilidad que necesitan. Con esto en mente, estamos encantados de compartir que tenemos varias capacidades compatibles con LangChain y LlamaIndex, desde compatibilidad hasta registro de chat e indexación de documentos. Nos estamos moviendo rápido y continuaremos lanzando nuevas funciones para los principales proveedores. Para cerrar Dicho esto, esto recién comienza. En MongoDB, estamos comprometidos a ayudar a los desarrolladores a potenciar la próxima generación de aplicaciones basadas en IA con la mejor plataforma de datos para desarrolladores del mercado. También buscaremos más marcos y arquitecturas de complementos compatibles. Pero como siempre, la parte más importante de esta ecuación es usted, el desarrollador. Hablaremos con la comunidad y encontraremos la manera de brindarle un mejor servicio y asegurarnos de satisfacer sus necesidades en cada paso del camino. ¡A desarrollar! Para obtener más información sobre Atlas Vector Search y ver si sería la solución adecuada para usted, consulte nuestra documentación , documentos técnicos y tutoriales o comience hoy mismo .

June 22, 2023

Lançamento do Atlas Vector Search: crie aplicações inteligentes com semantic search e IA com qualquer tipo de dados

Temos o prazer de anunciar que o Atlas Vector Search agora está disponível para todos. A pesquisa vetorial agora oferece suporte a cargas de trabalho de produção, permitindo que você continue a criar aplicações inteligentes impulsionados por semantic search e IA generativa, enquanto otimiza o consumo de recursos e melhora o desempenho com os nós de Pesquisa. Leia o blog abaixo para ver o anúncio completo e a lista de benefícios. O momento finalmente chegou. A Inteligência Artificial agora está mais acessível. O que antes era desenvolvido e frequentemente ficava restrito às equipes de ciência de dados e aprendizado de máquina em toda a empresa está agora facilmente disponível para criadores de todos os lugares. Mas para aproveitar o incrível poder dessas novas ferramentas é preciso construir sobre uma plataforma de dados confiável, componível e elegante. Ao mesmo tempo, como todos vimos, esses novos recursos são tão bons quanto os dados ou a "verdade básica" a que eles têm acesso. Por isso estamos entusiasmados com a inclusão de mais um recurso no MongoDB Atlas Developer Data Platform para liberar todo o potencial dos seus dados e alimentar aplicações de IA. Hoje, a MongoDB tem o prazer de anunciar nosso novo e empolgante recurso de Vector Search projetado para atender às demandas de dados de todas as formas e possibilitar que nossos parceiros aproveitem esses incríveis novos recursos. Confira nossa página de recursos de IA para saber mais sobre a criação de aplicações baseados em IA com MongoDB. Qual é a capacidade? Para quem que não conhece, pesquisa vetorial é um recurso que permite consultar seus dados com base na semântica ou no significado dos dados e não nos dados em si. Isso é possível pela representação numérica de todas as formas de dados como um vetores, que podem então ser comparados entre si por meio de algoritmos sofisticados. A primeira etapa é pegar os dados de origem, seja texto, áudio, imagem ou vídeo, e convertê-los em "Vetores" ou "Incorporações" utilizando-se um "modelo de codificação". Com os recentes avanços em inteligência artificial, esses vetores agora podem capturar o significado dos dados, projetando dados dimensionais inferiores em um espaço dimensional mais alto com contexto sobre os dados. Depois que esses são transformados nessas representações numéricas, você pode consultar para localizar valores semelhantes utilizando um algoritmo de Vizinhos Mais Próximos Aproximado que permite que suas consultas encontrem dados muito rápido com vetores semelhantes. Isso possibilita que você responda consultas como "mostre filmes com a sensação de tristeza" ou "dê-me imagens que parecem…". Essa capacidade torna possível uma nova classe de recursos. Qual a relação com nossa plataforma? Com essa funcionalidade incorporada de forma nativa no MongoDB Atlas, você não precisa copiar e transformar seus dados, aprender uma sintaxe ou pilha nova nem gerenciar um conjunto totalmente novo de infraestrutura. Com o Atlas Vector Search do MongoDB, nada disso é necessário. Você pode utilizar esses novos recursos avançados em uma plataforma de classe mundial e testada na prática para criar aplicações com rapidez nunca antes possível. Muitos dos desafios inerentes ao aproveitamento da IA e do Vector Search decorrem da complexidade envolvida na exposição segura e protegida dos dados da aplicação. Essas tarefas acrescentam camadas de atrito à experiência do desenvolvedor e tornam suas aplicações mais difíceis de criar, depurar e manter. O MongoDB elimina todas essas dificuldades e, ao mesmo tempo, traz o poder do Vector Search para uma plataforma organicamente dimensionada vertical e horizontalmente para suportar qualquer carga de trabalho que você utilizar. Finalmente, nada disso importa sem garantias de segurança e disponibilidade, e o compromisso do MongoDB com uma solução segura de gerenciamento de dados, além da alta disponibilidade por meio de redundância e failover automático, garante que sua aplicação nunca perderá o ritmo. Novidade no MongoDB.local Londres Em .Local Londres, temos o prazer de anunciar o lançamento de um estágio de agregação dedicado ao Vector Search que pode ser chamado por meio de $vectorSearch. Esse novo estágio de agregação introduz alguns conceitos novos que adicionam mais potência e facilitam a utilização do Vector Search como nunca antes. Com o $vectorSearch, você pode também utilizar um filtro prévio com sintaxe MQL (por exemplo $gte, $eq etc...) que filtra os documentos à medida que você percorre o índice, o que resulta em resultados uniformes e alto desempenho. Qualquer desenvolvedor que entenda o MongoDB poderá tirar proveito desse recurso de filtragem com facilidade! Finalmente, estamos também introduzindo duas maneiras de ajustar seus resultados dentro do estágio de agregação, com os parâmetros "numCandidates" e "limit". Com esses parâmetros, você pode ajustar quantos documentos devem ser candidatos para a pesquisa aproximada do vizinho mais próximo e, em seguida, limitar quantos resultados você deseja com o "limit". Como ele interage com o ecossistema? A quantidade de inovação que ocorre com a Inteligência Artificial é surpreendente, e é incrível ver os avanços que a comunidade de código aberto está fazendo rapidamente. Há enormes ganhos sendo obtidos em modelos de linguagem de código aberto, bem como os vários métodos que podem ser integrados em aplicações. Com o poder bruto exposto pela inteligência artificial, nunca foi tão importante ter uma abstração sólida sobre a capacidade de dar aos desenvolvedores a flexibilidade necessária. Diante disso, temos o prazer de informar que temos vários recursos compatíveis com o LangChain e o LlamaIndex, desde o suporte do Vector Search até o registro de chat e indexação de documentos. Estamos avançando rapidamente aqui e continuaremos lançando novas funcionalidades para os principais fornecedores. Resumo Com tudo isso, as coisas estão apenas começando, estamos comprometidos no MongoDB em ajudar os desenvolvedores a alimentar a nova geração de aplicações com recursos de IA com a melhor plataforma de dados para desenvolvedores no mercado. Também analisaremos mais estruturas e arquiteturas de plugins que poderemos suportar. Mas, como sempre, a parte mais importante desta equação é você, o desenvolvedor. Vamos conversar com a comunidade e encontrar as formas de atendê-lo melhor e garantir que estamos atendendo às suas necessidades em todas as etapas do caminho. Siga em frente e crie! Para saber mais sobre o Atlas Vector Search e se essa seria a solução certa para você, consulte nossa documentação , o artigo técnico e os tutoriais ou comece hoje mesmo .

June 22, 2023

Atlas Vector Search 소개: 모든 유형의 데이터에 대해 시맨틱 검색과 AI로 지능형 애플리케이션 구축하기

Atlas Vector Search을 정식으로 출시하게 되어 기쁘게 생각합니다. 이제 Vector Search에서 프로덕션 워크로드가 지원되므로 시맨틱 검색과 생성형 AI 기반의 지능형 애플리케이션을 계속 구축하는 동시에 검색 노드를 통해 리소스 소비를 최적화하고 성능을 개선할 수 있습니다. 전체 공지 사항과 혜택 목록을 보려면 아래 블로그를 읽어보세요. 드디어 그 순간이 왔습니다. 인공 지능은 왼쪽으로 이동했습니다. 한때 구축되어 엔터프라이즈 전반의 데이터 사이언스 및 머신 러닝 팀에 갇히는 경우가 많았던 것이 이제는 모든 빌더가 쉽게 사용할 수 있습니다. 그러나 이러한 새로운 도구의 놀라운 기능을 활용하려면 안정적이고 구성 가능하며 세련된 데이터 플랫폼을 기반으로 구축해야 합니다. 동시에, 우리 모두가 보았듯이, 이러한 새로운 기능은 데이터 또는 소위 말하는 "참값" 만큼 훌륭합니다. 그렇기 때문에 MongoDB Atlas 개발자 데이터 플랫폼에 또 다른 기능을 추가하여 데이터의 잠재력을 최대한 활용하고 AI 애플리케이션을 구동할 수 있게 되어 매우 기쁩니다. 오늘날 MongoDB 는 모든 형태의 데이터 수요를 충족하고 다양한 파트너들이 이러한 놀라운 새로운 기능을 활용할 수 있도록 설계된 흥미로운 새로운 Vector Search 기능을 발표하게 되어 기쁩니다. MongoDB로 AI 기반 앱을 구축하는 방법에 대해 자세히 알아보려면 AI 리소스 페이지를 참조하세요. 어떤 기능인가요? 익숙하지 않은 분들을 위해 설명하자면, Vector Search는 데이터 자체가 아닌 의미 체계 또는 데이터의 의미에 따라 데이터를 쿼리할 수 있는 기능입니다. 이는 모든 형태의 데이터를 벡터로 수치적으로 표현할 수 있기 때문에 가능하며, 정교한 알고리즘을 통해 서로 비교할 수 있습니다. 첫 번째 단계는 텍스트, 오디오, 이미지 또는 비디오와 같은 소스 데이터를 가져와 "인코딩 모델"을 사용하여 "벡터" 또는 "임베딩"으로 변환하는 것입니다. 최근 인공 지능의 발전으로 이러한 벡터는 이제 데이터에 대한 더 많은 컨텍스트를 포함하는 더 높은 차원 공간에 더 낮은 차원 데이터를 투영하여 데이터의 의미를 더 잘 포착할 수 있습니다. 이 데이터가 이러한 숫자 표현으로 변환되면 쿼리하여 Approximate Nearest Neighbors 알고리즘으로 유사한 값을 찾을 수 있습니다. 이 알고리즘은 쿼리에서 유사한 벡터를 가진 데이터를 매우 빠르게 찾을 수 있습니다. 예를 들어, "슬픈 영화 검색" 또는 "...처럼 보이는 이미지 찾기" 등의 쿼리를 충족시킬 수 있습니다. 이 기능을 통해 완전히 새로운 수준의 능력을 발휘할 수 있습니다. 우리 플랫폼과 어떤 관련이 있습니까? MongoDB Atlas에 기본적으로 내장된 이 기능을 사용하면 데이터를 복사/변환하거나, 새로운 스택/구문을 배우거나, 완전히 새로운 여러 인프라를 관리할 필요가 없습니다. MongoDB의 Atlas Vector Search를 사용하면 이러한 작업을 수행할 필요가 없으며, 세계 최고 수준의 실전 테스트를 거친 플랫폼에서 이러한 강력하고 새로운 기능을 모두 활용하여 그 어느 때보다 빠르게 애플리케이션을 구축할 수 있습니다. AI 및 Vector Search를 활용할 때 발생할 수 있는 여러 가지 어려운 점들은 애플리케이션 데이터를 안전하게 노출하는 것과 관련된 복잡성에서 비롯됩니다. 이러한 작업은 개발자 경험을 더욱 복잡하게 하여 애플리케이션의 구축, 디버그 및 유지 관리를 어렵게 만듭니다. MongoDB는 Vector Search의 강력한 기능을 플랫폼에 적용하고 수직 및 수평으로 유기적으로 확장함으로써 실제로 발생하는 모든 워크로드를 지원하여 이러한 문제를 해결합니다. 마지막으로, 보안 및 가용성에 대한 보장이 없다면 이 모든 것이 의미가 없습니다. 이중화 및 자동 페일오버를 통한 고가용성과 함께 안전한 데이터 관리 솔루션에 대한 MongoDB의 노력은 애플리케이션이 그 어떤 것도 놓치지 않도록 합니다. MongoDB.local 런던의 새로운 소식 .Local 런던에서, $vectorSearch를 통해 호출할 수 있는 전용 Vector Search 집계 단계를 소개할 수 있게 되어 기쁘게 생각합니다. 이 집계 단계에는 몇 가지 신개념이 도입되어 새로운 기능을 추가하고 Vector Search를 그 어느 때보다 쉽게 활용할 수 있습니다. $vectorSearch를 사용하면 MQL 구문(예: $gte, $eq)과 함께 사전 필터를 활용할 수도 있습니다. 이 기능은 인덱스를 탐색할 때 문서를 필터링하여 일관된 결과와 높은 성능을 제공합니다. MongoDB를 이해하는 개발자라면 누구나 이 필터링 기능을 쉽게 활용할 수 있을 것입니다! 마지막으로, 집계 단계 내에서 결과를 조정하는 두 가지 방법인 "numCandidates" 및 "limit" 매개변수를 소개합니다. 이 매개변수를 사용하면 Approximate Nearest Neighbor 검색 대상이 될 문서 수를 조정한 다음 "limit"로 원하는 결과 수를 제한할 수 있습니다. 에코시스템과는 어떻게 작동하나요? 인공 지능을 중심으로 일어나는 혁신은 믿기 어려울 정도로 늘어나고 있으며, 오픈 소스 커뮤니티도 놀라울 정도로 빠르게 발전하고 있습니다. 오픈 소스 언어 모델은 물론 이를 애플리케이션에 통합할 수 있는 다양한 방법을 통해 엄청난 이점을 얻을 수 있습니다. 인공 지능이 제공하는 원초적인 힘과 함께, 개발자에게 필요한 유연성을 제공하는 기능에 대해 견고한 관념을 갖는 것이 그 어느 때보다 중요해졌습니다. 이에 따라, Vector Search 지원부터 채팅 로깅과 문서 인덱싱에 이르기까지 LangChain 및 LlamaIndex에서 지원되는 여러 기능을 공유할 수 있게 되어 기대가 큽니다. 이러한 상황에 맞게 저희는 발빠르게 대처하고 있으며, 최고의 공급자를 위한 새로운 기능을 지속적으로 출시할 것입니다. 끝맺음 이 모든 것은 이제 시작에 불과하며, MongoDB는 개발자들이 업계 최고의 개발자 데이터 플랫폼으로 차세대 AI 지원 애플리케이션을 개발할 수 있도록 최선을 다하고 있습니다. 또한 더 많은 프레임워크와 플러그인 아키텍처에 노력을 기울일 것입니다. 그렇지만 언제나 그렇듯이, 가장 중요한 것은 개발자입니다. 커뮤니티와 함께 논의하여 개발자들에게 가장 도움이 될 수있는 방법을 찾고, 모든 단계에서 필요한 부분을 충족할 수 있도록 할 것입니다. 망설이지말고 개발하세요! Atlas Vector Search 에 대해 자세히 알아보고 귀사에 적합한 솔루션인지 여부를 확인하려면 설명서, 백서 및 튜토리얼 을 확인하거나 지금 바로 시작하세요 .

June 22, 2023

Atlas Vector Search 上线:借助语义搜索和 AI 针对任何类型的数据构建智能应用

我们欣然宣布,Atlas Vector Search 现已正式上线。Vector Search 现在支持生产工作负载,开发者可以继续构建由语义搜索和生成式人工智能驱动的智能应用,同时通过 Search Node(搜索节点)优化资源消耗并提高性能。 请阅读下面的博客,了解完整的公告及该功能的一系列优势。 这一刻终于到来。人工智能已触手可及。原本只属于企业内部的数据科学和机器学习团队的禁脔,现在已经向世界各地的创造者敞开了大门。但是,要想充分发挥这些新工具的神奇魔力,开发者需要一个可信赖、可灵活组合、优雅精致的数据平台作为基础。同时,我们都清楚,这些新能力的效果好坏取决于它们能够获取的数据或“基本事实”的质量。因此,我们为 MongoDB Atlas 开发者数据平台增加了一项新的功能,让开发者的数据释放出无限可能,助力 AI 应用的发展。今天, MongoDB 隆重推出全新的 Vector Search 功能,它能够适应各种形式的数据需求,让我们的合作伙伴享受这些惊人新功能带来的好处。 查看我们的 AI 资源页面 ,了解有关使用 MongoDB 构建 AI 支持的应用的更多信息。 新功能简介 Vector Search 是一种基于语义或数据含义,而不是基于数据本身来查询数据的功能。这种功能的实现原理是,把任何形式的数据转换成数字向量,再用高级算法进行相互比较。第一步是获取源数据,可以是文本、音频、图像或视频数据源,并使用“编码模型”将其转换为“向量”或“嵌入”。得益于人工智能的最新进展,这些向量现在能够将低维数据投影到包含更多数据上下文的高维空间,从而更准确地理解数据的含义。一旦数据转换成数字表示,就可以使用“近似最近邻”算法查找相似的值,这种算法可以让查询非常快速地找到具有相似向量的数据。用户可以使用自然语言进行查询,例如:“推荐一些悲伤的电影”,或“找一些类似……的图片”。这项功能解锁了全新的可能性。 它与我们的平台有何关系? MongoDB Atlas 已原生内置此功能,开发者无需复制和转换数据,无需学习一些新的计数和语法,也无需管理一整套新的基础设施。借助 MongoDB 的 Atlas Vector Search,这一切都不是必需的,开发者可以在一个经过实战考验的出色平台中利用这些强大的新功能,以前所未有的速度构建应用。有效使用 AI 和 Vector Search 所面临的许多挑战,都源于保证应用数据安全所涉及到的复杂性。这些繁琐的任务会降低开发效率,并让应用的构建、调试和维护变得更加困难。MongoDB 消除了所有这些挑战,同时将 Vector Search 的强大能力整合到平台中,无论面对什么样的工作负载,该平台都能灵活地纵向和横向扩展,轻松应对。最后,如果没有安全性和可用性的保证,这一切都毫无意义。MongoDB 致力于提供安全数据管理解决方案,通过冗余和自动故障转移保证高可用性,让应用始终稳定运行。 MongoDB.local 伦敦见面会发布的新功能 在 .Local 伦敦见面会上,我们很高兴地宣布推出专门的 Vector Search 聚合阶段,它可以通过 $vectorSearch 调用。这个新的聚合阶段引入了一些新概念,增加了新的能力,使得 Vector Search 比以往任何时候都更容易使用。借助 $vectorSearch,开发者还可以通过 MQL 语法使用预过滤器(如 $gte、$eq 等),以在遍历索引时过滤掉一些文档,从而获得一致的结果和更高性能。任何了解 MongoDB 的开发者都能够轻松利用这种过滤功能!最后,我们还介绍了在聚合阶段内部调整结果的两种方法,即“numCandidates”和“limit”参数。通过这些参数,开发者可以调整应该成为近似最近邻搜索候选者的文档数量,然后通过“limit”限制结果数量。 它如何与生态系统交互? 人工智能的发展日新月异,让人叹为观止,而开源社区的突飞猛进也令人赞叹不已。开源语言模型以及将它们集成到应用中的各种方法取得了巨大的进步。人工智能展现出了强大力量,因此,建立一个能够让开发者自由发挥的坚实抽象也变得前所未有地重要。基于这样的考虑,我们非常激动地告诉大家,LangChain 和 LlamaIndex 支持我们的多种功能,包括 Vector Search、聊天日志 (Chat Logging) 和文档索引等。我们正在快速推进,并将继续为主要提供商发布新功能。 总结 一切才刚刚开始,MongoDB 致力于提供优秀的开发者数据平台,助力开发者打造新一代 AI 赋能的应用。我们还会不断研究和支持更多的框架和插件架构。但始终不变的是,这一切的核心都是开发者。我们将与社区交流,找到最合适的服务方式,让开发者在每一步都感到满意。放手去创造吧! 要了解有关 Atlas Vector Search 的更多信息以及它是否适合您,请查看我们的 文档 、 白皮书 和 教程 , 或立即开始使用 。

June 22, 2023

Introducing Atlas Vector Search: Build Intelligent Applications with Semantic Search and AI Over Any Type of Data

This post is also available in: Deutsch , Français , Español , Português , Italiano , 한국어 , 简体中文 . We’re excited to announce Atlas Vector Search now in General Availability. Vector Search now supports production workloads allowing you to continue to build intelligent applications powered by semantic search and generative AI, while optimizing resource consumption and improving performance with Search Nodes. Read the blog below for the full announcement and list of benefits. The moment has finally come. Artificial Intelligence has shifted left. What was once built and often trapped inside enterprise-wide data science and machine learning teams is now readily available to builders everywhere. But to harness the incredible power of these new tools, you need to build on top of a reliable, composable, and elegant data platform. At the same time, as we’ve all seen, these new capabilities are only as good as the data or “ground truth” they have access to. That’s why we’re thrilled to be adding yet another capability to the MongoDB Atlas Developer Data Platform to unlock the full potential of your data and power AI Applications. Today, MongoDB is thrilled to announce our exciting new Vector Search capability designed to meet the demands of data in all forms and allow our partners to harness these incredible new capabilities. Check out our AI resource page to learn more about building AI-powered apps with MongoDB. What is the capability? For those of you unfamiliar, Vector Search is a capability that allows you to query your data based on semantics or the meaning of the data rather than the data itself. This is made possible by being able to represent any form of data numerically as a Vector which can then be compared to one another through sophisticated algorithms. The first step is to take source data whether it be text, audio, image, or video, and convert them into “Vectors” or “Embeddings” using an “encoding model.” With recent advances in Artificial Intelligence, these vectors are now better able to capture the meaning of data by projecting lower dimensional data into a higher dimensional space which contains more context about the data. Once this data has been transformed into these numeric representations you can query to find similar values using an Approximate Nearest Neighbors algorithm which allows your queries to very quickly find data with similar vectors. This enables you to satisfy queries like “give me movies with the feeling of sorrow” or “give me images that look like…”. This capability unlocks a whole new class of capabilities. How does it relate to our platform? With this functionality natively built into MongoDB Atlas you don’t need to copy and transform your data, learn some new stack and syntax, or manage a whole new set of infrastructure. With MongoDB’s Atlas Vector Search none of this is necessary, you can utilize these powerful new capabilities all within a world class and battle tested platform to build applications faster than ever before. Many of the challenges inherent in harnessing AI and Vector Search stem from the complexity involved in safely and securely exposing your application data. These tasks add layers of friction to the developer experience and make your applications harder to build, debug, and maintain. MongoDB erases all of these challenges while bringing the power of Vector Search to a platform that organically scales vertically and horizontally to support any workload you throw at it. Finally, none of this matters without guarantees around security and availability, and MongoDB’s commitment to a secure data management solution along with high availability through redundancy and automatic failover ensure that your application will never miss a beat. New at MongoDB.local London As of .Local London we’re excited to announce the introduction of a dedicated Vector Search aggregation stage that can be invoked via $vectorSearch. This new aggregation stage introduces a few new concepts that add new power and make it easier than ever to utilize Vector Search. With $vectorSearch you can also utilize a pre-filter with MQL syntax (e.g. $gte, $eq, etc…) which filters out documents as you traverse the index leading to consistent results and high performance. Any developer who understands MongoDB will be able to take advantage of this filtering capability with ease! Finally we’re also introducing two ways to tune your results inside the aggregation stage, both a “numCandidates” and “limit” parameter, with these parameters you can tune how many documents should be candidates for the approximate nearest neighbor search and then limit how many results you want with the “limit.” How does it interact with the ecosystem? The amount of innovation happening around Artificial Intelligence is astounding, and it’s amazing to see the advances the Open Source community is quickly making. There are huge gains being made in open source Language Models as well as the various methods they can be integrated into applications. With raw power exposed by Artificial Intelligence, it’s never been more important to have a solid abstraction over the capability to give developers the flexibility they need. With this in mind we are thrilled to share that we have several capabilities supported in LangChain and LlamaIndex, from Vector Search support all the way to Chat Logging and document indexing. We’re moving fast here and will continue to release new functionality for the premier providers. Wrap up With all of this said, things are just getting started, we’re committed at MongoDB to helping developers power the next generation of AI-enabled Applications with the best Developer Data Platform in the market. We’re also going to be looking into more frameworks and plugin architectures that we can support. But as always, the most important part of this equation is you, the developer. We’re going to be talking to the community and finding the ways we can serve you best and ensure we’re meeting your needs every step of the way. Go forth and build! To learn more about Atlas Vector Search and whether it would be the right solution for you, check out our documentation , whitepaper , and tutorials or get started today . Head to the MongoDB.local hub to see where we'll be showing up next.

June 22, 2023

Announcing Atlas Data Federation and Atlas Data Lake

Two years ago, we released the first iteration of Atlas Data Lake . Since then, we’ve helped customers combine data from various storage layers to feed downstream systems. But after years spent studying our customers’ experiences, we realized we hadn’t gone far enough. To truly unleash the genius in all our developers, we needed to add an economical cloud object storage solution with a rich MQL query experience to the world of Atlas. Today, we’re thrilled to announce that our new Atlas Data Federation and Atlas Data Lake offerings do just that. We now offer two complementary services, Atlas Data Federation (our existing query service formerly known as Atlas Data Lake) and our new and improved Atlas Data Lake (a fully managed analytic-oriented storage service). Together, these services (both in preview) provide flexible and versatile options for querying and transforming data across storage services, as well as a MongoDB-native analytic storage solution. With these tools, you can query across multiple clusters, move data into self managed cloud object storage for consumption by downstream services, query a workload-isolated inexpensive copy of cluster data, compare your cluster data across different points in time, and much, much more. In hearing from our customers about their experiences with Atlas Data Lake, we learned where they have struggled, as well as the features they’ve been looking for us to provide. With this in mind, we decided to shift the name of our current query federation service to Atlas Data Federation to better align with how customers see the service and are getting value. We’ve seen many customers benefit from the flexibility of a federated query engine service, including querying data across multiple clusters, databases, and collections, as well as exporting data to third-party systems. We also saw where our customers were struggling with data lakes. We heard them ask for a fully managed storage solution so they could achieve all of their analytic goals within Atlas. Specifically, customers wanted scalable storage that would provide high query performance at a low cost. Our new Data Lake provides a high-performance analytic object storage solution, allowing customers to query historical data with no additional formatting or maintenance work needed on their end. How it works Atlas Data Federation encompasses our existing Data Lake functionality with several new affordances. It continues to deliver the same power that it always has, with increased performance and efficiency. The new Atlas Data Lake will now allow you to create Data Lake pipelines (based on your Atlas Cluster backup schedules) and fields on which you can optimize queries. The service takes the following steps: On the selected schedule, a copy of your collection will be extracted from your Atlas backup with no impact to your cluster. During extraction, we build partition indexes based on the contents of your documents and the fields you’ve selected for optimization. These indexes allow your queries to be optimized by capturing the minimums and maximums (and other stats) of the records in each partition, letting you quickly find the relevant data for your queries. Finally, the underlying data lands in an analytic-oriented format inside of cloud object storage. This minimizes data scanned when you execute a query. Once a pipeline has run and a Data Lake dataset has been created, you can select it as a data source in our new Data Federation query experience. You can either set it as the source for a specific virtual collection in a Federated Database Instance or you can have your Federated Database Instance generate a collection name for each dataset that your pipeline has created. Amazingly, no part of this process will consume compute resources from your cluster — neither the export nor the querying of datasets. These datasets provide workload isolation and consistency for long-running analytic queries, a target for ETL jobs using the powerful $out to S3. This makes it easy to compare the state of your data over time. Advanced though this is, it’s only the beginning of the story. We’re committing to evolving the service, improving performance, adding more sources of data, and building new features. All of this will be based on the feedback you, the user, gives us. We can’t wait to see how you’ll use this powerful new tool and can’t wait to hear what you’d like to see next. Try Atlas Data Lake Today

June 7, 2022

Turning MongoDB into a Predictive Database

Note: this blog, originally published November 10, 2021, has been updated with new installation and connection instructions to connect your MongoDB instance to MindsDB’s machine learning platform, and with new examples and use cases There’s a growing interest in artificial intelligence (AI) and machine learning (ML) in the business world. The predictive capabilities of ML/AI enable rapid insights from patterns detected at rates faster than manual analysis. Additionally, recent advances in generative machine learning applications, such as OpenAI and Hugging Face, offer powerful tools for businesses to generate and analyze text data. Businesses realize that this can lead to increased profits, reduced costs, and accelerated innovation. Although businesses both large and small can benefit from the power of AI, implementing a machine learning project can be both complex and time-consuming. MongoDB , Inc. (NASDAQ: MDB), the leading, modern general purpose database platform, and MindsDB , the open-source machine learning platform that brings automated machine learning to the database, established a technology partnership to advance machine learning innovation. This collaboration aims to make it easy for developers to incorporate powerful ML-driven features into their applications to solve real-world business challenges. What is the best approach? Once you have identified the initial ML projects you’d like to focus on, such as forecasting or text analysis, choosing the right tools and methodologies can help speed up the time it takes to build, train, optimize and deploy models. Model selection and feature engineering can be time consuming and difficult if you aren’t aware of the specific dimensions the ML model is going to train on. Additionally, pipelines used for data extraction and transformation need to be maintained over time, and a machine learning model also needs to be deployed on the right compute framework. Existing state-of-the-art AutoML frameworks provide methods to optimize performance including adjusting hyper parameters (such as the learning rate or batch size). The MindsDB AutoML framework extends beyond most conventional automated systems of hyper parameter tuning and enables novel upstream automation of data cleaning, data pre-processing, and feature engineering. To empower users with transparent development, the framework encompasses explainability tools, enables processing for complex data types (NLP, time series, language modeling, and anomaly detection), and gives users customizability by allowing imported models of their choice. MindsDB also generates predictions at the data layer (without consuming DB resources)—an additional, significant advancement that accelerates development speed. Generating predictions directly in MongoDB Atlas with MindsDB AI Collections gives you the ability to consume predictions as regular data, query these predictions, and accelerate development speed by simplifying deployment work-flows. Getting started with MindsDB We suggest starting with either MindsDB in AWS or http://cloud.mindsdb.com for a demo cloud version of MindsDB. For anything beyond small scale testing (2 models, a few thousand documents) we strongly suggest using MindsDB Pro (easy to set up, simple, usage-based ‘pay as you go pricing’). Check out the product page on AWS Marketplace for instructions on setting up MindsDB in your existing AWS account. For all documentation and FAQs, please visit https://docs.mindsdb.com/ . Setting up the connection to MindsDB in MongoDB Currently, integration works by accessing MongoDB through MindsDB’s MongoDB API as a new data source. More information about connecting to MongoDB can be found here . MindsDB hosts a demo MongoDB database with sample data sets. Use the MongoDB Shell or MongoDB Compass UX to connect to MindsDB’s MongoDB API. Please note that you must have MongoDB shell version ≥3.6 to use the MindsDB MongoDB API. MongoDB Compass connection To connect to MindsDB Demo database use the following connection string (as below in the MongoDB Compass UX): mongodb+srv://admin:201287aA@cluster0.myfdu.mongodb.net/admin?authSource=admin&replicaSet=atlas-5koz1i-shard-0&readPreference=primary&appname=MongoDB%20Compass&ssl=true If you would prefer to follow along with this tutorial from your own database, feel free to use your own connection string, and upload an example dataset where you can run a number of test cases house_sales.csv. If you use your own MongoDB instance, you will need to follow two additional steps: Step 1: Once you have created a MindsDB acc’t then connect your MongoDB instance to MindsDB (cloud or AWS) using your own connection string in the MindsDB editor (Here is the link for MindsDB Cloud Editor: https://cloud.mindsdb.com/editor ) Run the query below in the MindsDB editor: db.databases.insertOne({ name: "mongo_int", engine: "mongodb", connection_args: { "port": 27017, "host": "mongodb+srv://admin:@localhost", "database": "test_data" } }); On execution, we get: { "acknowledged" : true, "insertedId" : ObjectId("62dff63c6cc2fa93e1d7f12c") } Where: Step 2: Connect your MongoDB Compass or Shell to your MongoDB and; create a new Collection, and add the .csv file, as below: Create collection > Add data > Select data types Data types: [Date, Number, String, Number] Now, we have successfully integrated with the MongoDB database. The next step is to use MongoDB-client to connect to MindsDB’s MongoDB API and train models. MindsDB has a number of prepared demo use cases and data sets, including predicting home rental prices, forecasting quarterly house sales and predicting customer sentiment through language analysis of product review text using our Hugging Face integration. Many examples for Mongo, with code, can be found in the links below: https://docs.mindsdb.com/using-mongo-api/nlp https://docs.mindsdb.com/using-mongo-api/classification https://docs.mindsdb.com/using-mongo-api/regression https://docs.mindsdb.com/nlp/sentiment-analysis-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/question-answering-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/text-summarization-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/json-from-text#example-in-mql For a powerful, showcase example, we will demonstrate a unique feature that is recently available using MindsDB’s integration with OpenAI’s GPT-3 language model. MindsDB can be used to generate JSON documents from unstructured text in the DB. For example, as below, MindsDB can create JSON documents with relevant information on properties for rent (days on market, number of bathrooms, price, rating) based on natural language descriptions from real-estate listings. Please follow the guide above, or check out our docs on how to connect MongoDB Compass and MongoDB Shell to MindsDB. To create this model in MQL, run the below command from MongoDB Compass or MongoDB Shell: db.models.insertOne({ name: 'nlp_model', predict: 'json', training_options: { engine: 'openai', input_text: 'sentence', json_struct: { 'rental_price': 'rental price', 'location': 'location', 'nob': 'number of bathrooms' } } }) We pass the same three parameters here. The engine parameter ensures we use the OpenAI engine. The json_struct parameter stores a predefined JSON structure used for the output. The input_text parameter contains the name of the field that stores input text. Now we can query the model, passing the input text stored in the sentence field. db.nlp_model.find({ 'sentence': 'Amazing 3 bedroom apartment located at the heart of Manhattan, has one full bathrooms and one toilet room for just 3000 a month.' }) On execution, we get: { json: { rental_price: '3000', location: 'Manhattan', nob: '1' }, sentence: 'Amazing 3 bedroom apartment located at the heart of Manhattan, has one full bathrooms and one toilet room for just 3000 a month.' This tutorial highlights the steps to create an NLP model to generate JSON output from unstructured text inside MongoDB by leveraging MindsDB’s MongoDB connector and automation capabilities. Using the existing compute configuration, the example above took less than five minutes, without the need for extensive tooling, or pipelines in addition to your database. With MindsDB’s machine learning capabilities inside MongoDB, developers can now build machine learning models at reduced cost, gain greater insight into model accuracy, and help users make better data-based decisions. Modernize with MongoDB and MindsDB MongoDB provides an intuitive process for data management and exploration by simplifying and enriching data. MindsDB helps turn data into intelligent insights by simplifying modernization into machine learning, AI, and the ongoing spectrum of data science. Try MindsDB to connect to MongoDB, train models, and run predictions in the cloud! Simply install MindsDB from Amazon Marketplace and our team is available on Slack and Github for feedback and support. Check it out and feel free to ask questions, share use case examples!

November 10, 2021

将 MongoDB 转变为预测数据库

注意:本博客最初发布于 2021 年 11 月 10 日,现已更新,提供了新的安装和连接说明,用于指导将 MongoDB 实例连接到 MindsDB 的机器学习平台,并提供了新的示例和用例 商界对人工智能 (AI) 和机器学习 (ML) 的兴趣日益浓厚。ML/AI 的预测功能能够以比人工分析更快的速度从检测到的模式中快速获得见解。此外,生成式机器学习应用程序(如 OpenAI 和 Hugging Face)的最新进展为企业提供了强大工具以用于生成和分析文本的数据。企业意识到这样可以提高利润、降低成本并加快创新。尽管各种规模的企业都可以受益于强大的 AI,但实施机器学习项目既复杂又耗时。 MongoDB , Inc. (NASDAQ: MDB) 是领先的现代通用数据库平台, MindsDB 是将自动化机器学习引入数据库的开源机器学习平台,两者建立了技术合作伙伴关系,以推进机器学习创新。此次合作旨在让开发者能够轻松地将强大的机器学习驱动型功能整合到他们的应用程序中,以解决现实世界的业务挑战。 最好的方法是什么? 一旦确定了要重点实施的初始机器学习项目(如预测或文本分析)后,选择合适的工具和方法有助于缩短构建、训练、优化和部署模型所需的时间。如果您不确定机器学习模型将要在哪些维度上进行训练,模型的选择和特征工程可能会非常耗时且困难。此外,用于数据提取和转换的管道需要随着时间进行维护,机器学习模型也需要部署在合适的计算框架之上。 现有的顶尖 AutoML 框架提供了优化性能的方法,包括调整超参数(如学习率或批量大小)。MindsDB AutoML 框架超越了大多数传统的超参数调整自动化系统,实现了数据清理、数据预处理和特征工程的新颖上游自动化。为助力用户进行透明开发,该框架包含可解释性工具,支持处理复杂的数据类型(NLP、时间序列、语言建模和异常检测),并通过允许用户使用导入的选定模型让用户可以进行自定义设置。 此外,MindsDB 还可以在数据层生成预测(不消耗数据库资源),这是加快开发速度的另一个重大进步。通过使用 MindsDB AI 集合直接在 MongoDB Atlas 中生成预测,这样您就能够将预测用作常规数据,查询这些预测,并通过简化部署工作流程来加快开发速度。 开始使用 MindsDB 我们建议从 AWS 中的 MindsDB 开始使用或访问 http://cloud.mindsdb.com 以获取 MindsDB 的演示云版本。对于小规模测试(2 个模型,数千个文档)之外的任何测试,强烈建议使用 MindsDB Pro (易于设置、简单、基于使用量的“即用即付”定价)。查看 AWS Marketplace 上的产品页面,了解有关如何在现有 AWS 帐户中设置 MindsDB 的说明。 有关所有文档和常见问题解答,请访问 https://docs.mindsdb.com/ 。 在 MongoDB 中设置与 MindsDB 的连接 目前,集成是通过 MindsDB 的 MongoDB API 访问作为新数据源的 MongoDB 来实现的。可在此处找到有关连接到 MongoDB 的更多信息。MindsDB 会托管包含示例数据集的演示 MongoDB 数据库。 使用 MongoDB Shell 或 MongoDB Compass UX 连接到 MindsDB 的 MongoDB API。 请注意,您必须装有 MongoDB Shell 版本 3.6 或更高版本才能使用 MindsDB MongoDB API。 MongoDB Compass 连接 要连接到 MindsDB 演示数据库,请使用以下连接字符串(如 MongoDB Compass UX 中的以下内容所示): mongodb+srv://admin:201287aA@cluster0.myfdu.mongodb.net/admin?authSource=admin&replicaSet=atlas-5koz1i-shard-0&readPreference=primary&appname=MongoDB%20Compass&ssl=true 如果您想使用自己的数据库学习本教程,请随意使用自己的连接字符串,并上传可以在其中运行许多测试用例 house_sales.csv 的示例数据集。 如果您使用自己的 MongoDB 实例,您将需要执行两个额外步骤: 步骤 1:创建 MindsDB 帐户后,使用 MindsDB 编辑器中的连接字符串将 MongoDB 实例连接到 MindsDB(云或 AWS)(MindsDB 云编辑器的链接如下: https://cloud.mindsdb.com/editor ) 在 MindsDB 编辑器中运行以下查询: db.databases.insertOne({ name: "mongo_int", engine: "mongodb", connection_args: { "port": 27017, "host": "mongodb+srv://admin:@localhost", "database": "test_data" } }); 执行后,输出如下: { "acknowledged" : true, "insertedId" : ObjectId("62dff63c6cc2fa93e1d7f12c") } 其中: 步骤 2:将 MongoDB Compass 或 Shell 连接到 MongoDB;创建一个新集合,然后添加 .csv 文件,如下所示 创建集合 > 添加数据 > 选择数据类型 数据类型:[日期、数字、字符串、数字] 现在,我们已经成功与 MongoDB 数据库集成。下一步是使用 MongoDB 客户端连接到 MindsDB 的 MongoDB API 并训练模型。MindsDB 拥有许多准备好的演示用例和数据集,包括预测房屋租赁价格、预测季度房屋销量以及通过使用我们的 Hugging Face 集成对产品评价文本进行语言分析来预测客户情感。在下面的链接中可以找到 Mongo 的许多示例和代码: https://docs.mindsdb.com/using-mongo-api/nlp https://docs.mindsdb.com/using-mongo-api/classification https://docs.mindsdb.com/using-mongo-api/regression https://docs.mindsdb.com/nlp/sentiment-analysis-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/question-answering-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/text-summarization-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/json-from-text#example-in-mql 作为示例,我们将展示一项独特的强大功能,该功能是最近通过使用 MindsDB 与 OpenAI 的 GPT-3 语言模型的集成而提供的。MindsDB 可用于根据数据库中的非结构化文本生成 JSON 文档。例如,如下所示,MindsDB 可以根据房地产清单的自然语言描述,创建包含有关出租物业相关信息(租赁天数、浴室数量、价格、评价)的 JSON 文档。 请按照上面的指南进行操作,或者查看我们的文档,了解如何将 MongoDB Compass 和 MongoDB Shell 连接到 MindsDB。 要在 MQL 中创建此模型,请从 MongoDB Compass 或 MongoDB Shell 运行以下命令: db.models.insertOne({ name: 'nlp_model', predict: 'json', training_options: { engine: 'openai', input_text: 'sentence', json_struct: { 'rental_price': 'rental price', 'location': 'location', 'nob': 'number of bathrooms' } } }) 我们在此处传递了相同的三个参数。 engine 参数可确保我们使用的是 OpenAI 引擎。 json_struct 参数可存储用于输出的预定义 JSON 结构。 input_text 参数包含存储输入文本的字段的名称。 现在我们可以查询相应模型,以传递存储在句子字段中的输入文本。 db.nlp_model.find({ 'sentence': 'Amazing 3 bedroom apartment located at the heart of Manhattan, has one full bathrooms and one toilet room for just 3000 a month.' }) 执行后,输出如下: { json: { rental_price: '3000', location: 'Manhattan', nob: '1' }, sentence: 'Amazing 3 bedroom apartment located at the heart of Manhattan, has one full bathrooms and one toilet room for just 3000 a month.' 本教程重点介绍了通过使用 MindsDB 的 MongoDB 连接器和自动化功能,在 MongoDB 中创建 NLP 模型以根据非结构化文本生成 JSON 输出的步骤。使用现有的计算配置,上述示例花费了不到五分钟,除了数据库之外不需要使用大量的工具或管道。借助 MongoDB 中 MindsDB 的机器学习功能,开发者现在能够以更低的成本构建机器学习模型,更深入地了解模型准确性,并帮助用户制定更明智且基于数据的决策。 使用 MongoDB 和 MindsDB 实现现代化 通过简化和丰富数据,MongoDB 为数据管理和探索提供了直观的流程。通过简化机器学习、AI 和正在持续发展的数据科学领域的现代化过程,MindsDB 可帮助将数据转化为智能见解。 尝试使用 MindsDB 连接到 MongoDB,训练模型并在云中运行预测!只需从 Amazon Marketplace 安装 MindsDB,即可在 Slack 和 Github 上联系我们的团队以提供反馈和寻求支持。 请查看并随时提问,分享用例示例!

November 1, 2021

將 MongoDB 化身為預測性資料庫

注意:這篇文章是在 2021 年 11 月10 日發布,部分內容已經更新,包含將 MongoDB 實例連結至 MindsDB 機器學習平台的安裝及連結指南,還有一些新的範例及用例。 現在越來越多人好奇如何將人工智慧(AI)及機器學習(ML)應用在商業世界,ML/AI 的預測能力比人工分析可以更快偵測邏輯,從中快速找到洞見。此外,近期生成式機器學習應用程式的快速成長,像是 OpenAI 和 Hugging Face,為公司提供強大工具,生成並分析文本資料,讓他們感受到這項技術可以提升營收、降低成本和加速創新。雖然不管公司的規模大小,都能受惠於 AI,但實際應用機器學習的流程可能是費時又複雜。 位處領導地位的 MongoDB , Inc. (NASDAQ: MDB) 是滿足各式目的的現代資料庫平台,與將自動化機器學習導入資料庫中的開源機器學習平台 MindsDB 成為技術夥伴,攜手促進機器學習創新更上一層樓。這項合作目標是要讓開發人員可以更輕鬆地將 ML 導向的功能帶入應用程式中,同時實際解決業務上帶來的挑戰。 最適合的方法是什麼? 第一步需要先找出你想要重點發展的 ML 專案,像是預測或是文本分析,接著要選擇適合的工具及方法,就能加速建立、訓練、最佳化和部署模型的時間。如果你沒注意到需要訓練的 ML 模型維度,可能會在模型選擇和特徵工程上造成困難並耗上許多時間。此外隨著時間過去,用來資料萃取和轉換的管道會需要進行維護,而機器學習模型也需要部署在正確的運算框架。 目前最先進的 AutoML 框架提供最佳化效能的方法,包括調整超參數,像是學習速率和批次大小。 MindsDB AutoML 框架超越最先進的超參數調整自動化系統,提供資料清洗、資料前處理和特徵工程的新興上游自動化方法。為了讓使用者的開發流程更透明,框架提供了可解釋工具,可以處理複雜的資料類型,包含NLP、時間序列、語言模型和異常偵測,並讓使用者自己選擇要輸入的模型,給予客製化的空間。 MindsDB 也能在資料層生成預測,不需要使用 DB 的資源,是另一項幫助加速研發速度的重大變革。透過 MindsDB AI 集合,直接在 MongoDB Atlas 生成預測,可以把預測當做一般資料使用和查詢,透過簡化部署工作流程,加速研發速度。 馬上開始使用 MindsDB 可以馬上使用 AWS 上的 MindsDB 或是上 http://cloud.mindsdb.com 取得 MindsDB 的雲端示範版本。若有比小規模測試版本(兩個模型及上千種文件)更大的需求,歡迎使用安裝容易、簡潔易懂、以使用容量計價的 MindsDB Pro 。造訪我們在 AWS Marketplace 的商品頁面,了解如何在你原有的 AWS 帳號設定 MindsDB。 歡迎造訪 https://docs.mindsdb.com/ ,取得所有文件以及常見 Q&A。 如何在 MongoDB 上設定連結至 MindsDB 目前整合的方式是以 MindsDB 的 MongoDB API 作為新資料來源,存取 MongoDB。可到這個 頁面 ,進一步了解如何連結 MongoDB。MindsDB 提供了附上簡單資料集的 MongoDB 資料庫示範。 可以使用 MongoDB Shell 或是 MongoDB Compass 的使用者介面連結 MindsDB 的 MongoDB API。你的 MongoDB shell 的版本必須是或高於版本 3.6,才能使用 MindsDB MongoDB API。 MongoDB Compass 的連結方法 可以用以下連結字串,連結 MindsDB 的示範資料庫 ,圖示為 MongoDB Compass 使用者介面會看到的畫面: 如果你想要在你自己的資料庫跟著這份教學的話,歡迎使用你自己的連結字串,並上傳範例資料集,執行一系列的測試案例 house_sales.csv。 如果你用的是自己的 MongoDB 實例,還需要多兩個額外的步驟: 步驟一:創建 MindsDB 帳號之後,就能使用你在 MindsDB 編輯器中的連結字串,把 MongoDB 實例連接至雲端或 AWS 的 MindsDB。(MindsDB 雲端編輯器的連結: https://cloud.mindsdb.com/editor ) 在 MindsDB 編輯器中運行查詢的畫面: db.databases.insertOne({ name: "mongo_int", engine: "mongodb", connection_args: { "port": 27017, "host": "mongodb+srv://admin:@localhost", "database": "test_data" } }); 運行之後會得到: { "acknowledged" : true, "insertedId" : ObjectId("62dff63c6cc2fa93e1d7f12c") } 欄位解釋: 步驟二:將你的 MongoDB Compass 或 Shell,連結至 MongoDB,並創建一個新的集合,加入 .csv 檔案,如下: 創建集合>加入資料>選擇資料類型 資料類型:[日期, 數字, 字串, 數字] 這樣就成功整合了 MongoDB 資料庫。下一步使用 MongoDB 用戶端來連結 MindsDB 的 MongoDB API 並訓練模型。MindsDB 擁有大量準備好的範本用例和資料集,包含租屋價格和季度房屋銷售預測,應用我們的 Hugging Face 整合,針對產品評論進行語言分析,預測客戶情感。 多個包含編碼的 MongoDB 案例,都可以在以下連接取得: https://docs.mindsdb.com/using-mongo-api/nlp https://docs.mindsdb.com/using-mongo-api/classification https://docs.mindsdb.com/using-mongo-api/regression https://docs.mindsdb.com/nlp/sentiment-analysis-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/question-answering-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/text-summarization-inside-mongodb-with-openai https://docs.mindsdb.com/nlp/json-from-text#example-in-mql 另外我們也用最近 MindsDB 與 OpenAI 的 GPT-3 整合的語言模型提供的獨特功能,作為更強大的示範案例。MindsDB 可以用來將 DB 中非結構化資料,生成 JSON 文件。如下面所示,MindsDB 可以創建 JSON 文件,包含從房地產清單中的自然語言描述所取得的租屋物件相關資訊,像是在空租期、廁所數量、價格、評分。 請跟著以下教學,或是閱讀關於如何把 MongoDB Compass 和 MongoDB Shell 連結至 MindsDB的文件。 想在 MQL 中創建此模型,請運行以下來自 MongoDB Compass 或 MongoDB Shell 的指令: db.models.insertOne({ name: 'nlp_model', predict: 'json', training_options: { engine: 'openai', input_text: 'sentence', json_struct: { 'rental_price': 'rental price', 'location': 'location', 'nob': 'number of bathrooms' } } }) 這時傳送三個相同的參數。 參數確保我們使用 OpenAI 引擎 參數儲存用於輸出結果的預先定義 JSON 結構 參數包含儲存輸入文本欄位的名稱 接下來就可以查詢模型,傳送儲存在句子欄位的輸入文本。 db.nlp_model.find({ 'sentence': 'Amazing 3 bedroom apartment located at the heart of Manhattan, has one full bathrooms and one toilet room for just 3000 a month.' }) 運行之後會得到: { json: { rental_price: '3000', location: 'Manhattan', nob: '1' }, sentence: 'Amazing 3 bedroom apartment located at the heart of Manhattan, has one full bathrooms and one toilet room for just 3000 a month.' 這份教學強調創建 NLP 模型的步驟,透過應用 MindsDB 的 MongoDB 連接器和自動化能力,從 MongoDB 中非結構化文本中生成 JSON 輸出。應用現有的運算配置,上面列出的例子不需要大量的工具,就能在不到五分鐘的時間完成。有了 MongoDB 裡面的 MindsDB 的機器學習能力,開發人員就能以較低的成本建立機器學習模型,讓模型精準度變得更高,幫助使用者做出更好的資料導向決策。 透過 MongoDB 和 MindsDB 現代化 MongoDB 透過簡化及擴充資料,提供直覺的資料管理及探索流程。MindsDB 透過簡化將現代化帶入機器學習、AI 和其餘各範圍的資料科學,協助將資料轉化為智慧洞見。 馬上將 MindsDB 連結至 MongoDB,訓練模型並在雲端上運行預測。只要從 Amazon Marketplace 安裝 MindsDB,我們的團隊也都在 Slack 和 Github ,提供回饋和服務支援。馬上就開始,歡迎問問題跟我們分享範例用例!

November 1, 2021