EASY: crie aplicativos de AI generativa
Avalie esse Vídeo
00:00:00Introdução à Quarto
- Deuscusses the progresseuon of eundustreual revoluteuons, culmeunateung eun the current era of arteufeuceual euntelleugence.00:00:26a expansão da AI generativa e do chatGPT
- Talks about the seugneufeucance of generateuve Aeu and the exploseuve growth of ChatGPT.00:01:37Aproveite os LLMs com o MongoDB
- euntroduces the concept of leverageung LLMs on preuvate data useung MongoDB and Atlas Vector Search.00:02:02Construindo um Aplicativo de Pesquisa Semântica do Atlas
- Descreubes the process of bueuldeung an appleucateuon for semanteuc moveue searches useung natural language.00:03:06Noções básicas sobre incorporações vetoriais
- Explaeuns what vector embeddeungs are and how they capture semanteuc eunformateuon.00:04:16Vector Atlas Search explicado
- Defeunes vector search and euts role eun feundeung semanteucally seumeular objects.00:06:38Recursos do Atlas Vector Search
- Heughleughts the features of Atlas Vector Search and euts euntegrateuon weuth MongoDB.00:08:11Tutorial: Usando um conjunto de dados de filme
- Begeuns the tutoreual useung a moveue dataset and deuscusses the necessary tools and accounts.00:10:53Criar e armazenar incorporações de vetor
- Demonstrates how to create vector embeddeungs and store them eun the MongoDB database.00:12:56Consulta com o índice Vector Atlas Search
- Shows how to create a vector search eundex eun MongoDB Atlas and query data useung eut.00:15:08Conclusão e próximas etapas
- Summareuzes the tutoreual, encourages veuewers to leuke and subscreube, and proveudes next steps for MongoDB content.O foco principal do vídeo é demonstrar como usar o MongoDB e o Atlas Vector Search para construir aplicativos transformativos movidos a IA que podem realizar pesquisas semânticas usando queries de linguagem natural.
} Pontos-chave
- O vídeo discute a AI AI.
- Ele destaca o rápido crescimento do chatGPT e a tecnologia subjacente de grandes modelos de linguagem (LLMs).
- O tutorial mostra como usar o MongoDB e o Atlas Vector Search para construir aplicativos baseados em IA.
- Ele fornece um guia passo a passo sobre como criar incorporações vetoriais e configurar o Atlas Search semântica.
- O vídeo enfatiza a facilidade de integração de modelos de machine learning com a plataforma de dados do MongoDB.
Links relacionados
Transcrição completa do vídeo
você já ouviu falar da quartaRevoluçãoInstrutorial a primeira foi mecânica a segunda foi a produção em massa a terceira foi a automação e a quarta estamos no meio dela é a inteligência artificial nossa forma de trabalhar e isso está ocorrendo agora mesmo, enquanto a AI e sua aplicação em empresas não são novas AI generativa recente se tornou um tópico popular em todo o mundo com o sucesso do chat gbt, o popular bot de chat da openai, que atingiu 100 milhões de usuários mensais ativos em apenas dois meses se tornando o aplicativo de consumidor que mais cresce o mais próximo disso foi o Tick Tock e levou nove meses, o que ainda é muito rápido então o que alimenta o chat GPT modelos de linguagem grande llms neste vídeo vamos falar sobre como você pode aproveitar o O poder dos llms em seus dados privados para criar aplicativos transformados em AI usando MongoDB e Atlas Vector Atlas Search também vamos percorrer um exemplo de criação de um aplicativo que usa o Atlas Search semântica de modelos de aprendizado de máquina e vetores do Atlas Pesquisa do Atlas para encontrar filmes usando queries de linguagem natural por exemplo, para encontrar filmes cômicos com caracteres principais que não são humanos que envolveriam a realização de uma Atlas Search semântica que entende o significado e a intenção por trás do query para recuperar recomendações de filmes relevantes e não apenas as palavras-chave presentes no conjunto de dados usando Vector embeddings, você pode aproveitar o poder das llms para seu caso de uso como o Atlas Search semântica detecção de anomalias do sistema de recomendações ou um bot de chat de suporte ao cliente, todos baseados em Seus próprios dados agora para fazer isso, primeiro precisamos entender o que são incorporações vetoriais bem um vetor é uma lista de números de ponto flutuante que representam um ponto em um espaço de incorporação in-dimensional e que captura informações semânticas sobre o texto que representa por exemplo um a incorporação da string MongoDB é demais usando um modelo de llm de código aberto chamado all mini LM l6v2 consistiria em 384 números de ponto flutuante e teria a seguinte aparência agora, mais tarde neste tutorial, vamos abordar as etapas para obter incorporações vetoriais como esta, então agora sabemos o que é vetor é e incorporações vetoriais bem o que é o Vector Atlas Search O Vector Atlas Search é um recurso que permite encontrar objetos relacionados que tenham uma similaridade semântica, o que significa procurar dados com base no significado, em vez das palavras-chave presentes no conjunto de dados. modelos de aprendizado de máquina para transformar dados não estruturados, como imagens de texto, áudio e outros tipos de dados em locais de representação numérica chamados incorporações vetoriais e estes capturam a intenção e o significado dos dados e, em seguida, encontram conteúdo relacionado comparando as distâncias entre esses incorporações vetoriais agora o o método mais comumente usado para encontrar a distância entre esses vetores envolve o cálculo da similaridade do cosseno entre dois vetores, mas isso soa muito complicado ted para o meu Céreber para compreender, então eu só preciso de algo que possa fazer isso pormim para que eu não tenha que pensar sobre isso e é aqui que o Atlas Vector Atlas Search entra O Atlas Vector Atlas Search é um serviço totalmente gerenciado que simplifica o processo de indexação eficaz Dados de vetor de alta dimensão no MongoDB e a capacidade de realizar pesquisas rápidas de similaridade com o Atlas Vector Atlas Search você pode usar o MongoDB como um banco de dados vetorial autônomo para um novo projeto ou aumentar suas coleções existentes do MongoDB com a funcionalidade Vector Atlas Search uma única solução que pode lidar com seus dados de aplicativos operacionais e dados vetoriais elimina as complexidades do uso de um sistema independente apenas para a funcionalidade Vector Atlas Search, como transferência de dados e sobrecarga de gerenciamento de infraestrutura com o Atlas Vector Atlas Search você pode usar a poderosa recursos do vetor Atlas Search em qualquer nuvem pública principal, como Amazon Web Services Azure GCP e Ach Além disso, vamos usar um conjunto de dados de filme contendo mais de 23 000 documentos no MongoDB e usaremos o conjunto de6v2 modelo de Abraçando Face para gerar as incorporações de vetor durante o tempo de índice bem como o tempo de consulta , mas você pode aplicar os mesmos conceitos usando um conjunto de dados e modelo de sua própria escolha também será necessário uma conta MongoDB Atlas e um face de Abraços conta para uma experiência prática quando estamos analisando um banco de dados de filmes ele pode conter vários tipos de conteúdo, como a descrição do filme gênero da trama atores usuários comentários pôsteres de filmes Etc e todos eles podem ser facilmente convertidos em incorporações vetoriais agora, de maneira semelhante, a query do usuário também pode ser convertida em uma incorporação vetorial e, em seguida, o vetor Atlas Search pode encontrar os resultados mais relevantes encontrando os vizinhos mais próximos no espaço de incorporação agora, para a primeira etapa, precisaremos configurar e conecte-se ao nosso MongoDB instância, se você ainda não tiver uma conta do MongoDB Atlas, ela é totalmente gratuita há um link na descrição do vídeo abaixo e se precisar de ajuda para configurar e executar seu primeiro cluster há um ótimo vídeo aqui que pode orientá-lo sobre isso agora para Neste tutorial, usaremos um de nossos conjuntos de dados de exemplo o banco de dados inflix de sublinhado de exemplo que contém uma coleção de filmes em que cada documento contém campos como título, plot, gênero, diretores de elenco Etc. e vamos usar node.js, mas se você tivesse antes de ver exemplos em Python há uma versão escrita deste tutorial Vinculado Na descrição do vídeo que usa Python tudo bem, então temos um diretório vazio aqui e vamos inicializar um novo projeto, então npm init Dash y para aceitar todos os padrões agora temos nosso pacote JSON e também npm instalamos o MongoDB agora criei um arquivo JavaScript principal que vamos exigir o MongoDB também vamos usar o EnV para usar variáveis de ambiente mas caso você esteja usando uma versão mais antiga do node.js, ainda precisará usar o pacote EMV e, na verdade, deixei de instalá-lo, então vamos fazer o npm install.env e depois obter nosso URI, que é vai ser nossa connection string do MongoDB agora para obter sua connection string no Atlas . Basta Go ao seu banco de dados e clicar em conectar e, em drivers, estamos usando node.js e essa seria minha connection string que você precisará copiar a sua porque o seu será exclusivo para você, então copiarei isso de volta para o VS Code vamos criar um arquivo EnV para nomear essa connection string do MongoDB e depois colar minha connection string Também precisarei inserir minha senha aqui para que eu fará isso e salvará em seguida. Criaremos nosso cliente criando um novo cliente [ __ ] e usando nosso URI e, em seguida, nossa função principal vai apenas testar para garantir que nossa conexão esteja funcionando, então é uma função assíncrona vamos aguardar a conexão do cliente e, em seguida, vamos aguardar um comando de administração chamado ping um e se isso for bem-sucedido, devemos ver se nos conectamos com sucesso ao MongoDB, depois disso, fecharemos nossa conexão e depois vamos apenas chamar isso e usar catch e consultur se houver um erro, então vamos salvar isso Go em nosso terminal e vamos executar o nó Principal e lá Go nós, nos conectamos com sucesso ao MongoDB, então para a etapa dois, precisamos configurar a função de criação de incorporação e há muitas opções para criar incorporações, como chamar uma API gerenciada que hospeda seu próprio modelo ou fazer com que o modelo seja executado localmente neste exemplo vamos usar a API de inferência de face que envolve um face e sdks, então se você ainda não tiver uma conta Go para hanggingface.co crie uma nova conta e você precisará recuperar seu token de acesso para que você possa fazer isso vá até o topo direito clique em um vatar e, em seguida, Go para configurações em configurações Go para acessar tokens e, em seguida, crie um novo token dê um nome e verifique se ele tem a função de leitura certifique-se de nunca compartilhar esse token com alguém e também não o confirme no Github isso é por que vamos usar variáveis de ambiente, então copie isso e vamos adicioná-lo ao nosso arquivo EnV? Go em frente e cole o meu aqui, salve isso e então voltaremos ao nosso arquivo Go JavaScript principal, Go adicionar a este arquivo e vamos usar o eixo, então em frente e npm instalar axios e então adicionaremos nossos axios exigem que obteremos nosso token de fase de Abraço de nosso arquivo EnV e, em seguida, criaremos nossa URL de incorporação para isso, vamos referenciar todo o modelo mini LM l6v2 de Face de Abraço e então aqui está nossa função de geração de incorporação, será uma função assíncrona e aceitará algum texto, então criaremos nosso resposta que aguardará axios.post vamos incluir nosso URL de incorporação que nossa entrada será nosso texto que é passado para nossa função e, em seguida, em nossos cabeçalhos de autorização, vamos passar nosso token de base de apoio se o status resposta que obtemos de volta não é um 200 então vamos lançar um erro, caso contrário, vamos apenas agora mesmo console registrar o response.data e, é claro, temos uma tentativa de capturar qualquer outro erro e, em seguida, para executar isso, nós executaremos gerar incorporação e passaremos no texto MongoDB é demais uma última coisa na parte inferior, vamos apenas Go em frente e comente nossa função principal, só vamos executar a função de geração de incorporação agora mesmo só para testá-la e verifique se está funcionando, então vamos salvar isso Go ao nosso terminal e execute o nó principal novamente e pronto, nossas incorporações vetoriais para o MongoDB são incríveis agora, se você não está familiarizado com o face, a API de inferência é gratuita para começar e foi criado para criação rápida de protótipos, mas tem s limites de taxa de transferência então se você estiver lidando com muitos dados você pode considerar a configuração de um endpoint de inferência de face de Abraço pago que vai criar um sistema privado do modelo para você para a etapa três que vamos criar e armazenar incorporações, então vamos colocar tudo isso junto e executar uma operação para criar uma incorporação de vetor para os dados no campo de traçado de nossa coleção de documentos de filme e vamos armazenar essas incorporações em nosso banco de dados agora, como dissemos antes de criar incorporações de vetor usando um modelo de aprendizado de máquina é necessário para executar uma Atlas Search de similaridade com base na intenção, então vamos criar essa função então, de volta ao nosso arquivo JavaScript principal, vamos continuar a iterar sobre isso em nossa função de geração de incorporação em vez de registro do console os dados de resposta que precisamos na verdade, devolva os dados de resposta, então vamos fazer essa alteração e, em seguida, não vamos chamar a função aqui, então vamos excluí-la e, em seguida, em nossa função principal em vez de pia ocioso banco de dados para ver se estamos conectados, vamos fazer algumas alterações, selecionaremos nosso banco de dados o banco de dados inflix de amostra e nossa coleção da coleção de filmes, então vamos pegar alguns documentos. O Docs vai aguardar a coleta.encontre qualquer documento onde o campo de gráfico existe e vamos limitar isso ao primeiro 50. depois disso, vamos fazer um loop sobre nossos documentos para criar um campo de plotagem e incorporação de sublinhado HS em nosso documento e isso será igual à incorporação gerada, então aguardaremos a geração de função de incorporação que definimos anteriormente e nós' Estamos apenas Indo para o registro do console que o documento foi atualizado só para sabermos o que está errado e então, finalmente, fecharemos nossa conexão e Go descomentar isso, então Go em frente, abrir nosso terminal e executar o nó Main, bom e nós puder ver que 50 atualizações foram feitas se formos para o Go Atlas e Go para nossa coleção de filmes do banco de dados de amostra, podemos verificar se isso funcionou examinando um desses documentos e veremos que temos uma incorporação de plotagem Campo RF é uma array se expandirmos isso veremos as incorporações vetoriais que foram criadas agora neste caso, estamos armazenando as incorporações vetoriais na coleção original junto com os dados do aplicativo alternativamente você pode armazenar as incorporações vetoriais em uma coleção separada tudo depende sobre seu caso de uso e padrões de acesso a dados e, assim que essa etapa for concluída, você poderá verificar em seu banco de dados se um novo gráfico de campo sublinhado incorporador sublinhado RF foi criado para alguns documentos agora, estamos restringindo isso a apenas 50 documentos para evitar a execução Em limites de taxa na API de inferência de face se você quiser fazer isso em todo o conjunto de dados de documentos 23 000 em nosso banco de dados inflix de amostra, levará um tempo e talvez seja necessário criar um endpoint de inferência pago agora etapa quatro é criar um índice vetorial do Atlas Search, então vamos até o Atlas e criar um índice do Atlas Search para que, de volta ao Atlas , possamos Go para o Atlas Search e então nossa fonte de dados será o cluster 0 em t esta instância e nós vamos Go para Atlas Search vamos criar um índice do Atlas Search Go usar o editor JSON e clicar em próximo para o nome do índice Vou nomeá-lo semântica do Atlas Search I 'm Go para o meu banco de dados de amostra inflix e selecione a coleção de filmes é onde eu gostaria que o índice seja criado e, em seguida, para a configuração JSON , estou vai colar isto neste é onde podemos configurar como nosso Vector Atlas Search vai funcionar, então precisamos garantir que o campo corresponda ao campo que criamos em nossa coleção então, neste exemplo, é traçar sublinhado incorporar sublinhado RF precisamos definir as dimensões no nosso caso o modelo que estamos usando tem 384 Dimensões, então é por isso que eu defini que, para similaridade, escolheremos produto pontual e o tipo será kn Vector para obter uma descrição desses campos e outras opções de configuração, certifique-se de verificar o vetor Documentação do Atlas Search Linked Na descrição do vídeo cópia abaixo, então chegaremos a seguir e criaremos um índice do Atlas Search para a etapa 5 vamos consultar nossos dados assim que o índice for criado, você pode consultá-los usando o dólar Vector Atlas Search aggregation pipeline stage vamos renomear essa função principal Vamos renomear isso para salvar embeddings e vamos criar uma nova função em que farão a query de nossas incorporações, então Go em frente e comente a função salvar embeddings porque não queremos executá-la desta vez então para nossas query embeddings nós estamos aceitando a consulta nesta instância este será o texto que estamos aceitando do nosso usuário esta é uma função assíncrona novamente vamos nos conectar ao nosso banco de dados ao nosso banco de dados de influxo de amostra e à coleção de filmes é aqui que nós Usare n passarmos nossa query para que a mesma função de geração de incorporação que estamos usando vamos gerar uma incorporação da query que o usuário está procurando diremos qual caminho qual campo procurar no documento que nomeamos isso incorporação do gráfico de campo RF e o número de candidatos será definido como 100 e limite para 4. então, só queremos retornar os quatro principais resultados e, novamente, para obter mais informações sobre as especificidades desses parâmetros, confira o vetor Documentação do Atlas Search Linked Na descrição do vídeo, por fim, tenho mais um estágio de agregação que vai apenas projetar o título e os campos do lote apenas para torná-lo mais legível no console e, em seguida, consoleremos o registro desses resultados para que, na parte inferior, criaremos que nossa consulta será caracteres fictícios do espaço sideral em uma zona de conflito, então vamos chamar isso de função de incorporações de consulta, passe nossa consulta e então teremos uma captura no final, caso haja algum erro então Go em frente e executar isto, nós salvaremos ele abra o console e vamos executar nó Principal e você deverá obter algo como temos quatro filmes retornados com a trama e o título, como você pode ver aqui os resultados não são muito precisos porque só incorporamos 50 dos documentos de filme se todo o conjunto de dados de filme de 23 000 mais documentos fosse incorporou a query im caracteres do tipo aginary do espaço sideral at Write retornariam esses resultados neste tutorial demonstramos como usar a API de inferência de face que se envolve como gerar incorporações e como usar o Atlas Vector Atlas Search também aprendermos como construir um aplicativo semântica do Atlas Search para encontrar filmes cujos gráficos correspondiam mais à intenção por trás da consulta de linguagem natural, em vez de apenas pesquisar com base em palavras-chave existentes no conjunto de dados, também demonstramos como é eficiente trazer o poder dos modelos de aprendizado de máquina para seus dados usando a plataforma de dados do Atlas Developer se isso o vídeo foi útil, por favor, dê um joinha e se inscreva para mais conteúdo do MongoDB