BLOGAnnounced at MongoDB.local NYC 2024: A recap of all announcements and updates — Learn more >

O que é IA generativa

Ao longo de 2023, o mundo presenciou uma transformação marcante com o surgimento da IA generativa (muitas vezes referida apenas como GenAI). À medida que aplicações revolucionárias para o conteúdo gerado por IA surgiram, também surgiu o sentimento de que a IA generativa impactará radicalmente todas as indústrias e setores da sociedade.

Organizações estão correndo para capturar o potencial da IA generativa.Se isso inclui sua organização, então sua primeira tarefa é entender as complexidades da IA generativa.Neste post, abordaremos as seguintes questões-chave (e mais) para ajudar você a se orientar:

Depois de abordar essas questões, veremos como o MongoDB pode ajudar as organizações que desejam criar aplicações alimentadas por IA generativa.

Vamos começar com uma introdução aos conceitos básicos.

O que é IA generativa e como funciona?

IA generativa refere-se ao ramo da inteligência artificial que se concentra na criação de conteúdo novo e exclusivo— como texto, arte visual, música, código de software e muito mais. Diferentemente da IA preditiva (ou analítica) — que usa machine learning para analisar dados históricos, identificar padrões ou tendências e, em seguida, fazer previsões — a IA generativa vai além de simplesmente analisar e prever; a IA generativa cria.

Por exemplo, considere uma ferramenta de IA preditiva treinada com dados de milhões de pinturas e seus artistas.Dada uma pintura que nunca viu antes, a ferramenta de IA preditiva pode ser capaz de determinar o artista.No entanto, um sistema de IA generativa pode produzir uma nova pintura no estilo específico daquele artista.

Uma imagem gerada por IA, resultado de alimentar o prompt "uma pintura de um computador no estilo de Mondrian" no DALL-E

Uma imagem gerada por IA, resultado de alimentar o prompt "uma pintura de um computador no estilo de Mondrian" no DALL-E

A IA generativa geralmente é projetada para imitar a inteligência e a criatividade humanas, o que significa que o conteúdo gerado é contextualmente relevante e coerente. O conteúdo totalmente novo está em sintonia com os padrões humanos de pensamento e expressão. Podem ser elementos visuais e arte de IA que são quase indistinguíveis do conteúdo criado por humanos. Os resultados de uma ferramenta de IA generativa podem ser a geração de texto ou fala. Independentemente disso, os resultados são familiares, mas originais, inovadores e autênticos.

Ao criar conteúdo contextualmente relevante por meio do raciocínio, as capacidades da IA generativa podem ser aplicadas a tarefas empresariais como planejamento estratégico e previsão, resolução de problemas e análise de cenários hipotéticos.

Tipos de modelos de IA generativa

Modelos de IA são conjuntos de algoritmos de IA que usam machine learning para identificar padrões a partir de dados, permitindo-lhes fazer previsões ou gerar novos dados que imitam a estrutura e o estilo dos dados originais. O espaço da IA é preenchido por muitos tipos diferentes de modelos, com o mais conhecido atualmente em IA generativa sendo o modelo de base. Modelos de base são pré-treinados em grandes quantidades de dados.

O modelo serve como uma “base” que pode ser ajustada para tarefas especializadas.Isso torna um modelo de base incrivelmente versátil, capaz de realizar muitas tarefas diferentes.Um exemplo de modelo de base é o grande modelo de linguagem (LLM).O GPT da OpenAI (que significa "transformer pré treinado generativo") é um LLM projetado para trabalhar com linguagem humana.LLMs se concentram no processamento de linguagem natural e podem executar tarefas de conversa, como respostas a perguntas, chatbots, transcrições, traduções e muito mais.

Outros tipos de modelos de base podem focar em conteúdo não textual. Eles incluem modelos de base visual que geram imagens, como Flamingo ou DALL-E do OpenAI, ou modelos de base de áudio, como UniAudio ou LLark.

O que é geração aumentada por recuperação (RAG)?

Um LLM é limitado às informações disponíveis até sua última atualização de treinamento, portanto, ele não sabe sobre eventos ou desenvolvimentos que ocorreram desde então. Então, como podemos aproveitar grandes modelos de linguagem de uma forma que leve em conta novos dados?

Uma opção é treinar novamente ou ajustar modelos generativos com novos dados.No entanto, isso pode consumir muito tempo e recursos.Uma opção melhor é o RAG.O RAG permite que um LLM puxe dinamicamente informações externas em tempo real durante o processo de geração de conteúdo.Com o RAG, um sistema de IA generativa consulta um banco de dados de informações em tempo real, produzindo outputs mais precisos, informados e contextualmente relevantes — mesmo que o conhecimento necessário não tenha sido parte dos dados originalmente usados para treinamento.

No entanto, para que o RAG recupere informações relevantes e semanticamente semelhantes a partir de um grande volume de dados de forma eficiente, ele depende de incorporações vetoriais — representações numéricas de dados em um espaço de alta dimensão. A maneira ideal de armazenar e consultar essas incorporações é usar um banco de dados vetorial.

Foto de Alina Grubnyak no Unsplash

Foto de Alina Grubnyak no Unsplash

O RAG amplia a capacidade do LLM de se manter atualizado e versátil na geração de conteúdo de alta qualidade. Uma citação desta publicação resume bem o RAG:

O RAG preenche as lacunas de conhecimento nas quais o LLM não foi treinado, transformando essencialmente a tarefa de resposta a perguntas em um "teste aberto", que é mais fácil e menos complexo do que uma tarefa de resposta a perguntas aberta e ilimitada.

A importância da IA generativa no espaço da IA

O papel da IA generativa na criação de conteúdo inovador traz potencial transformador para tudo em IA.Modelos de IA generativa podem ter aplicações em todas as indústrias, desde entretenimento até saúde.Inovações em pesquisa de IA e tecnologia de IA estão continuamente ampliando os limites das capacidades e aplicações para modelos de IA generativa.Em breve, os recursos de IA generativa se tornarão uma parte essencial do kit de ferramentas moderno de IA.

O uso da IA generativa para a geração de imagens é possível graças à GPT, associada a modelos de difusão, como a difusão estável. Como resultado, a arte com IA se tornou um grande mercado, com artistas usando IA generativa para criar imagens realistas, quase indistinguíveis das imagens naturais.

Enquanto isso, os profissionais de marketing usam a IA generativa para criar tweets de 180 caracteres sobre eventos de vendas, e os designers usam a IA generativa para criar novos designs de produtos. Até mesmo as empresas farmacêuticas estão usando a IA generativa para auxiliar na descoberta de medicamentos.

Imagem de livros em uma estante.

Foto de CHUTTERSNAP on Unsplash

O papel dos dados em IA generativa

A eficácia e versatilidade de qualquer sistema de IA, e isso inclui sistemas de IA generativa, depende da qualidade, quantidade e diversidade de dados usados para treinar seus modelos. Vejamos alguns aspectos-chave da relação entre os dados e o modelo de IA generativa.

Dados para treinamento

Modelos de IA generativa são treinados em conjuntos de dados extremamente grandes. Um modelo projetado para gerar texto pode ser treinado com bilhões de artigos, enquanto outro modelo projetado para gerar imagens pode ser treinado com milhões de fotos. Os LLMs exigem enormes quantidades de dados para treinamento em aprendizado de máquina para gerar conteúdo coerente e contextualmente relevante. Quanto mais diversos e abrangentes forem os dados, melhor será a capacidade do modelo de entender e gerar uma ampla gama de conteúdos.

De um modo geral, mais dados se traduzem em resultados de modelo melhores. Com um conjunto de dados maior, os modelos de IA generativa podem identificar padrões mais sutis, resultando em saídas mais precisas e detalhadas. No entanto, a qualidade dos dados também é extremamente importante. Muitas vezes, um conjunto de dados menor e de alta qualidade pode superar um conjunto de dados maior e menos relevante.

Dados brutos e complexos

Os dados brutos, especialmente se forem complexos e não estruturados, podem exigir o pré-processamento nos estágios iniciais do pipeline de dados, antes que possam ser usados para treinamento.Esta também é a hora em que os dados são validados, para garantir que sejam devidamente representativos e livres de viés.Esta etapa de validação é crucial para evitar saídas distorcidas ou tendenciosas.

Dados rotulados contra dados não rotulados

Dados rotulados oferecem informações específicas sobre cada ponto de dados (por exemplo, descrição textual que acompanha uma imagem), enquanto dados não rotulados não incluem anotações como essa. Modelos generativos frequentemente trabalham bem com dados não rotulados, pois ainda são capazes de aprender a gerar conteúdo entendendo estruturas e padrões inerentes.

Dados proprietários

Alguns dados são exclusivos de uma determinada organização. Alguns exemplos incluem histórico de pedidos de clientes, métricas de desempenho de funcionários e processos comerciais. Muitas empresas coletam esses dados e os tornam anônimos para evitar o vazamento de PII ou PHI confidenciais e, em seguida, realizam a análise de dados tradicional. Esses dados contêm uma grande quantidade de informações que poderiam ser extraídas ainda mais profundamente se fossem usadas para treinar um modelo generativo. Os outputs resultantes seriam adaptados às necessidades e características específicas da empresa.

O papel dos dados na RAG

Conforme mencionado acima, o RAG combina o poder do LLM com a recuperação de dados em tempo real.Com o RAG, você não depende mais apenas de dados pré-treinados.Em vez disso, você pode executar uma coleta oportuna de informações relevantes de bancos de dados externos.Isso garante que o conteúdo gerado seja atual e preciso.

Como aumentar modelos generativos de IA com dados proprietários

Ao trabalhar com modelos generativos, a engenharia de prompts é uma técnica que envolve a elaboração de consultas ou instruções de input específicas para guiar o modelo, adaptando melhor os inputs ou outputs. Com RAG, podemos aprimorar os prompts com dados proprietários, equipando o modelo de IA para gerar respostas relevantes e precisas com esses dados empresariais considerados. Essa abordagem também é preferível ao método demorado e intensivo em recursos de retreinar ou fazer ajuste fino em um LLM com esses dados.

Dificuldades e considerações

É claro que o trabalho com IA generativa não está livre de dificuldades. Se a sua organização pretende explorar o potencial da GenAI, você deve lembrar das questões-chave a seguir.

Necessidade de experiência em dados e enorme poder computacional

Modelos generativos exigem recursos substanciais.Primeiro, você precisa da experiência de cientistas e engenheiros de dados treinados.Com exceção de organizações de dados, a maioria das empresas não tem equipes com a especialização necessária para treinar ou ajustar LLMs.

Quando se trata de recursos de computação, treinar um modelo em dados abrangentes pode exigir semanas ou meses — e isso mesmo usando GPUs ou TPUs poderosos. E embora o ajuste fino de um LLM possa não exigir tanto poder de computação quanto treinar um do zero, ele ainda requer recursos significativos.

O treinamento intensivo em recursos e o ajuste de um LLM é o que torna o RAG uma técnica alternativa atraente para incorporar dados atuais (e proprietários) com os dados existentes disponíveis para um LLM pré-treinado.

Considerações éticas

O aumento da IA generativa também gerou discussões intensas sobre as considerações éticas que acompanham seu desenvolvimento e seu uso. À medida que os aplicativos de IA generativos tornam-se mais presentes e acessíveis ao público, as conversas concentram-se em como:

  • Garantir modelos equitativos e livres de tendências
  • Proteger contra ataques como envenenamento de modelo ou adulteração de modelo
  • Impedir a disseminação de desinformação- Proteger contra o uso indevido de IA generativa (pense em falsificações ou deep fake ou na geração informações enganosas)
  • Preservar atribuição
  • Promover a transparência com os usuários finais, para saberem quando estão interagindo com um chatbot de IA generativo e não com um humano### Comparison with other AI tools and systems
Comparação com outras ferramentas e sistemas de IA

A disposição e a novidade das ferramentas generativas de IA eclipsaram o panorama de IA mais amplo de ferramentas e sistemas. Muitos assumem erroneamente que a IA generativa é a ferramenta de IA para resolver todos os seus problemas. No entanto, enquanto a IA gerativa se destaca na criação de novo conteúdo, outras ferramentas de IA podem ser mais adequadas para certas tarefas empresariais. Os benefícios da IA gerativa devem — assim como qualquer ferramenta em seu arsenal — ser ponderados contra os benefícios de outras ferramentas.

Dificuldades específicas de

RAG A abordagem de RAG para utilizar um modelo de linguagem grande é poderosa, mas também traz seu próprio conjunto de desafios.

  • Escolha do banco de dados vetorial e tecnologias de pesquisa: Em última análise, a eficiência da abordagem RAG depende de sua capacidade de recuperar dados relevantes com rapidez. Isso torna a seleção de um banco de dados vetorial e da tecnologia de busca uma decisão crítica que afetará o desempenho da RAG.
  • Coerência dos dados: como a RAG obtém dados em tempo real, é fundamental garantir que o banco de dados esteja atualizado e coerente.
  • Complexidade de integração: A integração da RAG com uma LLM adiciona uma camada de complexidade aos seus sistemas. A implementação eficaz de IA generativa com RAG pode exigir conhecimentos especializados.

Apesar dessas dificuldades, o RAG oferece às organizações um meio simples e poderoso de aproveitar seus dados operacionais e de aplicações para obter insights ricos e informar decisões críticas de negócios.

MongoDB Atlas para aplicativos com GenAI

Abordamos o potencial transformador da IA generativa e vimos o poderoso aprimoramento dos dados em tempo real que acompanha a RAG. Para reunir essas tecnologias é preciso ter uma plataforma de dados flexível que ofereça um conjunto de recursos adaptados para aplicativos com GenAI. Para organizações que se aventuram no mundo da IA generativa e da RAG, o MongoDB Atlas será o divisor de águas.

As características principais do MongoDB Atlas incluem:

  • Recursos de pesquisa de vetor nativo: O armazenamento e a pesquisa de vetor nativo são integrados no MongoDB Atlas, garantindo recuperação de dados rápida e eficiente para RAG sem a necessidade de um banco de dados adicional para lidar com vetores.
  • API unificada e modelo de documento flexível: A API unificada do MongoDB Atlas possibilita que os desenvolvedores combinem a pesquisa vetorial com outros recursos de consulta, como pesquisa estruturada ou pesquisa de texto. Isso, combinado com o modelo de dados de documentos do MongoDB, traz uma flexibilidade incrível para sua implementação.
  • Escalabilidade, confiabilidade e segurança: o MongoDB Atlas oferece dimensionamento horizontal para crescer facilmente junto com você (e seus dados). Com tolerância a falhas e dimensionamento horizontal e vertical simples, o MongoDB Atlas garante um serviço ininterrupto, independentemente das demandas de carga de trabalho. E, claro, o MongoDB mostra como prioriza a segurança, permitindo a criptografia de dados líder do setor que pode ser consultada.
Imagem do MongoDB Atlas executando várias tarefas para ajudar aplicativos generativos gerados por IA.

O MongoDB Atlas é fundamental para simplificar a implementação de um sistema LLM aprimorado por RAG. Tratando seus serviços de dados de IA generativa, o MongoDB simplifica o processo de criação de aplicativos prontos para a empresa e com tecnologia GenAI. Independentemente de os dados que você deseja incorporar serem dados proprietários ou dados de eventos atualizados, o MongoDB possibilita a abordagem RAG. Em uma recente pesquisa sobre o estado da IA com 1.500 entrevistados, o MongoDB Atlas Vector Search obteve o mais alto grau de satisfação dos desenvolvedores entre todas as soluções vetoriais.

Conclusão

Como um subconjunto da inteligência artificial, a IA generativa, que utiliza modelos treinados em enormes quantidades de conteúdo disponível para criar conteúdo novo e exclusivo, representa um salto transformador na tecnologia moderna. No entanto, para que a IA generativa cumpra a promessa de imitar a inteligência e a criatividade humanas, deve ser treinada em grandes volumes de dados de alta qualidade. A eficácia de um modelo de IA generativa depende da qualidade, da quantidade e da diversidade de seus dados de treinamento.

Os dados disponíveis para um LLM são limitados pela última atualização de treinamento desse LLM. A incorporação de dados atualizados não pode ser alcançada por meio de retreinamento ou ajuste do modelo, pois assim que esses processos são concluídos os dados estão desatualizados. A solução é o RAG, que consulta dados atualizados de um banco de dados vetorial como parte da tarefa de engenharia de prompt. O RAG aprimora os LLMs, proporcionando a possibilidade de acessar informações atuais e relevantes, que podem incluir informações proprietárias de uma organização, sem a utilização intensiva de recursos de treinamento ou ajuste fino.

Para tornar isso possível, as empresas estão recorrendo ao MongoDB Atlas. Seus recursos nativos de busca vetorial, além de sua API unificada e do modelo de documento flexível, fazem dele uma opção atraente para empresas que procuram aprimorar um LLM com a abordagem RAG para incorporar dados proprietários.

Primeiros passos com o MongoDB Atlas

Teste gratuitamente