Como otimizar aplicativos de AI generativa com o Fireworks AI e o MongoDB para ter o máximo desempenho

O Poder do MongoDB e do Fireworks AI

O MongoDB é reconhecido pelo seu esquema flexível, indexação eficiente e arquitetura distribuída, que permitem que as organizações dimensionem sua infraestrutura de dados sob demanda. Quando associado às avançadas funcionalidades de ajuste de modelos do Fireworks AI, as empresas ficam preparadas para alcançar ganhos notáveis de eficiência e desempenho sem se desgastar financeiramente.

Apresentando o FireOptimizer e o FireAttention: componentes centrais

Central para essa abordagem otimizada é o framework do FireOptimizer, que integra o banco de dados flexível e de alto desempenho do MongoDB ao processo de ajuste de modelos do Fireworks.AI.

Este framework acelera a inferência em lote por meio de soluções como o FireAttention, um método que melhora o processamento de solicitações utilizando o hardware existente, otimizando a utilização dos recursos. Além disso, o Parameter-Efficient Fine-Tuning (PEFT), que inclui métodos como LoRA e QLoRA, ajusta modelos para realizar tarefas especializadas de forma eficiente usando dados de rastreamento ou dados de rótulos, aumentando assim a portabilidade e reduzindo a pegada computacional.

Figura 1. Arquitetura do FireOptimizer para otimização adaptativa e inferência de alta qualidade

Os principais benefícios que podem ser alcançados são:

• Inferência mais rápida: com a execução especulativa adaptativa do FireOptimizer, as cargas de trabalho de produção em vários modelos tiveram até 3x mais melhorias de latência, garantindo que os aplicativos sejam sempre altamente responsivos.

• Otimização sem complicação: o FireOptimizer automatiza o complexo processo de otimização, permitindo que você se concentre na construção do seu aplicativo, enquanto nós lidamos com o restante.

Vamos nos aprofundar no framework do FireOptimizer.

FireOptimizer: geração de token mais inteligente por meio de adaptação

Em geral, os LLMs geram saídas de uma palavra (ou token) por vez, o que pode tornar as respostas mais lentas, especialmente nas saídas longas. Para acelerar esse processo, utiliza-se uma técnica chamada decodificação especulativa. Ela envolve um modelo menor e mais rápido — conhecido como modelo de rascunho— que gera rapidamente várias palavras ou frases possíveis enquanto o LLM principal ainda está em processamento. Então, o LLM principal avalia essas suposições e retém apenas as corretas. Essa técnica costuma ser chamada de execução especulativa ou decodificação.

A limitação dessa abordagem tradicional está no fato de que a maioria dos modelos de rascunho é treinada em dados genéricos (por exemplo, conversas públicas). Embora essa abordagem seja eficaz para tarefas gerais, sua precisão ou "taxa de acerto" diminui significativamente em cenários especializados, como programação ou análise financeira.

Por outro lado, o Fireworks AI aprimora essa abordagem com a execução especulativa adaptativa. Em vez de usar um modelo de rascunho único para tudo, ele utiliza modelos personalizados para domínios específicos ou perfis de usuário. Ao utilizar essa abordagem adaptativa, ele otimiza as previsões com base nas características específicas do domínio. Esse método melhora a precisão, aumenta as taxas de acerto (por exemplo, de 29% para 76% em tarefas de geração de código) e reduz os custos de inferência, resultando em melhorias de até 3x na latência.

Pilha proprietária do servidor de LLM: dominando cargas de trabalho com contexto longo

O processamento de prompts longos (8K-32K tokens) é crucial para aplicativos como, por exemplo, de análise de documento e preenchimento de código, mas costuma desacelerar os sistemas até quase pararem. O FireAttention V2 do Fireworks AI resolve isso oferecendo um processamento 12x mais rápido para tarefas de contexto longo.

Estratégias de ajuste fino para modelos menores e eficientes: uma demonstração prática de aplicativo de crédito com o MongoDB

Modelos menores e eficientes oferecem oportunidades únicas para ajuste fino, permitindo uma adaptação especializada enquanto mantêm a eficiência dos recursos. Pesquisas constantes têm sido realizadas nesse espaço, à medida que a criação de SLM ajustados ou otimizados para vários meios, como nuvem, dispositivos e hardware dedicado, está se tornando extremamente competitiva.

Essas técnicas de ajuste fino podem ser categorizadas da seguinte forma:

As técnicas mais populares são as baseadas em PEFT. As técnicas de PEFT usadas com grandes modelos pré-treinados podem adaptá-los a novas tarefas ajustando apenas uma pequena fração de seus parâmetros. Essa abordagem ajuda a evitar sobreajuste, em especial com conjuntos de dados menores, e reduz significativamente os requisitos computacionais e de memória em comparação com o ajuste fino completo. O PEFT também reduz o esquecimento catastrófico nos LLMs. Essas técnicas permitem personalizar o modelo sem um novo treinamento completo, o que as torna ideais para ambientes com recursos limitados.

Podemos adotar as técnicas PEFT LoRA combinadas com a disponibilidade de dados de rastreamento (dados gerados a partir das interações do modelo) e dados rotulados (dados explicitamente anotados para tarefas específicas), o que permite o ajuste fino de modelos menores para alcançar alto desempenho em tarefas específicas, sem a necessidade de recursos computacionais extensivos.

Para destacar as aplicações práticas, recorremos a uma demonstração de aplicativo de cartão de crédito MongoDB que ilustra como o MongoDB pode ser utilizado para pontuação de crédito com análise preditiva, explicando os respectivos resultados usando IA generativa, além de para fornecer recomendações de cartão de crédito com uma abordagem RAG com LLM. Para o propósito deste exemplo de ajuste fino, vamos nos concentrar em simplificar as explicações de classificação de crédito usando LLMs. O aplicativo abrange vários escopos de funcionalidades, como geração de perfil de usuário, recomendações de produtos e reclassificação com tarefas de sumarização. Detalhes do design do aplicativo e do código-fonte podem ser encontrados na Página da biblioteca de soluções de aplicativos de cartão de crédito do MongoDB.

Guia passo a passo para fazer ajuste fino em um pequeno modelo de linguagem com o Fireworks AI

Um aspecto crítico da demonstração do aplicativo de cartão de crédito é explicar as pontuações de crédito ou classificações de crédito ao cliente em uma linguagem clara e cotidiana. Os LLMs mais avançados, como o LLaMA 3.1-405B da Meta, podem gerar essas explicações com fatores como parâmetros do perfil do usuário, recursos de entrada do modelo e importância dos recursos do modelo usados para prever a pontuação de crédito ou classificação de crédito alternativa do cliente. No entanto, essas tarefas não podem ser realizadas de forma consistente com um SLM devido ao número limitado de parâmetros necessários para um raciocínio e uma explicação eficaz. Para alcançar o resultado desejado, precisamos utilizar o processo de ajuste fino descrito acima com a plataforma de ajuste fino do Fireworks AI.

As etapas a seguir detalharão passo a passo como utilizar a plataforma para ajustar um SLM.

Veja como utilizar esta plataforma e ferramenta:

Figura 2. Processo de ajuste fino de LLMs/SLMs

O processo de ajuste fino começa com a coleção de dados relevantes específicos à tarefa. Conforme mostrado na Figura 2, o MongoDB Atlas, sendo um banco de dados de uso geral, pode ser utilizado para armazenar em cache as respostas do LLM/SLM para um usuário específico com base em suas entradas no aplicativo de cartão de crédito (o usuário pode simular o perfil de crédito na IU da web). Abaixo está um exemplo de trecho de código Python que demonstra como configurar um decorador para armazenar em cache as respostas do LLM/SLM no MongoDB Atlas:

class mdbcache:
   def __init__(self, function):
         self.function = function
   def __call__(self, *args, **kwargs):
         key = str(args) + str(kwargs)
         ele = ccol.find_one({"key": key})
         if ele:
            return ele["response"]
         value = self.function(*args, **kwargs)
         ccol.insert_one({"key":key, "response": value})
         return value
@mdbcache
def invoke_llm(prompt):
   """
   Invoke the language model with the given prompt with cache. The llm.invoke  method can invoke either a LLM or SLM based on the Fireworks Model ID provided at the start of applicaiton.
   Args:
         prompt (str): The prompt to pass to the LLM.
   """
   response = llm.invoke(prompt)
   return response

Conforme mostrado no diagrama, o conjunto de dados de treinamento necessário para o processo de ajuste fino pode ser gerado com um simulador. Aqui, estamos tentando simular um perfil de usuário com uma abordagem de amostragem estratificada para selecionar um número igual de amostras para todas as três classificações de crédito: Boa, Normal e Ruim. Para esta demonstração, geramos cerca de 1300+ exemplos de respostas.

Agora, as respostas geradas devem ser convertidas para o formato compatível com a plataforma Fireworks AI para que o processo de ajuste fino seja iniciado. O arquivo "cc_cache.jsonl" usado abaixo no processo de ajuste fino pode ser gerado executando-se o seguinte código:

 from pymongo import MongoClient
 import pandas as pd
 import json
 client = MongoClient("mongodb+srv://<uid>:<pwd>@bfsi-demo.2wqno.mongodb.net/?retryWrites=true&w=majority")
 df = pd.DataFrame.from_records(client["bfsi-genai"]["cc_cache"].find({},{"_id": 0}))
 df["prompt"] = df["key"].apply(lambda x: x.strip('(').strip('"').strip(")").strip("\\"))
 del df["key"]
 df["response"] = df["response"].apply(lambda x: x.strip())
 df.to_json("cc_cache.jsonl", orient="records", lines=True)
 # transform cache to messages
 messages = []
 for item in df.iterrows():
   messages += [{"messages": [{"role": "user", "content": item["prompt"].strip("    \\")}, {"role": "assistant", "content": item["response"]}]}]
 with open("cc_cache.jsonl", "w") as f:
   for item in messages:
      f.write(json.dumps(item) + "\n")

Agora que preparamos o conjunto de dados e geramos o arquivo "cc_cache.jsonl", podemos começar a fazer o ajuste fino no modelo pré-treinado "llama-v3p1-8b-instruct" seguindo as etapas abaixo.

1

Instale o firectl, a ferramenta de linha de comando para gerenciar os recursos da plataforma Fireworks AI

pip install firectl

2

Autentique diretamente com sua conta Fireworks

firectl login

3

Envie seu conjunto de dados de ajuste fino, criado como parte do processo de geração de dados, para a plataforma Fireworks

firectl create dataset <dataset_name> cc_cache.jsonl

4

Crie uma tarefa de ajuste fino com o conjunto de dados carregado e o modelo escolhido

firectl create sftj --base-model accounts/fireworks/models/llama-v3p1-8b-instruct --dataset <dataset_name> --output-model ccmodel --lora-rank 8 --epochs 1

5

Monitorar o processo de ajuste fino usando o portal para garantir que ele seja executado sem problemas

Figura 3. Monitoramento do processo de ajuste fino

6

Implante o modelo ajustado na plataforma Fireworks para inferência

firectl deploy ccmodel

A integração perfeita do MongoDB e do Fireworks.AI agiliza o processo de aprimoramento do desempenho de modelos de AI de forma econômica e eficiente. Isso é evidente no guia passo a passo para ajuste fino fornecido acima.

Após a implantação do modelo na plataforma fireworks como uma API sem servidor, o ID do modelo (models/ft-m88hxaga-pi11m) mostrado na Fig. 2 pode ser usado para invocar o modelo de SLM ajustado usando o framework de modelo de linguagem de sua escolha.

Conclusão

A integração do MongoDB com o Fireworks AI melhora significativamente a eficiência e a relação custo-benefício do treinamento de SLMs. Essa parceria torna as soluções avançadas de AI mais acessíveis e economicamente viáveis, garantindo investimentos em AI à prova de futuro. As principais proposições de valor dessa colaboração incluem:

• Menor custo total de propriedade: as técnicas LoRA e qLoRA do Fireworks AI reduzem a necessidade de recursos computacionais, pois aplicam adaptação de baixa classificação e quantização, o que reduz os custos associados ao ajuste fino dos SLMs. Com sua arquitetura distribuída, esquema flexível e indexação eficiente, o MongoDB pode dimensionar a infraestrutura de dados sob demanda e minimizar os custos de armazenamento, gerando reduções tanto nas despesas de capital quanto nas operacionais (CapEx e OpEx).

• Fluxos de trabalho integrados de dados e AI: o MongoDB facilita a integração de dados em tempo real, disponibilizando dados instantaneamente para os modelos de AI e, como resultado, aumentando a eficiência operacional. Essa integração com as ferramentas de ajuste fino do Fireworks AI garante um fluxo de trabalho simplificado que mantém os modelos de AI continuamente atualizados e relevantes, melhorando a tomada de decisões e fornecendo insights precisos.

• Soluções RAG robustas: a combinação perfeita do MongoDB Atlas com o Fireworks AI simplifica a criação de frameworks RAG, melhorando o armazenamento e a recuperação de dados. O MongoDB Atlas é uma plataforma dimensionável para armazenamento de incorporações, enquanto o Fireworks AI oferece hospedagem gerenciada de LLM/SLM e outros recursos. Juntos, eles oferecem sistemas dimensionáveis e inteligentes que melhoram a experiência do usuário com a recuperação de informações relevantes.

As organizações que adotam essa estratégia podem agilizar o uso da AI, economizar recursos e adotar soluções preparadas para o futuro, gerando inovação e vantagem competitiva em diversos setores.

Leitura adicional

Como a plataforma Fireworks AI acelera a inferência e a taxa de transferência:

• FireAttention V2: essa inovação melhora a eficiência do gerenciamento de contextos longos durante a inferência online, atingindo um processamento até 12 vezes mais rápido.

• FireAttention V3: esse avanço possibilita o uso de hardware AMD como uma alternativa viável para inferência de GPU, ampliando as opções de hardware e podendo reduzir custos.

• FireOptimizer: esta ferramenta permite a customização da latência e da qualidade para cargas de trabalho de inferência em produção, permitindo que os usuários ajustem o desempenho às suas necessidades específicas.

Plataforma de dados para desenvolvedores MongoDB

• MongoDB Atlas

Tecnologias de parceiros

• Fireworks AI

• LangChain