Optime el rendimiento de la IA con MongoDB Atlas y Fireworks AI

MongoDB y Fireworks AI

El esquema flexible, la indexación eficiente y la arquitectura distribuida de MongoDB permiten a las organizaciones escalar su infraestructura de datos según demanda. Combinada con las capacidades de optimización de modelos de Fireworks AI, esta solución mejora el rendimiento de la IA y reduce los costos.

El framework FireOptimizer integra MongoDB con el proceso de ajuste de modelos de Fireworks IA para acelerar la inferencia por lotes a través de los siguientes componentes:

• FireAttention: mejora el procesamiento de solicitudes y optimiza la utilización de recursos

• Fine tuning eficiente de parámetros: utiliza los métodos LoRA y QLoRA para afinar modelos de manera eficiente con datos de rastreo o etiquetado, lo que reduce los recursos informáticos necesarios.

Figura 1. Arquitectura FireOptimizer para optimización adaptativa e inferencia de alta calidad

Esta solución ofrece los siguientes beneficios:

• Velocidad de inferencia mejorada: la ejecución especulativa adaptativa de FireOptimizer proporciona hasta 3x mejoras de latencia para cargas de trabajo en producción.

• Optimización automática: FireOptimizer gestiona automáticamente procesos de optimización complejos.

FireOptimizer: Generación de tokens adaptativos

Los modelos de lenguaje de gran tamaño (LLMs) generan salidas un token a la vez, lo que ralentiza las respuestas en salidas largas. La decodificación especulativa acelera este proceso al usar un modelo de borrador más pequeño para generar múltiples candidatos de token mientras la LLM principal procesa. El LLM evalúa y retiene solo las predicciones precisas.

Los modelos tradicionales de borradores entrenados con datos genéricos funcionan bien para tareas generales, pero tienen una precisión menor en dominios especializados como codificación o análisis financiero.

Con Fireworks IA, la ejecución especulativa adaptable mejora este enfoque al utilizar modelos personalizados para dominios específicos o perfiles de usuarios en lugar de modelos genéricos. Esta optimización aumenta la precisión y las tasas de acierto, como del 29% al 76% en la generación de código, reduce los costos de inferencia y proporciona mejoras de latencia de hasta 3veces.

FireAttention: Procesamiento de contexto largo

Las instrucciones largas que utilizan entre 8k y32k de tokens generan cuellos de botella de rendimiento en aplicaciones como el análisis de documentos o la autocompletación de código. FireAttention V2 de Firework IA aborda este desafío proporcionando un procesamiento 12veces más rápido para tareas de contextos largos mediante las siguientes funcionalidades:

• Escalado de atención optimizado: reduce la sobrecarga computacional para entradas extensas

• Implementación de múltiples hosts: distribuye las cargas de trabajo de manera eficiente entre las GPU

• Kernels avanzados: optimizan las operaciones para una ejecución más rápida

FireAttention V3 amplía el soporte a las GPU MI300 de AMD como una alternativa rentable a NVIDIA. Las mejoras de rendimiento incluyen:

• 1.4x–1.8x mayor rendimiento para modelos como LLaMA 8B y 70B

• Hasta 5.5veces más rápido en escenarios de baja latencia

• Rendimiento mejorado a través de kernels de atención rediseñados y uso de memoria optimizado

Estas capacidades mejoran el ajuste fino de los SLM al permitir un procesamiento eficiente de la entrada de contexto largo para tareas específicas de dominio. Los mecanismos de atención optimizados reducen la sobrecarga computacional, permiten ciclos de entrenamiento más rápidos y habilitan tamaños de lote mayores en implementaciones GPU de múltiples hosts.

Optimización Adaptativa de Recursos

Las optimizaciones de IA de Fireworks se extienden más allá de la especulación adaptativa a través de tres técnicas que maximizan el rendimiento y la rentabilidad:

• Almacenamiento en caché adaptativo: reutiliza cálculos frecuentes para omitir trabajo redundante, lo que reduce la latencia entre un y 30un50% para cargas de trabajo de alto tráfico.

• Cuantización personalizable: Equilibra la precisión de 4a8bits con la calidad del modelo, duplicando las velocidades mientras se mantiene más del 99% de precisión para tareas de procesamiento agrupado.

• atención desagregada: Personaliza la asignación de hardware al tipo de carga de trabajo alojando varias copias ligeras de modelos o particionando grandes modelos en GPUs para tareas complejas.

Desafíos y soluciones actuales

Las LLM causan tiempos de respuesta más lentos debido a cálculos complejos sobre miles de millones de parámetros. Las recomendaciones de tarjetas de crédito requieren múltiples queries LLM, lo que resulta en un tiempo total de respuesta de 10 a 20 segundos, siendo que cada query toma 5 segundos o más. Los LLM son difíciles y costosos de implementar y escalar para millones de usuarios.

• Pequeños Modelos de Lenguaje: Los SLM ofrecen velocidades de procesamiento más rápidas y eficiencia en costos. Los SLM requieren menos poder de cómputo, lo que los hace adecuados para dispositivos con recursos limitados. Ofrecen respuestas más rápidas y menores costos operativos.

• PEFT y LoRA: PEFT y LoRA mejoran la eficiencia al optimizar los subconjuntos de parámetros. Este enfoque reduce los requisitos de memoria y los costos operativos. La integración con MongoDB optimiza el manejo de datos y permite un ajuste eficiente de los modelos.

• MongoDB: MongoDB proporciona gestión de datos e integración en tiempo real que mejora la eficiencia operativa. MongoDB almacena datos de trazabilidad como JSON y posibilita una recuperación y almacenamiento eficiente, añadiendo valor a la optimización de modelos. MongoDB actúa como una capa de almacenamiento en caché para evitar solicitudes repetidas de LLM idénticas.

Ajusta un pequeño modelo de lenguaje con Fireworks AI

La demostración de la aplicación de Tarjeta de Crédito explica las puntuaciones de crédito a los clientes en un lenguaje sencillo. Los LLM como LLaMA de Meta 3.1-405B generan estas explicaciones utilizando los parámetros del perfil del usuario, las características de entrada del modelo y la importancia de las características del modelo que predice la calificación o puntuación de crédito del cliente. Los SLMs no pueden lograr consistentemente estas tareas debido a parámetros limitados para un razonamiento y explicación efectivos. Utilice el proceso de ajuste fino con la plataforma de ajuste fino de la IA de Fireworks para lograr el resultado deseado.

El proceso para ajustar un SLM utiliza el siguiente flujo de trabajo:

Figura 2. Proceso de ajuste fino de LLM/SLM

El proceso de ajuste comienza con la recopilación de datos relevantes específicos de cada tarea. La Figura 2 muestra cómo MongoDB Atlas almacena en caché las respuestas LLM/SLM de usuarios específicos según sus datos ingresados ​​en la aplicación de tarjeta de crédito. Los usuarios pueden simular perfiles de crédito en la interfaz web. El siguiente fragmento de código de Python muestra cómo configurar un decorador para almacenar en caché las respuestas LLM/SLM en MongoDB Atlas:

class mdbcache:
   def __init__(self, function):
         self.function = function
   def __call__(self, *args, **kwargs):
         key = str(args) + str(kwargs)
         ele = ccol.find_one({"key": key})
         if ele:
            return ele["response"]
         value = self.function(*args, **kwargs)
         ccol.insert_one({"key":key, "response": value})
         return value
@mdbcache
def invoke_llm(prompt):
   """
   Invoke the language model with the given prompt with cache. The llm.invoke  method can invoke either a LLM or SLM based on the Fireworks Model ID provided at the start of application.
   Args:
         prompt (str): The prompt to pass to the LLM.
   """
   response = llm.invoke(prompt)
   return response

Como se muestra en el diagrama, puedes generar el conjunto de datos de entrenamiento usando un simulador. Este ejemplo simula perfiles de usuarios con un muestreo estratificado para seleccionar muestras iguales para las tres calificaciones crediticias: Buena, Normal y Deficiente. Esta demostración genera alrededor de 1,300 respuestas de muestra.

Transforma las respuestas generadas en el formato que la plataforma de Fireworks IA admite para afinación. Generar el cc_cache.jsonl archivo utilizado en el proceso de ajuste fino ejecutando el siguiente código:

 from pymongo import MongoClient
 import pandas as pd
 import json
 client = MongoClient("mongodb+srv://<uid>:<pwd>@bfsi-demo.2wqno.mongodb.net/?retryWrites=true&w=majority")
 df = pd.DataFrame.from_records(client["bfsi-genai"]["cc_cache"].find({},{"_id": 0}))
 df["prompt"] = df["key"].apply(lambda x: x.strip('(').strip('"').strip(")").strip("\\"))
 del df["key"]
 df["response"] = df["response"].apply(lambda x: x.strip())
 df.to_json("cc_cache.jsonl", orient="records", lines=True)
 # transform cache to messages
 messages = []
 for item in df.iterrows():
   messages += [{"messages": [{"role": "user", "content": item["prompt"].strip("    \\")}, {"role": "assistant", "content": item["response"]}]}]
 with open("cc_cache.jsonl", "w") as f:
   for item in messages:
      f.write(json.dumps(item) + "\n")

Después de preparar el conjunto de datos y generar el archivo cc_cache.jsonl, ajusta finamente el modelo preentrenado llama-v3p1-8b-instruct siguiendo los siguientes pasos:

Pasos

1

Instalar firectl, la herramienta de línea de comandos para gestionar los recursos de la plataforma Fireworks AI

pip install firectl

2

Autentica firectl con tu cuenta Fireworks

firectl login

3

Suba su conjunto de datos de ajuste fino a la plataforma Fireworks

firectl create dataset <dataset_name> cc_cache.jsonl

4

Crea una tarea de ajuste fino con el conjunto de datos cargado y tu modelo elegido

firectl create sftj --base-model accounts/fireworks/models/llama-v3p1-8b-instruct --dataset <dataset_name> --output-model ccmodel --lora-rank 8 --epochs 1

5

Supervisa el proceso de ajuste fino utilizando el portal para garantizar que funcione sin problemas

Figura 3. Supervisión del proceso de ajuste fino

6

Implementa el modelo ajustado en la plataforma Fireworks para inferencia

firectl deploy ccmodel

Este procedimiento demuestra cómo la integración de MongoDB y Fireworks AI mejora el costo del rendimiento de los modelos de IA.

Después de implementar el modelo en la plataforma Fireworks como una API sin servidor, utiliza el ID del modelo, models/ft-m88hxaga-pi11m, que se muestra en la Figura 2 para invocar el modelo SLM ajustado utilizando tu framework de modelo de lenguaje preferido.

El ajuste fino del SLM para recomendaciones de tarjetas de crédito produce los siguientes resultados:

1. Mejora del tiempo de respuesta: El tiempo medio de respuesta de LLM es de 5 segundos. Los SLM reducen esto a aproximadamente 0.15 segundos, proporcionando una reducción de latencia de 19veces.

   import time
   class tiktok:
   """
   Decorator to time the execution of a function and log the time taken.
   """
   def __init__(self, function):
         self.function = function
   def __call__(self, *args, **kwargs):
         import time
         start = time.time()
         value = self.function(*args, **kwargs)
         end = time.time()
         print(f"Time taken for {self.function.__name__}: {end - start} seconds")
         return value
   @tiktok
   @mdbcache
   def invoke_llm(prompt):
   """
   Invoke the language model with the given prompt with cache. The
   invoke LLM method can invoke either a LLM or SLM based on the
   Fireworks Model ID initialized.
   Args:
         prompt (str): The prompt to pass to the LLM.
   """
   ...

   Modelo	Tiempo de inferencia 1 (s)	Tiempo de inferencia 2 (s)	Tiempo de inferencia 3 (s)	Tiempo promedio (s)
   llama-v3p1-405b-instruct	5.5954	7.5936	4.9121	6.0337
   SLM - llama ajustada a3p1-8b	0.3554	0.0480	0.0473	0.1502

2. Reducción de memoria: Los LLM suelen requerir 8x80GB de VRAM. Los SLM funcionan con 16 GB de VRAM, lo que reduce el uso de memoria en 97.5un %.

3. Reducción de hardware: Los modelos de lenguaje grandes requieren GPUs de alta gama o múltiples servidores. Los modelos de lenguaje pequeños pueden implementarse en CPUs estándar o servidores individuales, reduciendo los costos de hardware.