Fireworks AI と MongoDB による生成系 AI アプリケーションの最適化で最高のパフォーマンスを実現

MongoDB と Fireworks AI の性能

MongoDB は柔軟なスキーマ、効率的なインデックスの作成、分散型のアーキテクチャで知られており、組織はデータ インフラストラクチャをオンデマンドで拡張できます。Fireworks.AI の最先端のモデル調整機能と組み合わせると、エンタープライズは金銭的負担をかけずに、顕著な効率とパフォーマンスの向上を達成できます。

FireOptimizer と FireAttention の紹介: コア コンポーネント

この最適化されたアプローチの中心となるのは、MongoDB の柔軟で高性能なデータベースを Fireworks.AI のモデル調整プロセスと統合する FireOptimizer フレームワークです。

このフレームワークは、既存のハードウェアを使用してリクエスト処理を強化し、リソースの利用を最適化する手法である FireAttention などのソリューションにより、バッチ推論を高速化します。さらに、LoRA や QLoRA などの手法を含むパラメータ効率に優れた微調整（PEFT）は、トレースデータやラベルデータを使用して、特殊なタスクを効率的に完了するようにモデルを微調整し、移植性を高め、計算のフットプリントを削減します。

図 1. 適応型最適化と高品質な推論のための FireOptions アーキテクチャ

達成可能な主なメリットは以下の通りです。

• 推論の高速化： FireOptimizerの適応型推測実行により、さまざまなモデルにわたる本番ワークロードのレイテンシが最大3倍改善され、アプリケーションの応答性が常に高く保たれます。

• 手間のかからない最適化: FireOptimizer は複雑な最適化プロセスを自動化するため、アプリケーションの構築に専念でき、それ以外の業務は MongoDB が処理します。

FireOptimizer フレームワークについて詳しく見ていきましょう。

FireOptimizer: 調整によるスマートなトークン生成

LLM は通常、一度に 1 つの単語（またはトークン）を生成するため、特に長い出力の場合、応答が遅くなることがあります。このプロセスを加速するために、推測的デコーディングと呼ばれる手法が用いられます。これは、メインの LLM が処理を続けている間に、いくつかの単語やフレーズ候補を事前にすばやく生成する、ドラフト モデルと呼ばれる小型で高速なモデルを含みます。次に、主要な LLM はこれらの推測を評価し、正確なものだけを保持します。この手法は、一般的に投機的実行またはデコーディングと呼ばれています。

この従来のアプローチの限界は、ほとんどのドラフトモデルが一般的なデータ（例: 一般的な会話）で訓練されている点にあります。このアプローチは一般的なタスクには有効ですが、コーディングや財務分析などの専門的なシナリオでは、その精度や「的中率」が大幅に低下します。

これに対して、Fireworks AI は、適応型投機的実行を通じてこのアプローチを強化します。画一的なドラフト モデルを使用する代わりに、特定のドメインやユーザープロファイルに合わせてカスタマイズされたモデルを使用します。この適応型アプローチを使用することにより、分野固有の特性に基づいて予測を最適化します。この方法により、精度が向上し、的中率が向上（例: コード生成タスクでは 29% から 76% へ）し、推論コストが削減されるため、レイテンシは最大 3 分の 1 まで削減されます。

独自の LLM サービングスタック: 長いコンテキストのワークロードをマスター

長いプロンプト（8K～32K トークン）のプロセシングは、ドキュメント分析やコード補完などのアプリケーションにとって重要ですが、多くの場合、システムのクロール速度が低下します。Fireworks AI の FireAttention V2 はこの問題に対処し、長いコンテキスト タスクの処理を 12 倍速くします。

小型で効率的なモデルのための微調整戦略: MongoDB を用いた実用的なクレジット申請デモ

小さく効率的なモデルは、微調整を行うための固有の機会を持てるため、リソース効率を維持しつつ特定の適応が可能です。この分野では、クラウド、デバイス上、専用ハードウェアなど、さまざまな媒体向けに微調整または最適化された SLM 開発の競争が激化しており、絶えず研究が進められています。

これらの微調整手法は、次のように分類されます:

これらの中で最も人気のある手法は、PEFT ベースのものです。大規模な事前訓練済みモデルで使用される PEFT 技術は、パラメーターのごく一部を調整するだけで、新しいタスクに適応させることができます。このアプローチは、特にデータセットが小さい場合に過剰適合を防ぐのに役立ち、完全なファインチューニングと比較して計算量とメモリ要件を大幅に削減します。PEFT は、LLM における破滅的忘却も軽減します。これらの技術は、完全な再トレーニングを必要とせずにモデルを効率的にカスタマイズすることを可能にし、リソースが限られた環境に最適です。

PEFT LoRA 技術を採用することにより、トレースデータ（モデルの対話から生成されたデータ）とラベル付きデータ（特定のタスク用に明示的に注釈が付けられたデータ）の両方を利用できるため、比較的小規模なモデルを微調整して、広範な計算リソースを必要とせずに、特定のタスクで高いパフォーマンスを実現できます。

実用的な用途について強調するために、MongoDB によるクレジットカード アプリケーションのデモを行い、MongoDB が予測分析を用いた信用評価にどのように使用できるかを示し、生成系 AI を用いて信用評価の結果を説明し、LLM を用いた RAG アプローチによるクレジットカードの推奨を実行する方法を説明します。この微調整の例では、LLM を使用して信用格付けの説明を簡略化することに焦点を当てます。このアプリケーションは、ユーザープロファイルの生成、製品の推薦、要約タスクを用いた再ランク付けなど、さまざまな機能範囲を網羅しています。アプリケーションの設計とソースコードの詳細は、「MongoDB クレジットカード アプリケーション ソリューション ライブラリ ページ」で確認できます。

Fireworks AI を使用した小規模言語モデルの微調整手順ガイド

クレジット カード申請におけるデモの重要な点は、信用評価または信用格付けを、顧客に対して明確かつ平易な表現で説明することです。Meta 社の LLaMA 3.1-405 B などの Frontier LLM は、顧客の代替信用評価または信用格付けを予測するために使用されるモデルから、ユーザー プロファイル パラメーター、モデル入力機能、機能の重要性などの要素を使用して、これらの説明を生成できます。ただし、効果的な推論と説明に必要なパラメータの数が限られているため、これらのタスクは SLM では一貫して達成できません。望ましい結果を得るには、Fireworks AI の微調整プラットフォームを使用して、上記で説明したファインチューニング プロセスを活用する必要があります。

次の手順では、プラットフォームを使用して SLM を微調整する方法を段階的に説明します。

このプラットフォームとツールを活用する方法は次のとおりです。

図 2. LLM/SLM の微調整プロセス

微調整プロセスは、関連するタスク固有のデータのコレクションから始まります。図 2 に示すように、汎用データベースである MongoDB Atlas を活用することで、クレジットカード申請への入力に基づいて特定のユーザーの LLM/SLM 応答をキャッシュできます（ユーザーは Web UI でユーザーのクレジットプロファイルをシミュレートできます）。以下は、MongoDB Atlas で LLM/SLM の応答をキャッシュするためのデコレータを設定する方法を示すサンプルの Python コード スニペットです。

class mdbcache:
   def __init__(self, function):
         self.function = function
   def __call__(self, *args, **kwargs):
         key = str(args) + str(kwargs)
         ele = ccol.find_one({"key": key})
         if ele:
            return ele["response"]
         value = self.function(*args, **kwargs)
         ccol.insert_one({"key":key, "response": value})
         return value
@mdbcache
def invoke_llm(prompt):
   """
   Invoke the language model with the given prompt with cache. The llm.invoke  method can invoke either a LLM or SLM based on the Fireworks Model ID provided at the start of applicaiton.
   Args:
         prompt (str): The prompt to pass to the LLM.
   """
   response = llm.invoke(prompt)
   return response

図に示されているように、微調整プロセスに必要な訓練データセットは、シミュレーターを使用して生成できます。ここでは、層別サンプリング法を用いて、3 つの信用格付け（良好、普通、不良）すべてに等しい数のサンプルを選択するように、ユーザープロフィールのシミュレートを試みています。このデモでは、約 1300 以上のサンプル応答を生成しました。

現在、生成された応答を、Fireworks AI プラットフォームがサポートする形式に変換し、微調整プロセスを開始する必要があります。以下のファインチューニングプロセスで使用されるファイル「cc_cache.jsonl」は、次のコードを実行することで生成できます。

 from pymongo import MongoClient
 import pandas as pd
 import json
 client = MongoClient("mongodb+srv://<uid>:<pwd>@bfsi-demo.2wqno.mongodb.net/?retryWrites=true&w=majority")
 df = pd.DataFrame.from_records(client["bfsi-genai"]["cc_cache"].find({},{"_id": 0}))
 df["prompt"] = df["key"].apply(lambda x: x.strip('(').strip('"').strip(")").strip("\\"))
 del df["key"]
 df["response"] = df["response"].apply(lambda x: x.strip())
 df.to_json("cc_cache.jsonl", orient="records", lines=True)
 # transform cache to messages
 messages = []
 for item in df.iterrows():
   messages += [{"messages": [{"role": "user", "content": item["prompt"].strip("    \\")}, {"role": "assistant", "content": item["response"]}]}]
 with open("cc_cache.jsonl", "w") as f:
   for item in messages:
      f.write(json.dumps(item) + "\n")

データセットを準備し、「cc_cache.jsonl」ファイルを生成したので、以下の手順に従い、事前学習済みの「llama-v3p1-8b-instruct」モデルの微調整を開始できます。

1

Fireworks AI プラットフォームのリソースを管理するためのコマンドラインツールである firectl をインストールする

pip install firectl

2

Fireworks アカウントで firectl を認証する

firectl login

3

データ生成プロセスの一環として作成されたファインチューニング データセットを Fireworks プラットフォームにアップロードする

firectl create dataset <dataset_name> cc_cache.jsonl

4

アップロードしたデータセットと選択したモデルを使用してファインチューニング ジョブを作成する

firectl create sftj --base-model accounts/fireworks/models/llama-v3p1-8b-instruct --dataset <dataset_name> --output-model ccmodel --lora-rank 8 --epochs 1

5

ポータルを使用して微調整プロセスをモニターし、スムーズな実行を確認

図3。ファインチューニングプロセスのモニタリング

6

推論のために微調整されたモデルを Fireworks プラットフォームに配置する

firectl deploy ccmodel

MongoDB と Fireworks.AI のシームレスな統合は、AI モデルのパフォーマンスを向上させるプロセスを、対費用効果が高く効率的な方法で合理化します。これは、上記で提供されている微調整に関するステップバイステップガイドで明示されています。

Fireworks のプラットフォームにモデルをサーバーレス API として配置した後、図 2 に示されているモデル ID（models/ft-m88hxaga-pi11m）を使用して、選択した言語モデル フレームワークで微調整された SLM モデルを呼び出すことができます。

まとめ

MongoDB と Fireworks AI の統合により、SLM の訓練の効率とコスト効果が大幅に向上します。このパートナーシップにより、高度な AI ソリューションがより利用しやすく、経済的に実行可能になり、将来を見越した AI 投資が確保されます。このコラボレーションの重要な価値提案には、以下が含まれます。

• 総所有コストの削減: Fireworks AI の LogRA および qLoRA 手法は、低ランクの整合性と量子化を適用して計算リソースの必要性を最小限に抑え、SLM の微調整に関連するコストを削減します。MongoDB は、分散型のアーキテクチャ、柔軟なスキーマ、効率的なインデックスの作成でこれをサポートしており、データ インフラストラクチャをオンデマンドで拡大し、ストレージコストを最小限に抑え、必要資金と運用コストの両方（CapExとOpEx）を削減します。

• データと AI の統合ワークフロー: MongoDB はリアルタイム データ統合を促進し、AI モデルに即時にデータを提供することで、運用効率を向上させます。Fireworks AI の微調整ツールとの統合により、AI モデルが継続的に更新され、関連性が保たれる効率的なワークフローが実現され、意思決定が向上し、正確なインサイトが提供されます。

• 堅牢な RAG ソリューション: MongoDB Atlas と Fireworks AI のシームレスな組み合わせにより、RAG フレームワークの作成が効率化され、データのストレージと検索が強化されます。MongoDB Atlas は埋め込みストレージ用のスケーラブルなプラットフォームを提供する一方で、Fireworks AI はマネージド LLM/SLM ホスティングやその他の機能を提供します。これらを組み合わせることで、関連情報の検索によってユーザーエクスペリエンスを向上させる、スケーラブルかつインテリジェントなシステムを実現します。

この戦略を採用する組織は、AI パフォーマンスの向上、リソースの節約、将来に備えたソリューションを実現し、さまざまなセクターでイノベーションと競争優位性を推進します。

さらに読む

Fireworks AI のプラットフォームが推論速度とスループットを加速する方法。

• FireAttention V2: このイノベーションは、オンライン推論中に長いコンテキストを処理する効率を向上させ、最大 12 倍の速度での処理を実現します。

• FireAttention V3: この進歩により、AMD ハードウェアを GPU 推論の実行可能な代替手段として使用できるようになり、ハードウェアオプションが広がり、コストを削減できる可能性があります。

• FireOptimizer: このツールを使用すると、本番環境での推論ワークロードのレイテンシと品質をカスタマイズできるため、ユーザーは特定のニーズに合わせてパフォーマンスを調整できます。

MongoDB 開発者データ プラットフォーム

• MongoDB Atlas

提携技術

• Fireworks AI

• LgChuin