Fireworks AI と MongoDB による生成系 AI アプリケーションの最適化で最高のパフォーマンスを実現

MongoDBとFireworks AIの強み

MongoDB は柔軟なスキーマ、効率的なインデックスの作成、分散されたアーキテクチャで知られており、組織は必要に応じてデータインフラストラクチャをオンデマンドで増やすことができます。Fireworks.AI の最先端のモデル調整機能と組み合わせると、エンタープライズは金銭的負担をかけずに、顕著な効率とパフォーマンスの向上を達成できます。

FireOptimizer と FireAttention の紹介: コア コンポーネント

この最適化されたアプローチの中心となるのは、MongoDB の柔軟で高性能なデータベースを Fireworks.AI のモデル調整プロセスと統合する FireOptimizer フレームワークです。

このフレームワークは、既存のハードウェアを使用してリクエスト処理を強化し、リソースの利用を最適化する手法である FireAttention などのソリューションにより、バッチ推論を高速化します。さらに、LoRA や QLoRA などの手法を含むパラメータ効率に優れた微調整（PEFT）は、トレースデータやラベルデータを使用して、特殊なタスクを効率的に完了するようにモデルを微調整し、移植性を高め、計算のフットプリントを削減します。

図1。適応型最適化と高品質の推論のための FireOptions アーキテクチャ

達成可能な主な利点は以下の通りです。

• 推論の高速化： FireOptimizerの適応型推測実行により、さまざまなモデルにわたる本番ワークロードのレイテンシが最大3倍改善され、アプリケーションの応答性が常に高く保たれます。

• 手間のかからない最適化：FireOptimizer は複雑な最適化プロセスを自動化しますので、お客様はアプリケーションの構築に専念でき、残りは弊社が取り扱います。

FireOptimizer フレームワークについて詳しく見ていきましょう。

FireOptimizer: 調整によるより優れたトークン生成

LLM は通常、一度に 1 つの単語（またはトークン）を生成するため、特に長い出力の場合、応答が遅くなることがあります。このプロセスを加速するために、推測的デコードと呼ばれる手法が使用されます。これは、メインの LLM が処理を続けている間に、いくつかの単語やフレーズを事前にすばやく生成する、ドラフトモデルと呼ばれる小型で高速なモデルを含みます。次に、メインLLMはこれらの推測を評価し、正確なものだけを保持します。この手法は、一般的に推測的実行またはデコードと呼ばれています。

この従来のアプローチの限界は、ほとんどのドラフトモデルが一般的なデータ（例: 一般的な会話）で訓練されている点にあります。このアプローチは一般的なタスクには有効ですが、コーディングや財務分析などの専門的なシナリオでは、その精度や「的中率」が大幅に低下します。

これに対して、Fireworks AI は、適応型投機的実行を通じてこのアプローチを強化しています。画一的なドラフトモデルを使用する代わりに、特定のドメインやユーザープロファイルに合わせてカスタマイズされたモデルを使用します。この適応型アプローチを使用することにより、ドメイン固有の特性に基づいて予測を最適化します。この方法により、精度が向上し、ヒット率が向上します（例：コード生成タスクでは 29% から 76% へ）、推論コストが削減されるため、レイテンシは最大 3倍まで改善されます。

独自の LLM サービングスタック：長いコンテキストのワークロードをマスターする

長いプロンプト（8K～32Kトークン）のプロセシングは、ドキュメント分析やコード補完などのアプリケーションにとって重要ですが、多くの場合、システムを遅くします。Fireworks AI のFireAttention V2はこの問題に対処し、長いコンテキストタスクの処理を12倍速くします。

小型で効率的なモデルのためのファインチューニング戦略：MongoDBを用いた実用的なクレジットアプリケーションデモ

小さく効率的なモデルは、微調整を行うための固有の機会を持てるため、リソース効率を維持しつつ特定の適応が可能です。この分野では、クラウド、デバイス上、専用ハードウェアなど、さまざまな媒体向けに微調整または最適化された SLM 開発の競争が激化しており、絶えず研究が進められています。

これらの微調整手法は、次のように分類されます:

これらの中で最も人気のある手法は、PEFT ベースのものです。大規模な事前訓練済みモデルで使用される PEFT 技術は、パラメーターのごく一部を調整するだけで、新しいタスクに適応させることができます。このアプローチは、特にデータセットが小さい場合に過剰適合を防ぐのに役立ち、完全なファインチューニングと比較して計算量とメモリ要件を大幅に削減します。PEFT は、LLM における破滅的忘却も軽減します。これらの技術は、完全な再トレーニングを必要とせずにモデルを効率的にカスタマイズすることを可能にし、リソースが限られた環境に最適です。

PEFT LoRA 技術を採用することにより、トレースデータ（モデルの対話から生成されたデータ）とラベル付きデータ（特定のタスク用に明示的に注釈が付けられたデータ）の両方を利用できるため、比較的小規模なモデルを微調整して、広範な計算リソースを必要とせずに、特定のタスクで高いパフォーマンスを実現できます。

実用的な用途について強調するために、MongoDB によるクレジットカード アプリケーションのデモを行い、MongoDB が予測分析を用いた信用評価にどのように使用できるかを示し、生成系 AI を用いて信用評価の結果を説明し、LLM を用いた RAG アプローチによるクレジットカードの推奨を実行する方法を説明します。この微調整の例では、LLM を使用して信用格付けの説明を簡略化することに焦点を当てます。このアプリケーションは、ユーザープロファイルの生成、製品の推薦、要約タスクを用いた再ランク付けなど、さまざまな機能範囲を網羅しています。アプリケーションの設計とソースコードの詳細は、「MongoDB クレジットカード アプリケーション ソリューション ライブラリ ページ」で確認できます。

Fireworks AI を使用した小規模言語モデルのファインチューニング手順ガイド

クレジット カード アプリケーションのデモの重要な点は、クレジットスコアまたはクレジット評価を明確に毎日のカスタマーで説明することです。Meta の LLaMA 3.1 - 405 Bなどの Frontier LLM は、顧客の代替クレジット スコアまたはクレジット レーティングを予測するために使用されるモデルから、ユーザー プロファイル パラメーター、モデル入力機能、機能の重要性などの要素を使用して、これらの説明を生成できます。ただし、効果的な推論と説明に必要なパラメータの数が限られているため、これらのタスクは SLM では一貫して達成できません。目的の結果を得るには、Fireworks AI微調整プラットフォームを使用して、上記で説明したファインチューニングプロセスを活用する必要があります。

次の手順では、プラットフォームを使用して SLM を微調整する方法を段階的に説明します。

このプラットフォームとツールを活用する方法は次のとおりです。

図2。LLM/SLM のファインチューニングプロセス

微調整プロセスは、関連するタスク固有のデータのコレクションから始まります。図2に示すように、汎用データベースである MongoDB Atlas を活用することで、クレジットカードアプリケーションへの入力に基づいて特定のユーザーの LLM/SLM 応答をキャッシュできます（ユーザーは Web UI でユーザーのクレジットプロファイルをシミュレートできます）。以下は、MongoDB AtlasでLLM/SLMの応答をキャッシュするためのデコレータを設定する方法を示すサンプルのPythonコードスニペットです。

class mdbcache:
   def __init__(self, function):
         self.function = function
   def __call__(self, *args, **kwargs):
         key = str(args) + str(kwargs)
         ele = ccol.find_one({"key": key})
         if ele:
            return ele["response"]
         value = self.function(*args, **kwargs)
         ccol.insert_one({"key":key, "response": value})
         return value
@mdbcache
def invoke_llm(prompt):
   """
   Invoke the language model with the given prompt with cache. The llm.invoke  method can invoke either a LLM or SLM based on the Fireworks Model ID provided at the start of applicaiton.
   Args:
         prompt (str): The prompt to pass to the LLM.
   """
   response = llm.invoke(prompt)
   return response

図に示されているように、ファインチューニングプロセスに必要な訓練データセットは、シミュレーターを使用して生成することができます。ここでは、層別サンプリング手法を用いて、3つの信用格付け（良好、普通、不良）すべてに等しい数のサンプルを選択するためにユーザープロファイルをシミュレートしています。このデモでは、約 1300以上のサンプル応答を生成しました。

現在、生成された応答を、Fireworks AI プラットフォームがサポートする形式に変換し、微調整プロセスを開始する必要があります。ファイル "cc_cache.jsonl"以下のファインチューニングプロセスで使用されるものは、次のコードを実行することで生成できます。

 from pymongo import MongoClient
 import pandas as pd
 import json
 client = MongoClient("mongodb+srv://<uid>:<pwd>@bfsi-demo.2wqno.mongodb.net/?retryWrites=true&w=majority")
 df = pd.DataFrame.from_records(client["bfsi-genai"]["cc_cache"].find({},{"_id": 0}))
 df["prompt"] = df["key"].apply(lambda x: x.strip('(').strip('"').strip(")").strip("\\"))
 del df["key"]
 df["response"] = df["response"].apply(lambda x: x.strip())
 df.to_json("cc_cache.jsonl", orient="records", lines=True)
 # transform cache to messages
 messages = []
 for item in df.iterrows():
   messages += [{"messages": [{"role": "user", "content": item["prompt"].strip("    \\")}, {"role": "assistant", "content": item["response"]}]}]
 with open("cc_cache.jsonl", "w") as f:
   for item in messages:
      f.write(json.dumps(item) + "\n")

データセットを準備し、「cc_cache.jsonl」を生成したので、ファイルを使用して、以下の手順に従い、事前学習済みの「llama-v3p1-8b-instruct」モデルの微調整を開始できます。

1

Fireworks AIプラットフォームの**リソース**を管理するための**コマンドライン**ツールであるfirectlをインストールします。

pip install firectl

2

Fireworks アカウントで firectl を認証する

firectl login

3

データ生成プロセスの一環として作成されたファインチューニングデータセットを Fireworks プラットフォームにアップロードしてください

firectl create dataset <dataset_name> cc_cache.jsonl

4

アップロードしたデータセットと選択したモデルを使用してファインチューニングジョブを作成してください

firectl create sftj --base-model accounts/fireworks/models/llama-v3p1-8b-instruct --dataset <dataset_name> --output-model ccmodel --lora-rank 8 --epochs 1

5

ポータルを使用してファインチューニングプロセスをモニターし、スムーズに実行されることを確認してください。

図3。ファインチューニングプロセスのモニタリング

6

推論のために微調整されたモデルを Fireworks プラットフォームに配置する

firectl deploy ccmodel

MongoDB と Fireworks.AI のシームレスな統合は、AI モデルのパフォーマンスを向上させるプロセスを、対費用効果が高く効率的な方法で合理化します。これは、上記で提供されている微調整に関するステップバイステップガイドで明示されています。

fireworks プラットフォームにモデルをサーバーレス API として配置した後、図2に示されているモデル id (models/ft-m88hxaga-pi11m) を使用して、選択した言語モデルフレームワークで微調整された SLM モデルを呼び出すことができます。

まとめ

MongoDBとFireworks AIの統合により、SLMの訓練の効率とコスト効果が大幅に向上します。このパートナーシップにより、高度なAIソリューションがより利用しやすく、経済的に実行可能になり、将来にわたってAI投資が保証されます。このコラボレーションの重要な価値提案には、以下のものが含まれます。

• 所有権の総コストの削減 : Fireworks AI の LogRA およびqLoRA メソッドは、低ランクの整合性と量子化を適用して計算リソースの必要性を最小限に抑え、SM の微調整に関連するコストを削減します。MongoDBは、分散されたアーキテクチャ、柔軟なスキーマ、効率的なインデックスの作成でこれをサポートしており、データインフラストラクチャをオンデマンドで増やし、ストレージコストを最小限に抑え、キャパシティーと運用コストの両方を削減します（CapExとOpEx）。

• データとAIの統合ワークフロー：MongoDBはリアルタイムデータ統合を促進し、AIモデルに即時にデータを提供することで、運用効率を向上させます。Fireworks AI の微調整ツールとの統合により、AIモデルが継続的に更新され、関連性が保たれる効率的なワークフローが実現され、意思決定が向上し、正確なインサイトが提供されます。

• 堅牢な RAG ソリューション：MongoDB AtlasとFireworks AIのシームレスな組み合わせにより、RAGフレームワークの作成が効率化され、データのストレージと取得が向上します。MongoDB Atlas は埋め込みストレージ用のスケーラブルなプラットフォームを提供し、Fireworks AI は管理された LLM/SLM ホスティングやその他の機能を提供します。共に、関連情報の検索によってユーザーエクスペリエンスを向上させる、スケーラブルなインテリジェントなシステムを実現します。

この戦略を採用する組織は、AIパフォーマンスの向上、リソースの節約、将来にわたるソリューションを実現し、さまざまなセクターでイノベーションと競争優位性を推進します。

さらに読む

Fireworks AI のプラットフォームが推論速度とスループットを加速する方法：

• FireAttention V2：このイノベーションは、オンライン推論中に長いコンテキストを処理する効率を向上させ、最大12倍の速度で処理を実現します。

• ファイアアテンションV3：この進歩により、AMDハードウェアをGPU推論の実行可能な代替手段として使用できるようになり、ハードウェアオプションが広がり、コストが削減される可能性があります。

• FireOptimizer: このツールを使用すると、本番環境での推論ワークロードのレイテンシと品質をカスタマイズできるため、ユーザーは特定のニーズに合わせてパフォーマンスを調整できます。

MongoDB 開発者データ プラットフォーム

• MongoDB Atlas

提携技術

• 花火AI

• LgChuin