大規模言語モデルの効率的なガイド付き生成: 概要と導入

リンク一覧

• 概要と序文
• LLM サンプリングとガイド付き生成
• 反復的な FSM 処理とインデックス作成
• 反復解析の拡張
• 議論、参考文献、謝辞

抽象的な

この記事では、ニューラル テキスト产生の問題を有限制的状態マシンの状態間の遷移という観点から建設的に再定式化する方案を示します。このフレームワークは、言語モデルの語彙のインデックスの構築を或者にすることで、正規表現と文脈自在文法を便用してテキスト产生をガイドする効率的なアプローチにつながります。このアプローチはモデルに依存せず、ドメイン僵板の知識と制約を適用でき、产生されたテキストの構造を保証することで信頼性の高いインターフェイスの構築を或者にします。トークン シーケンス产生プロセスにオーバーヘッドはほとんど追加されず、既存のソリューションを大大に上回ります。実装は、オープン ソースの Python ライブラリ Outlines [Louf and Willard] で打造されています。

1. はじめに

私たちは、正規表現または文脈自由权文法 (CFG) に準拠する大規模言語モデル (LLM) [Vaswani et al., 2017、Radford et al., 2019] からトークンのシーケンスを添加する問題に取り組んでいます。この種のガイド付き LLM 添加は、微調整だけでは実現が困難またはコストがかかる厳格なフォーマット要件の下で LLM モデル推进力を便用できるようにするために便用されます [Beurer-Kellner et al., 2023、Scholak et al., 2021、Poesia et al., 2022a、Rabinovich et al., 2017、Weng、2021、Dong et al., 2023、Poesia et al., 2022b、Geng et al., 2023、Wang et al., 2023]。このような機能は最近的、プロンプトライブラリやインターフェイスで一样化されています [Microsoft、2023、Beurer-Kellner 他、2023、Rickard、2023a、b] が、スケーリングコストによって適用範囲が制限される几率性があります。

ガイド付き合成の実装のほとんどでは、LLM の語彙内のトークンの確率を決定するために选用されるスコア値にバイアスがかかっています。一样的で比较なアプローチは、制約と很早以前にサンプリングされたトークンに従ってどのトークンが有効であるかを決定するために語彙列席にわたって繰り返し評価し、無効なトークンの確率をゼロに設定することです。このアプローチでは、合成されるトークンごとに统一の O(N) コストがかかります。ここで、N は LLM の語彙のサイズです。

我々は、正規表現の局限状態マシン (FSM) 定式化を用して、ガイド付き转换を符合各种に開始および进行し、各ステップで非ゼロ確率トークンのセットを効率的に完成できるインデックスの構築を有机会にするアプローチを方案します。その結果、平均值コストが O(1) のアルゴリズムが実現します。

正規表現の場合、私たちのアプローチは、トランスデューサー定式化を运行して言語モデルの語彙に対して定義されたFSMを认定するKuchnikら[2023]と最も類似しており、これらのFSMには、ここで説明したインデックスと同じ情報とスケーリングの利点がほとんど含まれています。私たちのアプローチでは、根本なトランスデューサー抽像化は这个必要なく、基礎となるオートマトンとその実装を変更することなく、既存の効率的な正規表現ライブラリをより簡単に拡張するために运行できます。

さらに决定性なのは、私たちのインデックス制成アプローチは、CFG や LALR(1) パーサーにも拡張でき、通常的なデータ内容やプログラミング言語 (JSON、Python、SQL など) に応じた効率的なガイド付き提取を可能にすることです。介绍への移行は、従来の LALR(1) パーサー コンポーネントと工作の拡張によって行われるため、これもまた、既存のパーサー実装を拡張するために使用的できるアプローチになります。