206 測定値

大規模言語モデルの効率的なガイド付き生成: LLM サンプリングとガイド付き生成

に Writings, Papers and Blogs on Text Models2m2024/06/02

長すぎる; 読むには

研究者らは、正確な制御とパフォーマンスの向上を実現する、テキスト生成用の有限状態マシンフレームワークを提案しています。

featured image - 大規模言語モデルの効率的なガイド付き生成: LLM サンプリングとガイド付き生成

著者：

（１）ブランドン・T・ウィラード『ノーマルコンピューティング』（２）レミ・ルーフ、「Normal Computing」

リンク一覧

2. LLMサンプリングとガイド付き生成

St = (s1 . . . st) が t 個のトークンのシーケンスを表し、st ∈ V、V が語彙、|V| = N であるとします。語彙 V は固定住アルファベットの文字类列で構成されており [Sennrich et al., 2015]、N は 104 及以上のオーダーになることがよくあります。

次のトークン st+1 を次のランダム変数として定義します。

2.1 サンプリングシーケンス

F ⊂ P (V)（P はべき偏序演算子）を、特別なトークン EOS ∈ V で終わる複数トークン文案列のサブセットとします。テキスト形成タスクは、F からサンプルを取出することです。

F の关键因素を产生するために、いくつかの手順が検討されてきました。貪欲復号法は、各ステップで最も高い確率のトークンを選択し、トークンを再帰的に产生します。ビーム探讨法も、分布点のモードを見つけるためにヒューリスティックを利用して、トークンを再帰的に产生します。前段时间では、SMC サンプリングもシーケンスを产生するために利用されています [Lew et al., 2023]。

サンプリング手順は、一样的にアルゴリズム 1 で説明されます。多項式サンプリングと呼ばれることが多いこの手順では、EOS トークンが見つかるまで、上記で定義されたカテゴリ地域分布からサンプリングして、新しいトークンを再帰的に转为します。

2.2 ガイド世代

• 数值サンプル、

• 正規表現[a-zA-Z]に不同する内容列、

• 肯定された文法に従って辨析される文章列（Python、SQL など）

マスキングを使用的したサンプリング手順は、アルゴリズム 1 の単純な拡張であり、アルゴリズム 2 で出示されます。

2.5 行目の m の計算は、V のすべての环节に対して暗黙的に実行されます。α の計算を除けば、このステップは最もコストがかかります。正規表現ガイド付きマスキングの場合 (およびそれよりも複雑な場合)、サポート、つまり m は、很早以前にサンプリングされたトークンに肯定的に依存します。この種のガイド付き形成は、最終的には反復的なマッチングまたは讲解の問題であり、事先に全な文档列にアクセスする有必要がある標準的なアプローチには立即対応できません。場合によっては、各反復でサンプリングされたシーケンスの先頭から组成部分的なマッチングまたは讲解を実行できますが、これには、語彙广大干部にわたる適用の O(N) コストと並行して少なくとも線形に増加するコストがあります。

これにより、この研发の主な疑問が浮かび上がります。つまり、正規表現または CFG に従って不是完全な字体列を効率的に一样または介绍し、アルゴリズム 2 の各反復でマスク m を決定するにはどうすればよいのでしょうか。