大型语言模型的高效引导生成：迭代 FSM 处理和索引

链接表

• 摘要和简介
• LLM 抽样和指导生成
• 迭代 FSM 处理和索引
• 迭代解析的扩展
• 讨论、参考文献和致谢

3. 迭代 FSM 处理和索引

精确地说，小编综合考虑 5 元组现有重新机行驶的正则表答式 [Sipser，1996，判定 1.5]：

定义 1 （有限自动机）。有限自动机或有限状态机由 (Q, Σ, δ, q0, F) 给出，其中 Q 是一组有限状态，Σ 是有限字母表，δ : Q × Σ → Q 是转换函数，q0 ∈ Q 是起始状态，F ⊆ Q 是接受状态集。

V 中空格符串的分解成空格符产自 Σ：即 V ⊂ P(Σ)。为单纯能够适应这条线路的状况，FSM 感觉 Q 将时常用整目标值指出。

示例 1。我们在图 1 中说明了正则表达式 ([0-9]*)?\.?[0-9]* 的 FSM 采样过程，该正则表达式可用于生成浮点数。为简单起见，让词汇表 V 仅由以下字符串组成：“A”、“.”、 “42”、“.2”和“1”。

当生成开始时，FSM 处于状态 0，因此我们的算法会屏蔽字符串“A”，因为它不会被 FSM 接受。在这种情况下，我们只能采样“.”、“42”、“.2”和“1”。

如果我们采样“.2”，则将 FSM 推进到状态 3。在这种情况下，只有“42”和“1”是有效完成，因此我们在采样之前屏蔽其他值。如果我们采样“1”，则将 FSM 推进到状态 1，在这种情况下，“。”、”.42”、“.2”和“1”是有效完成，并且屏蔽保持不变。

间歇遍历字词表以知道很好的下两个标记图片已经是最大的的大问题。因而，我们大家适用正则形容式的 FSM 对字词表通过预治理并建设方案检索。重要性的是属于我们大家综合考虑从每位准许的 FSM 睡眠情况准备，如果字词表里的c语言字符串串会搭配正则形容式的符合各种一部份，而这部份一部份蕴含地是 FSM 睡眠情况。

算法流程图 3 中给定了从 FSM 中的同一个点开始了导出符合的的时候。后果是子编码序列全部，图解证明了 FSM 在收到给予的空格符串时将遍历的的状态。

在将这种子队列的始点情况下与计算方式 2 中再循环一点送达的另外是一个 FSM 情况下做好自动匹配，各位能施用影射 σ : Q → P(V) 更好地对名词表做好字段，将 FSM 情况下与 FSM 在这种情况下下将接收的名词表稀土元素集相连接开来。

百度算法 4 详情了 σ 的结够。

适用哈希遍历 σ 能否使计算方法 2 中的 m 步驟评均仅要花 O(1)。然而，可能 σ 是在标记图片抽样的时候本身共建的，由此其正常运行时成本预算实际情况上关系不大紧要，哪怕理论知识上它是需要的手机内存等同于 FSM 中的的情形数（即 |Q|）。侥幸的是，相对于正则展示式和词语表的非病态结构，词语列表中的并不一定每空字符串数组串数组均会被 FSM 得到，且并不一定每 FSM 的情形均会由 V 中的空字符串数组串数组表达出来。

3.1 示例

在这节中，我国实用 GPT2-medium（355M 个性能参数）来讲解正则抒发式教育引导添加二维码在实行中的运转机理。我国实用库 Outlines 来添加二维码这些：

明细 3.1 – 续

明细表 3.3 – 续

3.2 与当前方法的比较

以便解释这段话经验并在 Outlines 中变现的字段方式的效果，我们公司与 Guidance 库确定了特别简单的特别。截止日起草这段话时，Guidance 库采用那部分正则表答式适应（没次从取样字段的开始应运），且应该在某一步不断 LLM 的单词表（N = 50, 257）。

某次相对比较安全使用的指导性码和提升方式：

申报单 3.4 – 续

相应的的Outlines编码下述：

汇总表 3.5 – 续

max_tokens 的值是变换的，从而安全使用 timeit 见证单独无限循环和单独抄袭值的的时间（即，来说4个 max_tokens 值只处理一款 样版）。导致画制在第 3.2 节中。

就算存在的或者使得相对较大自动运行时一定的差异的系统配置疏忽大意，那么看到的最大化取样令牌人数的调整图片大小是令人震惊的，同时显示该工艺抽象性的算出话题日趋情况严重。