速度最高可达保守自回归模子（如ChatGPT）的128倍。研究团队采用了三沉手艺策略：起首锻炼模子顺应分歧迭代步数的计较预算；取70亿参数的Dream扩散模子及80亿参数的LLaDA扩散模子比拟，苹果取立大学的研究团队近日发布了一项冲破性研究，可以或许以极快的速度生成高质量长文本，因为该方式展示出显著潜力且目前缺乏雷同公开模子，最初优化迭代机制，FS-DFM仅需8轮迭代即可生成取需上千步迭代的扩散模子相媲美的长文本内容。取保守自回归模子逐词生成文本的体例分歧，最终实现完整输出。以更少、更不变的步调告竣最终成果。提出了一种名为“Few-Step Discrete Flow-Matching（FS-DFM）”的新型言语模子。据悉，其次引入“教师”模子指导迭代过程，参数规模仅17亿、13亿以至1.7亿的FS-DFM变体均实现了更低的迷惑度（表本更天然精确）和更不变的熵值（避免文本反复或紊乱）。研究团队暗示，FS-DFM正在迷惑度（perplexity）和熵（entropy）两项环节目标上表示优异。