transformer

一、背景

1. 序列到序列模型

1）语音辨识

输入输出关系：输入声音信号（t帧特征向量），输出对应文字（n个字），t与n无固定比例关系。

典型案例：台语语音辨识系统（1500小时乡土剧训练数据）。

技术特点：直接端到端训练，跳过音标转换等中间步骤（”硬train一发”方法）。

2）机器翻译

长度关系：输入句子长度n与输出句子长度n’由模型动态决定。

中英案例：“机器学习”（4字）→”machine learning”（2词），非固定1/2比例（可长可短）。

3）语音翻译（语音辨识复合机器翻译）

特殊价值：适用于无文字语言（全球7000+语言中过半无文字系统）。

实现方式：直接建立语音到目标语言文字的映射，避免传统ASR+MT串联方案。

4）台语语音辨识应用案例

数据来源：YouTube乡土剧（台语音频+中文字幕对齐数据）。

技术挑战：背景⾳乐/噪声干扰（直接忽略处理）；字幕与语音不完全对齐（仍可训练）；跳过台罗拼音中介步骤（端到端训练）；强行训练。

典型错误：倒装句处理困难（”我有帮厂长拜托” vs 正确应为”我拜托厂长”）；语义理解偏差（”要生了吗” vs 正确答案”不会腻吗”）。

5）台语语音合成应用案例

实现方案：两阶段处理：中文→台罗拼音→声音信号；使用Tacotron模型（基于Seq2seq架构）。

合成示例：“欢迎来到台大语音处理实验室”→台语发音。

6）聊天机器人

训练数据：影视剧对话数据集（输入-响应配对）。

实现方式：将对话建模为[输入语句→响应语句]的序列转换任务。

7）自然语言处理

统一视角：多数NLP任务可视为QA问题：翻译：问题=”英文句子的德文翻译？”；摘要：问题=”文章的摘要是什么？”；情感分析：问题=”句子是正面/负面？”。

实现方案：将”问题+上下文”拼接作为输入序列，答案作为输出序列。

2. 任务应用

1）多标签分类

核心区别：多分类任务：从多个类别中选择一个最合适的类别（n选1）；多标签任务：一个对象可以同时属于多个类别（n选k，k不固定）。

应用示例：文章分类中，一篇文章可能同时属于”科技”和”教育”两个类别；图片标注中，一张图片可能包含”猫”、”狗”、”草地”等多个标签。

传统方法局限：直接取分类器得分前三名会失效，因为不同样本的标签数量可能不同（有的需要2个标签，有的需要3个）。

Seq2Seq解决方案：让模型自主决定输出序列长度（即标签数量）；输入文章，输出不定长的类别序列（如：Class1 Class3）。

2）目标检测

创新应用：传统目标检测需要预定义anchor boxes；Seq2Seq模型可以直接输出检测结果序列。

实现特点：输入图片特征，输出不定长的(object class, bounding box)序列；模型自主决定需要检测的物体数量。

参考文献：DETR模型论文链接：https://arxiv.org/abs/2005.12872。

二. transformer结构

1.编码器

组成结构：Encoder：处理输入序列，输出中间表示；Decoder：基于编码结果生成输出序列。

发展历程：2014年首次提出（论文：https://arxiv.org/abs/1409.3215）；现以Transformer架构为主流。

1）编码器的block

基本流程：输入向量序列通过多个相同结构的block；每个block包含：Multi-head Self-attention层、Feed Forward层、残差连接和Layer Normalization。

2）位置编码

必须添加positional encoding来保留序列顺序信息；与输入embedding相加后送入encoder。

3）自我注意力的层次

残差连接：将self-attention层的输入直接加到输出上(a + b)；缓解深层网络梯度消失问题。

Layer Normalization：对单个样本的所有维度计算均值方差；公式：[图像]；与Batch Norm区别：不依赖batch统计量。

完整流程：Self-attention + 残差；Layer Norm；[][图像]；FFN + 残差；再次Layer Norm。

架构优化：原始设计非最优（论文：https://arxiv.org/abs/2002.04745）；调整normalization位置可能提升性能；PowerNorm可作为Layer Norm替代方案（论文：https://arxiv.org/abs/2003.07845）。

2.解码器

1） 自动回归解码器

1.1 例题：语音识别

工作原理：输入声音信号（如”机器学习”的语音），通过encoder转换为vector sequence，decoder逐步生成文字输出。输入输出转换与机器翻译原理相同，只需改变输入输出内容（语音→文字 vs 文本→文本）。特殊起始符需在decoder输入中加入BEGIN符号（BOS），用one-hot vector表示（某一位为1其余为0）。

输出向量特性：输出向量长度等于vocabulary size（如中文常用3000字），经softmax处理后形成概率分布（总和为1），输出的就是中文的每一个字的可能性，比如预测下一个字之后可能输出的方块字的可能性。多语言处理差异：英文可选择字母/单词/subword为单位，中文通常以单个方块字为单位，英文是以词或者字母，或者词组。中文是单个字进行输出。输出的是一个分布。分数最高的中文字就是最终的输出。

decoder的上一个输出回合以前的输入成为新的decoder的输入。自己的输出当作下一个时间的自己的输出。

1.2 解码器的结构

基础结构：与encoder相似（multi-head attention → add & norm → feed forward → add & norm），重复N次。

关键差异：输出端增加softmax层生成概率分布（输出变成未来的几率）；采用masked multi-head attention（屏蔽未来信息）包含中间特殊连接层（图中被遮盖部分）现在不能再去看未来的信息了。

自回归特性：将前步输出作为当前输入（如BEGIN→”机”→”器”→”学”→”习”），输入和输出的结果长度不确定。

错误传播风险：若中间输出错误（如将”器”误为”气”），后续输出可能持续错误。

1.3 屏蔽自我注意

对应的query和key不会涉及到之后的信息，是有顺序的。

屏蔽原理：计算bi时只能关注a1到ai，禁止访问右侧信息(ai+1及之后）。

实现方式：计算attention时，query只与左侧key相乘（如q2只与k1,k2计算）；通过设置attention score为-∞实现右侧屏蔽。

必要性：decoder输出具有时序性(a1→a2→…)，生成ai时无法知晓ai+1信息

对比标准attention：原始self-attention可同时访问全部输入信息。

1.4 输出序列长度确定

例题：推文接龙类似于成语接龙。

类比说明：类似PTT推文接龙（如”超→人→正→大→中→天”），需明确终止机制。

持续风险：若无终止信号，decoder可能无限生成输出（如”机器学习习习习…”）。

停止标记：特殊符号在vocabulary中添加END标记（与BEGIN可同符号）有开始就要有结尾

终止条件：当输出END的概率最大时停止生成。

实现细节：训练时让decoder学习在适当位置输出END；中文处理时需额外增加该特殊符号（超出常规汉字集）。

工作流程：完整生成过程示例：BEGIN→”机”→”器”→”学”→”习”→END，产生习之后END的概率应该最高。

2） 非自动回归解码器

AT工作方式：采用自回归方式（Autoregressive），缩写为AT。依次生成序列：输入BEGIN→输出W1→将W1作为新输入→输出W2→…→直到输出END标记。不是一次产生的。

NAT工作方式：非自回归（Non–autoregressive）模型，缩写为NAT。一次性生成整个序列：输入一排BEGIN token→直接输出完整序列（如中文句子）。

长度控制方法：使用分类器预测输出长度：分类器读取encoder输出，预测数字n→decoder接收n个BEGIN token，简单的预测一个对应的长度；

预设最大长度：输入固定数量BEGIN token（如300个），通过END标记截断多余输出，假设一个具体长度的上限。

2.1 非自动回归解码器的优点

并行计算优势：无论输出长度多少都只需一个计算步骤，速度显著快于AT（100字句子AT需100次计算，NAT只需1次）计算步骤明显减少。输出长度

可控性：通过调整预测长度的分类器输出，可精确控制生成速度（如语音合成中，长度×2→语速减半）。

技术背景：依赖Transformer的self-attention机制，传统RNN/LSTM无法实现此架构

当前局限：存在multimodality问题，性能通常低于AT模型，需复杂技巧才能达到相近效果，实际上准确度很差，很多的研究只能逼近对应的AT模型。

3）编码器和解码器之间的连接

信息传递方式：通过cross attention（桥梁)连接，decoder生成query(q)，encoder提供key(k)和value(v)。

具体流程：encoder输出向量a1,a2,a3转换为k1,k2,k3和v1,v2,v3；decoder输入（如BEGIN）生成query(q)；计算q与k的attention分数，加权求和v得到输出向量。

层级连接：原始方案中所有decoder层都使用encoder最后一层输出，但可自定义其他连接方式，可以由操作者自行定义，永远可以有新的想法。

4） 训练

4.1 需要什么样的训练资料

数据要求：输入序列（如音频）与对应输出序列（如人工标注文本）的配对数据。

标注格式：每个输出token对应one-hot向量（如4000个中文单字的分类问题），每一个输出都有一个交叉熵，所有的交叉熵的总和越小越好。

4.2 训练过程

Teacher Forcing：训练时decoder接收真实序列作为输入（BEGIN+正确答案），测试时使用自身输出，训练的时候会给decoder看正确答案。

损失计算：每个时间步计算输出分布与one-hot向量的交叉熵，总和最小化。特殊标记处理：需包含END标记的训练（如4字句子需计算第5个位置的END损失）。

训练-测试差异：存在exposure bias问题，后续可能需用计划采样(scheduled sampling)等方法缓解。

5） 训练技巧

5.1 复制机制

5.1.1 复制机制在任务中的应用

核心思想：允许decoder从输入序列中直接复制内容到输出，而非完全自主生成。

适用场景：当输出内容部分或全部存在于输入中时特别有效，如专有名词、特定术语等（聊天机器人）。

必要性：对于罕见词汇（如”库洛洛”），模型可能从未在训练数据中见过，自主生成困难。

5.1.2 聊天机器人中的复制机制举例

案例1：输入：”你好，我是库洛洛”；理想输出：”库洛洛你好，很高兴认识你”；机制优势：模型无需生成罕见词”库洛洛”，只需学习复制模式”我是[某某某]→[某某某]你好”。

案例2：输入：”小杰不能用念能力了”；理想输出：”你所谓的不能用念能力是什么意思”；机制优势：直接复述用户输入中的关键短语，避免生成错误。

5.1.3 摘要任务中的复制机制

数据需求：需要百万级文章-摘要配对数据（几万篇效果不佳）。

复制必要性：摘要中60-70%内容通常直接来自原文；

类似人工摘要过程：筛选关键句+改写。

训练技巧：可利用文章标题作为摘要简化标注。

5.1.4 实现复制机制的模型

Pointer Network：最早实现复制能力的模型。

Copy Network：改进版本，论文《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》。

实现原理：通过概率pgen决定生成新词或复制输入词。

5.2 引导注意

5.2.1 Sequence to Sequence模型在语音合成中的应用

典型应用：输入文字→输出语音波形。

成功案例：输入：”发财发财发财发财”（四次）；输出：自动添加抑扬顿挫。数据需求：需要大量文本-语音配对数据。

5.2.2 Sequence to Sequence模型的局限性

漏字问题：输入：”发财”（单次）；错误输出：”财”（漏掉”发”）。原因分析：短句训练数据不足导致处理异常。

5.2.3 Guided Attention的引入与重要性

核心思想：强制模型按特定模式处理输入。

关键应用：语音识别：必须听完整个输入；

语音合成：必须读完所有文字。必要性：相比聊天机器人等任务，语音任务对完整性要求更严格。

5.2.4 Monotonic Attention与Location-aware Attention简介

Monotonic Attention：强制注意力从左到右移动；适合语音合成等单调对齐任务。

Location-aware Attention：考虑当前位置信息；防止注意力”颠三倒四”。实现效果：通过约束注意力路径解决漏字问题。

5.3 束搜索

5.3.1 贪婪解码（Greedy Decoding）介绍

工作原理：在每一步解码时选择当前概率最高的token(max选择），如示例中第一步选择概率0.6的A，第二步选择0.6的B，最终输出序列为ABB。

局限性：可能陷入局部最优，如红色路径虽然每个步骤都选最大值，但整体序列概率（0.6×0.6×0.6=0.216）低于绿色路径（0.4×0.9×0.9=0.324）。

5.3.2 束搜索与贪婪解码的对比

策略差异：贪婪解码只保留单一路径，而束搜索（Beam Search）保留Top B（束宽）条路径，通过牺牲短期收益可能获得更优全局解。

类比说明：类似”天龙八部珍珑棋局”中先牺牲局部棋子获得全局胜利，或人生决策中短期辛苦（如读博）可能带来长期收益。

5.3.3 束搜索的必要性

计算可行性：当词表大小V=4000时，3步解码就有4000³种路径，穷举不可行。束搜索通过束宽B控制计算复杂度。

折中方案：不是精确求解而是近似搜索，平衡计算资源和结果质量。

5.3.4 束搜索的效果评价

适用场景：语音识别等答案明确的任务效果较好，因其需要确定性输出。

潜在问题：在需要创造力的任务（如文本生成）中可能导致重复输出（如”鬼打墙”现象）。

5.4 采样

5.4.1 任务介绍：句子合成（Sentence Completion）

任务特点：给定前半句生成后半句，存在多种合理续写方式，属于开放式生成任务。

5.4.2 Beam Search的问题：重复与无穷循环

典型表现：如论文案例中机构名称”Universidad Nacional…”的无限重复，输出失去语义连贯性。

5.4.3 随机性在Decoder中的作用

必要性：通过引入采样噪声（如top-k/top-p采样）打破确定性输出模式，生成更自然的文本。

5.4.4 任务特性与采样策略的关系

确定性任务：语音识别等应采用Beam Search。

创造性任务：文本生成、故事续写等需引入随机性。

哲学启示：“接受不完美才是真正的美”（呼应神经网络输出不一定概率最高即最优）。

5.4.5 需要随机性的任务示例：语音合成（TTS）

反常现象：测试时加入噪声反而改善合成效果（正常ML应在训练时加噪）。

对比表现：纯确定性解码会产生机械的”机关枪式”语音，适当随机性使发音更自然。

5.5 优化评估指标

评估指标差异：训练时使用交叉熵损失（cross entropy），而评估时使用BLEU score，两者目标不一致。

指标特性对比：BLEU score需要生成完整句子后与参考答案进行整体比较；交叉熵对每个词汇分开计算损失。优化困境：BLEU score不可微分，无法直接用于梯度下降；

实际应用中通常选择BLEU score最高的模型而非交叉熵最低的模型。

解决方案：RL方法将BLEU score作为强化学习的reward，decoder作为agent；实践建议该方法实现难度较大，作业中不特别推荐使用。

5.6 训练与测试不一致的问题

暴露偏差(Exposure Bias)：训练时decoder只看到完全正确的输入；

测试时decoder需要处理自身产生的错误输出；后果错误会累积传播，导致”一步错步步错”现象。

解决思路：在训练时有意向decoder输入包含错误的数据定期采样。

Scheduled Sampling：核心思想按一定比例混合正确输入和模型预测输出作为decoder输入。

发展历程2015年首次提出用于LSTM；后续有Transformer适配版本(2019年)。

局限性：可能影响Transformer的并行计算能力。

实现变体：Parallel Scheduled Sampling等改进方法；不同网络结构需要采用不同的采样策略；

技术背景：这些训练技巧需要结合Transformer的特殊结构实现；应用范围涉及encoder、decoder及其交互关系的整体优化。