生成式预训练语言模型：理论与实战

项目实践

• 项目一：N-Gram构建

  自然语言入门——统计式语言模型的构建，最早的语言模型通过统计语料库的词频，来计算下一个词生成的概率，在一个小型的语料库上，构建N-Gram模型。

  

• 项目二：Word2Vec构建

  弥补独热编码来表示词的缺点，通过简单的神经网络构建自己的词特征向量从而实现词向量在特征空间上拥有更近的语义，提高计算效率。搭建自己的CBOW模型以及Skip - gram模型。

  

• 项目三：NPLM（Neural Probabilistic Language Model）构建

  大语言模型的起点——神经概率语言模型，一种动态变化并且能根据上下文不断自适应改变的词向量表示的语言模型，通过学习文本数据的概率分布，能够预测下一个单词或字符的概率，从而生成连贯的语句或段落，在小型语料库上搭建首个生成式语言模型。

  

• 项目四：Seq2Seq架构

  Transformer基础架构——Seq2Seq架构, 在一个8万个中英翻译的真实的平行语料库中， 利用不同的时序模型以及框架完成一个机器翻译的任务，并且利用BLUE指标进行评价。

  

• 项目五：注意力机制

  Transformer核心机制——注意力，从点积注意力入手，了解注意力以及自注意力中的QKV的区别，逐步实现多头缩放点积自注意力机制，加入注意力掩码，从而对前一节的Seq2Seq架构进行重构，实现多头自注意力的编解码器结构。

  

• 项目六：Transformer架构

  大语言模型基石——Transformer, 从0到1逐个组件拆解Transformer架构，通过将Transformer结构拆解成多头自注意力，逐位置前馈网络，正弦位置编码表，填充位置掩码，编码器层，编码器，后续位置掩码，解码器层以及解码器，最终搭建自实现的Transformer，从而完成机器翻译任务。

  

• 项目七：WikiGPT

  了解GPT（decoder-only）的基础原理，通过将GPT拆解成多头自注意力，逐位置前馈网络，正弦位置编码表，填充位置掩码，后续位置掩码，解码器层及解码器结构，从而实现一个小型的GPT结构并结合WikiText数据集训练自己的WikiGPT模型。

  

• 项目八：miniChatGPT

  实战1：结合上一节的WikiGPT，加入Movie Dialog语料库对WikiGPT进行微调，使得其获得对话的能力从而得到minichatGPT 。
  实战2：利用DeepSpeed框架训练一个开源的1.3Bchatgpt模型，深入了解GPT3 - GPT3.5 的训练机制改变，了解SFT（supervised fine tuning）, 奖励模型微调（RW）以及 PPO（Proximal Policy Optimization）算法以及RLHF（Reinforcement Learning Human Feedback）。

  

• 项目九：Prompt Engineering实战

  通过调用一些OpenAI的API从而熟悉Prompt Engineering的过程，熟悉掌握few-shot以及COT的技巧，完成以下三个任务。
  1.设定不同的角色带入回答
  2.利用提示工程技巧减少模型的幻觉出现的频次
  3.针对固定场景，让AI生成客服反馈