斯坦福NLP名课带学详解

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！

本讲内容的深度总结教程可以在这里 查看。视频和课件等资料的获取方式见文末。

CS224n是顶级院校斯坦福出品的深度学习与自然语言处理方向专业课程。核心内容覆盖RNN、LSTM、CNN、transformer、bert、问答、摘要、文本生成、语言模型、阅读理解等前沿内容。

本篇是ShowMeAI对第2课的内容梳理，内容覆盖词嵌入/词向量，word vectors和word senses。

我们来回顾一下ShowMeAI上一篇 1.NLP介绍与词向量初步 提到的word2vec模型核心知识

P ( o ∣ c ) = exp ⁡ ( u o T v c ) ∑ w ∈ V exp ⁡ ( u w T v c ) P(o | c)=\frac{\exp \left(u_{o}^{T} v_{c}\right)}{\sum_{w \in V} \exp \left(u_{w}^{T} v_{c}\right)} P(o∣c)=∑w∈V​exp(uwT​vc​)exp(uoT​vc​)​

我们对word2vec的参数和训练细节等做一个补充讲解：

经过word2vec最大化目标函数后，通过可视化可以发现，相似的词汇在词向量空间里是比较接近的。

ShowMeAI在上一篇 1.NLP介绍与词向量初步 讲解了需要最小化的代价函数 J ( θ ) J(\theta) J(θ) ，我们使用梯度下降算法最小化 J ( θ ) J(\theta) J(θ)

遵循梯度下降的一般思路，我们计算 J ( θ ) J(\theta) J(θ) 对于参数 θ \theta θ 的梯度，然后朝着负梯度的方向迈进一小步，并不断重复这个过程，如图所示。

注意：我们实际的目标函数可能不是下图这样的凸函数

θ n e w = θ o l d − α ∇ θ J ( θ ) \theta^{new}=\theta^{old}-\alpha \nabla_{\theta} J(\theta) θnew=θold−α∇θ​J(θ)

α \alpha α ：步长，也叫学习率

更新参数的公式（单个参数更新）

θ j n e w = θ j o l d − α ∂ ∂ θ j o l d J ( θ ) \theta_{j}^{new}=\theta_{j}^{old}-\alpha \frac{\partial}{\partial \theta_{j}^{old}} J(\theta) θjnew​=θjold​−α∂θjold​∂​J(θ)

梯度下降会一次性使用所有数据样本进行参数更新，对应到我们当前的词向量建模问题，就是 J ( θ ) J(\theta) J(θ) 的计算需要基于语料库所有的样本(窗口)，数据规模非常大

处理方式是把优化算法调整为「随机梯度下降算法」，即在单个样本里计算和更新参数，并遍历所有样本。

但基于单个样本更新会表现为参数震荡很厉害，收敛过程并不平稳，所以很多时候我们会改为使用mini-batch gradient descent（具体可以参考ShowMeAI的深度学习教程中文章神经网络优化算法）

应用随机梯度下降，在每个窗口计算和更新参数，遍历所有样本

在每个窗口内，我们最多只有 2 m + 1 2m+1 2m+1 个词，因此 ∇ θ J t ( θ ) \nabla_{\theta} J_t(\theta) ∇θ​Jt​(θ) 是非常稀疏的

上面提到的稀疏性问题，一种解决方式是我们只更新实际出现的向量

需要稀疏矩阵更新操作来只更新矩阵 U U U 和 V V V 中的特定行

需要保留单词向量的哈希/散列

如果有数百万个单词向量，并且进行分布式计算，我们无需再传输巨大的更新信息（数据传输有成本）

word2vec有两个模型变体：

之前一直使用naive的softmax(简单但代价很高的训练方法)，其实可以使用负采样方法加快训练速率

这个部分大家也可以参考ShowMeAI的深度学习教程中文章自然语言处理与词嵌入

softmax中用于归一化的分母的计算代价太高

P ( o ∣ c ) = exp ⁡ ( u o T v c ) ∑ w ∈ V exp ⁡ ( u w T v c ) P(o | c)=\frac{\exp \left(u_{o}^{T} v_{c}\right)}{\sum_{w \in V} \exp \left(u_{w}^{T} v_{c}\right)} P(o∣c)=∑w∈V​exp(uwT​vc​)exp(uoT​vc​)​

原文中的(最大化)目标函数是 J ( θ ) = 1 T ∑ t = 1 T J t ( θ ) J(\theta)=\frac{1}{T} \sum_{t=1}^{T} J_{t}(\theta) J(θ)=T1​∑t=1T​Jt​(θ)

J t ( θ ) = log ⁡ σ ( u o T v c ) + ∑ i = 1 k E j ∼ P ( w ) [ log ⁡ σ ( − u j T v c ) ] J_{t}(\theta)=\log \sigma\left(u_{o}^{T} v_{c}\right)+\sum_{i=1}^{k} \mathbb{E}_{j \sim P(w)}\left[\log \sigma\left(-u_{j}^{T} v_{c}\right)\right] Jt​(θ)=logσ(uoT​vc​)+i=1∑k​Ej∼P(w)​[logσ(−ujT​vc​)]

本课以及作业中的目标函数是

J n e g − s a m p l e ( o , v c , U ) = − log ⁡ ( σ ( u o ⊤ v c ) ) − ∑ k = 1 K log ⁡ ( σ ( − u k ⊤ v c ) ) J_{neg-sample}\left(\boldsymbol{o}, \boldsymbol{v}_{c}, \boldsymbol{U}\right)=-\log \left(\sigma\left(\boldsymbol{u}_{o}^{\top} \boldsymbol{v}_{c}\right)\right)-\sum_{k=1}^{K} \log \left(\sigma\left(-\boldsymbol{u}_{k}^{\top} \boldsymbol{v}_{c}\right)\right) Jneg−sample​(o,vc​,U)=−log(σ(uo⊤​vc​))−k=1∑K​log(σ(−uk⊤​vc​))

P ( w ) = U ( w ) 3 / 4 / Z P(w)=U(w)^{3 / 4} / Z P(w)=U(w)3/4/Z

在自然语言处理里另外一个构建词向量的思路是借助于共现矩阵（我们设其为 X X X ），我们有两种方式，可以基于窗口（window）或者全文档（full document）统计：

利用某个定长窗口(通常取5-10)中单词与单词同时出现的次数，来产生基于窗口的共现矩阵。

下面以窗口长度为1来举例，假设我们的数据包含以下几个句子：

我们可以得到如下的词词共现矩阵（word-word co-occurrence matrix）

直接基于共现矩阵构建词向量，会有一些明显的问题，如下：

针对上述问题，我们的一个处理方式是降维，获得低维稠密向量。

如何降维呢？

可以使用SVD方法将共现矩阵 X X X 分解为 U Σ V T U \Sigma V^T UΣVT ，其中：

为了减少尺度同时尽量保存有效信息，可保留对角矩阵的最大的 k k k 个值，并将矩阵 U U U , V V V 的相应的行列保留。

python矩阵分解示例如下

降维词向量可视化

按比例调整 counts 会很有效

如果对词向量进行空间分布，会发现同一个词汇的附近分布着它不同时态语态的单词：

在向量中出现的有趣的句法模式：语义向量基本上是线性组件，虽然有一些摆动，但是基本是存在动词和动词实施者的方向。

我们来总结一下基于共现矩阵计数和基于预估模型两种得到词向量的方式

基于计数：使用整个矩阵的全局统计数据来直接估计

基于预估模型：定义概率分布并试图预测单词

1）Encoding meaning in vector differences

将两个流派的想法结合起来，在神经网络中使用计数矩阵。关于Glove的理论分析需要阅读原文，也可以阅读 NLP教程(2) | GloVe及词向量的训练与评估。

GloVe模型关键思想：共现概率的比值可以对meaning component进行编码。将两个流派的想法结合起来，在神经网络中使用计数矩阵。

补充讲解：

重点不是单一的概率大小，重点是他们之间的比值，其中蕴含着重要的信息成分。

例如我们想区分热力学上两种不同状态ice冰与蒸汽steam，它们之间的关系可通过与不同的单词 x x x 的共现概率的比值来描述

例如对于solid固态，虽然 P ( s o l i d ∣ i c e ) P(solid \mid ice) P(solid∣ice) 与 P ( s o l i d ∣ s t e a m ) P(solid \mid steam) P(solid∣steam) 本身很小，不能透露有效的信息，但是它们的比值 P ( s o l i d ∣ i c e ) P ( s o l i d ∣ s t e a m ) \frac{P(solid \mid ice)}{P(solid \mid steam)} P(solid∣steam)P(solid∣ice)​ 却较大，因为solid更常用来描述ice的状态而不是steam的状态，所以在ice的上下文中出现几率较大

对于gas则恰恰相反，而对于water这种描述ice与steam均可或者fashion这种与两者都没什么联系的单词，则比值接近于 1 1 1 。所以相较于单纯的共现概率，实际上共现概率的相对比值更有意义

问题：

我们如何在词向量空间中以线性含义成分的形式捕获共现概率的比值？

解决方案：

w i ⋅ w j = log ⁡ P ( i ∣ j ) w_{i} \cdot w_{j}=\log P(i \mid j) wi​⋅wj​=logP(i∣j)

w x ⋅ ( w a − w b ) = log ⁡ P ( x ∣ a ) P ( x ∣ b ) w_{x} \cdot (w_a-w_b)=\log \frac{P(x \mid a)}{P(x \mid b)} wx​⋅(wa​−wb​)=logP(x∣b)P(x∣a)​

2）Combining the best of both worlds GloVe [Pennington et al., EMNLP 2014]

w i ⋅ w j = log ⁡ P ( i ∣ j ) w_{i} \cdot w_{j}=\log P(i \mid j) wi​⋅wj​=logP(i∣j)

J = ∑ i , j = 1 V f ( X i j ) ( w i T w ~ j + b i + b ~ j − log ⁡ X i j ) 2 J=\sum_{i, j=1}^{V} f(X_{ij})(w_{i}^{T} \tilde{w}_{j}+b_{i}+\tilde{b}_{j}-\log X_{i j})^{2} J=i,j=1∑V​f(Xij​)(wiT​w~j​+bi​+b~j​−logXij​)2

补充讲解

优点

上图是一个GloVe词向量示例，我们通过GloVe得到的词向量，我们可以找到frog（青蛙）最接近的一些词汇，可以看出它们本身是很类似的动物。

我们如何评估词向量呢，有内在和外在两种方式：

内在评估方式

外部任务方式

一种内在词向量评估方式是「词向量类比」：对于具备某种关系的词对a,b，在给定词c的情况下，找到具备类似关系的词d

a : b : : c : ? → d = arg ⁡ max ⁡ i ( x b − x a + x c ) T x i ∥ x b − x a + x c ∥ a: b::c:? \to d=\arg \max _{i} \frac{(x_b-x_a+x_c)^{T} x_i}{\left \| x_b-x_a+x_c \right \| } a:b::c:?→d=argimax​∥xb​−xa​+xc​∥(xb​−xa​+xc​)Txi​​

上述为GloVe得到的词向量空间分布，我们对词向量进行减法计算，可以发现类比的词对有相似的距离。

brother – sister, man – woman, king - queen

下图为“公司与CEO词汇”分布

下图为“词汇比较级与最高级”分布

下图是对于类比评估和超参数的一些实验和经验

补充分析

1）On the Dimensionality of Word Embedding

利用矩阵摄动理论，揭示了词嵌入维数选择的基本的偏差与方法的权衡

补充说明：当持续增大词向量维度的时候，词向量的效果不会一直变差并且会保持平稳。

补充分析

大多数单词都是多义的

例如：pike

那么，词向量是总体捕捉了所有这些信息，还是杂乱在一起了呢？

补充说明：可以想一想“苹果”的例子，既可以是水果，也可以是电子设备品牌。

将常用词的所有上下文进行聚类，通过该词得到一些清晰的簇，从而将这个常用词分解为多个单词，例如 b a n k 1 bank_1 bank1​ 、 b a n k 2 bank_2 bank2​ 、 b a n k 3 bank_3 bank3​ 。

补充说明：虽然这很粗糙，并且有时sensors之间的划分也不是很明确，甚至相互重叠。

v p i k e = α 1 v p i k e 1 + α 2 v p i k e 2 + α 3 v p i k e 3 v_{{pike }}=\alpha_1 v_{{pike}_1}+\alpha_2 v_{{pike}_2}+\alpha_3 v_{{pike}_3} vpike​=α1​vpike1​​+α2​vpike2​​+α3​vpike3​​

令人惊讶的结果：

补充讲解：可以理解为由于单词存在于高维的向量空间之中，不同的纬度所包含的含义是不同的，所以加权平均值并不会损害单词在不同含义所属的纬度上存储的信息。

可以点击 B站 查看视频的【双语字幕】版本

【双语字幕+资料下载】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)