Unsupervised Learning: Word Embedding

why Word Embedding ?

Word Embedding 是 Diemension Reduction 一个非常好，非常广为人知的应用。

1-of-N Encoding 及其弊端

apple = [1 0 0 0 0]

bag = [0 1 0 0 0]

cat = [0 0 1 0 0]

dog = [0 0 0 1 0]

elephant = [0 0 0 0 1]

这个 N 就是这个世界上所有的单词的数量，或者你可以自己创建 vocabulary, 那么这个 N 就是 vocabulary 的 size.但是这样向量化的方式，太众生平等了，原本有一定关系的单词，比如 cat 和 dog 都是动物，这根本无法从 [0 0 1 0 0] 和 [0 0 0 1 0] 中看出任何端倪。

解决这件事情的一个方法是 Word Class

Word Class 及其弊端

先把所有的单词 cluster 成簇，然后用簇代替 1-of-N encoding 来表示单词。

• cluster 1: dog, cat, bird;
• cluster 2: ran, jumped, walk
• cluster 3: flower, tree, apple

虽然 Word Class 保留了单词的词性信息使得同类单词聚在一起，但是不同词性之间的关系依旧无法表达：名词 + 动词 + 名词/代词, 这种主谓宾的关系就没法用 Word Class 表示。

这个问题可以通过 Word Embedding 来解决

Word Embedding 把每个单词的 1-of-N encoding 向量都 project 到一个低维度空间中（Dimension Reduction），这个低维度空间就叫做 Embedding. 这样每个单词都是低维度空间中的一个点，我们希望：

相同语义的单词，在该维度空间中也相互接近

不但如此，当 Embedding 是二维空间（能够可视化）时，所有的点及其原本单词画在坐标图上之后，很容易就可以看到这个低维度的空间的每个维度（x,y轴）都带有具体的某种含义. 比如，dim-x 可能表示生物，dim-y 可能表示动作。

How to find vector of Embedding space?

为什么 autoencoder 无法做出 Word Embedding?

Word Embedding 本质上是【非监督降维】，我们之前学习的方法最直接的就是使用 autoencoder, 但用在这里很显然是无效的。因为你的输入是 1-of-N encoding 向量，在这种向量表示下每个输入样本都是 independent 的，也就是单个样本之间没有任何关系 --- 毫无内在规律的样本，你怎么可能学出他们之间的关系呢？（ps, 本来无一物，何处惹尘埃。）

你是什么，是由你的圈子（context）决定的

我们的目的是让计算机理解单词的意思，这个完全不可能通过常规语言交流达此目的，所以需要曲径通幽，你只能通过其他方法来让计算机间接理解。最常用的间接的方法就是：understand word by its context.

• 马英九 520 宣誓就职
• 蔡英文 520 宣誓就职

及其肯定不知道马英九和蔡英文到底是什么，但是只要他读了【含有‘马英九’和‘蔡英文’的】大量的文章，知道马英九和蔡英文的前后经常出现类似的文字（similar context）,机器就可以推断出“马英九”和“蔡英文”是某种相关的东西。

How to exploit the context?

• count based
• predition based

count based

这种方法最经典的做法叫做 Glove Vector https://nlp.stanford.edu/projects/glove/

代价函数与 MF 和 LSA 的一模一样，使用 GD 就可以解，目标是找到越是经常共同出现在一篇文章的两个单词(num. of occur)，越是具有相似的word vector(inner-product)。

这种【越是。。。越是。。。】的表达方式，就可以使用前一个“越是”的量作为后一个“越是”的目标去优化。

越是 A，越是 B ===> \(L = \sum(A-B)^2\)

if two words \(w_i\) and \(w_j\) frequently co-occur(occur in the same document), \(V(w_i)\) and \(V(w_j)\) would be close to each other.

• \(V(wi)\) ：word vector of word wi

核心思想类似 MF 和 LSA:

\(V(w_i) \cdot V(w_j) \Longleftrightarrow N_{i,j}\)

\(L = \sum_{i,j}(V(w_i)\cdot V(w_j) - N_{i,j})^2\)

find the word vector \(V(wi)\) and \(V(w)\), which can minimize the distance between inner product of thses two word vector and the number of times \(w_i\) and \(w_j\) occur in the same document.

prediction based 做法

prediction based 获取 word vector 是通过训练一个 单层NN 用 \(w_{i-1}\) 预测 \(w_i\) 单词的出现作为样本的数据和标签(\(x=w_{i-1}, y=w_i\))，选取第一层 Hiden layer 的输入作为 word vector.

【注意】：上面不是刚说过 autoencoder 学不到任何东西么，那是因为 autoencoder 的input 和 output 都是单词 \(w_i\)，亦即（\(x=w_i, y=w_i\)），但是这里 prediction-based NN 用的是下一个单词的 1-of-encoding 作为label.

本质是用 cross-entropy 作为loss-fn训练一个 NN，这个 NN 的输入是某个单词的 1-of-encoding, 输出是 volcabulary-size 维度的（概率）向量--- 表示 volcabulary 中每个单词会被当做下一个单词的概率。

$$ Num.\ of\ volcabulary\ = 10w $$

$$ \begin{vmatrix} 0 \\ 1 \\ 0 \\ 0 \\ 0 \\.\\.\\. \end{vmatrix}^{R^{10w}} \rightarrow NN \rightarrow \begin{vmatrix} 0.01 \\ 0.73 \\ 0.02 \\ 0.04 \\ 0.11 \\.\\.\\. \end{vmatrix}^{R^{10w}} $$

• take out theinput of the neurons in 1st layer
• use it to represent a word \(w\)
• word vector, word embedding feature: \(V(w)\)

训练好这个 prediction-based NN 之后，一个新的词汇进来就可以直接用这个词汇的 1-of-N encoding 乘以第一层隐含层的权重，就可以得到这个单词的 word vector.

$$ x_i = 1-of-N\ encoding\ of\ word\ i $$

$$ W = weight\ matrix\ of\ NN\ between\ input-layer\ and\ 1st-hidden-layer $$

$$ WordVector_{x_i} = W^Tx_i $$

prediction-based 背后原理

【注意】虽然这里的例子不是单词，但意会一下即可。

• 马英九 520 宣誓就职
• 蔡英文 520 宣誓就职

因为 “马英九” 和 “蔡英文” 后面跟的都是 “520宣誓就职”，所以用在 prediction-based NN 中

• 马英九 520 宣誓就职 \((x='Mayingjing', y='520 swear the oath of office')\)
• 蔡英文 520 宣誓就职 \((x='Caiyingwen', y='520 swear the oath of office')\)

也就是说给 prediction-based NN 输入 马英九 or 蔡英文的时候 NN 会“努力”把两个不同的输入 project 到同一个输出上。那么之后的每一层都会做这件事情，所以我们可以使用第一层的输入来做为 word vector.

更好的 prediction-based NN

• 用前 10 个单词预测下一个

一般情况下我们不会只用前一个单词去预测下一个单词(\(w_{i-1} \Rightarrow w_i\))，并抽取 1st layer's input 作为 word vector, 我们会使用前面至少10个词汇来预测下一个词汇(\([w_{i-10}, w_{i-9}, ..., w_{i-1}] \Rightarrow w_i\))

• 前10个词汇的相同 1-of-N encoding 位应该使用相同的 w 权重

如果使用不同的权重，（以前两个预测下一个为例）

• “马英九宣誓就职时说xxxx”
• “宣誓就职时马英九说xxxx”

[w1:马英九] + [w2:宣誓就职时] => [w3:说xxxx]

[w1:宣誓就职时] + [w2:马英九] => [w3:说xxxx]

如果使用不同的权重，那么 [w1:马英九] + [w2:宣誓就职时] 和 [w1:宣誓就职时] + [w2:马英九] 就会产生不同的 word vector.

具体过程描述如下：

• |V| : volcabulary size, for 1-of-N encoding

• |z| : word vector size, the dimension of embedding space

• the length of \(x_{i-1}\) and \(x_{i-2}\) are both |V|.

• the length of \(z\) is |z|
• \(z = W_1x_{i-2} + W_2x_{i-1}\)
• the weight matrix \(W_1\) and \(W_2\) are both |Z|*|V| matrix
• \(W_1 = W_2 = W \rightarrow z = W(x_{i-2} + x_{i-1})\)
• we get \(W\) after NN trained
• a new word's vector is \(wordvector_{w_i} = W(1ofNencdoing_{w_i})\)

实作时，我们如何保证权重共享呢 --- \(W_1 = W_2\)？

How to make wi equal to wj?

Given wi and wj the same initialization, and the same update per step.

\(w_0 = w_0\)

\(w_i \leftarrow w_i - \eta \frac{\partial C}{\partial w_i} - \eta \frac{\partial C}{\partial w_i}\)

\(w_i \leftarrow w_i - \eta \frac{\partial C}{\partial w_i} - \eta \frac{\partial C}{\partial w_i}\)

扩展 prediction-based 方法

• Continuous bag of word(CBOW) model

\([w_{i-1}, w_{i+1}] \Rightarrow w_i\)

• Skip-gram

\(w_i \Rightarrow [w_{i-1}, w_{i+1}]\)

word embedding 用于关系推导和问题回答

关系推导

有了 word vector， 很多关系都可以数字化（向量化）

• 包含关系
• 因果关系
• 等等

两类词汇的 word vector 的差值之间存在某种平行和相似（相似三角形or多边形）性，可以据此产生很多应用。

\(WordVector_{China} - WordVector_{Beijing} // WordVector_{Spain} - WordVector_{Madrid}\)

for \(WordVector_{country} - WordVector_{capital}\), if a word A \(\in\) country, and word B \(\in\) capital of this country, then \(A_0 - B_0 // A_1 - B_1 // A_2 - B_2 // . ..\)

问题回答

问题回答也是这个思路---利用word vector差值是相互平行的。

\(V(Germany) - V(Berlin) // V(Italy) - V(Rome)\)

\(vector = V(Berlin) + V(Italy) - V(Rome)\)

\(find\ a\ word\ from\ corpus\ whose\ word\ vector\ closest\ with\ 'vector'\)

中英文混合翻译

学习 word embedding prediction-based NN 的网络原理（单层; 前后单词为一个样本；取第一层输入）可以实现更进一步的应用。

先获取中文的 word vector, 然后获取英文的 word vector, （这之后开始使用 prediction-based NN 的原理）然后 learn 一个 NN 使得他能把相同意思的中英文 word vector 投影到某个 space 上的同一点，这之后提取这个网络的第一层 hidden layer 的输入权重，就可以用来转换其他的英文和中文单词到该 space 上，通过就近取意的方法获取该单词的意思。

对图像做 word embedding

这里也是学习 word embedding prediciton-based NN 的网络原理，他可以实现扩展型图像识别，一般的图像识别是只能识别数据集中已经存在的类别，而通过 word embedding 的这种模式，可以实现对图像数据集中不存在（但是在 word 数据集中存在）的类别也正确识别（而不是指鹿为马，如果image dataset 中原本没有 ‘鹿’ 的话，普通的图像识别会就近的选择最'像'的类别，也就是他只能在指定的类别中选最优的）。

先通过大量阅读做 word vector, 然后训练一个 NN 输入为图片，输出为（与之前的 word vector）相同维度的 vector, 并且使得 NN 把与 word(eg, 'dog') 相同类型的image(eg, dog img) project 到该word 的 word vector 附近甚至同一点上。

如此面对新来的图片比如 '鹿.img', 输入给这个 NN 他就会 project 到 word vector space 上的 “鹿” 周围的某一点上。

对 document 做 embedding

1. word sequences with different lengths -> the vector with the same length
2. the vector representing the meaning of the word sequence

如何把 document 变成一个 vector 呢？

首先把 document 用 bag of word(a vector) 来表示，然后将其输入给一个 auto encoder , autoencoder 的 bottle-neck layer 就是这篇文章的 embedding vector。

这里与使用 autoencoder 无法用来做 word embedding 的道理是一样的，只不过对于 word embedding 来说 autoencoder 面对的是完全相互 independent 的 1-of-N encoding, 其本身就无规律可言，所以 autoencoder 不可能学到任何东西，所以没有直接规律，就寻找间接规律 通过学习 context 来判断单词的语义。

这里 autoencoder 面对的是 document(bag-of-word), bag of word 中包含的信息仅仅是单词的数量 （大概是这样的向量\([22, 1, 879, 53, 109, ....]\)）不论 bag-of-word(for document) 还是 1-of-N encoding(for word) 都是语义缺乏的编码方式。所以想通过这种编码方式让NN萃取有价值的信息是不可能的。

还是那个原则没有直接规律，就寻找间接规律：

• 1-of-N encoding, lack of words relationship, what we lack, what we use NN to predict, we discover(construct) some form of data-pair (x -> y) who can represent the "relationship" to train a NN , and the BY-PRODUCT is the weight of hiden layer --- a function(or call it matrix) who can project the word to word vector(a meaningful encoding)

• bag-of-word encoding, lack of words ordering(another relationship), using （李宏毅老师没有明说，只列了 reference）

white blood cells destroying an infection

an infection destroying white blood cells

they have same bag-of-words, but vary differentmeaning.

word embedding 感想

word embedding， 降维，创造关系，非监督

似乎非监督真的很有用。再思考思考