[NLP] 秒懂词向量Word2vec的本质

寻找远方的自己

我觉得是可以这么理解的。 之所以可以看做输出向量，是因为 full softmax 有 V 个权重 W，每个权重 W 在 full softmax 里代表一个类别，而这里的类别跟词是一一对应的，所以才有这种表示。
到了 hierarchical softmax 里，权重 W 大概是 log(V) 个，不再跟词数一一对应，所以也就失去了这种表征意义