这个概念在深度学习畛域最原初的切入点是所谓的 Manifold Hypothesis(流形假如)。流形假如是指“天然的原始数据是低维的流形嵌入于 (embedded in) 原始数据所在的高维空间”。那么,深度学习的工作就是把高维原始数据(图像,句子)映射到低维流形,使得高维的原始数据被映射到低维流形之后变得可分,而这个映射就叫嵌入(Embedding)。比方 Word Embedding,就是把单词组成的句子映射到一个表征向量。
如果依照当初深度学习界通用的了解(其实是偏离了原意的),Embedding 就是从原始数据提取进去的 Feature,也就是那个通过神经网络映射之后的低维向量。