基于集成模型的生物医学名称实体识别研究

   2.1  词表示

  在自然语言处理领域中，如果想要使用机器学习的方法，其最为关键的一步就是将文本中的单词转换为计算机能够识别的信息，即将文本数字化。通常是将单词转化成长度固定的数字向量。目前使用最广泛的两种数字化表示方法有两种：一种是将文本所蕴含的信息用一个维度表示，其他维度不会蕴含信息，称为ｏｎｅ－ｈｏｔ表示；另一种是多维度的表示方法，将以多个维度来表示文本所蕴含的信息，．每个维度所蕴含的信息各不相同，称为分布式表示。Ｏｎｅ－ｈｏｔ是一种简单且非常直观的用来表示单词的方法，词表中的单词数目就是词向量品维度数量。每个单词在其维度上的元素为１，其余维度为０。通过这种每个单词独占一维空间的方式来区分单词的不同。例如“ａｄｅｎｏｍａｔｏｕｓ”和“ｐｏｌｙｐｏｓｉｓ”这两个单词分别是在维度为２和维度为７的位置来表示，那么根据ｏｎｅ－ｈｏｔ的表示方法，会是如下的表示：［０１００００００0……］［００００００１００……．］虽然ｏｎｅ－ｈｏｔ方法可以非常简洁直观的存储单词，在一些自然语言处理任务也吋以有不错的表现，但是其存在着无法规避的问题：单词鸿沟问题。两个单词之间的关系完全独立，彼此之间没有任何联系。例如，“Ａｐｐｌｅ”和“Ｊｏｂｓ”两个单词从ｏｎｅ－ｈｏｔ表示法中不能找到词和词之间的语义关系，但是在文本中，Ｊｏｂｓ是Ａｐｐｌｅ的创始人。在单词表中的每个单词的表示方法都是很独立的，词和词之间没有直接或间接的联系，表示的方式非常简单的同时，所反应的信息也十分的稀少。维度灾难问题。ｏｎｅ－ｈｏｔ方法的维度会随着单词的多少而改变，当文本中的单词数量增加时，维度大小也需要不断地增大。每当词表中多了一个单词，那么就会使得维度多出？维用来表示新的单词，因为其他的维度都被表中的其他单词所占据，单词越多，维度会越大。维度的增大会导致计算变得复杂、困难，从而形成维度灾难问题。

   2.2  条件随机场

  ＣＲＦ是一种判别式的无向图模型，也是一种有监督的概率模型，它比ＨＭＭ更加完善，可以处理序列间的依赖关系以及复杂的上下文特征。ＣＲＦ模型拥有ＨＭＭ以及最大熵模型两者的特点，ＣＲＦ在很多的序列标注任务中，例如识别实体的任务，表现是令人欣喜的，所以在本文将它作为模型的最后一步。ＣＲＦ的存在是为了解决ＨＭＭ在对序列标注时出现的问题，这个问题是，它无法处理序列间的长期依赖关系和文本中繁复的上下文信息特征。目前，ＣＲＦ在自然语言处理中被人们经常拿来使用。一阶的线性ＣＲＦ模型在ＣＲＦ中的使用频率是最高的。比一阶高阶的ＣＲＦ模型虽然在效果上比线性链ＣＲＦ好上一些，但是并不是性价比最高的，因为高阶的ＣＲＦ模型训练时间要远远超过线性ＣＲＦ且训练的过程十分的复杂，综合来说不如一阶线性ＣＲＦ实用。所以，在本文使用的是线性链ＣＲＦ，用该模型来计算标注序列中标签之间的相关性。如图２．１所示的就是一阶线性ＣＲＦ模型的示意图。随机初始化输入变量Ｘ与输出变量Ｙ，在命名实体识别里，假设二者结构相同。任意结构的无向图中，如果随机变量Ｙ的条件概率分布Ｐ（Ｘ｜Ｙ）在随机变量序列Ｘ的条件下构成了条件随机场，而且拥有马尔科夫性，那么Ｐ（Ｘ｜Ｙ）为线性链的条件随机场。标记偏置在判别式模型中是一个很常见的问题，概率分布因为节点的状态分支数量的不一致而导致不均衡。如图２．２所举的一个例子。当“ｇｕｙ”这个单词作为输入时，在输入的开始阶段，在０状态时，即字母“ｇ”拥有两个支路可以选择，从０状态到相邻的两个状态的概率在一定程度上是相等的。以此类推，传递到字母“ｕ”时也会出现类似的情况，所以这种方式就很难区分ｇａｙ和ｇｕｙ。而ＣＲＦ模型可以在全局上对概率路径进行计算，解决了只能计算局部的缺点。因此，在给定了观察序列后，判别式模型中的标记偏置问题就可以被解决，这时的状态转移就不是等概率事件了。使用条件随机场对命名实体识别进行识别的时候，识别的Ｆ１值在一定的程度上是要依赖于特定的特征模板，即在实验之前，我们需要消耗大量的人力成本和时间成本来对目标文本的结构进行详细的探索，如果没有概括出很好的特征模板，那么识别的准确率并不会很好。也就是说，条件随机场没有很好的适应性，它无法对所有的文本采用统一的特征模板，如果想要识别一个新领域的文本语料，那么人们需要再次制定一个适合新领域的且概括完善的特征模板。

 

  ３.１引言

  ３.２特殊的循环神经网络