科技论文基于属性模式的实体识别框架

　　摘要：很多领域都面临实体识别问题，但现有解决框架缺乏通用性。提出了一种基于属性模式的领域无关的实体识别框架。属性的模式代表属性与实体的一种关系，将模式分为四种类型分别处理，针对类型特点提出了更为通用的相似度计算方法。系统根据模式类型决定相似度计算策略，使系统具有更强的扩展性。该框架可以有效综合利用各类属性的特点进行实体识别，结果优于一般的基于属性特征或基于实体关系的方法。

　　关键词：实体识别,属性模式,扩展性,框架

　　0引言

　　实体识别就是判别来自一个数据源或多个数据源的描述是否指向同一个实体。此问题由来已久，现已提出很多方法。解决实体识别问题所利用的信息可分为两类，属性特征信息和关系信息。基于属性特征的方法最简单、使用得也最多，但却因属性信息有限，在某些情况下并不足以提供高置信度的判断结论。越来越多的方法开始利用属性的关系或规则进行实体识别，但利用这种关系的方式却各不相同，导致缺乏通用性。对每个实体识别问题都需要重新设计解决方案也必将是低效的，因而需要开展研究，予以改进。

　　1相关研究

　　文献[1，2]研究了相似函数选择和阈值确定问题。通过发现相似函数和阈值的冗余，去除不合适的相似函数和阈值设置。为了有效整合多种方法的优点，文献[3]提出了一种按有监督学习的结果聚类分配权重的方法，为权重分配提供了新的思路，但选择作为聚类的特征是经验性的，是否可以推广尚未确定。文献[4]设计了一个领域无关的实体识别系统，可以通过学习的方式对数据的格式进行转化，以满足识别系统进行比较的需要。文献[5]研究了利用合作者集合的相关性的方法，实验证明其优于一般的非整体分析的方法。

　　2基于属性模式的实体识别框架介绍

　　系统结构如图1所示，主要分为以下几个部分：

　　（1）相似度度量策略形成模块。该模块通过属性的模式和数据格式自动地选择相似度函数，形成相似度度量策略。

　　（2）相似度计算模块。该模块按照选择的相似度函数计算实体对的相似度。

　　（3）判决器模块。该模块在训练阶段统计实体对的相似度分布情况，在实体划分阶段辅助判断。

　　（4）实体关系图。实体划分阶段在实体关系图上迭代进行，每次完成实体合并以后，重新计算经过调整的实体对的相似度，直到所有相似边都处理完毕，实体划分结束。

　　3系统各部分的实现

　　3.1相似度计算策略的形成

　　为了实现系统的通用性，相似度计算策略必须领域无关地进行。为此分析了实体与属性间的关系，按其特点进行了分类。利用各属性的模式可以确定相似度计算的方法。

　　3.3实体划分算法

　　实体划分在实体关系图上进行。实体关系图的顶点表示记录，边表示实体对间的相似度，通过边的操作进行实体划分。

　　关系图的顶点分为两类，一类是原始顶点，其中只包含一条记录；另一类是划分过程中新形成的点，称为超点，超点带有表示实体的标签，且包含此实体的记录的集合。边e代表的是实体对间存在相似，边的权值为相似向量。原始关系图中仅含原始顶点，当所有实体对的相似向量计算完毕，并建立起原始关系图后，就可开始进行实体划分了。

　　实体划分算法主要过程为：从未标记边中选择相似度最大的边，查询判决器，若大于判断阈值，则判为同一实体，合并相关顶点，即CLUSTER操作，有关边的相似度则需要进行重新计算；否则即对边做暂时标记。继续在剩下未标记边中寻找相似度值最大的边，重复此过程。当没有未标记边剩余时，再对标记边进行拆分操作SPLIT，直到无边剩余。

　　CLUSTER操作主要是对顶点进行合并或创建。当边的对象（e.O）与端点标签相同时进行合并，否则就需要新建顶点。具体操作如表2所示。其中，边所连接的记录为x和y，记录所在的顶点分别为u，v。顶点调整过程中，特别当顶点包含的记录增多后，顶点的属性集合增大，此属性的相关度也可能增大，此时需要重新计算有关边的相似度。

　　5结束语

　　本文提出了一种基于模式的实体识别方法，针对模式特点的相似度计算方法更具有通用性。以向量表示属性的相似度，通过监督学习形成判决器。实体划分阶段每次选择最相似的实体对，通过查询判断单元进行判断，更新相关实体对的相似向量，并迭代进行实体划分。实验结果表明能自动有效地进行实体划分。现存的问题包括平均划分相似空间的方法不够精细，用户要求的准确率较高时，召回率较低。下一步的研究重点包括判断器的划分方式以及当用户输入较高判断阈值情况下如何提高系统的召回率。

　　参考文献：

　　[1]MENESTRINAD，WHANGSE，GARCIA-MOLINAH.Evaluationofentityresolutionapproachesonreal-worldmatchproblems[C]//VLDB，2010：208-219.

　　[2]WANGJiannan，LIGuoliang，YUXu，etal.Entitymatching：howsimilarissimilar[C]//VLDB，2011：622-633.

　　[3]CHENZ，KALASHNIKOVDV，MEHROTRAS.Exploitingcontextanalysisforcombiningmultipleentityresolutionsystems[C]//SIGMOD，2009：207-218.

　　[4]TEJADAS，KNOBLOCKCA，MINTONS.Learningdomain-independentstringtransformationweightsforhighaccuracyobjectidentification[C]//Proc.EighthACMSIGKDDInt’lConf.KnowledgeDiscoveryandDataMining（KDD’02），2002.