关键词扩展
依托全网海量优质数据和深度神经网络技术,通过词语向量化来计算两个词之间的相似度
功能介绍
本技术用于计算两个给定词语的语义相似度,基于自然语言中的分布假设,即越是经常共同出现的词之间的相似度越高。
词义相似度是自然语言处理中的重要基础技术,是专名挖掘、query改写、词性标注等常用技术的基础之一
应用场景
通过词语间语义相关性计算寻找人名、地名、机构名等词的相关词,扩大专有名词的词典,更好的辅助应用
专名挖掘
通过寻找搜索query中词语的相似词,进行合理的替换,从而达到改写query的目的,提高搜索结果的多样性
query改写
技术特色
使用珍岛大规模网页数据进行模型训练,样本数据丰富且时效性高,收录词汇覆盖度广,召回率高
词表覆盖广
基于DNN深度学习大量样本训练模型,完成词语的向量化,建立高精度的词向量表示体系
深度学习训练
基于高精度的词向量表示系统及海量样本训练学习,准确描述词义相似度,能满足高精度要求的业务场景需求