一种语音识别中核心词快速模型优化方法

渊国家电网客服中心信息技术部袁天津300000冤

杨维袁张才俊袁马永波

摘要院针对国网客服电话语音识别在特定领域核心词识别效果差的问题袁提出一种基于HCLG领域词权重增强和领域词纠正的方法袁能够实时并快速地添加领域词袁从而动态地优化语言模型袁提升语音识别效果遥将该模型和算法优化应用在国网客服中心电话语音的咨询尧维修尧投诉等各种领域场景中袁其语音识别结果都得到大幅改善遥关键词院语音识别曰HCLG中图分类号院TP183

文献标识码院A

DOI院10.16157/j.issn.0258-7998.182304

中文引用格式院杨维袁张才俊袁马永波.一种语音识别中核心词快速模型优化方法[J].电子技术应用袁2019袁45(2)院9-11.英文引用格式院YangWei袁ZhangCaijun袁MaYongbo.Domainwordrecognitionenhancementmethodinspeechrecognition[J].ApplicationofElectronicTechnique袁2019袁45(2)院9-11.

Domainwordrecognitionenhancementmethodinspeechrecognition

(ITDepartment袁StateGridCustomerServiceCenter袁Tianjin300000袁China)

Abstract院Aimingattheproblemthatthenationalnetworkcustomertelephonevoicerecognitionhaspoorrecognitionofcorewordsinspecificfields,thispaperproposesamethodbasedonHCLGdomainweightenhancementanddomainwordcorrection,whichcanadddomainwordsinrealtimeandquickly,todynamicallyoptimizethelanguagemodelandimprovespeechrecognition.Themodelandalgorithmareoptimizedinthevariousfieldsofthetelephonevoiceconsultation,maintenance,complaints,etc.oftheStateGridCustomerServiceCenter.Thespeechrecognitionresultshavebeengreatlyimproved.Keywords院speechrecognition曰HCLG

YangWei袁ZhangCaijun袁MaYongbo

0引言

近年来袁随着语音识别技术的逐步成熟袁语音识别技术被应用到越来越多的场景中遥国家电网客服中心成立人工智能中心袁并深入研究语音识别核心技术以及语音在智能客服系统中的应用遥当前国网语音系统面临的一个非常关键的问题就是通用语音识别袁在文本语料能够覆盖的通用场景识别中袁如查天气尧问车票等袁识别率很高遥但是袁在国网客服电话语音中袁面临大量国网业务特有的核心词汇和说法袁如专有名词野电线杆尧高压铁塔尧绝缘子尧金具尧瓷瓶尧拉线冶等袁由于其属于特定领域袁通用的领域语言模型很难正确识别遥因此袁如何在保证通用领域高识别率的同时袁能够快速通过模型训练和优化来提升新领域尧新核心词的识别率袁就尤为关键遥

目前袁对于领域词增强的方法主要是通过优化语言模型来解决袁包括两个方(1)领域语料获取袁即在相关型袁以达到对领域词准确的识别曰(2)分类语言模型[1]袁即领域通过收集大量的文本语料袁训练领域相关的语言模

本语料很难获取和收集袁并且也无法覆盖所有领域的词袁很难训练获得一个比较好的领域语言模型曰(2)目前使用较多解决领域词识别的是基于类的语言模型袁然而这种模型需要提前定义词类袁相对复杂袁对那些不属于任何一类的词不好建模遥领域词具有多样性袁无法用类别代替袁如国网业务词和专业词种类较多曰(3)领域词具有实时性且不断扩充袁模型完全重新训练到上线应用会有一定的滞后袁不能实时生效遥

为了解决语音识别中领域词的多样性和实时性袁本文设计了一种基于HCLG领域词权重增强来优化语言模型的方法袁并重构语音识别解码流程袁如图1所示遥首

领域词为某一类别词袁通过类别替换获取类别的领域语

料袁训练得到类别语言模型袁进而实现对领域词的识别遥

但是袁在实际应用场景中面临3个问题院(1)领域文

图1HCLG领域词权重增强流程图

叶电子技术应用曳2019年第45卷第2期

9

人工智能ArtificialIntelligence先获取领域内领域词袁并对领域词进行发音标注曰然后对HCLG中对应领域词进行权重增强袁使得解码过程在尽量不影响性能的前提下保证领域词的识别曰接着袁对语音识别的结果进行后处理袁即领域词的检查和替换遥本文的方法只依赖领域词表袁可以实时添加和扩充袁并实时生效遥

1HCLG领域词权重增强

1.1HCLG

在大规模连续语音识别中袁解码过程一般采用加权有

限状态转换器(WeighterFiniteStateTransducer袁WFST)[2]因此以WFST为框架的大词汇量连续语音识别系统被广袁

泛应用遥语音识别的解码过程可以分为语言模型尧发音词典规律尧上下文相关和隐马尔可夫模型等下袁寻找一个最有可能的文本序列的过程遥

语音识别解码器是在给定输入特征序列下寻找最优的文本次序袁寻找次序的过程其实就是在HCLG图上检索的过程遥关于HCLG院G表示语言模型袁用来解码语法曰L是发音词典袁输入是音素袁输出是词曰C表示音素上下文关系曰H是隐马尔可夫模型袁表示相似状态之间的跳转状态遥1.2领域词权重增强

上文中介绍了HCLG的结构袁在本小节中袁将详细描述如何通过修改HCLG的权重来增强领域词的识别效果遥本文的修改只是对HCLG中的G语言模型进行修改袁可以将HCLG简化表示如图2所示遥

图2HCLG简化图

本文提出的在HCLG中对领域词进行增强主要是通过构造领域词状态转移图渊下文中用S.FST表示冤袁然后将S.FST与现有的HCLG进行合并生成HCLGS遥本方法能够通过自定义S.FST中词的权重袁增强HCLG中对应词的权重袁同时可以共享HCLG中原有词的权重袁保证了领域(1)词假设生的领域成领域识别遥

词为词野S.FST

国家智能电网冶袁可以将领域词拆分

为已有词表词的组合袁即院野国家冶尧野智能冶尧野电网冶遥根据领域(2)词根据生可以上个成HCLGS

生成对应的S.FST袁如图3所示遥

模块生成的S.FST袁将S.FST与HCLG进行

合并袁如图4所示遥合并操作即将原S.FST中的边合并

10

欢迎网上投稿www.ChinaAET.com图3S.FST

图4HCLGS

到HCLG对应的边上袁在本文例子中即将野国家冶和野智能冶连接袁对应的权重为用户自定义遥

2领域词纠正

上小节中袁在HCLG中对领域词的权重进行增强袁增加了解码阶段领域词出现的概率遥但是袁由于要保证语音识别结果的正确性袁不能对在HCLG中对领域词增加过大的权重袁以免影响整体解码的效果袁因此需要对解码后的结果进行领域词增强遥在解码过程中袁解码识别错误的领域词往往是由于发音相似但是字形不对而导致的袁因此袁后处理的过程需要匹配到相似发音的领域词袁从而进行替换遥为了替换的准确性袁本文以音素为基本单位进行领域词的替换遥后处理主要涉及两部分院领域词检索和发音相似度度量遥

在语音识别过程中袁解码的效率往往在实际应用中比较重要袁因此需要设计一种快速的领域词查找的方法袁实现高效的领域词替换遥本文提出一种基于音素树的领域词快速查找方法遥2.1音素检索树

字典树袁又称Trie树尧前缀树袁是一种树形结构袁是哈希树的变种袁是一种用于快速检索的多叉树结构遥典型应用是用于统计和排序大量的字符串渊但不仅限于字符串冤[3]它能最大袁所以限度经地常减被少搜索无谓引的擎字系符统用于文本词频统计遥

串比较袁查询效率比哈希表高遥本文的音素串查找可以看作是字符串查找袁即检索相同的音素串袁因此可以利用字典树建立音素检索树袁从而进行音素的匹配查找遥

首先袁需要将领域词转换为音素串袁如野电网尧断线冶转换为音x素音ian4串则素串冶袁为野列将领dian1表袁域从词袁w而转ang3转换换为曰d为领uan1对域应词袁的音素前缀树袁如图5所示遥

在图2中袁一个单字由两个

图5音素前缀树

叶电子技术应用曳2019年第45卷第2期

人工智能ArtificialIntelligence节点表示袁在有汉字表征的节点可以看作一个字或词的结束节点袁如节点野ian2电冶表征这个节点是字的结束节点袁节点野ang2电网冶表征这个节点是词的结束节点遥即在字典树种袁每个音素标注一个节点袁每个字或词表征一个因素的路径袁并记录在路径的结束节点遥

2.2音素检索

上一节定义和建立了音素检索树袁本模块描述音素树的检索和替换过程主要分两种情况院精确匹配和模糊匹配遥

精确匹配为字典树的检索过程袁直接进行字符串匹配袁如果匹配到对应字或词的节点袁即表明查找到对应的野则号音替吧素冶冤袁出串则袁匹配如输到入冶h音ao3素树冶,字野hao3ba1冶渊对应汉字为空遥

(1)换为总是野好在吧字冶遥典具树体字的根典节树符点的串开检索中存始袁且算在相对法树院

似的发音袁的根节点为据序(2)列扫描的下第一一个层音各个节素选择点对获应得的查字找数音并素转的节到该点子袁并树根继续检索所在层的各个节点袁如果查找到叶子节点袁则转到步成匹(3)骤(3)配匹配曰否曰若未到则匹配叶袁子继续选到节叶点子袁择则对节获应的子树搜索遥

点取袁则叶向子上节追点溯上最次近数的袁即字完或词节点袁匹配成功曰若未匹配到任何字或词节点袁则匹配失败遥

对于模糊匹配袁要考虑到发音相似的音素串匹配袁比如业务词野电网野对应的发音音素为冶dian1wang3冶袁但ian1是业务词w在ang4语音野电网冶识,冶遥对别应的因的过此音程袁调中在发袁这生可种问能情况题声袁下但学袁是模要其型考对会虑应输发的出野d音还相是

似

的情况遥本文只考虑到音调的相似度袁根据经验可得袁对于声调3声和4声可认为为同一种音素遥在检索时袁当匹配音素节点时袁相同音素且不同声调的袁可认为为同一种发音袁即匹配节点成功遥当然袁可以设计更为复杂的相似度算法进行检索袁本文目前没有深入设计遥

3实验

本文实验基于国网客服人工智能中心和清华大学语音语义实验室联合研发的语音识别系统袁其中声学模型是由100h的863开放语音数据[4]和Kaldi[5]的DNN训练工具训练所得遥实验中具体参数院语音特征维度为39维srilm特袁音素集使用中文的拼音遥对于语言模型袁本文采用[6]工具和新闻数据sogouT[7]进行训练得到一个领域通用的语言模型袁并基于国网客服电话语音特定领域词进一步训练优化遥

野应急在测试时袁选取国网客服各领域核心词汇列表渊如

用语音电压识别尧系应统进急电行源识冶等别冤袁曰(2)进将行地名了4词组实验进行HCLG院(1)直加接强使袁进行语音识别曰(3)将地名词进行语音识别后纠正曰(4)使用HCLG增强和识别后纠正遥具体实验结果如表1所示遥

叶电子技术应用曳2019年第45卷第2期

表1领域词识别准确率渊WER冤

算法基准系统

WER/%核HCLG心词增强11.纠正

9.49HCLG增强+核心词纠正9.318.18通过实验可以看出袁基于HCLG增强的模型优化和基于后处理的核心词纠正都能显著提高领域词的识别效果袁相对错误率下降(11.-8.18)/11.=29.1%遥

4结论

本文提出了一种针对不同领域核心词的模型优化方法袁通过对HCLG的增强以及识别后处理优化袁该方法能够快速全面地提高领域词的识别准确率遥这种方法能够快速且实时地增加领域词袁以适应语音识别在不同领域场景的使用遥同时袁该方法克服了之前限定类别领域词识别的袁可以更加灵活地添加领域词袁减少了领域词添加的复杂性遥本文提出的领域词增强的方法可成功解决国网客服的电话语音的核心词识别优化问题遥参考文献

[1]杨应林用国袁2014.词类袁40(6)扩充方法在院123-125.

语音识别中的应用[J].电子技术[2]MOHRItransducersM袁PEREIRAF袁RILEYM.Weightedfinite-state

[3]Language孙与芳媛实现.[D].基于袁2002inspeech哈尔倒袁排索16(1)recognition[J].Computer滨院哈尔引和院69-88.

Speech&滨字工典业树大学的站袁内2016.

搜索引擎的设计[4]李RASC863爱军袁要要要王天四庆大方袁殷言普治纲通.863话语音语音库识[C].别第语七届音语全料国库人[5]POVEY机语音通讯学术会议(NCMMSC7)论文集袁2003院274-277.speechD袁GHOSHALA袁BOULIANNEG袁etal.TheKaldi

AutomaticrecognitionSpeechRecognitiontoolkit[C].IEEEand2011Understanding.IEEEWorkshopon[6]SignalSTOLCKEProcessingSociety袁2011.Languagetoolkit[C].SeventhA.SRILM-anProcessingInternationalextensiblespamwiththewisdomFei袁袁2002.

Conferencelanguageonmodeling

Spoken[7]LiuYiqun袁ChenKongoftheWeizecrowds[J].ACM袁etal.IdentifyingTransaction

Web

ontheWeb袁2012袁6(1)院1-30.

渊收稿日期院2018-08-09冤

作者简介院

杨维渊1978-冤袁男袁硕士袁高级工程师袁主要研究方向院电力信息化遥

张才俊渊1980-冤袁男袁本科袁高级工程师袁主要研究方向院电力信息化遥

马永波渊1981-冤袁男袁本科袁高级工程师袁主要研究方向院电力信息化遥

11