搭建易擴展的小語種識別系統實踐——以舊蒙文識別為例

搭建易擴展的小語種識別系統實踐——以舊蒙文識別為例

蒙古網站king2019-10-080:19:56383A+A-


搭建易擴展的小語種識別系統實踐

——以舊蒙文識別為例


近年來,我國著重發展各地區文化特色,鼓勵恢復少數民族傳統風俗,推動對少數民族語言的研究。其中,在內蒙古地區蒙古族人口為421.1萬人,占內蒙古總人口的17.65%,主要使用蒙古和漢語。與蒙古國與俄羅斯部分地區使用的新蒙語不同,我國內蒙古地區使用的依舊是傳統蒙語。同時,隨著越來越多的蒙古文古跡的發掘,對蒙古族文化的研究越來越深入。為了更加便捷的對蒙古族文化進行研究與宣傳,高效的將蒙古文資料與文獻轉化為圖像形式,建立智能的文字識別系統,是科技潮流的大勢所趨也是社會與市場的迫切需要。



現有的蒙古文識別研究在技術與素材上受到了較多限制。現有主流的方法還主要是基于圖像處理形態學方法,對蒙古文進行切割與傾斜校正等,或使用較為簡單的神經網絡進行蒙古文字的識別,其效率與正確率往往無法達到工業化水平要求。
相比于傳統方法,我司基于先進的人工智能技術,設計并完成了兩套針對蒙古文圖像的文字識別方法,分別為:高效的深度學習卷積神經網絡方法,與針對蒙古文詞語特性設計的融合深度學習模型方法。
由于蒙文屬于阿爾泰語系,其文字的拼寫方式、書寫格式均與我們處理的漢字、英文等目標不同,因此這兩套方法分別設計了對應的解決方案。



蒙古文排版方式

與文字示例


針對蒙古文的文字形態特性,及其區別于漢語、英文等的排版方式,我們設計并構建了應對此情況的深度學習卷積神經網絡。此網絡不同于研究領域中使用的超深度網絡結構,并非使用大量卷積模塊的堆疊,而是使用更加輕便高效的網絡模塊組合。在保證了對文字特征的深度挖掘基礎上,拓展了網絡的寬度,確保挖掘到的圖像特征更具代表性和有效性,結構示意圖如下圖所示:


深度學習卷積神經網絡方法結構示意圖


針對蒙古文字圖像呈“豎長條”形狀,本網絡中沒有單純使用常見的nxn核尺寸,而是使用wxh、nxn兩種核尺寸的組合策略。此策略充分考慮了蒙古文圖像的形狀特性,保證圖像在經過深度網絡后,能夠挖掘到充分且平衡的特征數據,從而有效提升本網絡對蒙古文字的正確識別概率。同時,為了更有效的克服同種單詞的不同字體情況,本網絡在拓展網絡深度的同時,延展了網絡的寬度。與一味加深網絡深度相比,寬度的增加為特征學習帶來了更多的角度與可能,從而有效提升網絡對抗復雜字體的能力。
根據蒙古文所屬語系特點,其每個單詞均由單個或多個字母組成。同時在組成的過程中,字母還可能出現不同程度的形變。根據此種特點,我們設計了一種融合深度學習網絡模型。通過將兩種不同結構的神經網絡模型進行融合,實現對蒙古文單詞中每個字母的對應識別。在傳統的卷積神經網絡識別任務中,通常只能獲得該文字的類別,卻無法分析其組成字母,未能給后續研究提供更多的素材支持。為了解決這一缺憾,我們借鑒自然語言處理與語音處理的經驗,使用循環神經網絡模型對卷積網絡挖掘的特征,進行更進一步的分析與學習,結構如下圖所示:


融合深度學習模型方法結構示意圖


在使用卷積神經網絡挖掘圖像內特征前提下,對特征進行時序上的分析與學習。本網絡結果不僅對圖像內文字、單詞的形態等特征進行了學習,同時也對其上下文的特征聯系進行了學習,模擬了人類大腦在學習與讀寫蒙古文字的過程。值得注意的是,由于蒙古文的語言特性,字母在拼接成單詞的過程中,時常會出現畸變等情況,通過對特征上下文的深度學習,使得融合深度學習模型在處理該情況時,具有較好的魯棒性。
經過與處理蒙古文的傳統切分識別方法對比,這兩種方法都更具優勢。特別是在處理不同字體的蒙古文時,深度學習卷積神經網絡模型方法平均正確識別率達到95%,融合深度學習模型方法平均正確識別率達到85%。傳統方法無法適應多樣字體帶了的結構變化,但我們提出的倆種方法能夠較好的適應這種形變。值得指出的是,融合深度學習模型方法的正確率雖然小于卷積神經網絡模型方法,但其在廣闊的數據范圍下,更具魯棒性。
現有基于深度學習模型方法的自動化全篇蒙文識別系統已經完成工業化實現,識別界面與結果如下圖所示:



識別界面與結果展示


蒙文識別系統是少數民族文字識別的實際案例,而舊蒙文是少數民族文字里較為復雜的一種,舊蒙文是豎寫文字,存在同形異讀現象,字體特殊性大,因此識別的難度較大,系統提供了舊蒙文識別的解決方案,達到較好的可應用的識別精度;在舊蒙文識別上驗證了解決方案的有效性,更重要的是,本系統采用的解決方案具有對各種語言的可移植性,可推廣至其他少數民族文字的識別應用,快速解決類似問題。



來源:CNKI智能圖文


點擊這里復制本文地址以上內容由蒙文軟件大全整理呈現,請務必在轉載分享時注明本文地址!如對內容有疑問,請聯系我們,謝謝!

支持Ctrl+Enter提交

蒙文軟件大全© All Rights Reserved.  蒙文軟件大全 Copyright ?2018 蒙ICP備13001995號-4
PoweredbyZ-BlogPHPThemesby蒙古文軟件
聯系我們|關于注冊|留言建議|管理|

本站會員尊享VIP特權,現在就加入我們吧!登錄注冊
登錄
用戶名
密碼
注冊
用戶名
密碼
確認密碼
昵稱
郵箱
QQ
獲取邀請碼
邀請碼
找回密碼
用戶名
郵箱
※重置鏈接將發送到郵箱
十或更好5手投注 福少时时彩五星缩水软件 福彩3d345期号码预测 重庆时时彩定位胆玩法规则 菜市场杀鸡鸭最赚钱 大丈夫几集你又不赚钱 2017年网络最赚钱的项目 电竞比赛主要游戏 快乐12开奖走势图四川走势图 卖猪肉为什么不赚钱吗 看似不起眼赚钱的工作 山东时时彩玩法介绍 腾讯欢乐麻将开挂作弊方法 大同煤业股票行情 手机彩票怎样玩才赢钱 九乐棋牌新版360 同城衡水麻将作弊软件