沒(méi)錯(cuò)，我們又拿了第一!

　　近日，科大訊飛A.I.研究院聯(lián)合中科大語(yǔ)音及語(yǔ)言信息處理國(guó)家工程實(shí)驗(yàn)室，以顯著優(yōu)勢(shì)獲得 ICFHR 2 020 OffRaSHME數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽冠軍 。

離線手寫(xiě)數(shù)學(xué)公式識(shí)別（官方數(shù)據(jù)）榜單

離線手寫(xiě)數(shù)學(xué)公式識(shí)別（外源數(shù)據(jù)）榜單

　　注：“Correct”表示公式識(shí)別的句正確率，“≤1s.err”和“≤2s.err”分別表示整條公式中允許出現(xiàn)1處和2處錯(cuò)誤的識(shí)別的句正確率

　　此次OffRaSHME數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽由ICFHR 2020舉辦，除科大訊飛外，韓國(guó)三星、東京農(nóng)工大學(xué)、華南理工大學(xué)、中山大學(xué)等多家常年深耕文檔分析理解領(lǐng)域的研究機(jī)構(gòu)都參與其中。

　　本次識(shí)別挑戰(zhàn)賽「難」在哪里？

　　公式結(jié)構(gòu)復(fù)雜，尤其是各種結(jié)構(gòu)的嵌套， 例如：

　　形近字難識(shí)別，如X和x，Z和2，γ和r， 例如：

　　本次比賽添加了很多非常規(guī)符號(hào)的組合，這些容易和公式混淆， 例如：

　　科大訊飛是如何獲得「冠軍」的？

　　我們?cè)跀?shù)學(xué)公式識(shí)別中創(chuàng)造性地提出了Encoder-TreeDecoder識(shí)別算法 。

　　針對(duì)有復(fù)雜嵌套結(jié)構(gòu)關(guān)系的數(shù)學(xué)公式識(shí)別：

　　我們提出了基于樹(shù)形結(jié)構(gòu)信息建模的Encoder-TreeDecoder識(shí)別算法，通過(guò)使用樹(shù)形結(jié)構(gòu)信息對(duì)數(shù)學(xué)公式的符號(hào)和符號(hào)間結(jié)構(gòu)關(guān)系分別進(jìn)行建模，來(lái)進(jìn)行數(shù)學(xué)公式識(shí)別。

　　針對(duì)難以辨別的形近字符和非常規(guī)符號(hào)的組合：

　　我們使用了基于LaTeX語(yǔ)言模型的數(shù)據(jù)增強(qiáng)策略，對(duì)官方提供的數(shù)據(jù)進(jìn)行合理的拆分分解訓(xùn)練公式語(yǔ)言模型，并使用語(yǔ)言模型合成出更加合理的符合上下文關(guān)聯(lián)性的數(shù)據(jù)，很大程度上緩解形近符號(hào)識(shí)別困難的問(wèn)題。

　　通過(guò)多項(xiàng)技術(shù)能力的綜合運(yùn)用， 在“能看會(huì)認(rèn)”上，我們做得更好了！

　　——不僅能識(shí)別更復(fù)雜的數(shù)學(xué)公式，還能做到“中文+數(shù)學(xué)公式”混合搭配的內(nèi)容識(shí)別。

　　數(shù)學(xué)公式識(shí)別領(lǐng)域的突破，對(duì)實(shí)際學(xué)生作業(yè)試卷文檔的版面結(jié)構(gòu)復(fù)雜、書(shū)寫(xiě)風(fēng)格差異顯著等難點(diǎn)問(wèn)題，提供更為豐富有效的解決方案。

　　此外，我們還在ICDAR ReCTS評(píng)測(cè)任務(wù)中刷新了 單字識(shí)別、文本行識(shí)別、文本行檢測(cè)和端到端識(shí)別全部 四項(xiàng)榜單世界紀(jì) 錄， 使得我們的系統(tǒng)在解決復(fù)雜場(chǎng)景下文字檢測(cè)和識(shí)別的難題中更為游刃有余。

　　應(yīng)用立地，更有A.I.的產(chǎn)品等你體驗(yàn)

　　“技術(shù)頂天，應(yīng)用立地”，基于在圖文識(shí)別等核心技術(shù)上取得的持續(xù)突破，我們打造出了一批具備“能看會(huì)認(rèn)”能力的A.I.產(chǎn)品。

　　▌?dòng)嶏w智能學(xué)習(xí)機(jī)

　　我們?cè)诖舜?strong>「數(shù)學(xué)公式識(shí)別任務(wù)」 中突破了諸多關(guān)鍵技術(shù)。依托這些技術(shù)，訊飛智能學(xué)習(xí)機(jī)幫助學(xué)生精確地進(jìn)行大數(shù)據(jù)學(xué)情分析找到知識(shí)點(diǎn)的薄弱項(xiàng)，實(shí)現(xiàn)“個(gè)性化精準(zhǔn)學(xué)”，提升學(xué)習(xí)效率、鞏固學(xué)習(xí)效果。

　　手寫(xiě)數(shù)學(xué)題解答功能即將開(kāi)放

　　▌?dòng)嶏w智能辦公本

　　我們實(shí)現(xiàn)了手寫(xiě)圖文識(shí)別也與智能語(yǔ)音等關(guān)鍵技術(shù)深度融合。依托這些技術(shù)，“出口成章，躍然紙上”的訊飛智能辦公本可以實(shí)現(xiàn)語(yǔ)音直接搜索手寫(xiě)筆記內(nèi)容，「一句話找到手寫(xiě)筆記」 ，滿足用戶在更多筆記場(chǎng)景下的記錄、寫(xiě)作、搜索、多端同步需求，有效提高辦公效率。

　　▌?dòng)嶏w翻譯機(jī)

　　我們基于注意力機(jī)制的Encoder-Decoder模型在「自然場(chǎng)景文字識(shí)別任務(wù)」 上，通過(guò)融合語(yǔ)言模型進(jìn)行端到端訓(xùn)練，使得拍照模糊的文字也能通過(guò)語(yǔ)言模型“聯(lián)想”而被正確識(shí)別。依托此項(xiàng)技術(shù)，訊飛翻譯機(jī)拍照翻譯更清晰更準(zhǔn)確，能夠滿足更多消費(fèi)者在國(guó)外旅游、購(gòu)物的場(chǎng)景應(yīng)用需求。

　　▌?dòng)嶏w輸入法

　　我們?cè)?strong>「在線手寫(xiě)字符識(shí)別任務(wù)」 上取得突破性進(jìn)展，將輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)首次在手機(jī)設(shè)備上實(shí)際應(yīng)用。依托此項(xiàng)技術(shù)，訊飛輸入法手寫(xiě)輸入體驗(yàn)顯著提升。

　　堅(jiān)守人工智能道路21年，我們不斷攀越技術(shù)高峰，在智能語(yǔ)音、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解等技術(shù)領(lǐng)域摘得一項(xiàng)又一項(xiàng)桂冠，但這并不是終點(diǎn)。

　　我們將始終秉承“頂天立地”的技術(shù)信仰，打造一件件“能聽(tīng)會(huì)說(shuō)”“能看會(huì)認(rèn)”“能理解會(huì)思考”的人工智能產(chǎn)品，用人工智能點(diǎn)亮人間煙火。