AIGC時(shí)代，翻譯技術(shù)發(fā)展日新月異，已經(jīng)成為翻譯工作者提高翻譯效率，保證翻譯質(zhì)量必須了解的有力輔助。語(yǔ)料庫(kù)是語(yǔ)言服務(wù)行業(yè)的寶貴資產(chǎn)，是提高語(yǔ)言處理工作效率的重要途徑。也許在未來(lái)，我們都會(huì)打造屬于自己的語(yǔ)料資產(chǎn)，那么，該如何乘時(shí)代巨浪，建立更高效智能的語(yǔ)料庫(kù)呢？

8月30日，翻譯技術(shù)研究院舉辦第十三次公益沙龍，特邀廈門云譯科技有限公司語(yǔ)料技術(shù)部主管王偉榕老師為我們分享語(yǔ)料庫(kù)構(gòu)建和語(yǔ)料對(duì)齊的相關(guān)知識(shí)。

接下來(lái)就跟隨小編一起回顧當(dāng)日沙龍的精彩片段吧~

語(yǔ)料庫(kù)建設(shè)

在語(yǔ)料庫(kù)構(gòu)建階段，王老師從語(yǔ)料來(lái)源搜尋、語(yǔ)料采集和語(yǔ)料處理三個(gè)方面介紹了語(yǔ)料庫(kù)的構(gòu)建流程。首先是語(yǔ)料來(lái)源搜尋方面，我們可以進(jìn)行定向搜尋、批量搜尋，并對(duì)來(lái)源進(jìn)行分類。在語(yǔ)料采集方面，我們可以根據(jù)語(yǔ)料來(lái)源的分類定制語(yǔ)料采集的方案，比如，對(duì)于標(biāo)記出來(lái)的多元網(wǎng)站，我們可以使用通用爬蟲將整個(gè)網(wǎng)站爬取下來(lái)，然后根據(jù)通用流程從中采集雙語(yǔ)語(yǔ)料。對(duì)于辭典類或者格式比較工整的網(wǎng)站，我們可以定制化開發(fā)一些爬蟲，去解析網(wǎng)站上指定的雙語(yǔ)文本，對(duì)所需語(yǔ)料進(jìn)行采集。采集到語(yǔ)料之后，就進(jìn)入到了語(yǔ)料處理的環(huán)節(jié)。語(yǔ)料處理的工作主要涉及提取語(yǔ)料和消除噪音，噪音包括格式方面的不工整或語(yǔ)言類的錯(cuò)誤等。所以我們需要在這個(gè)階段進(jìn)行語(yǔ)料對(duì)齊和語(yǔ)料過(guò)濾。

語(yǔ)料對(duì)齊

在語(yǔ)料對(duì)齊階段，王老師首先介紹了語(yǔ)料對(duì)齊的目的（縮短人工篩選和編輯時(shí)間，提高機(jī)器翻譯模型的訓(xùn)練效果）和類別（篇章對(duì)齊和句對(duì)齊），隨后講解了語(yǔ)料對(duì)齊的技術(shù)，對(duì)齊技術(shù)主要涉及相似度的計(jì)算。在經(jīng)過(guò)一些預(yù)處理后，我們可以把原文和譯文篇章轉(zhuǎn)換成兩張句子一一對(duì)應(yīng)的列表，然后計(jì)算句子之間的相似度，根據(jù)該相似度和我們要實(shí)現(xiàn)的對(duì)齊目的來(lái)設(shè)定對(duì)齊關(guān)系提取的方法。

工具與平臺(tái)應(yīng)用

在工具與平臺(tái)應(yīng)用方面，王老師主要介紹了云譯語(yǔ)料管理平臺(tái)對(duì)齊工具的實(shí)踐與應(yīng)用。在這一階段，王老師簡(jiǎn)要演示了云譯對(duì)齊工具的應(yīng)用，我們可以根據(jù)自己的對(duì)齊需要在該平臺(tái)進(jìn)行操作，并對(duì)對(duì)齊文本進(jìn)行設(shè)置處理，例如句子的合并和拆分、上下移動(dòng)等。云譯語(yǔ)料管理平臺(tái)是專業(yè)的語(yǔ)料管理平臺(tái)和對(duì)齊工具，能夠幫助我們實(shí)現(xiàn)語(yǔ)料庫(kù)和語(yǔ)料對(duì)齊流程的自動(dòng)化，降低成本并提高效率。

以上就是本次沙龍的精彩看點(diǎn)，希望您能收獲滿滿~