Loading...
Loading...

Go to the content (press return)

Combinació de models neuronals amb models estadístics en traducció automàtica

Type of activity
Competitive project
Funding entity
AGAUR. Agència de Gestió d'Ajuts Universitaris i de Recerca
Funding entity code
2017 DI 090
Amount
33.960,00 €
Start date
2018-02-09
End date
2021-02-09
Abstract
L'aprenentatge profund (Deep Learning), es basa en la utilització de models de diverses capes de xarxes neuronals. La seva utilització en l'àrea del processament del llenguatge natural ha tingut un impacte molt significatiu en els darrers anys i ha suposat una gran millora en les prestacions. Entre altres avantatges, destaca el fet que els sistemes són entrenables sense necessitat de predefinir estructures d'aprenentatge, que s'aprenen automàticament. Així mateix, la versatilitat dels sistemes neuronals permet aplicar arquitectures similars a diferents estructures de dades com a imatge, text o veu.

La traducció automàtica és un camp multidisciplinari que inclou lingüistes, enginyers, informàtics i traductors. Les aproximacions més conegudes inclouen la traducció basada en regles, estadística i, molt recentment, la traducció neuronal. La traducció basada en regles utilitza un sistema dissenyat manualment mitjançant traductors o lingüistes bilingües en el parell de llengües que es vol traduir. Mentre que les traduccions estadística i neuronal entrenen a partir de dades traduïdes.

Un punt clau de la traducció neuronal és que planteja un sistema totalment entrenable end-to-end, Un altre avantatge important és que permet incorporar mecanismes d'atenció com una forma eficaç de modelització de dependències de llarga distància i del canvi d'ordre de les paraules (reordenació) en el procés de traducció.

Malgrat aquests beneficis i uns resultats globalment millors, estudis recents mostren que la traducció neuronal tendeix a introduir errors que no es produeixen en els sistemes estadístics. A la traducció neuronal li falta d'un mecanisme per registrar les paraules d'origen que han estat traduïdes o necessiten ser traduïdes, i això pot donar lloc a una "sobre-traducció" o una "sota-traducció". És també conegut que els traductors neuronals tendeixen a generar frases naturals en la llengua destí, però que no sempre reflecteixen el significat original de l'oració d'origen. Per últim els models neuronals tenen problemes per memoritzar la traducció de paraules molt poc freqüents.

Els sistemes estadístics de traducció automàtica, per contra, tenen un mecanisme capaç de garantir que totes les paraules d'origen s'utilitzen en la traducció una i només una vegada. I per construcció, també permeten memoritzar de forma precisa totes les paraules que s'ha observat com a mínim un cop en les dades d'entrenament.

En aquest doctorat industrial ens proposem abordar totes les possibilitats de combinar els models clàssics de traducció automàtica estadística basada en frases amb els models neuronals. S'estudiarà en primer lloc la combinació de les sortides de tots dos sistemes per passar a continuació a models més integrats on la informació proporcionada pel sistema estadístic ajudi al sistema neuronal a solucionar els problemes anteriorment esmentats.

Tant la Universitat Politècnica de Catalunya com Lucy Software tenen una gran experiència en el desenvolupament de sistemes competitius de traducció automàtica. Els sistemes resultants seran provats en condicions reals de producció de l'empresa Lucy Software així com a avaluacions internacionals com el Workshop on Machine Translation (WMT).
Scope
Adm. Generalitat
Plan
V Pla de Recerca i Innovació de Catalunya (PRI). 2010-2013
Call year
2018
Funding call
Doctorats Industrials
Grant institution
Agència De Gestió D'ajuts Universitaris I De Recerca (agaur)

Participants