Aprendizado de Representações para Adaptação de Domínio de Etiquetagem Morfossintática

Abstract

No contexto de aprendizado de máquina, o problema de adaptação de domínio ocorre quando os dados de treinamento advêm de um domínio diferente daquele onde o modelo será aplicado. Neste cenário, a representação dos dados de entrada é um fator crucial para a adaptação do modelo de um domínio para outro. Neste trabalho, três métodos são desenvolvidos para a adaptação de domínio na tarefa de etiquetagem morfossintática. Estes métodos, denominados DLID, DAN e DATT, usam técnicas de aprendizado profundo de representações (deep learning) através de uma rede neural denominada CharWNN. O CharWNN detém o estado da arte nos principais corpora da tarefa de etiquetagem morfossintática e sua principal característica é não utilizar atributos manuais. Isto significa que a entrada desta rede é composta exclusivamente pela sequência de palavras de uma frase e a representação desta entrada é aprendida automaticamente. Os métodos desenvolvidos exploram o aprendizado de representações de maneiras distintas, envolvendo treinamento não supervisionado, supervisionado e semissupervisionado. Para avaliar os métodos desenvolvidos, são empregadas duas tarefas de adaptação de domínio – uma em inglês e outra em português – que compreendem diversos pares de domínios origem-alvo. Nos experimentos, os métodos de adaptação de domínio superam substancialmente um baseline que tem acesso exclusivo a dados do domínio origem. Entretanto, estes métodos obtêm desempenho equivalente ao CharWNN quando este usa trivialmente dados externos não anotados. Apesar destes resultados demonstrarem que os métodos desenvolvidos não trazem benefícios, eles também demonstram que a rede CharWNN tem desempenho excelente na adaptação de domínio. Adicionalmente, demonstramos que o problema de adaptação de domínio não supervisionada é difícil e ainda mal resolvido, através de um experimento que fornece, incrementalmente, algumas frases anotadas do domínio alvo para o treinamento da rede CharWNN. Neste experimento, o CharWNN é capaz de superar os melhores sistemas de adaptação do domínio da literatura usando poucas frases anotadas.