Transformers: teoria e viabilização

Abstract

Transformers atualmente representam uma das classes mais poderosas de modelos de aprendizado de máquina para processamento de linguagem natural (PLN). Neste trabalho, exploramos os conceitos teóricos por trás dessa arquitetura de redes neurais, os desafios do cenário presente e os aprimoramentos de eficiência propostos na literatura desde a introdução desses modelos.