Deep Reinforcement Learning aplicado ao mercado de ações

Abstract

Muitos algoritmos que possuem boa performance em diversos campos da literatura, tão logo são utilizados, recebem atenção do mercado financeiro. Prever com uma boa taxa de acerto o movimento das ações é o sonho de muitos investidores e utilizar os melhores modelos conhecidos é uma das formas de encontrar essa performance desejada. Não é diferente em relação aos algoritmos de Reinforcement Learning. Como pode ser observado em [12], existem alguns artigos com abordagem de trading e utilização de Reinforcement Learning. Porém, a quantidade de artigos sobre o assunto é bem baixa se comparado a modelos criados com algoritmos clássicos de machine learning. A baixa menção ao assunto reflete em sites e blogs que passam informações sobre análise de dados, uma vez que existem poucas postagens sobre o assunto. Por ser ainda um terreno pouco explorado, existe muito o que se estudar e melhorar em Reinforcement Learning. Em relação ao presente trabalho existem melhorias que serão feitas. A primeira adição futura é uma melhor engenharia de features. As features usadas seguem o modelo padrão de outros artigos ao utilizar OHLC das ações como input para o modelo. Uma boa modelagem tem a capacidade de aumentar significativamente a performance de modelos e algumas ideias de features serão implementadas futuramente. Outra melhoria a ser feita e a estruturação do ambiente construído. O ambiente e o cerne do funcionamento do modelo, e algumas ideias relacionados aos passos a serem tomadas pelo agente entre as posições ainda precisam ser implementadas. Por fim, uma mudança que ser a feita e segue uma linha de mudança de ambiente, e permitir que sejam colocadas mais ações em um mesmo modelo. Essa melhoria segue a linha de adicionar um portfólio, ou seja, adicionar várias ações e deixar que o agente escolha as oportunidades. No modelo atual, como é utilizada uma ação por modelo, o agente escolhe apenas que posição tomar em um determinado período.