Painting the black box white: a fundamentalist-based trading strategy using interpretable trees

Abstract

Difficulty understanding how a black box model makes predictions has undermined machine learning’s success in financial markets, according to a recent article from Bloomberg (2019b). Our work shows how model-agnostic methods to interpret machine learning predictions turn these models more transparent to a human investor. We benchmark three tree-based algorithms between themselves, creating long-short investment strategies with independent models for each leg and using only fundamentalist analysis. We then apply the models to the Brazilian stock market (Bovespa) and achieve an out-of-sample expected annual return of 26.4% with a Sharpe ratio of 0.50. Ensembles between the long and short legs improve this result for a Sharpe ratio of up to 1.26, comparable to other works in the literature reported by Avramov et al. (2019) when considering real-world constraints. Our strategy has low asset turnover and transaction costs do not explain the results. All models achieve positive risk premiums and two are statistically significant. Interpretation shows differences on the key predictors for over- and underperformance, with the first focusing on price-to-value and the second on size and liquidity. Local interpretation is discussed in the case of Magazine Luiza, showing how model explanation helps an investor to understand and decide which stocks to buy or sell based on the models’ output. We argue that different performance and interpretation between long and short models and the possibility of ensembling are key advantages of modeling these positions separately.

A dificuldade em entender como modelos de aprendizado de máquina "caixa preta"fazem previsões prejudica sua adoção no mercado financeiro, de acodo com um artigo recente da Bloomberg (2019b). Nosso trabalho discute como métodos de interpretação agnósticos são capazes de tornar os modelos de aprendizado de máquina mais transparentes para investidores humanos. Nós comparamos três algoritmos baseados em árvores na geração de estratégias de investimento long-short, criando modelos independentes para as pernas de compra ("long") e venda ("short") e usando apenas variáveis fundamentalistas. Nós aplicamos esses modelos para o mercado de ações brasileiro (Bovespa) e atingimos um resultado anualizado esperado de 26.4% fora da amostra, com um índice de Sharpe de 0.50. Combinações1 entre as pernas de compra e venda melhoram o resultado, atingindo um índice de Sharpe de até 1.26, comparável com os resultados de Avramov et al. (2019) quando restrições econômicas são levadas em conta. Nossa estratégia tem baixo nível de substituição de ativos ao longo do tempo e custos transacionais não explicam o resultado. Todos os modelos conseguem prêmios de risco positivos e dois são estatisticamente significativos. A interpretação dos modelos mostra diferenças nos preditores entre performances acima e abaixo do esperado, onde no primeiro caso prevalecem razões ("ratios") entre preço e valor, e no segundo liquidez. A interpretação local dos modelos é discutida através do exemplo da Magazine Luiza e mostra como as explicações obtidas ajudam um investidor a entender e decidir pela compra ou venda do ativo de acordo com o resultado do modelo. Nós argumentamos que diferenças tanto na performance quanto na interpretação dos preditores e a possibilidade de combinações são vantagens de se modelar separadamente compra e venda.