Como ler um backtest cripto sem cair em armadilhas

A regra é esta: manter bitcoin quando ele fechou o dia anterior acima da média dos últimos 200 dias; caso contrário, ficar em dólares. A decisão usa o fechamento da véspera, para não usar uma informação que não estaria disponível.

De 5 de março de 2018 a 7 de outubro de 2026, sem taxas, essa regra multiplica o capital por 8,3. Comprar e segurar multiplica por 7,3. A regra ficou investida só 52% do tempo.

O múltiplo final esconde o caminho. A perda máxima da regra é de −63%, contra −77% de comprar e segurar: menos funda, mas longe de confortável. No período, a carteira da regra passou 698 dias mais de 50% abaixo do topo, contra 739 dias de comprar e segurar.

A pergunta útil é, então: você teria seguido essa regra durante esses 698 dias? Um backtest que ganha no fim, mas que você teria abandonado no meio, não vale nada na prática. Por isso a perda máxima e a duração dos fundos importam tanto quanto o retorno.

Por que 200 dias e não 150 ou 40? Se você testa todas as durações e fica com a melhor, obtém um resultado lindo no passado, mas em parte por acaso. É o sobreajuste: a regra se adaptou ao ruído do histórico, e não a um comportamento duradouro do mercado.

O experimento é fácil de reproduzir. Testa-se a regra com médias de 20 a 300 dias entre julho de 2018 e dezembro de 2021. A melhor é a média de 40 dias, que multiplica o capital por 15,9 nesse período, contra 7,3 de comprar e segurar. Depois, aplica-se cada duração do jeito que está ao período seguinte, de janeiro de 2022 a outubro de 2026, que não foi usado para escolhê-la.

Fora da amostra, a média de 40 dias multiplica o capital só por 3,3 e fica em 11º lugar entre 29. A melhor duração no novo período é a média de 170 dias (×4,1), que era apenas mediana no primeiro. A média de 200 dias, escolhida por convenção e não por otimização, faz ×3,5 e depois ×3,6: menos brilhante no início, mais estável depois.

Mesmo uma regra que não foi otimizada só foi testada em uma história. Uma simulação de Monte Carlo cria milhares de outras sorteando os movimentos diários observados, para ver o leque de resultados.

Aplicada a US$ 10.000 investidos em bitcoin por um ano, com os retornos de outubro de 2022 a outubro de 2026, ela dá uma mediana de US$ 14.381, mas um percentil 5 de US$ 6.884 e um percentil 95 de US$ 30.752. Um resultado de backtest é um ponto dessa distribuição, não uma promessa.

Os números deste guia são sem taxas. Uma regra que muda de posição com frequência paga taxas a cada troca, e a diferença entre o preço exibido e o preço realmente obtido, o deslizamento de preço, se soma a elas. Nas grandes corretoras, as taxas de uma ordem à vista vão de cerca de 0,1% a 0,6%, conforme o plano.

O efeito depende do número de operações. Uma regra que faz dez idas e voltas por ano a 0,5% por ordem perde 10% ao ano antes de ganhar qualquer coisa. Uma regra lenta, como a média de 200 dias, raramente muda de posição e é menos sensível a isso. Uma regra rápida pode ver toda a sua vantagem desaparecer.

Um backtest trata de ativos que ainda existem. Testar uma estratégia nas dez maiores criptos de hoje é escolher depois do fato as que sobreviveram. A LUNA estava entre as dez primeiras em abril de 2022 e valia uma fração de centavo um mês depois.

Para limitar esse viés, teste a regra na lista de ativos tal como ela era no início do período. Se não for possível, fique com os ativos de história longa e leia o resultado como um limite superior.

Antes de confiar em um backtest, verifique cinco pontos. A regra decide com informações disponíveis naquele momento? As taxas e os deslizamentos de preço foram contados? O período cobre pelo menos uma alta forte e uma queda forte? Os parâmetros foram escolhidos em um período diferente do dos resultados mostrados? A perda máxima é suportável para você?

Um backtest não prova que uma estratégia vai funcionar. Mas pode mostrar que ela não teria funcionado, ou que exige aguentar mais do que você aceitaria. Isso já é muito.