LIBRO GRATUITO · BACKTEST
Backtest e overfitting dalla A alla Z: come non ingannarsi con i dati
Il dodicesimo libro dell'Accademia in 14 capitoli: che cos'è un backtest, il test che sembra perfetto, quanti test hai fatto, parametri e adattamento, dentro e fuori campione, il walk-forward, guardare nel futuro, costi ed esecuzione, il massimo di molti tentativi, il test di permutazione, la robustezza dei parametri, periodi e regimi e un processo di prova onesto. Ogni capitolo spiega come funziona, che cosa abbiamo provato su 480 regole e su serie casuali con le candele vere dell'oro e che cosa farne. Con esercizi, glossario e test finale.
14 capitoli · 4 moduli · 2 ore di lettura circa · aggiornato il 2026-11-20
Come si usa questo libro
Ogni capitolo ha figure su candele vere dell'oro, quattro esercizi con la soluzione spiegata e un riepilogo dei punti chiave. Fai gli esercizi prima di passare al capitolo dopo. Contenuto educativo, non consulenza finanziaria.
Parte 1: Che cos'è un backtest
Che cos'è un backtest, il test che sembra perfetto, quanti test hai fatto e i parametri.
- 1Che cos'è un backtestUn backtest applica regole scritte a dati passati e registra il risultato di ogni operazione in R. In questo libro usiamo 4.865 candele orarie dell'oro (15 dicembre 2025 - 6 ottobre 2026) e una famiglia di 480 regole di breakout. La regola di esempio (massimo delle 20 candele, stop 1 ATR, obiettivo 1 R) dà 307 operazioni a −0,02 ± 0,11 R: il backtest dice che cosa sarebbe successo con quelle regole e quei dati, non che cosa succederà. · 9 min
- 2Il backtest che sembra perfettoProvando le 480 regole su tutto il periodo, la migliore (breakout a 80 candele, stop 1,5 ATR, obiettivo 3 R, durata 48 candele) dà 79 operazioni a +0,74 R, +58,1 R in totale, fattore di profitto 2,37 e un drawdown di soli 6,1 R. Sembra un sistema. Ma è la migliore di 480, la media di tutte le regole è −0,017 R, 189 su 480 sono positive e l'errore sulla sua media è ±0,43. · 7 min
- 3Quanti test hai fattoPiù regole provi, più la migliore sembra buona, anche se i dati sono rumore. Su 300 serie casuali (le stesse candele rimescolate a blocchi di un giorno, senza tendenza) la migliore di una sola regola vale −0,03 R, la migliore di 20 vale +0,16, la migliore di 480 vale in media +0,28 R (95° percentile +0,43). Sui dati veri la migliore è +0,74: sopra tutte le 300 serie casuali, ma il confronto onesto parte da +0,28 e non da zero. · 8 min
- 4I parametri e l'adattamentoOgni parametro lasciato libero è un modo in più di adattare la regola al rumore. Su serie casuali, scegliendo la migliore con 1 parametro libero il R medio è +0,05 nella prima parte e +0,01 nella seconda; con 5 parametri è +0,35 e +0,02. Sui dati veri la regola scelta con 3-5 parametri passa da +0,75-0,82 R nella prima parte a +0,43-0,46 nella seconda: più della metà del guadagno, ma con 25-27 operazioni l'errore è ±0,7. · 8 min
Parte 2: Dentro e fuori campione
Dentro e fuori campione, il walk-forward, guardare nel futuro e i costi.
- 5Dentro e fuori campioneDividiamo i dati nel tempo: la prima parte (65%) per scegliere, la seconda (35%) per provare. La regola scelta nella prima parte fa +0,82 ± 0,52 R (55 operazioni) e nella seconda +0,43 ± 0,73 (25): perde metà, e resta positiva. Il primo decile delle regole passa da +0,38 a +0,10 R, l'ultimo da −0,26 a −0,12: il vantaggio della prima parte si conserva solo in parte. Su serie casuali la migliore della prima parte (+0,35) vale +0,02 nella seconda. · 8 min
- 6Il walk-forwardIl walk-forward riottimizza ogni mese sui tre mesi precedenti e opera il mese dopo: ogni operazione è fuori campione per costruzione. Sulle 480 regole dà 96 operazioni a +0,16 ± 0,33 R (+15,6 R) da marzo a settembre 2026; sulle serie casuali la media è +0,01 (95° percentile +0,27). Con finestre di 1, 2, 3 e 6 mesi il risultato va da −0,13 a +0,45 R: la lunghezza della finestra è un altro parametro. · 9 min
- 7Guardare nel futuroUn errore di tempo trasforma una regola da −0,02 R in una da +0,83 R: la stessa regola a 20 candele, entrando all'apertura della candela il cui segnale usa la chiusura, vince il 92% delle volte e fa +342 R. Una regola di giornata che usa la chiusura del giorno per comprare all'apertura dà +1,61 R a operazione e il 98% di vittorie, contro −0,15 R se si entra il giorno dopo. Numeri così belli sono il segnale d'allarme. · 8 min
- 8Costi ed esecuzione nel backtestUn backtest deve decidere che cosa succede quando una candela tocca insieme stop e obiettivo, a che prezzo si entra e quanto costa. La regola migliore della griglia non cambia (+0,74 R in tutti i casi), ma una regola a stop stretto (breakout a 10 candele, stop 0,5 ATR, obiettivo 1 R) passa da −0,17 R con la regola prudente a +0,12 con quella ottimistica: il segno dipende dall'ipotesi. Con costi da 0 a 2 $ la media della griglia va da −0,001 a −0,110 R e la classifica delle regole resta quasi uguale (correlazione 0,98). · 9 min
Parte 3: Il caso e la robustezza
Il massimo di molti tentativi, il test di permutazione, la robustezza dei parametri e i periodi.
- 9Il massimo di molti tentativiIl valore p di una regola scelta prima si legge contro il caso; quello della migliore di 480 va letto contro il migliore che il caso produce su 480. Su 300 serie casuali la migliore vale in media +0,28 R (massimo +0,53); la nostra, +0,74, le supera tutte. Ma con serie casuali che conservano blocchi di 10 giorni la migliore vale in media +0,53 (massimo +0,80) e la nostra ne supera 149 su 150: la risposta dipende da che cosa chiamiamo «caso». · 9 min
- 10Il test di permutazioneUn test di permutazione rimescola una parte del backtest e chiede quanto spesso il rimescolamento fa uguale o meglio dei dati veri. Sulla regola migliore (+0,74 R) la direzione casuale dà in media +0,23 (valore p 0,003), i tempi casuali +0,04 (valore p 0) e la serie rimescolata +0,05 (valore p 0). La regola mediana (−0,05) e quella di esempio (−0,02) restano nel mezzo del caso (valori p da 0,36 a 0,89). Ma il valore p di una regola sola non tiene conto delle 480. · 8 min
- 11La robustezza dei parametriUna regola robusta vale quasi lo stesso se cambi un po' i parametri; una regola fragile è un picco. Per la migliore (+0,74 R) i cinque vicini (un parametro cambiato di un passo) valgono da +0,28 a +0,66, in media +0,43: tutti positivi, ma a poco più della metà. Il rapporto vicini/migliore è 0,58 contro 0,52 per la migliore delle serie casuali: non è più robusta del rumore. Scegliere per la media dei vicini non ha aiutato: +0,12 nella seconda parte contro +0,43. · 9 min
- 12I periodi e i regimiDividiamo i dieci mesi in cinque periodi di circa due mesi. Le 240 regole breakout hanno un R medio positivo in quattro periodi su cinque (da +0,02 a +0,22), le 240 regole fade sono negative in tutti (da −0,19 a −0,02). La classifica delle regole si conserva da un periodo al successivo solo all'inizio (correlazione di rango +0,72, +0,29, poi −0,01 e +0,03). La regola migliore è positiva in ogni periodo, ma il 48% del suo guadagno viene dal primo, quando l'oro sale del 18%. · 9 min
Parte 4: Provare in modo onesto
Un processo di prova onesto, errori, glossario e test finale.
- 13Un processo di prova onestoMettiamo insieme gli strumenti in un processo scritto prima: famiglia di regole fissata, divisione dei dati, ipotesi di esecuzione prudenti, criterio di scelta con valore p e vicini, prova unica fuori campione. Sulle nostre 480 regole il processo sceglie una regola (breakout a 80, stop 2 ATR, obiettivo 3 R, durata 48: +0,53 ± 0,50 R, valore p 0,003) e nella prova unica fa +0,12 ± 0,73 R su 23 operazioni: inconcludente. Su serie casuali la stessa procedura dà una prova positiva nel 53% dei casi. · 10 min
- 14Un backtest raccontato due volte, errori, riferimento, glossario e test finaleLa stessa regola raccontata in due modi: «+58 R, drawdown 6 R, fattore di profitto 2,4» e «la migliore di 480, +0,74 ± 0,43 R, caso +0,28, fuori campione +0,43 ± 0,73 su 25 operazioni, walk-forward +0,16 ± 0,33, prova del protocollo +0,12 ± 0,73: interessante e non provata». Poi gli errori più frequenti in ordine di capitolo, il riferimento rapido con regole e misure, il glossario e un test finale di 15 domande. · 17 min