Parte 3: Il caso e la robustezza · Capitolo 10 di 14 · 8 min
Il test di permutazione
Un test di permutazione rimescola una parte del backtest e chiede quanto spesso il rimescolamento fa uguale o meglio dei dati veri. Sulla regola migliore (+0,74 R) la direzione casuale dà in media +0,23 (valore p 0,003), i tempi casuali +0,04 (valore p 0) e la serie rimescolata +0,05 (valore p 0). La regola mediana (−0,05) e quella di esempio (−0,02) restano nel mezzo del caso (valori p da 0,36 a 0,89). Ma il valore p di una regola sola non tiene conto delle 480.
L'idea
Un test di permutazione risponde a una domanda semplice: «se il legame tra segnale e risultato non esistesse, quanto spesso avrei visto un risultato così?». Per saperlo si rompe il legame con un rimescolamento, si ripete molte volte e si guarda dove cade il risultato vero nella distribuzione dei risultati rimescolati. La quota di rimescolamenti che fa uguale o meglio è il valore p.
La forza del metodo è che non assume nulla sulla forma dei dati (niente curve a campana, niente formule): usa i dati stessi. Il suo punto debole è che rimescolare significa decidere che cosa si rompe, e rompere cose diverse risponde a domande diverse. Ne usiamo tre.
I tre rimescolamenti
- Direzione casuale. Si tengono gli stessi momenti di ingresso, ma si assegna a ogni operazione un verso (acquisto o vendita) a caso. Rompe il legame tra segnale e verso: chiede «il verso scelto dalla regola vale più di un verso a caso?».
- Tempi casuali. Si tengono stop, obiettivo e durata, e si sceglie a caso quando entrare (con la stessa frequenza di segnali), con verso a caso. Rompe il legame tra segnale e momento: chiede «entrare al momento del breakout vale più di entrare a caso, con le stesse uscite?».
- Serie rimescolata. Si applica la stessa regola alle 300 serie casuali del capitolo 3 (candele rimescolate in blocchi di un giorno, senza tendenza). Rompe tutta la struttura della serie che duri più di un giorno: chiede «questa regola, su una serie senza struttura, fa così?».
Sulla regola migliore, su una mediana e su quella di esempio
Prendiamo tre regole: la migliore della griglia, la regola mediana (per R medio) e quella di esempio del capitolo 1. 1.000 prove per i primi due rimescolamenti, 300 serie per il terzo.
| Regola | Reale | Direzione casuale: media (95° perc.), valore p | Tempi casuali: media (95° perc.), valore p | Serie rimescolata: media (95° perc.), valore p |
|---|---|---|---|---|
| Migliore: breakout a 80, stop 1,5 ATR, obiettivo 3 R, durata 48 | +0,74 ± 0,43 (79 op) | +0,23 (+0,53), 0,003 | +0,04 (+0,28), 0 | +0,05 (+0,30), 0 |
| Mediana: fade a 50, stop 2 ATR, obiettivo 2 R, durata 48 | −0,05 ± 0,23 (132 op) | +0,10 (+0,31), 0,89 | +0,02 (+0,21), 0,73 | −0,04 (+0,12), 0,50 |
| Esempio: breakout a 20, stop 1 ATR, obiettivo 1 R, durata 24 | −0,02 ± 0,11 (307 op) | −0,03 (+0,06), 0,36 | −0,03 (+0,07), 0,42 | −0,00 (+0,06), 0,61 |
Che cosa dicono.
- La regola mediana e quella di esempio stanno nel mezzo del caso in tutti e tre i test (valori p da 0,36 a 0,89). Nessun rimescolamento le distingue. È quello che deve fare un test che funziona: dare un valore p intorno a 0,5 a una regola senza vantaggio.
- La migliore sta fuori dal caso in tutti e tre, ma con distanze diverse. Contro la direzione casuale (p = 0,003) il caso arriva a +0,53 al 95° percentile; contro i tempi casuali a +0,28; contro la serie rimescolata a +0,30.
- I tempi casuali separano il momento dalle uscite. Con stop a 1,5 ATR, obiettivo a 3 R e durata 48, entrando a caso la regola vale +0,04: il guadagno non viene dalla forma delle uscite, ma dal fatto di entrare sul breakout (nei dieci mesi). Questo toglie di mezzo un'obiezione: quella che «un obiettivo grande fa sempre bene».
- La direzione casuale dà +0,23 per la migliore, non zero. Con la direzione a caso metà delle operazioni conserva il verso della regola, e la regola, per costruzione, guadagna in quel verso. È un confronto prudente: il valore di riferimento non è zero, e il +0,74 lo supera lo stesso.
Leggere il grafico a parole
Grafico giornaliero dell'oro con, sotto, la curva vera in forte salita e due curve di riferimento (mediana e 95° percentile della direzione casuale) più basse.
Che cosa un valore p non dice
Tre limiti, da non perdere di vista.
Un valore p di 0,003 non è «lo 0,3% di probabilità che la regola sia sbagliata». Dice: se non ci fosse legame, un rimescolamento farebbe uguale o meglio una volta su 333. È una probabilità sui dati, non sulla regola.
Il valore p della singola regola non conta le 480 prove. Con 480 regole provate, anche solo per caso ne trovi parecchie con p piccolo: il capitolo 9 lo corregge confrontando con il massimo. Su 60 regole prese una ogni otto nella griglia (direzione casuale, 200 prove ciascuna), il valore p è ≤ 0,05 per 14 (il 23%), mentre per caso sarebbe il 5%: più del previsto, e sbilanciato verso i breakout.
Il rimescolamento deve rompere solo quel che vuoi rompere. La serie rimescolata in blocchi di un giorno rompe anche le strutture lente (capitolo 9), e per questo è un confronto facile da battere per una regola a 80 candele. I tempi casuali e la direzione casuale, che lasciano intatta la serie, sono più severi su quel punto.
Come si fa bene
- Scrivi che cosa rompi (direzione, tempi, serie) e che domanda stai facendo.
- Usa abbastanza prove: 1.000 per un valore p intorno a 0,01 (con meno, il valore p minimo è 1 su N).
- Fai più di un rimescolamento e riporta tutti i valori p.
- Non usare il valore p da solo: leggilo con l'intervallo, l'effetto, le prove fuori campione e la correzione per il numero di regole.
- Controlla il test con una regola senza vantaggio: deve dare un valore p intorno a 0,5.
Procedura in quattro passi
- Scegli i rimescolamenti (direzione, tempi, serie) e scrivi che cosa ciascuno rompe.
- Per ogni rimescolamento, almeno 1.000 prove (300 serie per quello sulla serie).
- Riporta media, 95° percentile e valore p di ognuno, e controllali su una regola senza vantaggio.
- Combina con la correzione per le regole provate (capitolo 9) e con la prova fuori campione.
Esercizi
Gli esercizi del capitolo
1. Una regola senza vantaggio (la mediana) ha valore p 0,89 con la direzione casuale. Come si legge?
2. A che cosa serve il test dei tempi casuali, con le stesse uscite?
3. Con la direzione casuale la regola migliore dà in media +0,23 R e non zero. Perché?
4. Il valore p della regola migliore è 0,003. Quale frase è giusta?
Hai una domanda o vuoi condividere il tuo esercizio?
Scrivi nella community, oppure entra nella sala segnali gratuita su Telegram.
Contenuto educativo, non è consulenza finanziaria. Il trading comporta rischi.