Parte 3: Il caso e la robustezza · Capitolo 10 di 14 · 8 min

Il test di permutazione

Un test di permutazione rimescola una parte del backtest e chiede quanto spesso il rimescolamento fa uguale o meglio dei dati veri. Sulla regola migliore (+0,74 R) la direzione casuale dà in media +0,23 (valore p 0,003), i tempi casuali +0,04 (valore p 0) e la serie rimescolata +0,05 (valore p 0). La regola mediana (−0,05) e quella di esempio (−0,02) restano nel mezzo del caso (valori p da 0,36 a 0,89). Ma il valore p di una regola sola non tiene conto delle 480.

L'idea

Un test di permutazione risponde a una domanda semplice: «se il legame tra segnale e risultato non esistesse, quanto spesso avrei visto un risultato così?». Per saperlo si rompe il legame con un rimescolamento, si ripete molte volte e si guarda dove cade il risultato vero nella distribuzione dei risultati rimescolati. La quota di rimescolamenti che fa uguale o meglio è il valore p.

La forza del metodo è che non assume nulla sulla forma dei dati (niente curve a campana, niente formule): usa i dati stessi. Il suo punto debole è che rimescolare significa decidere che cosa si rompe, e rompere cose diverse risponde a domande diverse. Ne usiamo tre.

I tre rimescolamenti

  1. Direzione casuale. Si tengono gli stessi momenti di ingresso, ma si assegna a ogni operazione un verso (acquisto o vendita) a caso. Rompe il legame tra segnale e verso: chiede «il verso scelto dalla regola vale più di un verso a caso?».
  2. Tempi casuali. Si tengono stop, obiettivo e durata, e si sceglie a caso quando entrare (con la stessa frequenza di segnali), con verso a caso. Rompe il legame tra segnale e momento: chiede «entrare al momento del breakout vale più di entrare a caso, con le stesse uscite?».
  3. Serie rimescolata. Si applica la stessa regola alle 300 serie casuali del capitolo 3 (candele rimescolate in blocchi di un giorno, senza tendenza). Rompe tutta la struttura della serie che duri più di un giorno: chiede «questa regola, su una serie senza struttura, fa così?».

Sulla regola migliore, su una mediana e su quella di esempio

Prendiamo tre regole: la migliore della griglia, la regola mediana (per R medio) e quella di esempio del capitolo 1. 1.000 prove per i primi due rimescolamenti, 300 serie per il terzo.

RegolaRealeDirezione casuale: media (95° perc.), valore pTempi casuali: media (95° perc.), valore pSerie rimescolata: media (95° perc.), valore p
Migliore: breakout a 80, stop 1,5 ATR, obiettivo 3 R, durata 48+0,74 ± 0,43 (79 op)+0,23 (+0,53), 0,003+0,04 (+0,28), 0+0,05 (+0,30), 0
Mediana: fade a 50, stop 2 ATR, obiettivo 2 R, durata 48−0,05 ± 0,23 (132 op)+0,10 (+0,31), 0,89+0,02 (+0,21), 0,73−0,04 (+0,12), 0,50
Esempio: breakout a 20, stop 1 ATR, obiettivo 1 R, durata 24−0,02 ± 0,11 (307 op)−0,03 (+0,06), 0,36−0,03 (+0,07), 0,42−0,00 (+0,06), 0,61

Che cosa dicono.

  1. La regola mediana e quella di esempio stanno nel mezzo del caso in tutti e tre i test (valori p da 0,36 a 0,89). Nessun rimescolamento le distingue. È quello che deve fare un test che funziona: dare un valore p intorno a 0,5 a una regola senza vantaggio.
  2. La migliore sta fuori dal caso in tutti e tre, ma con distanze diverse. Contro la direzione casuale (p = 0,003) il caso arriva a +0,53 al 95° percentile; contro i tempi casuali a +0,28; contro la serie rimescolata a +0,30.
  3. I tempi casuali separano il momento dalle uscite. Con stop a 1,5 ATR, obiettivo a 3 R e durata 48, entrando a caso la regola vale +0,04: il guadagno non viene dalla forma delle uscite, ma dal fatto di entrare sul breakout (nei dieci mesi). Questo toglie di mezzo un'obiezione: quella che «un obiettivo grande fa sempre bene».
  4. La direzione casuale dà +0,23 per la migliore, non zero. Con la direzione a caso metà delle operazioni conserva il verso della regola, e la regola, per costruzione, guadagna in quel verso. È un confronto prudente: il valore di riferimento non è zero, e il +0,74 lo supera lo stesso.
Figura 1. R cumulato della regola migliore con direzione casuale (200 prove): mediana in barre (+24,2 R finale) e 95° percentile tratteggiato (+44,0 R); la regola vera in rosa (+58,1 R). Nessuna delle 200 prove, che arrivano al massimo a +57,8 R, supera la regola vera.Dati: oro, future perpetuo XAUUSDT (candele reali) · giornaliero (D1) · dal 15 dic 2025 al 5 ott 2026.
Leggere il grafico a parole

Grafico giornaliero dell'oro con, sotto, la curva vera in forte salita e due curve di riferimento (mediana e 95° percentile della direzione casuale) più basse.

Che cosa un valore p non dice

Tre limiti, da non perdere di vista.

Un valore p di 0,003 non è «lo 0,3% di probabilità che la regola sia sbagliata». Dice: se non ci fosse legame, un rimescolamento farebbe uguale o meglio una volta su 333. È una probabilità sui dati, non sulla regola.

Il valore p della singola regola non conta le 480 prove. Con 480 regole provate, anche solo per caso ne trovi parecchie con p piccolo: il capitolo 9 lo corregge confrontando con il massimo. Su 60 regole prese una ogni otto nella griglia (direzione casuale, 200 prove ciascuna), il valore p è ≤ 0,05 per 14 (il 23%), mentre per caso sarebbe il 5%: più del previsto, e sbilanciato verso i breakout.

Il rimescolamento deve rompere solo quel che vuoi rompere. La serie rimescolata in blocchi di un giorno rompe anche le strutture lente (capitolo 9), e per questo è un confronto facile da battere per una regola a 80 candele. I tempi casuali e la direzione casuale, che lasciano intatta la serie, sono più severi su quel punto.

Come si fa bene

  1. Scrivi che cosa rompi (direzione, tempi, serie) e che domanda stai facendo.
  2. Usa abbastanza prove: 1.000 per un valore p intorno a 0,01 (con meno, il valore p minimo è 1 su N).
  3. Fai più di un rimescolamento e riporta tutti i valori p.
  4. Non usare il valore p da solo: leggilo con l'intervallo, l'effetto, le prove fuori campione e la correzione per il numero di regole.
  5. Controlla il test con una regola senza vantaggio: deve dare un valore p intorno a 0,5.

Procedura in quattro passi

  1. Scegli i rimescolamenti (direzione, tempi, serie) e scrivi che cosa ciascuno rompe.
  2. Per ogni rimescolamento, almeno 1.000 prove (300 serie per quello sulla serie).
  3. Riporta media, 95° percentile e valore p di ognuno, e controllali su una regola senza vantaggio.
  4. Combina con la correzione per le regole provate (capitolo 9) e con la prova fuori campione.

Esercizi

Gli esercizi del capitolo

1. Una regola senza vantaggio (la mediana) ha valore p 0,89 con la direzione casuale. Come si legge?

2. A che cosa serve il test dei tempi casuali, con le stesse uscite?

3. Con la direzione casuale la regola migliore dà in media +0,23 R e non zero. Perché?

4. Il valore p della regola migliore è 0,003. Quale frase è giusta?

Hai una domanda o vuoi condividere il tuo esercizio?

Scrivi nella community, oppure entra nella sala segnali gratuita su Telegram.

Contenuto educativo, non è consulenza finanziaria. Il trading comporta rischi.