Pronostiquez l'évolution du
CAC 40
entre ce vendredi et vendredi prochain
Entrez votre email et recevez gratuitement le consensus du
CAC 40 ce dimanche. Nos membres ont raison 75% du temps,
profitez-en! (AaZSysteme ne spamme pas et ne donne pas vos
emails).
je backteste depuis 3 mois des stratégies issues de celles que propose Olivier Seban, sur
des futures en daily(GAP ou P2).
Ayant des equity curve lines(ECL) que je juge intéressantes et avant de rentrer en réel j'ai
souhaité voir ce que cela donne en virtuel.
Il se trouve que la pente des ECL s'incurve et ne suis plus la tendance qu'elle avait
précédemment.Cependant le recul étant insuffisant et pour éviter d'attendre trop longtemps
en me tournant les pouces,j'ai repris mes backtests avec la notion de données non vues.
Sur une période de 4 ans d'historique j'en consacre 3 au backtest(avec optimisation) et 1
année à la "vérification" en données non vues(si j'ai bien compris le principe)
C'est là que ça coince!
Mes ECL quittent presque toujours leur tendance initiale.
Bien sûr ceci peut s'accepter compte tenu de l'existence de DD,mais d'une part il est alors
souvent dépassé,d'autre part ceci arrive souvent dès le début de la période de vérification.
Ainsi 4 systèmes sur 5 qui marchent sur 3 ans(d'après backtest + optimisation)et qui
s'écroulent(ou deviennent neutres) dans les 2 mois qui suivent la période de leur
"fabrication" cela me semble au delà de ce qui est statistiquement acceptable.
Ce phénomène m'arrive sur tout support et qu'elle que soit la période de vérification.
De même si mon backtest porte sur 50 trades ou 200 trades.
Faut-il rejeter tout ce qui est inférieur à 1000 trades(voir PO)?auquel cas inutile de travailler
sur contrats électroniques en daily.
J'ajoute que j'ai fait des essais en me rendant indépendant d'éventuels phénomènes de
tendances.C'est-à-dire que j'ai backtesté puis vérifié sur des périodes de tendances
semblables.
Etes-vous confronté au même problème?
Ne faut-il se lancer qu'avec validation sur données non vues?
Mais alors pourquoi Olivier ne le propose-t-il pas dans ses cours?
Du coup faut-il penser que le backtest ne sert qu'à constater quelque chose de passé sans
augurer de l'avenir?
D'après ce que tu dis j'ai l'impression que tu as suroptimisé les stratégies et dans ce cas les tests faits sur la suite deviennent mauvais. Je pense que quand tu mets au point une stratégie il faut vérifier que lorsque tu changes un peu les paramètres la stratégie est toujours correcte, même si les résultats varient légèrement. Ainsi, si tu déplace un stop de un point par exemple tu ne doit pas diminuer tes gains de moitié, il faut vérifier ça avec tous les paramètres et là normalement tu ne fais plus de suroptimisation (je ne sais pas si je suis très clair), c'est ce que je pense en tout cas, d'autres auront peut etre une explication différente.
D'autre part je pense que des stratégies comme le gap ne sont pas très "robuste" car il n'y a pas assez de trade. Sans forcément aller jusque 1000 trades pour valider une stratégie, mais les gap à mon avis ce n'est pas assez. La P2 me semble plus robuste, je suis étonné de ce que tu obtiens dessus, mais je ne sais pas je ne l'ai pas backtestée, je vais essayer si j'ai le temps, je te dirais quoi.
D'autre part j'ai une petite question sur la programmation dans tradestation, savez vous ou est ce que l'on peut modifier le paramètre maxbarsback, pour rentrer une valeur ou bien pour le mettre en automatique, car j'ai fait un programme qui est vérifier par tradestation, il n'y a pas d'erreur et quand je le lance pour backtester il me dit que le paramètre maxbarsback n'est pas assez important mais je n'arrive pas à le modifier.
pour modifier maxbarsback il faut regarder dans les proprietes Format Strategy -> Properties et changer en bas a gauche la valeur Number of Bars study will reference.
Pour le reste la reponse de Bucephal est correcte et j'ajouterai 2/3 elements un peu plus tard (la semaine prochaine)
salut marto
je pense que ce qui t'arrive est normal car sur une période de 4 ans d'historique il faudrais faire le contraire de ce que tu a fais.
tu devrais partager tes histo en 3.
1 année optimisation
18mois suivant tu relance le systeme si sur la premiere année le systeme marche.si sur ces 18 mois le systeme ne marche pas tu esaye de l'améliorer et tu le relance sur les 18 derniers mois si il ne marche pas c'est qu'il est pas assez stable et il faut le jeter et si il marche c'est bien mais c'est pas gagner car il faut encore le tester sur d'autre support quitte a changer un peut les parametres pour voir comment il se comporte.
si l'on backtest une seul fois sur des données non vue c'est à dire sur lequels on n'a pas construit le systeme et sur lequels on pas effectué de backtest,ces données ne seront alors plus considéré comme non vue puisqu'ils ont déja été soumi au backtest.cette régle est pour moi trés importante et permet à mon avis d'éviter l'optimisation.
qu'en pensez vous?
Tu as raison. C'etait juste un probleme de terminologie. En trading systematique les donnees non vues se rapportent TOUJOURS a des donnees qui n'ont pas servi de base au backtest. La periode qui a servi a l'optimisation est appelee en anglais "In Sample" ou en francais donnees d'echantillonnage. Les autres donnees qui permettent de confirmer la performance du systeme sont "out of sample" ou donnees non vues.
Le decoupage de la periode depend en fait de chacun. On utilise soit:
-> Walk Forward. On decoupe la periode en 5 par exemple. on backteste/optimise sur la periode 1 qui dure pare exemple 2 ans. On regarde si ca fonctionne entre 1 et 2. On reoptimise a la fin de 2 sur le meme nombre d'annees (glissant donc). On reverifie perf entre 2 et 3, etc, etc.
-> Classique A : On divise en 2. Une periode pour la backetest qui represente 2/3 de l'historique (exemple 2001-2004). On optimise sur cette periode et on verifie la perf sur la periode suivante (2004-2005).
-> Classique B: On divise en 3. Une periode pour la backetest qui represente 1/2 de l'historique (exemple 2002-2004). On optimise sur cette periode et on verifie la perf sur la periode suivante (2004-2005) et precedente (2001-2002).
J'avais poste un article plus complet sur ce sujet sur une autre forum de trading ... mais je suis pas sur que je l'ai recopie ici. Je vais verifier et vous envoyer le lien au cas ou ...
Tous les forums : Systèmes de Trading
Sujet: backtests et données non vues
Envoyer cette page 
Version imprimable 
