Το backtest είναι ένας τρόπος για να ελέγξετε την αποτελεσματικότητα μιας στρατηγικής στο παρελθόν. Λειτουργεί αυτό το εργαλείο;
Όταν ξεκινάτε στον κόσμο των συναλλαγών, ένα από τα πρώτα πράγματα που μαθαίνετε είναι η έννοια του backtesting. Δηλαδή, πριν χρησιμοποιήσετε μια στρατηγική, συνιστάται, αν όχι απαραίτητο, να ελέγξετε τα αποτελέσματα ορισμένων κανόνων σε προηγούμενες περιόδους. Καλούμε αυτούς τους κανόνες ένα σύστημα συναλλαγών ή απλά ένα σύστημα. Η ίδια η ιδέα, ή τουλάχιστον η ιδέα, είναι πολύ καλή. Αν και τώρα φαίνεται προφανές σε εμάς, δεν ήταν πάντα. Επιπλέον, ακόμη και σήμερα, υπάρχουν έμποροι ή επενδυτές που προτιμούν, κατά λάθος ή παράλειψη, να εμπιστεύονται τα κεφάλαιά τους στο μέλλον της μοίρας.
Προφανώς, ο καθένας εικάζεται με το κεφάλαιό του όπως το κρίνουν κατάλληλο. Φυσικά, με τα μέσα τουλάχιστον ένα κλικ μακριά για να προσπαθήσετε τουλάχιστον να επαληθεύσετε και με σχετική ευκολία, τις αποδόσεις που είχε μια στρατηγική στο παρελθόν, φαίνεται τουλάχιστον παράλογο να μην το κάνετε.
Σημείωση: Παραλείπουμε εκείνα τα μέρη μιας ανάλυσης που δεν είναι ποσοτικοποιήσιμα. Κάτι που συμβαίνει σε όλους τους τύπους ανάλυσης. Υπάρχει πάντα κάτι που μας λείπει.
Οι προηγούμενες επιστροφές δεν εγγυώνται μελλοντικές αποδόσεις
Μερικοί από αυτούς που είναι απρόθυμοι να ποσοτικοποιήσουν τις στρατηγικές τους, μπορεί να ισχυριστούν - και πολύ καλά υποστήριξαν - ότι οι προηγούμενες αποδόσεις δεν εγγυώνται μελλοντικές αποδόσεις. Όμως, έχοντας κατά νου ότι έχουν δίκιο, καταλήγω πάντα στο ακόλουθο συμπέρασμα: εάν δεν μπορείτε να διαβεβαιώσετε ότι αυτό που λειτούργησε θα συνεχίσει να λειτουργεί, αυτό που σας κάνει να πιστεύετε ότι αυτό που δεν λειτούργησε θα λειτουργήσει τώρα. Θα μπορούσε να λειτουργήσει; Ναι, αλλά μοιάζει περισσότερο με πράξη πίστης από οτιδήποτε άλλο.
Η ελπίδα είναι το τελευταίο πράγμα που χάνεται γιατί, φυσικά, πριν την χάσετε, αυτό που σίγουρα θα χάσετε είναι το κεφάλαιό σας.
Το backtest δεν λειτουργεί ούτε
Έχοντας το μυαλό μας στην ιδέα ότι ένα backtest είναι καλύτερο από το να στηριζόμαστε στην αστρολογία, πρέπει να συνεχίσουμε να βελτιώνουμε, ώστε να μην κάνουμε τα ίδια λάθη που έχουν κάνει, κάνουν και, δυστυχώς, θα συνεχίσουν να κάνουν.
Σε αυτό το σημείο, πρέπει να βάλουμε λάδι σε καμβά για να επιβεβαιώσουμε ότι το backtest είναι καλύτερο από το να βασίζεσαι στην τυχαιότητα του προορισμού, αλλά δεν είναι αρκετό.
Γιατί δεν είναι αρκετό;
Ένα backtest είναι αρκετό για να ελέγξετε αν, έχοντας χρησιμοποιήσει ένα συγκεκριμένο σύστημα συναλλαγών στο παρελθόν, θα είχαμε δημιουργήσει ορισμένα αποτελέσματα. Αλλά το εργαλείο τελειώνει εκεί. Η ίδια η λέξη το λέει, «Πίσω» (παρελθόν) και «δοκιμή» (Απόδειξη). Η παρέκταση, χωρίς περαιτέρω ανάλυση, ορισμένα αποτελέσματα παραμένουν - αν και σε μικρότερο βαθμό - μια άλλη πράξη πίστης. Επειδή κατά τύχη θα μπορούσε να συνεχίσει να λειτουργεί και έχει βρει ένα σύστημα που λειτουργεί χωρίς να γνωρίζει γιατί ή ότι λειτουργεί και δεν ξέρετε μέχρι πότε. Αυτός ο τρόπος προόδου από ορισμένους ποσοτικούς αναλυτές έρχεται σε αντίθεση με την αδιάκοπη κριτική τους για την τεχνική ανάλυση. Δηλαδή, επικρίνουν κάτι που οι ίδιοι, ασυνείδητα, εφαρμόζουν καθημερινά.
Τι υπάρχει για ανάλυση;
Υποθέτοντας ότι ένα σύστημα έχει σταθερές παραμέτρους, είναι απαραίτητο να ελέγξετε την εγκυρότητά του σε διαφορετικά περιβάλλοντα αγοράς. Ακόμα και σε περιβάλλοντα που δεν υπάρχουν. Ελέγξτε πώς θα λειτουργούσε ένα σύστημα σε περιβάλλοντα υψηλής μεταβλητότητας, χαμηλής μεταβλητότητας, πριν και μετά τις διαρθρωτικές αλλαγές, σε ανοδικές, πτωτικές και πλευρικές αγορές. Και έτσι θα μπορούσαμε να συνεχίσουμε σχεδόν αόριστα.
Εάν το σύστημα έχει μεταβλητές παραμέτρους, οι οποίες συμβαίνουν συνήθως στις περισσότερες περιπτώσεις, θα κάνουμε την ίδια διαδικασία, αλλά έχοντας υπόψη ότι το σύστημα είναι τροποποιήσιμο και επομένως βελτιστοποιημένο. Και, το ίδιο το γεγονός ότι είναι βελτιστοποιημένο το καθιστά ευαίσθητο στην υπερβολική βελτιστοποίηση. Αυτό το σημείο είναι ζωτικής σημασίας για να προσπαθήσουμε να επιτύχουμε σταθερές αποδόσεις στο μέλλον.
Το συνηθισμένο βήμα μετά την εύρεση μιας στρατηγικής που λειτούργησε καλά στο παρελθόν είναι η προσπάθεια βελτιστοποίησης του μοντέλου. Μεγάλο λάθος. Πρώτα θα πρέπει να το βάλεις σε ένταση, ή αυτό που αποκαλώ τονίζοντας το σύστημα. Βάλτε το να λειτουργεί στο χειρότερο δυνατό περιβάλλον που είναι γνωστό για τέτοια συστήματα. Έτσι, για παράδειγμα, εάν έχουμε ένα σύστημα τάσεων, θα είναι απαραίτητο να το εφαρμόσουμε σε παρατεταμένες πλευρικές περιόδους για να δούμε πώς συμπεριφέρεται όταν δεν υπάρχει ευνοϊκό σενάριο για τη δημιουργία επιστροφών από το σύστημα. Ο λόγος για τα παραπάνω είναι ότι δεν ξέρουμε τι θα συμβεί στο μέλλον, έτσι ώστε να βρισκόμαστε στο χειρότερο δυνατό σενάριο μας παίρνει όσο το δυνατόν περισσότερο από την αναπόφευκτη (και επιθυμητή) τυχαιότητα.
Τι να κάνετε εκτός από το άγχος;
Οι έννοιες που αλλάζουν τα πάντα είναι δοκιμή προς τα εμπρός και δοκιμασμένες εκτός δείγματος. Αλλά, αν δεν γνωρίζουμε το μέλλον, πώς θα δοκιμάσουμε κάτι για κάτι που δεν γνωρίζουμε; Έχουμε δύο επιλογές, τις οποίες θα δούμε σύντομα. Από την άλλη πλευρά, έχουμε την έννοια του εκτός δείγματος. Η επιλογή αυτού του δείγματος - το οποίο προτείνω να είναι αρκετά (όχι μόνο ένα) και με πιθανές κατανομές που παρουσιάζουν διαφορετικά χαρακτηριστικά - είναι απαραίτητη για την επίτευξη ενός συστήματος που λειτουργεί. Η ιδέα είναι ότι το backtest και η βελτιστοποίηση πραγματοποιούνται σε διαφορετικές περιόδους. Έτσι, θα παραμείνουν δωρεάν δείγματα. Αν και αυτό εξαρτάται από το γούστο του αναλυτή. Μπορεί να γίνει με άλλον τρόπο, αλλά μπορούμε να εμπίπτουμε σε στατιστικά λάθη που δεν είναι ο στόχος αυτού του άρθρου.
- Ο πρώτος τρόπος για να πραγματοποιήσουμε τη διαδικασία είναι αυτό που θα ονομάσουμε παραδοσιακό: Κάνουμε ένα σύστημα, το βελτιστοποιούμε και αφού κοιτάξουμε μερικές μετρήσεις το βάζουμε να λειτουργεί με πλασματικά χρήματα ή με λίγα πραγματικά χρήματα. Εάν τα πάντα πάνε καλά, το βάζουμε να λειτουργεί πραγματικά.
- Ο δεύτερος τρόπος για να πραγματοποιήσουμε τη διαδικασία είναι αυτό που θα ονομάσουμε «νέο», αν και στην πραγματικότητα έχει λίγο καινούργιο: Εκτελούμε ένα σύστημα, το βελτιστοποιούμε, ελέγχουμε τη σταθερότητα των παραμέτρων με την πάροδο του χρόνου, πραγματοποιούμε δοκιμές δειγμάτων, τεχνητές δοκιμές προς τα εμπρός και το βάζουμε σε λειτουργία με μια πραγματική δοκιμή προς τα εμπρός. Εάν τα πάντα πάνε καλά, το βάζουμε να λειτουργεί πραγματικά.
Ο δεύτερος τρόπος προόδου, σε σύγκριση με τον πρώτο, βασίζεται σε δύο έννοιες: σταθερότητα των παραμέτρων με την πάροδο του χρόνου και τεχνητές δοκιμές προώθησης. Οι τεχνητές δοκιμές προς τα εμπρός δεν είναι ένας τύπος δοκιμών εκτός δείγματος που προσπαθούν να προσομοιώσουν μια πραγματική δοκιμή προώθησης. Ας σκεφτούμε τα εξής:
Έχουμε κάνει μια διαδικασία για ένα σύστημα για τον τελευταίο χρόνο. Το να λειτουργήσει από αυτόν τον μήνα (Ιούλιος) έως το τέλος του έτους (Δεκέμβριος) είναι σχεδόν το ίδιο με το να προχωράμε και τους 6 μήνες και να προσομοιώνουμε τη δοκιμή προς τα εμπρός από τον Ιανουάριο έως τον Ιούλιο. Δεν είναι το ίδιο, γιατί οι πραγματικές συνθήκες μας προσφέρουν πάντα καταστάσεις που είναι δύσκολο να εφευρεθούν, αλλά προχωρούμε περαιτέρω και επιτυγχάνουμε καλύτερα αποτελέσματα. Και μετά από αυτές τις «εφευρέσεις» επειδή είναι στην πραγματικότητα εφευρέσεις, πραγματοποιήσαμε τη δοκιμή προώθησης σε πραγματικό χρόνο. Αυτό εννοώ με τεχνητές δοκιμές προς τα εμπρός. Κάποιοι μπορεί να μην τους αρέσει με αυτόν τον τρόπο, αλλά το να σκέφτεσαι διαφορετικά είναι διανοητικά προκατειλημμένο. Εάν είχατε ανακαλύψει αυτήν τη στρατηγική 6 μήνες νωρίτερα, θα κάνατε το ίδιο.
Από την άλλη πλευρά, έχουμε τη σταθερότητα των παραμέτρων του συστήματος με την πάροδο του χρόνου. Για μένα, αυτή είναι η πιο σημαντική μέτρηση και μας λέει εάν το σύστημα είναι υπερβολικά βελτιστοποιημένο. Εάν οι παράμετροι παραμένουν σταθερές με την πάροδο του χρόνου μετά από βελτιστοποιήσεις κάθε περίοδο X, αυτό σημαίνει ότι οι παράμετροι είναι λιγότερο πιθανό να έχουν βελτιστοποιηθεί υπερβολικά από άλλες που διαφέρουν περισσότερο. Αν σε αυτό προσθέσουμε ότι για καθεμία από τις βελτιστοποιήσεις πραγματοποιούμε τεχνητή δοκιμή προς τα εμπρός και τα αποτελέσματα είναι επίσης σταθερά, αντιμετωπίζουμε ένα σύστημα με την πιθανότητα να είναι πραγματικά κερδοφόρο.
Όλα αυτά μπορούν να γίνουν πολύ πιο περίπλοκα. Αν και φαίνεται περίπλοκο, δεν είναι. Είναι βαρύ, αλλά είναι απλούστερο από τον μηχανισμό μιας κανάτας. Όπως πάντα, ο καθένας έχει τον δικό του τρόπο να κάνει πράγματα, αυτός δεν είναι ο μόνος τρόπος, αλλά αυτό που ήθελα να καταστήσω σαφές είναι ότι ένα backtest χωρίς ταξίδια συντρόφους είναι άχρηστο και άχρηστο. Τουλάχιστον, φυσικά, στον κόσμο των συναλλαγών.