Trading Bot Backtesting, Wie du echten Backtest von Curve-Fit Unsinn unterscheidest

Die meisten Backtests, die du online gepostet siehst, sind Bullshit. Das ist die flache Wahrheit, und ich werde sie nicht abmildern. Lass mich das direkt ansprechen, denn es zählt: eine sauber aussehende Equity-Kurve ist fast kein Beweis. Die Fähigkeit ist nicht, einen schönen Chart zu produzieren. Die Fähigkeit ist zu wissen, auf welche fünf Weisen der Chart dich belügt.

Ich fahre Backtests seit 2017, und ich habe hunderte Strategien sterben sehen, sobald sie von historischen Daten zu Live-Kapital wechseln. Jede einzelne hatte einen schönen Chart auf dem Weg rein. Das Muster ist kein Zufall. Es ist der Lieblingsfehler der ganzen Industrie, und die meisten "Bot-Marktplätze" hängen davon ab, dass du es nicht merkst.

Die fünf Wege wie ein Backtest dich belügt

Bevor ich dir zeige, wie ein ehrlicher Backtest aussieht, lern die Fehlermodi. Wenn du diese erkennst, kannst du rund 95% der "profitablen Strategien" ablehnen, die du je gezeigt bekommst.

1. Look-Ahead-Bias

Die Strategie nutzt Informationen, die zur Trade-Zeit nicht verfügbar gewesen wären. Häufigste Variante: einen Indikator auf dem Close eines Bars berechnen, dann den Trade auf dem Open desselben Bars platzieren. Das kannst du live nicht. Der Open kam zuerst. Der Close kam später. Wenn dein Backtest die Reihenfolge umkehrt, tradest du auf Informationen aus der Zukunft.

Look-Ahead-Bias ist peinlich leicht einzubauen und überraschend schwer in fremdem Code zu spotten. Sieht eine Strategie zu sauber aus, nimm Look-Ahead zuerst an.

2. Survivorship-Bias

Der Backtest läuft auf Assets, die heute existieren. Assets, die auf null gegangen oder delistet wurden, werden still ausgeschlossen. Für Krypto ist das katastrophal, der Tote-Coin-Friedhof ist riesig. Für Aktien ist es auch real; die meisten Long-only-Backtests über lange Perioden schließen implizit bankrotte Firmen aus.

Wenn ein "Krypto-Bot"-Backtest auf "Top 20 Coins nach Market Cap heute" läuft, sah diese Liste vor fünf Jahren komplett anders aus. Der Backtest misst die Performance der Gewinner, die du bereits kennst.

3. Perioden-Cherry-Picking

Der Backtest läuft auf einer Periode, in der die Strategie zufällig funktioniert. Zwei Jahre 2021 bis 2023 auf einem long-biased Krypto-Bot sehen super aus. Füg die 2022-Bär in der Mitte hinzu, und die Kurve ändert die Form. Fahr es in 2018 bis 2019, und es verschwindet oft ganz.

Jeder Backtest, der nicht mindestens einen vollen Bull-Bär-Zyklus zeigt, ist kein Backtest. Es ist ein Screenshot eines bequemen Fensters.

4. Parameter-Optimierung ohne Out-of-Sample-Validation

Das ist der Große. Der Trader fährt tausende Parameter-Kombinationen und wählt die mit dem besten historischen P&L. Natürlich sieht dieser Satz super aus, er wurde ausgewählt, weil er super aussieht. Out-of-Sample performt derselbe Parametersatz fast immer schlechter, weil was tatsächlich optimiert wurde, das Rauschen in den Daten war, nicht das Signal.

Zeigt jemand dir einen Backtest, ohne zu sagen, ob die Parameter auf einer Periode gewählt und dann unberührt auf einer anderen getestet wurden, nimm an, dass sie curve-gefittet wurden. Meist waren sie's.

5. Gebühren und Slippage ignorieren

Der Backtest nutzt Mid-Market-Preise, null Gebühren, unendliche Liquidität und Fills zum exakten Tick, an dem das Signal feuert. Live-Trading hat Spread, Exchange-Gebühren, Slippage bei größeren Orders, Partial-Fills und die gelegentlich gescheiterte Order. Eine Strategie, die bei null Kosten profitabel aussieht, kann leicht bei realistischen Kosten zum Netto-Verlierer werden.

Faustregel: füge mindestens 0,1% Round-Trip-Kosten für liquides Krypto-Spot hinzu, mehr für Futures, viel mehr für alles Small-Cap. Überlebt die Strategie diesen Abschlag nicht, überlebt sie nicht.

Wie ein ehrlicher Backtest tatsächlich aussieht

Jetzt die positive Version. Hier, was ich in einem Backtest erwarte, bevor ich ihn ernst nehme, meinen, deinen oder den von jemand anderem.

1. Mehrere Assets, dieselben Parameter. Funktioniert die Strategie nur auf einem Coin auf einem Zeitrahmen, ist es ein Zufall. Fahr sie auf mindestens zehn Assets mit identischen Settings. Vergleich die Verteilung der Ergebnisse.
2. Train/Test-Split. Wähle Parameter auf den ersten 70% der Daten. Teste unberührt auf den letzten 30%. Die Test-Perioden-Performance ist, was zählt. Die Train-Perioden-Performance ist Schmeichelei.
3. Walk-Forward-Analyse. Verschieb das Train/Test-Fenster in der Zeit. Re-optimiere auf jedem Fensters Training-Sektion, evaluiere auf dem Test-Teil, dann konkatenier alle Test-Ergebnisse. So machen es echte Quant-Teams.
4. Regime-Trennung. Berichte Ergebnisse separat für Bullenmärkte, Bärenmärkte und Seitwärtsregime. Eine Strategie, die nur in Bullenmärkten Geld macht, ist keine Strategie. Es ist ein Bullenmarkt mit Extra-Schritten.
5. Transaktionskosten enthalten. Exchange-Gebühren, Spread, realistische Slippage. Jeder Trade zahlt die Kosten. Sind die Kosten nicht im Report, ist der Report nicht echt.
6. Slippage-Modellierung. Für alles jenseits trivialer Größe nimm an, dass du nicht den exakten Preis bekommst. Modelliere pessimistisch, mindestens halber Spread, oft ein voller Spread oder mehr für Market-Orders auf illiquiden Paaren.
7. Drawdown, nicht nur Return. Eine Strategie mit 100% Jahres-Return und 80% Drawdown ist mathematisch dasselbe wie eine, die dich ausbläst. Immer Max-Drawdown, Calmar-Ratio und Unterwasser-Zeit berichten.
8. Trade-Anzahl. Fünfzehn Trades ist kein Backtest. Das ist eine Anekdote. Statistische Signifikanz beginnt irgendwo bei hundert Trades; Vertrauen baut sich wirklich ab einigen hundert auf.

Sind diese acht Boxen nicht alle angehakt, ist der Backtest Unterhaltung, kein Beweis.

Red Flag vs glaubwürdig, ein Nebeneinander

Die linke Spalte ist, wie die meisten "ich habe letztes Jahr 800% mit meinem Bot gemacht"-Posts aussehen. Die rechte ist, wie ein Backtest aussieht, wenn jemand tatsächlich die Wahrheit wissen will statt dir etwas zu verkaufen.

Ein Beispiel der Lüge

Hier eine Geschichte, die du hundertmal gesehen hast. "Mein Bot hat 2 Jahre Track-Record. 87% Win-Rate. 300% Gesamt-Return. Funktioniert auf BTC und ETH. Tritt meinem Telegram bei für die volle Strategie."

Zerleg das. Zwei Jahre, welche zwei? 2023 bis 2025 ist leichtes Geld für long-biased Strategien. Probier 2021 bis 2023, das den LUNA-Kollaps und FTX einschließt. 87% Win-Rate, ist der durchschnittliche Verlierer zehnmal so groß wie der durchschnittliche Gewinner? Denn diese Kombination sieht wie ein Martingale kurz vor dem Blow-up aus. 300% Return, auf welchem Drawdown? Ging die Kurve zu irgendeinem Punkt 60% unter Wasser, hätten die meisten Menschen sie abgeschaltet und die Erholung verpasst. Funktioniert auf BTC und ETH, funktioniert sie auf SOL, ADA, LINK, AVAX mit denselben Parametern, oder nur auf den zwei cherry-picked Assets, weil sie performten?

Fast immer, wenn du auf diese Fragen drückst, hören die Antworten entweder auf zu kommen oder der Pitch kollabiert.

"Wenn das System nur mit endlosem Fine-Tuning funktioniert, ist es kein System. Es ist eine Belastung."

Das ist die Engineering-Version desselben Punkts. Eine Strategie, die verschiedene Parameter pro Asset, pro Zeitrahmen, pro Monat braucht, ist keine Strategie. Es ist ein Forscher, der Rauschen jagt.

Wie wir backtesten, konkret

Ich tu nicht so, als wäre unser Prozess geheim. So testen wir Strategien tatsächlich, bevor sie in Produktion auf unserem eigenen Kapital gehen.

1. Schreib die Regel unmissverständlich. Kann sie nicht in Code spezifiziert werden, kann sie nicht gebacktested werden. Diskretionäres "Gefühl" ist keine Regel.
2. Fahr die Regel auf mindestens zehn Assets gleichzeitig. Für Krypto ein repräsentativer Satz Top-Cap- und Mid-Cap-Paare. Für Aktien ein Querschnitt der Sektoren.
3. Fahr mit identischen Parametern überall. Kein Per-Asset-Tuning. Das ist die wichtigste einzelne Regel.
4. Splitte die Daten. Erstes Fenster zum Trainieren, späteres Fenster zum Testen. Schau während der Parameterauswahl nicht ins Test-Fenster. Niemals.
5. Schließ realistische Kosten ein. Für Krypto-Spot nehmen wir 0,1% Round-Trip plus 0,02% Slippage-Baseline an. Für weniger liquide Paare mehr.
6. Plotte die Equity-Kurve pro Asset und die gemischte. Schau nach Assets, wo die Strategie einfach nicht funktioniert. Scheitert sie auf mehr als 20% des Sets, ist die Strategie fragil.
7. Zerleg nach Regime. Tagge jede Periode als Bull, Bär oder Seitwärts mit einem separaten Classifier. Berichte Per-Regime-Performance.
8. Fahr Walk-Forward, wenn die Strategie bedeutsame Optimierung hat. Re-wähle Parameter auf jedem Training-Fenster, evaluiere auf jedem Test-Fenster. Schau auf die Varianz der Ergebnisse.
9. Paper-Trade. Mindestens 30 Tage. Live-Daten, simulierte Execution. Das fängt Bugs, die der Backtester versteckt.
10. Skaliere live graduell ein. Kleine Größe zuerst, wachse nur, wenn das Verhalten die Backtest-Erwartung matcht.

Schritte 1 bis 8 töten die meisten Strategien. Schritt 9 tötet noch einen Brocken. Schritt 10 ist Common Sense. Zu der Zeit, wenn etwas auf echtem Kapital läuft, mögen wir es meist sehr, weil es viele Filterrunden überlebt hat.

Warum vyn premiums Backtest-Philosophie ist, wie sie ist

Als wir vyn premium bauten, war die Backtest-Philosophie der Punkt. Wir wollten eine Strategie, die dieselben Smart-Safety-Orders-Parameter auf jedem Asset fährt, kein Per-Coin-Fine-Tune. Dieses Constraint zwingt die Logik, robust zu sein. Hätten wir uns erlaubt, für jedes Paar anders zu optimieren, hätten wir einen schöneren Backtest produzieren können und eine fragile Live-Strategie. Wir haben das Gegenteil gewählt.

Die Execution ist Mean-Reversion-basiert, volatilitäts-skaliert und zeit-kontrolliert, und sie läuft über 3Commas, SignalPipe, Alpaca und Capital.com ohne Per-Venue-Parameter-Tweaks. Alles geht durch dasselbe Gehirn. Das ist eine bewusste Entscheidung, und das Gegenteil davon, wie die meisten Marktplatz-Strategien gebaut sind.

Baust du deine eigene Strategie und willst die Form einer ehrlichen Signal-Engine lernen, bevor du für etwas zahlst, ist block algo flex das kostenlose Tool, das wir dafür gebaut haben. Es macht kein Backtesting für dich, aber es zwingt dich darüber nachzudenken, was deine Regel wirklich ist, bevor du sie testest.

Die Tools

Ein paar Tools, die tatsächlich Backtesting korrekt machen, grob nach erforderlicher Arbeit:

• TradingView Strategy Tester. Okay für einen ersten Blick. Limitiert auf, was Pine Script ausdrücken kann. Macht nativ kein Walk-Forward. Leicht, sich selbst zu täuschen.
• Freqtrade. Solide Backtest-Engine, unterstützt Walk-Forward via Plugins, läuft in Python. Erfordert, Strategien als Code zu schreiben. Das richtige Tool, wenn du ernst bist.
• Backtrader, Zipline, vectorbt. Python-Libraries mit verschiedenen Stärken. vectorbt ist sehr schnell für Parameter-Sweeps. Backtrader ist event-getrieben. Zipline ist alt, aber erprobt.
• Custom-Pipelines. Was die meisten Quant-Teams tatsächlich bauen. Für alles wirklich Ernsthafte endest du damit, dass du deine eigene schreibst, weil kein Framework deine genauen Anforderungen trifft.

Was du nicht tun solltest, ist dem Backtest-Button auf einem Bot-Marktplatz zu vertrauen, ohne zu verstehen, was er tut. Manche schließen Gebühren ein, andere nicht. Manche handhaben Slippage, andere nicht. Nimm das Schlimmste an und verifiziere.

FAQ

Was ist eine realistische Win-Rate für einen guten Trading-Bot? Hängt vom Strategie-Typ ab. Trend-Following: oft 30 to 45% mit großer Asymmetrie. Mean Reversion: oft 55 to 70%. Grid-Bots: können 90%+ sein, aber mit seltenen katastrophalen Verlierern. Jeder Bot mit stabiler 85%+ Win-Rate und symmetrischem Risk-Reward versteckt fast sicher etwas.

Was ist Walk-Forward-Analyse in einem Satz? Die Parameter der Strategie auf einem rollenden Fenster historischer Daten neu trainieren, dann unberührt auf dem nächsten Fenster testen, und wiederholen, sodass jedes Testergebnis wirklich Out-of-Sample ist.

Wie lange sollte ein Backtest abdecken? Mindestens einen vollen Bull-Bär-Zyklus. Für Krypto bedeutet das mindestens 2017 bis heute, oder welche Unterperiode auch immer sowohl eine bedeutsame Rally als auch einen bedeutsamen Drawdown einschließt. Zwei Jahre eines einseitigen Marktes sind kein Backtest.

Soll ich Backtests vertrauen, die keine Gebühren enthalten? Nein. Live-Trading ist nicht gebührenfrei. Jedes Ergebnis ohne Gebühren ist überschätzt, oft um ein großes Vielfaches bei High-Turnover-Strategien.

Wie weiß ich, ob meine Parameter overfittet sind? Teste sie auf Daten, die du nicht zu ihrer Auswahl genutzt hast. Ist die Out-of-Sample-Performance bedeutsam schlechter als In-Sample, bist du overfittet. Ist sie grob dieselbe, hast du wahrscheinlich einen echten Edge.

Kann ich einfach für eine "bewiesene" Strategie zahlen, statt selbst zu testen? Du kannst, aber du musst immer noch die Methodik verstehen. Selbst eine legitim gute Strategie, wie die hinter vyn premium, wird underperformen, wenn du ihr Verhalten durch verschiedene Regime nicht verstehst. Der Backtest ist nicht nur Beweis. Er ist Bildung.

Warum scheitern 99% der perfekten Backtests live? Weil sie bewusst oder versehentlich auf den spezifischen Daten optimiert wurden, auf denen sie getestet wurden. Rauschen wird als Signal eingebacken. Live-Daten haben frisches Rauschen, auf das die alten Parameter nicht fitten. Drawdown sofort, Hoffnung als nächstes, Erholung selten.

Risikohinweis

Backtesting ist ein Tool, keine Garantie. Historische Performance sagt nichts über zukünftige Ergebnisse, selbst wenn korrekt gemessen. Alles Trading beinhaltet erhebliches Verlustrisiko. Dieser Artikel ist keine Finanzberatung.

Der ehrliche Take

Ein Backtest ist eine Simulation. Er ist nur so gut wie die Annahmen, die in ihn eingebacken sind, und die meisten Annahmen in den meisten öffentlichen Backtests sind falsch. Die korrekte mentale Haltung ist standardmäßig skeptisch. Dein eigener Backtest belügt dich wahrscheinlich auf mindestens einer der fünf Weisen oben. Der Backtest eines anderen lügt wahrscheinlich auf mehr als einer.

Die einzige Verteidigung ist Methodik. Mehrere Assets, dieselben Parameter, Train/Test-Split, Walk-Forward, realistische Kosten, Regime-Zerlegung, bedeutsame Trade-Anzahl. Erfüllen deine eigenen Tests diese Boxen nicht, fixe sie, bevor du Kapital hinter die Strategie setzt. Erfüllt der Pitch eines anderen sie nicht, dreh um, es gibt viele legitime Optionen und fast keinen Grund, für einen Pitch zu zahlen, der grundlegende Prüfung nicht überlebt.

Die Strategien, die diesen Prozess überleben, sind meist weniger aufregend als die Marketing-Copy drumherum. Sie haben moderate Win-Rates. Sie haben echte Drawdowns. Sie machen langweilige, compoundende Returns über Regime. Diese Langweile ist das Feature, nicht der Bug. Vermarktbare Backtests sind meist die, die zuerst sterben. Überlebbare Backtests sind die, die du tatsächlich auf echtem Geld jahrelang fahren kannst. Das ist die Messlatte, und sie ist viel höher, als die Industrie dich glauben lassen will.