Benchmarking von Matching-Engines

Die Matching-Engine steht im Zentrum jeder Krypto-Börse, und ihre Leistung wird häufig auf eine einzige Schlagzeile reduziert, die im Verkaufsgespräch genannt wird. Diese Zahl, meist ein Spitzenwert für pro Sekunde verarbeitete Orders, lässt sich leicht vergleichen und leicht falsch verstehen. Benchmarking ist die Disziplin, solche Angaben in Belege zu verwandeln: Es wird gemessen, wie sich eine Engine unter definierten, realistischen Bedingungen verhält, statt eine Zahl zu akzeptieren, die unter idealen Bedingungen entstanden ist. Für einen Betreiber, der eine Plattform bewertet, ist der Aufbau eines Benchmarks ebenso bedeutsam wie das Ergebnis, das er ausweist.

Das Thema stellt sich für jeden Unternehmensbereich anders dar. Für eine Geschäftsführung ist die Matching-Leistung die Frage, ob die Plattform die von der Strategie unterstellten Handelsvolumina tragen kann, ohne dass die Kundenerfahrung leidet. Für eine technische Leitung geht es um Durchsatz, Latenz und das Verhalten der Engine unter Last sowie darum, ob eine genannte Zahl unter produktionsnahen Bedingungen gemessen wurde. Für eine Compliance- oder Risikofunktion geht es um Determinismus und Korrektheit: Eine Engine, die schnell, aber gelegentlich inkonsistent ist, stellt ein Risiko dar, denn die Integrität jedes Trades und jedes Datensatzes hängt von ihr ab. Dieser Beitrag beschreibt, was Benchmarking auf konzeptioneller Ebene bedeutet, und ist keine Umsetzungsanleitung.

Warum Benchmarking wichtig ist

Eine Matching-Engine überführt Orders in Trades, in der Reihenfolge und zu den Preisen, die ihre Regeln vorgeben, und sie muss dies fortlaufend, korrekt und schnell tun. Leistung ist keine Kennzahl der Selbstdarstellung: Eine Engine, die in einer volatilen Phase nicht Schritt hält, staut Orders, vergrößert den Abstand zwischen erwartetem und ausgeführtem Preis und versagt im Extremfall dann, wenn sie am dringendsten gebraucht wird. Benchmarking dient dazu, vor diesem Moment festzustellen, ob eine Engine die vom Betreiber erwartete Last tragen kann und wie sie sich verhält, wenn sich diese Last ihren Grenzen nähert.

Die Schwierigkeit besteht darin, dass reine Leistungszahlen nur im Kontext aussagekräftig sind. Ein auf leistungsstarker Hardware gemessener Spitzendurchsatz, mit einem trivialen Orderbuch und ohne umgebendes System, sagt einem Betreiber sehr wenig über das Verhalten an dem Tag, auf den es ankommt. Ein disziplinierter Benchmark legt Bedingungen, Arbeitslast und Kennzahlen vorab fest, sodass das Ergebnis etwas beschreibt, worauf sich ein Betreiber verlassen kann. Benchmarking als strukturierte Bewertung statt als einzelne genannte Zahl zu behandeln, ist der erste Schritt zu einer fundierten Beurteilung jeder Engine.

Was Benchmarking einer Matching-Engine bedeutet

Benchmarking ist die Messung des Verhaltens einer Engine gegenüber einer definierten Arbeitslast unter kontrollierten und dokumentierten Bedingungen. Es ist kein einzelner Test, sondern eine Reihe von Tests, die jeweils ein relevantes Merkmal isolieren: wie viele Orders die Engine verarbeiten kann, wie schnell jede einzelne bearbeitet wird, wie konstant diese Bearbeitung bei steigendem Druck bleibt und ob die Korrektheit durchgängig erhalten bleibt. Ein Benchmark ist nur so nützlich wie die Annahmen dahinter, weshalb die Bedingungen eines Tests ebenso genau geprüft werden sollten wie seine Ergebnisse.

Ein aussagekräftiger Benchmark benennt auch, was er nicht misst. Eine isoliert getestete Engine kann sich deutlich anders verhalten, sobald sie mit der übrigen Plattform verbunden ist und sich die Infrastruktur mit Ledger, Wallet-Diensten, Risikokontrollen und Marktdatenverteilung teilt, die eine reale Börse daneben betreibt. Benchmarking klärt eine Komponente; es zertifiziert kein System. Der Überblick zur Krypto-Börsen-Software beschreibt, wie die Matching-Engine mit den anderen Modulen zusammenhängt, deren Zusammenspiel die reale Leistung letztlich bestimmt.

Durchsatz und Orders pro Sekunde

Der Durchsatz, meist als pro Sekunde verarbeitete Orders ausgedrückt, ist die am häufigsten genannte und die am leichtesten missverstandene Kennzahl. Ein Spitzenwert erfasst das Maximum, das eine Engine in einem bestimmten Test erreicht hat; er beschreibt weder die dauerhafte Kapazität noch die Bedingungen, unter denen der Spitzenwert erreicht wurde. Zwei Engines mit derselben Schlagzeilenzahl können sich in der Praxis sehr unterschiedlich verhalten, wenn die eine sie kurzzeitig auf idealisierter Hardware erreichte und die andere sie gegen ein realistisches Orderbuch hielt. Die nützliche Frage ist nicht der Spitzenwert allein, sondern was die Engine dauerhaft leistet, wie lange und unter welcher Arbeitslast.

Grumpio beschreibt seine Engine in diesen Worten: Eine Matching-Engine, getestet mit bis zu 700.000 Orders pro Sekunde. Die Formulierung ist bewusst gewählt, denn eine verantwortungsvolle Angabe ist begrenzt und nicht absolut, und der Wert jeder solchen Zahl hängt von den Bedingungen des Tests ab, der sie hervorgebracht hat. Ein Betreiber sollte fragen, wie der Durchsatz gemessen wurde, ob er dauerhafte statt momentane Leistung widerspiegelt und wie er sich hält, wenn das Orderbuch wächst und das umgebende System um Ressourcen konkurriert. Eine Zahl ohne ihre Bedingungen ist eine Behauptung, keine Messung.

Latenz und ihre Verteilung

Die Latenz, also die Zeit, die eine Engine zur Verarbeitung einer Order benötigt, ist für die Handelserfahrung oft bedeutsamer als der reine Durchsatz. Eine einzelne Durchschnittslatenz verbirgt jedoch mehr, als sie offenlegt. Was ein Betreiber erlebt, ist die Verteilung: der typische Fall und, wichtiger noch, der Tail, in dem die langsamsten Antworten auftreten. Eine Engine mit niedrigem Median, aber langem Tail kann sich gerade in Spitzenzeiten unzuverlässig anfühlen, wenn ein kleiner Anteil sehr langsamer Antworten mit dem Volumen zusammenfällt, das sie langsam gemacht hat. Latenz zu benchmarken bedeutet, die gesamte Verteilung zu betrachten, nicht eine einzelne Zahl.

Der Punkt, an dem die Latenz gemessen wird, ist ebenso wichtig. Ein innerhalb der Engine erfasster Wert, vom Eingang der Order bis zum Match, beschreibt die Komponente; ein aus Kundensicht erfasster Wert schließt Netzwerk, Gateways und umgebende Dienste ein und beschreibt etwas, das der Realität näher kommt. Keiner ist falsch, aber sie sind nicht vergleichbar, und ein Benchmark, der nicht angibt, wo und wie die Latenz gemessen wurde, lässt sich nicht beurteilen. Ein Betreiber sollte Latenz als eine an einem definierten Punkt gemessene Verteilung behandeln und jeder einzelnen Zahl misstrauen, die ohne diesen Kontext angeboten wird.

Determinismus und Korrektheit unter Last

Geschwindigkeit ist ohne Korrektheit wertlos, und für eine Matching-Engine umfasst Korrektheit den Determinismus: die Gewähr, dass die Engine bei derselben Abfolge von Orders jedes Mal dieselben Trades in derselben Reihenfolge erzeugt. Determinismus ist die Grundlage von Fairness, Prüfbarkeit und der Fähigkeit, genau zu rekonstruieren, was in einem beliebigen Zeitraum geschehen ist. Eine Engine, die Orders schnell verarbeitet, sie aber unter Druck gelegentlich umsortiert oder verwirft, untergräbt die Integrität, von der eine Börse abhängt, und keine Durchsatzzahl gleicht das aus.

Die Korrektheit zu benchmarken ist daher ebenso wichtig wie die Geschwindigkeit. Eine fundierte Bewertung setzt Last nicht nur ein, um zu messen, wie schnell die Engine läuft, sondern um zu bestätigen, dass ihr Verhalten konstant bleibt, während sie sich ihren Grenzen nähert, dass die Reihenfolgeregeln eingehalten werden und dass unter Stress keine Order verloren geht oder dupliziert wird. Hier weicht ein Benchmark am deutlichsten von einer Marketingzahl ab, denn er prüft die Eigenschaft, die eine reale Börse nicht opfern darf. Leistung, die nicht auch korrekt ist, ist keine Leistung, auf der ein Betreiber aufbauen kann.

Realistische Testbedingungen

Ein Benchmark ist nur so vertrauenswürdig wie die Bedingungen, die ihn hervorgebracht haben, und im Abstand zwischen Testumgebung und Produktion entstehen optimistische Zahlen. Ein realistischer Benchmark bildet die Gestalt des Orderbuchs ab, das ein Betreiber erwartet, eine repräsentative Mischung aus Ordertypen und Stornierungen, die Hardware, auf der die Plattform tatsächlich läuft, und die Präsenz der umgebenden Dienste, die um Ressourcen konkurrieren. Eine Zahl, die mit leerem Orderbuch, auf produktionsfremder Hardware und mit isoliert getesteter Engine entstanden ist, beschreibt ein Labor und keine Börse.

Deshalb sollte ein Betreiber nicht nur fragen, was eine Engine erreicht hat, sondern unter welchen Bedingungen sie getestet wurde. Dauerhafte Last über einen aussagekräftigen Zeitraum offenbart Verhalten, das ein kurzer Ausbruch verbirgt, und der Test gegen eine realistische Arbeitslast legt Schwächen offen, die eine idealisierte verdeckt. Der Überblick zur Technologie beschreibt, wie Deployment- und Infrastrukturentscheidungen die Bedingungen prägen, unter denen eine Engine tatsächlich läuft, und damit die Leistung, die ein Betreiber erwarten kann, statt der Leistung, die sich für einen Benchmark arrangieren lässt.

Benchmark-Angaben von Anbietern einordnen

Leistungsangaben gehören zur Plattformauswahl, und das Ziel ist nicht, ihnen zu misstrauen, sondern sie richtig zu lesen. Eine verantwortungsvolle Angabe ist konkret: Sie nennt die Kennzahl, die Bedingungen, die Hardware und die Dauer und unterscheidet Spitzen- von Dauerleistung. Eine Angabe, die nur eine große Zahl bietet, ohne den Kontext, der sie überprüfbar machen würde, sollte als Ausgangspunkt für Fragen und nicht als Schlussfolgerung behandelt werden. Die nützlichste Reaktion auf jede Zahl ist die Frage, wie sie gemessen wurde und ob dasselbe Ergebnis unter Bedingungen bestünde, die denen des Betreibers ähneln.

Zudem ist zu bedenken, dass die höchste Zahl selten den Ausschlag gibt. Die meisten Börsen arbeiten deutlich innerhalb der Grenzen, die eine kompetente Engine bietet, sodass der Grenznutzen eines extremen Spitzenwerts oft gering ist im Vergleich zu Konstanz, Determinismus und vorhersehbarer Latenz unter alltäglicher Last. Einem Betreiber ist meist mit einer Engine besser gedient, deren Leistung gut verstanden und verlässlich ist, als mit einer, deren Schlagzeilenzahl die größte ist. Die Seiten zur Fintech-Architektur-Beratung beschreiben, wie Leistung neben den weiteren Kriterien steht, die Plattformen unterscheiden.

Benchmarking als Teil der Beschaffung

Benchmarking ist am wertvollsten, wenn es als Teil der Bewertung eines Anbieters und nicht als einmalige technische Übung behandelt wird. Die Fragen, die es aufwirft, wie eine Zahl gemessen wurde, ob sie dauerhaft ist, wie die Latenz verteilt ist und ob die Korrektheit unter Last hält, sind ebenso Beschaffungs- wie Ingenieurfragen, denn sie entscheiden, ob eine Plattform den Anforderungen genügt, die die Strategie eines Betreibers an sie stellt. Eine strukturierte Bewertung ersetzt eine Schlagzeilenzahl durch einen Satz von Eigenschaften, die ein Betreiber über Anbieter hinweg zu denselben Bedingungen vergleichen kann.

Wo es möglich ist, ist die stärkste Position, unabhängig benchmarken zu können, statt sich allein auf vom Anbieter gelieferte Zahlen zu verlassen. Die Plattform zu besitzen oder die Rechte und den Zugang zu ihrem Test zu halten, erlaubt es, die Leistung gegen die eigenen Bedingungen des Betreibers zu prüfen und sie erneut zu prüfen, während sich die Plattform weiterentwickelt. Benchmarking wird so zu einer wiederholbaren Kontrolle eines Systems, das der Betreiber kontrolliert, statt zu einer beim Kauf akzeptierten Behauptung. Dies ist einer der praktischen Vorteile eines Liefermodells, das echtes Eigentum überträgt statt einer fortlaufenden Abhängigkeit.

Fazit und nächste Schritte

Eine Matching-Engine zu benchmarken ist die Disziplin, Leistungsangaben in Belege zu verwandeln, und sie beruht auf mehr als einer einzelnen Zahl. Durchsatz zählt, aber dauerhafter, unter realistischer Arbeitslast gemessener Durchsatz zählt mehr als ein isolierter Spitzenwert; Latenz zählt als Verteilung, nicht als Durchschnitt; und Determinismus und Korrektheit unter Last zählen am meisten, denn Geschwindigkeit ohne Integrität nützt einer Börse nichts. Eine verantwortungsvolle Leistungsangabe ist eine, die mit den Bedingungen genannt wird, die sie hervorgebracht haben, statt im Abstrakten angeboten zu werden. Kaufen Sie nicht nur Software. Kaufen Sie den Prozess, der sie zum Laufen bringt. Die Fähigkeit, unabhängig und gegen produktionsnahe Bedingungen zu benchmarken, ist es, was eine Behauptung, deren Wahrheit ein Betreiber hofft, von einer Eigenschaft trennt, die ein Betreiber bestätigt hat.