Wie andere Client/Server-Produkte hat unser Spiel eine sehr komplexe und verteilte Infrastruktur, die aus einer Vielzahl verschiedener Server besteht. Dazu gehören Autorisierungsserver, Server zum Speichern von Benutzerprofilen, Schlacht-Server, ein Staffel-Server und ein Sprachkommunikations-Server. Alle diese Server befinden sich nicht auf einem einzigen Gerät, sondern auf Dutzenden! Hinzu kommt ein Matching-Server, der aus vielen physischen Geräten von Eingangs-Gateways besteht, die Proxys sind, um Fehlerquellen auszuschalten, und ein Server, der tatsächlich die Schlachten aus Spielern in der Warteschlange erstellt.

Nun ein paar Details zu dem, was am vergangenen Wochenende passiert ist. Einer der Gateway-Dienste war 375 Tage lang in Betrieb, und während eines geplanten Neustarts wurde eine falsch Konfigurationsversion geladen, die nur einen einzigen Kern verwendete (wir haben dies erst am Sonntag festgestellt) und IP-Adressen falsch vermittelte. Zunächst hatten wir den Eindruck, dass der Server durch die neu eingeführten Fahrzeuge und eine Spielernation sowie durch die Aufmerksamkeit der Community für das neue Update überlastet war. Wir haben beschlossen, die Kapazität so schnell wie möglich zu erhöhen, indem wir auf die leistungsstärksten und teuersten Geräte von Amazon umsteigen. Dies kann jedoch nicht spontan geschehen, und der Umzug selbst nahm Zeit in Anspruch. Aber selbst als der Umzug abgeschlossen war, blieb das Problem mit der falschen Konfiguration und dem Single-Threading bestehen. Der Server verstand, dass alle Spieler, die sich über diesen Dienst anmeldeten, dieselbe IP hatten, konnte sie nicht schnell finden und begann zu laggen. Nach etwa 22:00 Uhr MEZ wurde das Problem der falschen Proxys lokalisiert und bald darauf behoben, und die Schlachten begannen wieder zu passen. Im Laufe der Nacht verringerte sich jedoch die Zahl der Nutzer, und auch die Tatsache, dass die Proxys mit einem einzigen Kern arbeiteten, beeinträchtigte den Betrieb nicht.

Am Sonntag stieg die Last mit der Zunahme der Nutzer und der Schlachten wieder an, und wir fanden schließlich einen zweiten Konfigurationsfehler, und im Laufe des Nachmittags behoben wir den Single-Thread-Proxy, indem wir die falsch konfigurierten Maschinen nach und nach entfernten und die neuen einführten, um zu vermeiden, dass die bereits spielenden Nutzer von den Diensten nicht beeinträchtigt wurden. Auch dieser Vorgang nahm einige Zeit in Anspruch. Es ist anzumerken, dass auch vor der Einführung der leistungsstärkeren Server genügend Kapazität zur Verfügung stand - die Leistung eines einzelnen Kerns reichte nicht aus, aber es gab viele davon. Nach dem Upgrade nutzten wir nur etwa 6 % der Gesamtkapazität (d. h. eine 20-fache Leistungsreserve gegenüber dem Maximalwert).

Schlussfolgerungen

Auf der Grundlage der Ergebnisse zogen wir Schlussfolgerungen und planten Verbesserungen sowohl des Betriebs- als auch des Matching-Codes. Erstens planen wir, die Fehlertoleranz des Dienstes zu überprüfen, indem wir alle Server mit zu langer Betriebszeit neu starten, wobei wir die Erfahrung großer Streaming-Dienste wie Netflix nutzen, die spezielle Bots zur Überprüfung der Betriebszeit einsetzen.

Außerdem haben wir bereits Verbesserungen am Matching-Code vorgenommen, die es uns ermöglichen werden, auch bei starker Belastung ein akzeptables Niveau des Spielbetriebs aufrechtzuerhalten - die Warteschlangenbildung kann länger dauern, aber der Dienst wird nicht aufhören, auf die Spieler zu reagieren - er bleibt betriebsbereit.

Darüber hinaus hat die Anzahl der Spielnationen und der möglichen Spielkonfigurationen in den Schlachten sehr große Werte erreicht, so dass algorithmische Optimierungen erforderlich sind. Die Ermittlung aller möglichen Kombinationen aller Spieler und aller Spielnationen ist die quadratische Komplexität des Algorithmus, so dass es notwendig ist, Optimierungen vorzunehmen, um vielleicht nicht eine absolut perfekte mögliche Übereinstimmung zu finden, aber zumindest gut genug.