Al igual que otros productos cliente/servidor, nuestro juego tiene una infraestructura muy compleja y distribuida, que consta de varios servidores diferentes. Se trata de servidores de autorización, servidores para almacenar los perfiles de los usuarios, servidores de batalla, un servidor de escuadrón y un servidor de comunicación por voz. Todos ellos no se encuentran en un solo dispositivo, ¡sino en docenas! Además, un servidor de emparejamiento, que consiste en muchos dispositivos físicos de puertas de entrada, que son proxies para eliminar puntos de fallo, y un servidor que realmente crea batallas a partir de los jugadores en la cola.

Ahora, un poco más de detalle sobre lo que ocurrió este pasado fin de semana. Uno de los servicios de gateway estuvo operando durante 375 días, y durante un reinicio programado, se cargó una versión mal configurada que utilizaba un solo núcleo (lo descubrimos sólo el domingo) y realizaba un proxy incorrecto de las direcciones IP. Inicialmente, nos pareció que el servidor estaba sobrecargado debido a los vehículos recién introducidos y a una nación de juego, así como con la atención de la comunidad por la actualización importante. Decidimos aumentar la capacidad lo antes posible pasando a los dispositivos más potentes y caros de Amazon. Sin embargo, esto no puede hacerse de forma instantánea, y el traslado en sí mismo llevó su tiempo. Pero incluso cuando el traslado se completó, el problema de la configuración incorrecta y el proceso único se mantuvo. El servidor entendió que todos los jugadores que entraban a través de este servicio tenían la misma IP, no pudo encontrarlos rápidamente y comenzó a retrasarse. Aproximadamente a las 9:00 PM GMT, el problema del proxy incorrecto fue localizado y corregido poco después y las batallas comenzaron a emparejarse de nuevo. Durante la noche, sin embargo, el número de usuarios disminuyó, e incluso el hecho de que los proxies funcionaran con un solo núcleo no interfirió en el funcionamiento.

El domingo, con el crecimiento de usuarios y batallas, la carga volvió a aumentar, y finalmente localizamos un segundo error de configuración y durante la tarde arreglamos el proxy de un solo subproceso eliminando suavemente las máquinas mal configuradas e introduciendo las nuevas para evitar la denegación de servicio a los usuarios que ya estaban jugando. Este proceso también llevó algún tiempo. Cabe señalar que había mucha capacidad disponible, incluso antes de la introducción de los servidores más potentes - la potencia de un solo núcleo no era suficiente, pero había muchos de ellos. Después de la actualización, sólo utilizamos alrededor del 6% de la capacidad total (es decir, una reserva de potencia 20 veces superior a la del pico).

Conclusiones

Basándonos en los resultados, sacamos conclusiones y planificamos las mejoras tanto del funcionamiento como del código de emparejamiento. En primer lugar, planeamos comprobar la tolerancia a los fallos del servicio reiniciando todos los servidores con un tiempo de funcionamiento superior al previsto, utilizando la experiencia de grandes servicios de streaming, como Netflix, que utiliza bots especiales que comprueban el tiempo de funcionamiento

Además, ya hemos introducido mejoras en el código de emparejamiento, que nos permitirán mantener un nivel aceptable de funcionamiento del juego incluso bajo cargas elevadas - las colas pueden tardar más, pero el servicio no dejará de responder a los jugadores, manteniéndose operativo.

Además, el aumento del número de naciones de juego y de posibles configuraciones de juego en las batallas ha alcanzado grandes valores y se requieren optimizaciones algorítmicas. Descubrir todas las combinaciones posibles de todos los jugadores y todas las naciones de juego es la complejidad cuadrática del algoritmo, por lo que es necesario crear optimizaciones para encontrar quizás no una posible combinación absolutamente perfecta, pero al menos lo suficientemente buena.