Resolved -
С 8:30 до 21:50 (мск) для 90% клиентов была замедлена скорость обработки асинхронных запросов обычного приоритета. В период инцидента на пострадавших проектах скапливалась очередь асинхронных запросов, наблюдалась задержка обработки входящих запросов до 4.5 часов.
В настоящий момент сервис работает в штатном режиме. Мы вернёмся с детальным разбором и следующими шагами в течение двух недель
Mar 7, 19:00 UTC
Update -
На 19:15 (мск) задержка средняя задержка обработки вызовов асинхронных операций обычного приоритета снизилась до 3 часов. Мы ожидаем, что работа системы полностью перейдёт в штатный режим в течение ближайших 4 часов.
Вернёмся с обновлением статуса в ближайшие 4 часа
Mar 7, 16:16 UTC
Update -
В настоящий момент мы наблюдаем уменьшение скопившейся очереди запросов. Средняя задержка от получения асинхронного запроса нормального приоритета до его обработки составляет 4.5 часа. Мы продолжаем предпринимать шаги для дальнейшего уменьшения очереди. Обновим статус в течение 3 часов
Mar 7, 13:11 UTC
Update -
На 15:00 (мск) удалось остановить рост очереди обработки запросов. Продолжаем наращивать скорость обработки. Обновим статус в течение часа
Mar 7, 12:01 UTC
Update -
Обновление системы позволило увеличить скорость обработки запросов, но её на сейчас недостаточно. В настоящий момент выполняется выкладка второго обновления для полного решения проблемы. Обновим статус в течение часа
Mar 7, 10:59 UTC
Monitoring -
С 8:30 (мск) наблюдается замедление скорости обработки асинхронных операций для 90% клиентов. На проектах скапливается очередь запросов. Вызовы высокоприоритетных операций выполняются штатно
В настоящее время проблема локализована, происходит обновление системы для её решения. Обновим статус в течение часа
Mar 7, 09:56 UTC