4 декабря с 16:35 до 16:55 (мск) у 90% клиентов наблюдалась недоступность административной панели.

Корневая причина недоступности — проблемный релиз одного из компонентов административной панели.

Влияние на клиента

В период инцидента у 90% клиентов не загружались страницы административной панели.

Как выявляли и устраняли инцидент

• 16:35 — Получили жалобу от одного из клиентов про недоступность административной панели
• 16:43 — Начали диагностику причин недоступности
• 16:50 — Запустили откат сервиса, создавшего проблему
• 16:55 — Инцидент устранен, административная панель доступна всем клиентам

Отчёт

Административная панель Mindbox состоит из множества сервисов, которые могут работать одновременно на одной странице. Один из релизов привёл к дублированию одного из таких сервисов, что является некорректной конфигурацией кода. Результатом выкладки версии стала недоступность административной панели.

Подобные ошибки возникают в определённом сочетании версий разных сервисов административной панели. Большое количество возможных сочетаний таких сервисов делает выявление конфликтов на тестах невозможным. Для исключения проблем такого рода мы изменим архитектуру сервисов административной панели.

Что улучшили

• Исключили дублирование компонентов административной панели, для которых это недопустимо, чтобы не допустить повторения аналогичных инцидентов

Что улучшим

• Добавим мониторинг открытия критичных страниц, чтобы быстрее реагировать на аналогичные проблемы — 1-й квартал 2025 года
• Минимизируем влияние компонентов административной панели друг на друга, чтобы даже при наличии проблем их влияние было локальным и не приводило к полностью нерабочей административной панели —  3-й квартал 2025 года