Усталый сисадмин случайно удалил каталог не с того сервера и практически похоронил стартап
Сервис GitLab украинского предпринимателя Дмитрия Запорожца, который специализируется на хранении исходного кода, оказался офлайн из-за фатальной ошибки сотрудника. Как пишет The Register, уставший сисадмин в Голландии поздно ночью во время длительного процесса репликации базы данных случайно удалил каталог не с того сервера.
В результате была стерта директория, в которой хранились 300 ГБ данных, которые должны были быть реплицированы. Только 4,5 ГБ удалось спасти к тому моменту, как сотрудник отменил команду «rm -rf». Последняя потенциально жизнеспособная резервная копия была сделана шестью часами ранее. «Из 5 методов резервного копирования ни один не обеспечил надежной работы», - сообщили администраторы GitLab.
«Снимки LVM по умолчанию производились раз в 24 часа. Снимки дисков в Azure были включены для NFS-серверов, но не для серверов базы данных. Наше резервное копирование на S3, вероятно, не работает: там пусто». Администрация заверяет, что в результате инцидента пострадала база данных, но не сам репозиторий.
