svodd.ru 404 page not found

[iprst]

Что-то произошло:

До этого 30 минут назад сайт открывался.

[iprst]

UPD сайт уже работает, но несколько минут назад не открывался с разных устройств. Странности. Возможно в логах что-то найдётся, а может что-то с моими провайдерами.

[iprst]

Хотя на отдельных страницах проблема всё ещё присутствует. Например своддная тема через раз отображается с ошибкой:

Буду наблюдать.

[audetv]

Да, было падение. Перед вашим сообщением было зафиксировано 2 issue в системе мониторинга Sentry. По логам 7 часов назад была общая перезагрузка всех сервисов на сервере. Сам сервер физически не перезагружался. Пока не понятно что, но что то привело к перезагрузке всех сервисов, такое(подобное) уже было ранее, 1 раз точно. Не знаю как выяснить точную причину, пока не понятно, возможно, что один из сервисов упал, система не смогла восстановить работу сервиса и после исчерпания лимита попыток, все еще была не стабильна и менеджером управления контейнеров — docker swarm была произведена перезагрузка всех сервисов. Даже так, похоже, что в итоге сам docker swarm завершил работу всех сервисов, т.к. в логах разных сервисов наблюдаю остановку, сохранение на диск и shutdown daemon version '6.3.0 1811a9efb@24052209' ... svodd_manticore.1.lnpvgcjn6qq1@debian11-2cpu-4ram | shutdown complete Т.е. сервисы были остановлены. после восстановления поднял все сервисы снова. (Остановка с сохранением данных и т.д. Graceful shutdown)
Например часть лога общего gateway traefik (отвечает за все входящие соединения):

traefik_traefik.1.15dfa5c6zs23@debian11-2cpu-4ram    | time="2024-06-11T22:32:07Z" level=error msg="Failed to list services for docker, error error during connect: Get \"http://%2Fvar%2Frun%2Fdocker.sock/v1.24/version\": context canceled" providerName=docker
traefik_traefik.1.15dfa5c6zs23@debian11-2cpu-4ram    | time="2024-06-11T22:32:07Z" level=error msg="Cannot connect to docker server error during connect: Get \"http://%2Fvar%2Frun%2Fdocker.sock/v1.24/version\": context canceled" providerName=docker

Как будто уже не был доступен докер сокет, сервис завершил работу, это было примерно в 01:32 пор МСК, и после этого времени началась перезагрузка, а до этого видимо начались неполадки.

После падения автоматическая система восстановления отработала на отлично и сервисы были восстановлены, т.к. в системе много разных сервисов, то поднимались они в с некоторым лагом и в некоторой очередности, и в процессе восстановления все еще наблюдались неполадки, что-то работало, что-то еще нет. База данных судя по логам поднялась 01:37 по мск, Парсеры начали подниматься в 1:32, но т.к. еще не были доступны БД, завершались и поднялись снова. В общем по логам сервисы за 2-3 попытки восстановились. На текущий момент не наблюдаю неполадок,

Будем наблюдать. Спасибо.

PS. На данный момент в системе работает 39 сервисов. И 28 контейнеров запущенны постоянно, остальные 11 запускаются в нужные моменты в соответствии с планом работы системы. Я не стал смотреть логи всех сервисов, только основные выборочно. Явно не понятно, что привело к остановке. Пока все что удалось установить, подумаю, может позже будут мысли как и где еще можно посмотреть, почему такой сбой произошел.

[iprst]

Так понимаю, что докер капризничает.

[audetv]

Так понимаю, что докер капризничает.

Непонятно.

Технически докер отрабатывает как положено и поднимает систему, все контейнеры в случае падения приложений / остановок.
Сегодня примерно в 2 ночи опять была перезагрузка сервисов, но она прошла незаметно. После этого через 4 часа падал nginx на svodd.ru и был восстановлен. Посмотрел по логам запуска контейнеров nginx последние сутки падет периодически. Но эти логи не глубокие на 1 сутки, невозможно оценить, что было ранее. Возможно он и раньше периодически падал и поднимался. Пока связываю это с нехваткой ресурсов на сервере (памяти), надо понаблюдать,
если происходит перегрузка по памяти контейнеры могут падать и докер их восстанавливает. В этом и был мой расчет, использовать докер для автоматизации, и минимум ресурсов на сервере, по пределу) Понаблюдаю за системой недельку.

По поводу докер хаба, который заблокирован. Я не видел сообщения о разблокировки, и не искал информацию, но знаю по опыту, что устанавливал на других виртуалках различные системы и уже не приходилось настраивать зеркала для обновления образов. Возможно это не по всем образам и есть исключения. Но сейчас для меня выглядит так, что не работает только сайт, а все остальные сервисы функционируют. Специально не проводил исследований, но наблюдение имею. Думаю еще будет возможность проверить и подтвердит ь или опровергнуть, Похоже на то, как там было, что не все компании ушли с рынка, они просто тихо работают и ждут. Ждуны…

[iprst]

Сегодня примерно в 2 ночи опять была перезагрузка сервисов, но она прошла незаметно

Падений не видел, однако скорость доступа к сайту была сильно понижена, страницы открывались / обновлялись по несколько секунд.

[audetv]

Падений не видел, однако скорость доступа к сайту была сильно понижена, страницы открывались / обновлялись по несколько секунд.

Имею такое же наблюдение по сайту, но имею еще и наблюдение за рабочей инфраструктурой, и последнюю неделю наблюдаются сильные просадки у разных наших провайдеров, которые предоставляют связь по скорости. Были сообщения от некоторых провайдеров, что их системы(оборудование) подверглись атакам. Мы периодически получаем сообщения, что что-то отвалилось и часто это именно обрывы сетевые. Например 100мбитный рабочий интернет канал от мегафон, работает иногда со скорость пару м/бит. А чуть ранее недели наблюдались ддос атаки на некоторые наши сервисы, которые вообще никому не известны и не интересны. Это было очень странно, неделю ддосили.

Поэтому сложно оценить, сайт не работает или это каналы связи. Отдельных сообщение от провайдера, на котором svodd не было. Я вопросов в поддержку не задавал , пока ощущение, что 2-ую неделю штормит в разных местах.

[iprst]

Были сообщения от некоторых провайдеров, что их системы(оборудование) подверглись атакам

Думаю это основная проблема, да.

[iprst]

Снова наблюдается торможение сайта при открытии / обновлении и медленный подхват новых постов со страницы.

[audetv]

Сегодня в течение дня наблюдал 4 перезагрузки сервисов, в логах видно, что периодически теряется связь с нодой в СПБ, но происходит восстановление системы, и мне пока не приходилось в ручную решать вопросы на сервере, что радует. Надеюсь системы устоит. Сегодня с 16:30 недоступен мой домашний интернет, провайдер обещает исправить до 14 июня 01:00, по сообщениям знакомых днем отключался мобильный интернет. Это все ведущие операторы: мегафон, билайн, теле2. Один из самых проблемных дней. В общем наблюдаем. Да. Будут перебои в работе сайта.

UPD: 20:10 домашний билайн возобновил работу, был недоступен около 4 часов.

[iprst]

Вновь наблюдается торможение при открытии страниц, загрузка окна занимает 20-30 секунд.

[audetv]

Да, и после вашего сообщения была перезагрузка, успел понаблюдать это, все сервисы перезагрузились.
Непонятно, до этого более 8 часов работали условно стабильно по логам. буду смотреть завтра, может что-то найду, пока не понятно, что происходит.

[iprst]

Если перезагрузки участились по историческим данным, то видимо это на стороне провайдера что-то.

[audetv]

не знаю.
но влогах есть это, докер упал +3 часа от даты лога часа по МСК., т.е 00:14, вот как перед последней перезагрузкой.
и там еще сверху портянка ошибок выпала, не стал копировать, завтра почитаю что это.

docker.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Jun 14 21:14:53 debian11-2cpu-4ram systemd[1]: docker.service: Failed with result 'exit-code'.
Jun 14 21:14:53 debian11-2cpu-4ram systemd[1]: docker.service: Consumed 19h 27min 32.850s CPU time.
Jun 14 21:14:55 debian11-2cpu-4ram systemd[1]: docker.service: Scheduled restart job, restart counter is at 4.
Jun 14 21:14:55 debian11-2cpu-4ram systemd[1]: Stopped Docker Application Container Engine.
Jun 14 21:14:55 debian11-2cpu-4ram systemd[1]: docker.service: Consumed 19h 27min 32.850s CPU time.
Jun 14 21:14:55 debian11-2cpu-4ram systemd[1]: Starting Docker Application Container Engine...
Jun 14 21:14:55 debian11-2cpu-4ram dockerd[3668720]: time="2024-06-14T21:14:55.807179422Z" level=info msg="Starting up"

Возможно придется проводить профилактические работы… обновление и прочее. Еще выходные наблюдаем. Почитаю В понедельник буду решать с обновлением системы. Спасибо.