Код 410 Gone: страница удалена навсегда

Что значит код 410

RFC 9110 (раздел 15.5.11): целевой ресурс больше недоступен на исходном сервере, и это состояние, скорее всего, постоянно. Нового адреса у ресурса нет: иначе нужен был бы 301. По умолчанию 410 кешируется, как и 404. Стандарт отмечает, что 410 не обязателен: владельцу не нужно держать метки для удалённых страниц вечно, а в случае сомнений достаточно 404.

HTTP/1.1 410 Gone
Content-Type: text/html; charset=UTF-8

410 или 404: что выбрать

Если сомневаетесь, оставляйте 404: это безопасный вариант. 410 стоит использовать там, где вы точно знаете, что страницы больше не будет, а исключить её из поиска нужно быстрее.

Когда 410 уместен

• снят с продажи товар или услуга, замены нет;
• закрыт раздел сайта или акция завершилась навсегда;
• после взлома нужно убрать сотни спам-страниц, которые робот уже проиндексировал;
• удалены дубли, служебные адреса, старые версии страниц, на которые некуда перенаправить.

Что делать посетителю

Страница удалена владельцем, и вернуть её нельзя. Откройте главную страницу сайта, воспользуйтесь поиском по сайту или найдите нужную информацию в поисковике. Если страницу удалили недавно, сохранённую копию можно поискать в Wayback Machine (web.archive.org).

Как настроить 410 владельцу сайта

location = /old-product/ {
    return 410;
}

# целый раздел
location ^~ /archive-2019/ {
    return 410;
}

# одна страница
Redirect gone /old-product/

# по регулярному выражению
RewriteEngine On
RewriteRule ^archive-2019/ - [G]

app.get("/old-product", (req, res) => {
  res.status(410).send("Страница удалена");
});

Как и в случае с 404, отдавайте 410 вместе с полезной страницей ошибки: ссылкой на каталог, поиск или главную. Тело ответа может быть любым, важно только, чтобы код ответа был 410. Руководство по nginx и руководство по .htaccess помогут встроить правила в общую конфигурацию.

Массовое удаление: спам-страницы после взлома

Когда сайт взломали и в индекс попали сотни сгенерированных адресов, 410 удобно выдавать по шаблону. Сначала вылечите сайт и удалите вредоносные файлы, иначе адреса появятся снова.

# в контексте http
map $request_uri $is_gone {
    default 0;
    ~^/shop-[a-z0-9]+[.]html$ 1;
}

# в контексте server
if ($is_gone) {
    return 410;
}

Ошибки при использовании 410

• 410 на страницах, которые вернутся. Если страница откроется снова, сигнал «удалена навсегда» придётся переписывать новым обходом робота.
• 410 вместо 301 при наличии аналога. Вы теряете переходы по внешним ссылкам.
• Страница ошибки отдаётся с кодом 200. Тогда это soft 404, а не 410: проверьте статус отдельно, подробности в статье про soft 404.
• Одновременно закрыто в robots.txt. Робот не сможет получить 410, и адрес может остаться в индексе дольше. Не блокируйте удалённые адреса в robots.txt.

Как 410 видят Яндекс и Google

Google относит 410, как и 404, к группе 4xx: страницы по таким адресам в индекс не попадают, а проиндексированные постепенно исключаются. Разница в скорости, если она и есть, невелика, поэтому ожидать мгновенного удаления не стоит. Яндекс при ответах 404 и 410 тоже исключает страницы из поиска. Не используйте 410 для временно недоступных страниц: если страница вернётся, роботу придётся заново открывать её для индекса. Не ставьте 410 на страницы с внешними ссылками и трафиком без необходимости: лучше 301 на близкую по смыслу страницу.

Как проверить

Адрес проверяется в инструменте проверки кода ответа или командой curl -sI https://example.com/old-product/ | head -1. Чтобы найти адреса, которые стоит закрыть, смотрите отчёты Search Console и Вебмастера и список 404 из Monitor404: частые обращения к удалённым URL подсказывают, что это 301 или 410.