Шмидт.net

  Сразу к делу: Яндекс не обращает внимания на коды, которые ему отдаёт сервер. Вот так просто.

  Захожу я как-то недавно в Яндекс.Вебмастер. А он мне и говорит человеческим (но очень нудным) голосом: "Вот, тут какие-то странички, код 404 мне отдали, Вы уж там разберитесь. На них, правда, уже давно никто не ссылается. Но я всё равно буду периодически заходить, смотреть, что с ними...". Странно, думаю, но ладно, почитаю лишний раз HTTP-спецификацию. И точно: 404 — это, кагбэ, Not Found, но в том смысле, что "не найден, потерялся документ, кто знает, может когда и отыщется". А есть код 410 ("Gone") — и это уже всё, финита ля комедия, документ убран, совсем, и больше никогда тут не появится.

  И я, значится, вручную лезу в конфиги сервера, чтобы чуть не поимённо указать, что по вот таким-то адресам (которые даже и не документы никакие, а баннеры в .swf, которые 300 лет назад висели на сайте) отдавать 410. Код, согласитесь, не тривиальный, как 404, и раз уж я его указал, то документы я убрал сознательно и надолго.

  Не проходит и двух недель, как эта железяка мне тем же нудным голосом: "Вот, тут какие-то странички, код 410 мне отдали... но я буду периодически заходить..." Пилять! Тебе ясно, по-русски, написали: "Gone!" Забудь уже про эти адреса! Ты свежие странички индексить не успеваешь!

  Вопрос: нахрена, вообще, существует развитая система HTTP-кодов, если даже роботы, для которых половина из этих кодов и придумана, их не читают?