Почему страницы вылетают из индекса Яндекс

Некоторое время назад заметил что на одном из сайтов, а потом и на остальных, стали пропадать страницы из индекса поисковой системы Яндекс. Попытка сходу разобраться в проблеме выявила вот что - в панели Яндекс.Вебмастер все эти страницы указаны как исключенные страницы - по признаку ошибка http заголовка.

попытался в панели Яндекс.Вебмастер узнать что ж это за ошибка такая, ан нет . там нет таких данных, и в свою очередь я прекрасно знал что сайт работает нормально и перебоев нет - в чем же проблема.
Попытался написать в Яндекс письмо в котором подробно описал проблему, что страницы выкинуты из индекса, напротив них стоит дата когда их яндекс.бот проверял последний раз, к слову сказать некоторые уже выкинуты 3 месяца назад и с тех пор бот даже не предпринимал попыток перепроверить эти страницы, что было странно.
Попытки выяснить в службе поддержки хостинга привели только к тому что пришлось поднимать абсолютно все логи данных сайтов которые в http заголовке давали ответ не 200 и не 301 коды, т.к. это не ошибки. Так же было выяснено что иногда как раз в эти дни и эти страницы по нашим логам - nginx отдавал код ошибки 499 - или тайм аут, админы хостинга мне сказали такой код отдается только если пользователь или в данном случае поисковый бот загружая страницу закрыл браузер до окончания загрузки страницы. И по идее это никак не должно влиять на собственно поисковых ботов - но сопоставление фактов - говорит об обратном.

Страница хоть раз ответившая 499 http кодом сразу исключается из поиска, заносится в ошибки http в яндексе и как минимум 3-6 месяцев потом там висит и не проверяется, может выборочно какие то и проверяются, но точно это выяснить нет возможности - т.к. есть страницы которые висят и по пол года.

Еще интереснее получится если 499 кодом ответит главная страница сайта - не дай бог сайт новый - то считайте вас просто и не начнут индексировать, т.к. поисковому боту и не от чего будет плясать - главная страница в исключенных страницах - и не перепроверяется, значит и остальное можно не индексировать - был инцидент с одним сайтом. Поможет только письменный запрос в службу поддержки Яндекс.Вебмастер, причем они 100% напишут что не знают почему так вышло =), хотя в письме я сам им написал что там у них происходит.

Исправлением ситуации является донастройка nginx чтобы он не отдавал 499 кода по разрыву соединения пользователем или ботом.
если кому то будет понятнее
в nginx.conf добавляются
proxy_ignore_client_abort on;
fastcgi_ignore_client_abort on;

после этого я отправил в Яндекс.Вебмастер письмо об исправлении ошибки, и просьбой помониторить появляется ли еще раз ошибка, через некоторое время они отписались и сообщили что ошибка больше не появляется, что и по логам своим я тоже прекрасно видел.

Просто учитите на будущее =)))) один ответ сервера 499 кодом и ваша страница будь она в топе или в попе - она будет выкинута из индекса сразу же. По этому следите за своими сайтами в Яндекс.Вебмастер