Почему “Яндекс” клеится к моему сайту? Настраиваем robots.txt
Помните пост про поиск и безопасность сайтов в интернете? Я там еще про robots.txt рассказывал. Так вот, сегодняшний пост является логическим продолжением того, но с чисто практическим подходом. В сегодняшнем выпуске жизненная история о том, как при определенных обстоятельствах robots.txt может испортить жизнь веб-мастеру и вообще прикрыть сайт для посетителей из поиска.
Есть такой блог blog.grodno.net […]