20 лет тому назад появился файл robots.txt, с помощью которого владельцы сайтов могут указывать параметры индексирования своих страниц поисковыми роботами. Читать дальше »