robots

Архив по мета-директиве robots, управляющей индексированием и сканированием поисковыми роботами. Рассмотрены параметры index, noindex, follow, nofollow и их применение для контроля доступа поисковиков к страницам.