Robots.txt – это текстовый файл с инструкциями для поисковых роботов. Он определяет, в каких областях сайта поисковые роботы могут выполнять поиск. С помощью этого простого текстового файла можно исключить целые домены, каталоги, подкаталоги или отдельные файлы от сканирования поисковой системой. Однако этот файл не защищает от несанкционированного доступа.
Заказать обратный звонок