Метатег robots и тег X-Robots нужны для управления индексацией сайта роботами поисковиков. Основное их отличие — в способе реализации: meta robots указывают в html-коде страницы, а тег x-robots — в HTTP-заголовке URL. Рассказываем, зачем сайту нужны метатег robots и заголовок X-Robots-Tag, какие директивы и какой синтаксис использовать, чтобы внедрить метатег robots и X-Robots-Tag, а также каких ошибок нужно избежать.