Robots.txt запрет на индексации фильтров 2.X

 
Посетитель
small user social cms
Медаль
Сообщений: 392
В поиск лезут страницы со значком ? на конце. Пример: сайт.ру/articles/ххххххх.html?
Яндекс затем их выкидывает с пометкой "неканоническая"

Можно ли прописать в роботсе общий запрет на индексацию всех адресов для определенного типа контента с html? на конце и как это правильно сделать?
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 1258
Типа так наверное:
Disallow: *.html?
Редактировалось: 3 раз (Последний: 4 июня 2018 в 08:38)
Посетитель
small user social cms
Медаль
Сообщений: 392
Спасибо, попробую прописать так
Посетитель
small user social cms
Медаль
Сообщений: 392
Слэш здесь не нужен? Прямо так прописывать - Disallow: *.html?
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1847
Слеш нужен
Disallow: /*.html?

И вот еще варинат который конкретно закроет именно эту кострукцию, не затрагивая другие
Disallow: /*.html?$

Проверьте оба в панеле ВМ поисковиков.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
Медаль
Сообщений: 392
Проверил без слэша. Ошибок нет
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1847
al955:
без слеша неправильно, так и весь сайт или закрыт или открыт будет и вообще это ошибка, до слеша домен как бы.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
Медаль
Сообщений: 392
Согласен. Поставил слеш.

Я так понимаю, что Disallow: /*.html? закрывает любые страницы сайт, независимо от типа контента, у которых в адресе имеется .html?
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1847
al955:
Я так понимаю, что Disallow: /*.html? закрывает любые страницы сайт, независимо от типа контента, у которых в адресе имеется .html?
Да, все легко проверить в панеле, любые варианты.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1524
Вадим Нарочный:
К тому же, зачем весь этот мусор с одинаковыми заголовками.
Теперь эта проблема больше не актуальна)) тыц
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Страницы: Первая Предыдущая 1 2
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.