Вопрос дня - одинаковые ссылки

Есть какие-нибудь сроки в решении самой главной проблемы instant - повторяющихся ссылок все больше и больше, они плодятся как мухи. Когда уже будет одна ссылка, а то получается к одной и тойже статьй, блогу можно с разых адресов попасть, тяжело с этим!!!!!!!!!!!!

сроки будут не быстрые по причине того что надо переписать фактически весь механизм формирования ссылок по движкам, разработать класс роута, который будет обрабатывать входящие ссылки, у меня есть готовое на 30% решение, в частности для блогов, но смысла выкладывать не вижу ибо это использовать можно будет до следующего обновления.

maxisoft:

сроки будут не быстрые по причине того что надо переписать фактически весь механизм формирования ссылок по движкам, разработать класс роута, который будет обрабатывать входящие ссылки, у меня есть готовое на 30% решение, в частности для блогов, но смысла выкладывать не вижу ибо это использовать можно будет до следующего обновления.

В этом вся и проблема, что нужно начинать с самого начала. Зачем нужны новшества, когда нет стабильности

Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.

garry:

Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон. 1 Основной урл - нужный в индексе 2 Дубли - все возможные. Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.

опубликуйте пример такого robots, что бы все поняли, как правильно надо его оформлять, преследуя цель исключить индексацию дублирования ссылок

Да, подтверждаю. Сайт тупо вылетел из всех поисковых служб. ХОтя по наличию информации - он должен быть на первом месте...

На сегодняшний день, инстант для серьезных проектов - это ж...

Гадкий:

garry: Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон. 1 Основной урл - нужный в индексе 2 Дубли - все возможные. Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции. опубликуйте пример такого robots, что бы все поняли, как правильно надо его оформлять, преследуя цель исключить индексацию дублирования ссылок

Роботсом дубли не исключить. Их можно исключить только полным исключением модулей - или созданием модулей на одной странице не имеющей id (не привязанной к меню) как тут

beekeeper:

Роботсом дубли не исключить. Их можно исключить только полным исключением модулей

Абсолютное заблуждение, исключить и работает для всех ПС. Это одно из рекомендаций ПС по исключению именно в роботс.
Через некоторое время после начала использования роботс, вы увидите в панели ПС сколько всякой хрени запрещено в роботс, появится новый пункт автоматически. В гугле и Яндексе аналогичные требования на этот чтёт.

В этот топик прошу выложить по такому шаблону

Блоги (исходя из одного блога)
1 Урл для ПС
2 Дубли
Каталог
1
2
И тд по разделам сайта.

Приду с работы сделаю вменяемый шаблон. К сожалению сейчас нет установленной, а точнее нет проекта на котором бы мог посмотреть у себя. Тем что есть не занимался давно и живет он сам по себе.

Ещё вариант скинуть мне ссылки на страцы с дублями в индексе, по разделам сайта. С указанием нужного урла и дублей.

Вот без дублей, так как пока нет у меня полной картины. К вечеру надеюсь накидаете мне по выше написанной схеме. Сделаю с запретом дублей.
если хотите разрешить конкретно что то, добавить в верх:
Allow: /users/admin* # как пример
Будут ещё данные, можно сделать с условиями и тд.

garry:

beekeeper: Роботсом дубли не исключить. Их можно исключить только полным исключением модулей Абсолютное заблуждение, исключить и работает для всех ПС. Это одно из рекомендаций ПС по исключению именно в роботс.

Идея провальная изначально - не дающая НИЧЕГО!!!
Объясняю сразу: невозможно "удалить дублирущие ссылки" по одной простой причине - ссылки генерируются по ID...
Отсюда вывод - все ID - не пропишешь в роботсе... да и не нужно это...

beekeeper, Дайте мне примеры сгенерированных дублей и основной урл, тогда можно говорить о чем то.

Плюс в системе хватает страниц абсолютно не нужных в индексе.
Чем больше дадите информации, тем лучше будет результат. Поверьте при использовании  правильного роботс индексации в разы улучшается. Даже если это будет частично.

Из любой кмс вы ни когда не удалите все дубли и лишние страницы, что то всегда останется. Для этого и дан ПС инструмент.

если трудно вычислить все параметры, то ни когда не мешает вставить на странички сгенеренные по айди
<meta name="robots" content="noindex" />

вот примеры
/content/10/stati/geologija/ostancovyi-lakkolit-osnovnye-momenty.html
/content/40/stati/geologija/ostancovyi-lakkolit-osnovnye-momenty.html

maxisoft, Могли бы Вы расставить на этих страничках, у Вас знания большие по этой системе.
<meta name="robots" content="noindex" />
Я просто не ковырялся в коде и пока не знаю где генерит и условие. А я как приду с работы, сделаю вменяемый общий роботс включая форум. При этих двух доработках будет ГУТ.

Проблему сняли бы всем

Так же гугл ввел новый тег
<link rel="canonical" href="основной урл" /> # Нужна инфа, копирну, на смф публиковал.


Кононизирует основной урл, остальные дубли не индексирует( соответственно PR не распыляет) . Можно и его использовать активно по всему проекту.
В некоторых кмс и форумах он введён уже по дефолту.

maxisoft, garry, будем ждать с нетерпением, я у уж точно :)

lezginka.ru:

будем ждать

Я тож в очередь.