[РЕШЕНО] Вопрос дня - одинаковые ссылки

  
МедальКубок зрительских симпатий
Сообщений: 201
Есть какие-нибудь сроки в решении самой главной проблемы instant - повторяющихся ссылок все больше и больше, они плодятся как мухи. Когда уже будет одна ссылка, а то получается к одной и тойже статьй, блогу можно с разых адресов попасть, тяжело с этим!!!!!!!!!!!!
Сообщений: 0
сроки будут не быстрые по причине того что надо переписать фактически весь механизм формирования ссылок по движкам, разработать класс роута, который будет обрабатывать входящие ссылки, у меня есть готовое на 30% решение, в частности для блогов, но смысла выкладывать не вижу ибо это использовать можно будет до следующего обновления.
МедальКубок зрительских симпатий
Сообщений: 201
maxisoft:

сроки будут не быстрые по причине того что надо переписать фактически весь механизм формирования ссылок по движкам, разработать класс роута, который будет обрабатывать входящие ссылки, у меня есть готовое на 30% решение, в частности для блогов, но смысла выкладывать не вижу ибо это использовать можно будет до следующего обновления.

В этом вся и проблема, что нужно начинать с самого начала. Зачем нужны новшества, когда нет стабильности
Медаль
Сообщений: 247
Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.
МедальАвторитет форума
Сообщений: 1616
garry:

Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.
опубликуйте пример такого robots, что бы все поняли, как правильно надо его оформлять, преследуя цель исключить индексацию дублирования ссылок
Ну типа продвигаю сайты, по немногу и не напрягаясь. smile
Сообщений: 0
Да, подтверждаю. Сайт тупо вылетел из всех поисковых служб. ХОтя по наличию информации - он должен быть на первом месте...

На сегодняшний день, инстант для серьезных проектов - это ж...
Сообщений: 0
Гадкий:

garry:

Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.
опубликуйте пример такого robots, что бы все поняли, как правильно надо его оформлять, преследуя цель исключить индексацию дублирования ссылок

Роботсом дубли не исключить. Их можно исключить только полным исключением модулей - или созданием модулей на одной странице не имеющей id (не привязанной к меню) как тут
Медаль
Сообщений: 247
beekeeper:
Роботсом дубли не исключить. Их можно исключить только полным исключением модулей
Абсолютное заблуждение, исключить и работает для всех ПС. Это одно из рекомендаций ПС по исключению именно в роботс.
Через некоторое время после начала использования роботс, вы увидите в панели ПС сколько всякой хрени запрещено в роботс, появится новый пункт автоматически. В гугле и Яндексе аналогичные требования на этот чтёт.

В этот топик прошу выложить по такому шаблону

Блоги (исходя из одного блога)
1 Урл для ПС
2 Дубли
Каталог
1
2
И тд по разделам сайта.

Приду с работы сделаю вменяемый шаблон. К сожалению сейчас нет установленной, а точнее нет проекта на котором бы мог посмотреть у себя. Тем что есть не занимался давно и живет он сам по себе.

Ещё вариант скинуть мне ссылки на страцы с дублями в индексе, по разделам сайта. С указанием нужного урла и дублей.
Редактировалось: 2 раз (Последний: 9 февраля 2010 в 12:26)
Медаль
Сообщений: 247
Вот без дублей, так как пока нет у меня полной картины. К вечеру надеюсь накидаете мне по выше написанной схеме. Сделаю с запретом дублей.
Код PHP:
User-Agent: *
Disallow: /blogs/0/* # из присланных примеров, удаляет дубли блогов.
Disallow: /admin/
Disallow: /backups/
Disallow: /modules/
Disallow: /core/
Disallow: /templates/
Disallow: /wysiwyg/
Disallow: /view-registration/
Disallow: /view-users/
Disallow: /users/
Disallow: /backups/
Disallow: /upload/
Disallow: /catalog/ # как пример запрещения раздела
Disallow: /search/  # Больше теги не приносят пользы, во многих случаях вред. По желанию конечно.
Disallow: /go/ # редирект, либо ваш вариант. Иначе боты переходят и смысл теряем.
Host: ваше главное зеркало

User-agent: Slurp
Crawl-delay: 100
если хотите разрешить конкретно что то, добавить в верх:
Allow: /users/admin* # как пример
Будут ещё данные, можно сделать с условиями и тд.
Редактировалось: 4 раз (Последний: 9 февраля 2010 в 14:55)
Сообщений: 0
garry:

beekeeper:
Роботсом дубли не исключить. Их можно исключить только полным исключением модулей
Абсолютное заблуждение, исключить и работает для всех ПС. Это одно из рекомендаций ПС по исключению именно в роботс.

Идея провальная изначально - не дающая НИЧЕГО!!!
Объясняю сразу: невозможно "удалить дублирущие ссылки" по одной простой причине - ссылки генерируются по ID...
Отсюда вывод - все ID - не пропишешь в роботсе... да и не нужно это...
Медаль
Сообщений: 247
beekeeper, Дайте мне примеры сгенерированных дублей и основной урл, тогда можно говорить о чем то.

Плюс в системе хватает страниц абсолютно не нужных в индексе.
Чем больше дадите информации, тем лучше будет результат. Поверьте при использовании правильного роботс индексации в разы улучшается. Даже если это будет частично.

Из любой кмс вы ни когда не удалите все дубли и лишние страницы, что то всегда останется. Для этого и дан ПС инструмент.

если трудно вычислить все параметры, то ни когда не мешает вставить на странички сгенеренные по айди
<meta name="robots" content="noindex" />
Редактировалось: 3 раз (Последний: 9 февраля 2010 в 16:13)
Сообщений: 0
вот примеры
/content/10/stati/geologija/ostancovyi-lakkolit-osnovnye-momenty.html
/content/40/stati/geologija/ostancovyi-lakkolit-osnovnye-momenty.html
Медаль
Сообщений: 247
maxisoft, Могли бы Вы расставить на этих страничках, у Вас знания большие по этой системе.
<meta name="robots" content="noindex" />
Я просто не ковырялся в коде и пока не знаю где генерит и условие. А я как приду с работы, сделаю вменяемый общий роботс включая форум. При этих двух доработках будет ГУТ.

Проблему сняли бы всем smile

Так же гугл ввел новый тег
<link rel="canonical" href="основной урл" /> # Нужна инфа, копирну, на смф публиковал.


Кононизирует основной урл, остальные дубли не индексирует( соответственно PR не распыляет) . Можно и его использовать активно по всему проекту.
В некоторых кмс и форумах он введён уже по дефолту.
Редактировалось: 7 раз (Последний: 9 февраля 2010 в 16:55)
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 2169
maxisoft, garry, будем ждать с нетерпением, я у уж точно :)
Титаник строили профессионалы, Ноев ковчег – дилетант. http://blagonravie.ru
Сообщений: 0
lezginka.ru:
будем ждать
Я тож в очередь.
В начало страницы 
|
Перейти на форум: