Парсер контента

К сожалению получить демо доступ у автора не получилось. Как то он неохотно отозвался, в итоге не стал делать аккаунт для тестирования. Надеюсь, что кто нибудь уже пробовал его в работе.

Уважаемый letsgo, я вам русским языком трижды сказал что нужно сделать чтоб получить доступ. 1 раз в этой теме и 2 раза в ЛС. Если ваш интерес настолько велик, что вам лень черкнуть 2 слова мне на почту, то не надо валить все на меня. Я не собираюсь создавать аккаунты на подставные почтовые адреса, кидаться паролями в ЛС и совершать прочие глупости. Я не красная барышня и не надо меня уговаривать, надо просто сделать то, о чем я вас попросил и получить то, что вам нужно.

Это только название. Посмотрите что он умеет(парсит всё отовсюду). Демо доступ есть на сайте.

Хороший пример для сравнения, спасибо.

Итак, вот описание граббера, который вы считаете эталоном(в скобках для сравнения буду писать отличия):
1.Граббер умеет грабить c 90% всех существующих DLE сайтов не составляя шаблоны, а так же с любого другого с составлением шаблонов.(90% не предел, думаю что эта цифра будет даже немного выше. Неважно на какой CMS работает сайт, задания составляем для всех сайтов.)
Модуль работает в 3 этапа:
2. Собирает все новости из выбранного канала, если заданы шаблоны идёт по ссылке на полную новость, если нужно авторизируется и собирает данные.(в качестве источника ссылок используется не RSS-канал а любая страница в интернете или даже любой блок страницы, начиная с версии 1.28b настройки cURL вынесены в отдельный файл что позволяет настраивать и авторизацию на сайтах и другие мелочи. Для каждого URL или маски URL можно задать свои парметры cURL.)
3. Пользователь выбирает необходимые ему новости и если нужно изменяет.(Полная аналогия, любые действия со статьей перед публикацией в ручном режиме.)
4. Сохраняет полученные новости в базе при этом если в новостях встречаются картинки то производит действия указанные в настройках т.е. сливает все картинки на сервер и закрепляет за новостью если указано что загружать на сервер в противном случае заливает из на выбранное хранилище изображений. (Сохраняет полученные новости в базе и при необходимости скачивает картинки, все аналогично кроме поддержки хранилищ.)

Все следующие пункты опишу оптом.

Гибкая и детальная настройка позволяет использовать его для любых целей.
*Все картинки можно перезаливать на фотохостинги (канал сервера не используется)
*возможность не удалять определенные теги
*Встроеный синомайзер, вашы сайты не попадут в бан пс за копи-паст (Зато ваши пользователи ужаснутся(шутка))
*Совместимость с многими модулями DLE
*переводчик Google API
*авторизация на сайтах.(описано выше)

Для реализации подобных задач(начиная с версии 1.28с) реализованы функции пре- и постобработки. Функции вынесены в отдельный файл, в котором вы можете решить все необходимые задачи по интеграции с другими компонентами, выполнить любые нужные вам действия непосредственно перед публикацией материала на сайте и сразу же после его публикации. Таким образом может быть реализован пинг поисковых систем, постинг в соц-сети, автоперевод контента и другие функции.)

О парсинге по крону почему-то упоминания в описании нет, но он также присутствует в обоих случаях.

Нет ничего страшного иногда сморозить хрень, и показать свою некомпетентность в вопросе, главное не лезть в бутылку, если тебе показали на пальцах, что ты сморозил хрень. Заодно таким образом сам избавишься от неправильного понимания вопроса и получишь новые знания. Ну хотя, многозначительное молчание тоже вариант, как говорится, отмолчишься за умного сойдешь)

Да я собственно и не претендую на роль умного. Тем более, что сайты стоят для меня далеко не на первом месте. Можете заглянуть в мой профиль посмотреть какое место занимает PHP в кругу моих интересов. У меня всего пара сайтов на первой ветке Инстанта и того функционала что есть в первой ветке мне для них хватило. Так что причин для общения не было просто.

Я переосмыслил эту ситуацию и пришел к такому выводу, что dwd делает то, что ему нравится — разрабатывает!

AndroS, вы абсолютно правы. Я люблю тихо сидеть и кодить. И не люблю когда меня отвлекают от этого нудного для многих занятия.))))

В чём я не прав? В том, что не надо фальсифицировать и искусственно завышать показатели ради "правильных целей"? Есть система, я предлагаю её не дурить.

Тут я абсолютно согласен. Коль правила существуют их нужно соблюдать. Я не рвусь к известности в сообществе, не нужна мне реклама того, что я делаю. В каталоге дополнений компонент есть, кому нужен найдут и купят. Единственный плюс который дает блог это возможность ответить на вопросы сообщества.

Я не знаком с автором, но судя по скриншотам, компонент понравился, я сам много времени потерял, когда искал возможность добавление контента по крону, а у автора еще много крутых опции реализованы и я удивился, что новый разработчик так хорошо разобрался в двойке. Если там не изменены системные файлы, то и обновления можно не потребоваться...

В двойке, если так можно выразиться, появилась культура программирования. Все разложено по полочкам, все структурировано. Разработчикам за это огромный респект. Писать под двойку стало легко и приятно. Так что за "еще много крутых опции реализованы" это скорее не мне а им спасибо. По поводу компонента — компонент полностью автономен — свои таблицы в БД, своя модель, свои методы и т.д. Изменений в коде системы нет, не затронут ни один системный файл. Из ядра использованы только базовые функции работы с БД и класс Uploader для загрузки изображений.

Категорически, правила.

dwd, парсер достойный, за документацию по нему вообще огромный респект. Главное, чтобы не пропали потом.

p.s. тема почищена от флуда и воды.

dwd, парсер достойный, за документацию по нему вообще огромный респект. Главное, чтобы не пропали потом.

Спасибо, Fuze, пропадать я уж точно не собираюсь. Наоборот со временем выложу еще дополнений. Сейчас категорически не хватает времени довести до ума все накопившиеся разработки. Много чего имеется что отдал бы бесплатно, но поскольку писалось большинство для себя, то нужно доводить до ума перед тем как делиться с сообществом — собирать инсталляторы и т.д.

Таким же образом и фотогалереи парсить можно, но речь насколько я понимаю шла о полноценных фотоальбомах, где каждая картинка — отдельный объект.

Речь идет о парсинге статей со вставками галерей! Например таких статей ПРИМЕР

Речь идет о парсинге статей со вставками галерей! Например таких статей ПРИМЕР

На странице вашего примера наблюдается некоторый хаос оформления, но в целом идея понятна. Результатом парсинга данной страницы будет точно такая же страница за одним маленьким исключением — оригиналы изображений не будут загружены на сервер, а будут открываться с сайта-источника. На сервер будут загружены только миниатюры изображений, расположенные в теле статьи…

На странице вашего примера наблюдается некоторый хаос оформления, но в целом идея понятна. Результатом парсинга данной страницы будет точно такая же страница за одним маленьким исключением — оригиналы изображений не будут загружены на сервер, а будут открываться с сайта-источника. На сервер будут загружены только миниатюры изображений, расположенные в теле статьи..

Если изображения не будут в слайдере, тогда статья будет выглядеть как гроздь винограда, где вместо виноградин буду миниатюры… Для справки в одной такой статье могут размещаться от 50 до 150 фотографий… не часто но бывают! Как вы себе представляете статью с таким количеством миниатюр? Или я что не так понял?
Если не сложно, можно скрин подобной статьи?

Если изображения не будут в слайдере, тогда статья будет выглядеть как гроздь винограда, где вместо виноградин буду миниатюры… Для справки в одной такой статье могут размещаться от 50 до 150 фотографий… не часто но бывают! Как вы себе представляете статью с таким количеством миниатюр? Или я что не так понял?
Если не сложно, можно скрин подобной статьи?

Вот приведенная вами в качестве примера страница. Вот вам ее скриншот:


В результате парсинга вы получите точно такую же страницу с точно такими же картинками и их расположением( плюс минус небольшая разница в CSS-оформлении вашего сайта и сайта-источника, хотя и это тоже решается при необходимости). И не будет никаких гроздей.

Вот приведенная вами в качестве примера страница. Вот вам ее скриншот:

Жуть! Если в слайдере было 50 фоток, то они все выстоятся друг за другом! Это сразу убить статью! Кто ее будет читать?
Слайдер намного удобнее, компактнее размещены фото и статья выглядит намного выгоднее..

Ни один парсер не парсит галереи из слайдера в слайдер! И что делать если основные источники в своем большинстве используют слайдеры? Речь идет об Инстант 2, в котором каждый сладер это поле, в которое грузятся фотографии! Неужели трудно брать изображение из одного слайдера и грузить в поле другого?

Жуть! Если в слайдере было 50 фоток, то они все выстоятся друг за другом! Это сразу убить статью! Кто ее будет читать?
Слайдер намного удобнее, компактнее размещены фото и статья выглядит намного выгоднее..

vikont, я не понимаю, что вы хотите от меня услышать? Вы получаете точную копию страницы-источника. Парсите жуть — получаете жуть, парсите конфетку — получаете конфетку. А насчет слайдеров — думаю вы человек мало знакомый с понятиями CSS и Javascript. Я бы советовал вам с ними познакомиться, поскольку любой слайдер это то, что вы называете жутью. Именно CSS и Javascript(JQuery) делают из этой жути слайдер.

Вы получаете точную копию страницы-источника

На странице источнике изображения в слайдере, вот и хочется получить копию со слайдером.
Понятно, что сам слайдер источника не перенесешь, но надо чтобы изображения в копии тоже были в слайдере, в своем, но слайдере.

А насчет слайдеров — думаю вы человек мало знакомый с понятиями CSS и Javascript.

Верно, не знаком и программировать не умею. Поэтому покупаю нужные дополнения у программистов, иначе сам бы писал программы.

Я бы советовал вам с ними познакомиться, поскольку любой слайдер это то, что вы называете жутью. Именно CSS и Javascript(JQuery) делают из этой жути слайдер.

Думаю мне знакомиться программированием поздновато
Возможно я чего то недопонимаю, но есть 2 факта:
1. Скрипт слайдера на сайте есть и все изображения грузятся в поле
2. Вы грузить изображения в поле умеете, что тогда мешает это делать парсером? Указываешь поле в настройках и грузишь как и все остальные в поле только свое.

2. Вы грузить изображения в поле умеете, что тогда мешает это делать парсером? Указываешь поле в настройках и грузишь как и все остальные в поле только свое.

Если у вас есть примеры таких сайтов скиньте мне в ЛС пожалуйста парочку. Как появится минутка сделаю обработчик для подобного рода задач. Поле с типом "Набор изображений" вы имеете в виду? Я вас правильно понял?

Если у вас есть примеры таких сайтов скиньте мне в ЛС пожалуйста парочку. Как появится минутка сделаю обработчик для подобного рода задач. Поле с типом "Набор изображений" вы имеете в виду? Я вас правильно понял?

Видимо да! Сейчас напишу в личку.

Очень классный компонент! давно такой искал, все работает как часики)тех поддержка очень быстрая это радует