FlowCrawler: новые видео

Привет, друзья.
В эфире ТВ для гиков и сразу несколько новых серий захватывающего сериала "Укротители вэба".

Для случайно заглянувших:
В данный момент я занимаюсь разработкой программы FlowCrawler, которая представляет из себя конструктор ботов для автоматического парсинга и постинга данных в Интернет. Официальный сайт программы: flowcrawler.com. На данный момент программа находится в раннем доступе, её можно купить с огромной скидкой и уже пользоваться. Все подробности по ссылке.
Предыдущее обсуждение: Премьера FlowCrawler от R2

Для тех, кто уже купил программу:
Сегодня стала доступна версия 0.0.2, загрузить её можно в личном кабинете. На видео показана именно она. Для обновления просто удалите текущую версию (через Панель управления Windows) и установите заново. Все настройки (включая активацию) должны остаться на месте. Некоторые проекты от предыдущей версии могут быть не полностью совместимы с новой (это нормально для дорелизных версий).

Рекурсивный парсинг категорий

В этом видео показано как парсить сайты с древовидной структурой. FlowCrawler позволяет легко проходить по всем категориям и подкатегориям рекурсивно. Показано на примере сайтов: avito.ru и dns-shop.ru

Парсинг бесконечной загрузки

На примере сайта twitter.com показано как легко парсить ленты, подгружающие новые записи при достижении нижней границы

Парсинг 2GIS

Видео разбирает алгоритм сбора данных с AJAX-сайтов, на примере 2gis.ru

Несколько вопросов

— Есть ли импорт — экспорт правил парсинга?
— Авито пробовали ли брать телефоны?
— Как импортировать данные в Instantcms, например объявлений с картинками?
— Есть ли логика "собирает данные и автоматом отправляет публиковать на сайте"?

Спасибо за ответы.

В эфире ТВ для гиков и сразу несколько новых серий захватывающего сериала "Укротители вэба".

Сильно!

А, решение задач по теме, рассмотренной (для примера) в третьем видео – точно на Нобелевскую тянет!

Просто, Праздник к нам приходит!

Спасибо за видео и за ПО.

— Есть ли импорт — экспорт правил парсинга?
— Авито пробовали ли брать телефоны?
— Как импортировать данные в Instantcms, например объявлений с картинками?
— Есть ли логика "собирает данные и автоматом отправляет публиковать на сайте"?

1) Есть возможность сохранять и загружать проекты, как в любом другом ПО. Если вы об этом.
2) На Авито телефон это картинка. Сохранить картинку нет проблем уже сейчас. С распознаванием сложнее, но этой темой я тоже буду заниматься. Будет интеграция с каптча-солвинг сервисами. Для простейших случаев, таких как Авито, возможно получится сделать встроенное распознавание.
3) FlowCrawler умеет заполнять формы (очень скоро и с файлами). Другой вариант — классический импорт из CSV.
4) В пределах одного проекта можно и парсить и постить.

Как насчет выполнения по условию? Например: я делаю какое-то действие на сайте, и вылетает например капча, где нужно поставить галочку, что я человек. По логике, если окно появилось, выполняет это действие, если нет, то идем дальше.

1) Есть возможность сохранять и загружать проекты, как в любом другом ПО. Если вы об этом.

Есть ли возможность поделиться проектом с тем, кто не может сделать. Обычно такие инструменты не все могут освоить и ищут, кто им сделает. Это имел в виду. Так понял, что это без проблем.

4) В пределах одного проекта можно и парсить и постить.

Например надо постить на 10 сайтов с 30 сайтов, это 30 проектов или 10, возможно ли их запустить одновременно?

На примере твиттера: удаление происходит по какому признаку, сравнивает текст или считает? Скажем, если запустил проект, все спарсили, завтра появляется новые анекдоты, запускаем парсер, будет парсить заново все или до тех пор, пока не дойдет до места, где уже было спарсено?

letsgo, 1) Да, там есть кнопка сохранить проект.
4) На сколько помню был ответ ранее, что можно запускать несколько раз программу, тем самым работать несколько проектов одновременно, но полагаю, нужны мощности хорошие)

4) На сколько помню был ответ ранее, что можно запускать несколько раз программу, тем самым работать несколько проектов одновременно, но полагаю, нужны мощности хорошие)

Немного не так! будет программа Планировщик и он будет работать с кучей Проектов.
Поскольку сайты-источники разные, то не получится сделать единый проект на импорт со всех сайтов-источников. Поэтому проще сделать 20 проектов с 20 сайтов-источников на 10 сайтов-приемников.
Не знаю как в новой версии, но первая версия не позволяла напрямик мпортировать данные с одного сайта на другой. Не понимала выборку видео и фотогалерей.

А тогда можно заведомо, помимо видео выкладывать сразу демо проект? То про что говорил именно letsgo

Например надо постить на 10 сайтов с 30 сайтов, это 30 проектов или 10, возможно ли их запустить одновременно?

Если я правильно понял, можно и так и эдак. Т.е. можно и все сделать и в рамках одного громоздкого проекта и можно разбить на несколько отдельных которые запустить одновременно.

Да, тоже думаю что можно и так и так, вопрос только в ресурсах и удобстве, как лучше. То ли 10 проектов, каждый из которых будет обходить 30 сайтов, то ли 30 проектов рабочих, которые грузят в 10 сайтов))

Парсинг 2GIS

Видео разбирает алгоритм сбора данных с AJAX-сайтов, на примере 2gis.ru

r2, не нашел самую изюминку в вашем видео уроке — как спарсить координаты объекта на карте?

Авакадо, координаты можно вырезать из url объекта через регулярные выражения.
https ://2gis.ru/......queryState=center%2F113.493139%2C52.052441%2Fzoom%2F17

Pocus, FlowCrawler это может делать в задании?