Парсинг Авито и сбор объявлений под задачу
Объявления по вашим параметрам собираются в таблицу: цена, описание, характеристики, ссылка. Дальше можно ловить только новые и следить, что меняется у собранных.
Что собирается из объявления
- Заголовок
- Цена
- Описание
- Характеристики карточки
- Адрес и район
- Дата публикации
- Тип продавца
- Ссылка
- Фотографии
Как отбираются нужные
- По категории и подкатегории.
- По региону, городу или району.
- По диапазону цены.
- По словам в заголовке или описании.
- По типу продавца: частное лицо или компания.
- По дате публикации.
Только новые объявления
Инструмент помнит, что уже собрано, и при следующем запуске отдаёт только появившееся с прошлого раза.
Это избавляет от главной рутины: не нужно выгружать весь список заново и глазами искать в нём новое.
Что меняется у собранных
Кроме новых объявлений можно следить за судьбой уже найденных: изменилась цена, объявление сняли, переписали описание.
В выгрузку попадает и сам факт изменения, и прежнее значение — видно не только текущее состояние, но и что произошло.
Куда попадает результат
- Excel
- Google Таблицы
- CSV
- Сообщение в Telegram
- Запись в базу
Зачем это обычно нужно
- Понять, по каким ценам продают то же, что продаёте вы.
- Оценить объём предложения в категории и регионе.
- Ловить подходящие объявления сразу после публикации, а не через день.
- Собрать срез рынка перед тем, как ставить свою цену.
Ограничения, о которых стоит знать заранее
Площадка ограничивает автоматический сбор и меняет защиту без предупреждения. Отсюда два следствия. Инструмент требует поддержки: то, что работает сегодня, может перестать работать через месяц. И объём со скоростью не безграничны — аккуратный сбор идёт медленнее агрессивного, зато живёт дольше.
Собираю только то, что площадка показывает обычному посетителю. Обход защиты и работа с закрытыми данными — не ко мне. Допустимость конкретного сценария обсуждаем до начала работы, и если задача выглядит спорной, я скажу об этом сразу.
Как идёт работа
Начинаем с того, какие объявления вам нужны и что вы будете с ними делать. Набор полей и фильтров следует отсюда, а не наоборот.
Собираю инструмент, проверяю на живой выдаче и показываю первую выгрузку. На ней обычно и выясняется, что часть полей лишняя, а какого-то не хватает.
Настраиваю расписание, выгрузку и передаю исходники с доступами.
Сколько это стоит
- Парсер каталога или ценот 15 000 ₽
Сбор цен, остатков и характеристик с сайтов конкурентов или поставщиков. Регулярная выгрузка в Excel или Google Таблицы.
Срок: 2-4 дня
Точную сумму называю после того, как посмотрю на источники и объём. Она фиксируется в смете до начала работы.
Вопросы
Соседние задачи
Авито — одна из площадок, с которых можно собирать данные. Если нужны другие источники или сведение нескольких в один отчёт, это уже задача направления целиком.
Расскажите, какие объявления нужны
Категория, регион, фильтры и что вы будете делать с результатом. По этому уже можно оценить работу.