Чтобы получить рабочую ссылку для парсинга товаров вроде курток (jacket) или ламп, недостаточно скопировать адрес из браузерной строки — нужно проверить, содержит ли URL параметры категории, фильтров и пагинации, иначе парсер соберёт неполные или дублирующиеся данные. Базовая проверка проста: откройте страницу каталога, примените нужный фильтр (например, «куртки» → раздел одежды или «лампы» → освещение) и посмотрите, как изменился адрес. Именно этот изменённый URL и будет отправной точкой для сбора данных.
Типичная ошибка новичков — парсить главную страницу категории без учёта того, что товары подгружаются динамически через JavaScript. В таком случае по прямой ссылке сервер отдаёт пустой каркас страницы, а реальные данные приходят отдельным запросом к внутреннему API. Ниже разберём, как правильно сформировать ссылку, проверить её пригодность и автоматизировать обход страниц.
Что такое ссылка для парсинга и чем она отличается от обычного URL
Ссылка для парсинга — это URL, который программа-сборщик запрашивает напрямую, минуя браузер. От обычной адресной строки она может отличаться тем, что ведёт не на HTML-страницу, а на API-эндпоинт, возвращающий данные в формате JSON. Такой формат удобнее: не нужно извлекать текст из вёрстки, структура данных уже готова.
Для товарных категорий вроде курток или ламп ссылка обычно содержит идентификатор категории, параметры сортировки и номер страницы. Например, условная структура может выглядеть так: /catalog?category=jackets&page=2&sort=price. Конкретный вид зависит от платформы — у каждого маркетплейса собственная схема адресов, и её нужно выяснять индивидуально через инструменты разработчика в браузере.
⚠️ Внимание: автоматический сбор данных с сайтов может нарушать условия использования площадки. Перед парсингом проверьте файл robots.txt и пользовательское соглашение конкретного ресурса, а также ограничьте частоту запросов, чтобы не создавать нагрузку на сервер.
Как найти правильный URL категории товара
Начните с ручной навигации: зайдите в каталог маркетплейса, откройте раздел с куртками или лампами и примените нужные фильтры — бренд, ценовой диапазон, наличие. Каждое действие меняет адрес страницы, и эти изменения подсказывают, какие параметры отвечают за фильтрацию.
Дальше откройте инструменты разработчика (клавиша F12 в большинстве браузеров) и перейдите на вкладку Network. Обновите страницу и изучите список запросов. Ищите запросы типа fetch или XHR, которые возвращают JSON со списком товаров — это и есть целевая ссылка для парсинга.
- 🔍 Отфильтруйте запросы по типу Fetch/XHR, чтобы убрать картинки и стили
- 📦 Ищите ответы со структурой, где видны названия товаров, цены и артикулы
- 🔗 Скопируйте URL запроса через правый клик → Copy → Copy as cURL для анализа
- 🧪 Проверьте ссылку в новой вкладке: если открывается JSON или данные — она подходит
Пагинация: как собрать все страницы каталога
Категория «куртки» или «лампы» может содержать сотни товаров, разбитых на десятки страниц. Парсить нужно все, иначе выборка будет неполной. Посмотрите, как меняется URL при переходе на вторую и третью страницу: обычно появляется параметр вида page=2, offset=40 или cursor=....
Два основных типа пагинации: номерная (page=1, 2, 3...) и смещение (offset увеличивается на размер страницы). Встречается и курсорная пагинация, где следующий указатель приходит в ответе сервера — тогда цикл строится на чтении этого поля из каждого ответа.