На главную

C# или Node.js парсер для каталога товаров

Требуется консольное приложение на C# .NET для парсинга данных о товарах с категорийных страниц e-commerce сайта. Приложение должно принимать URL категорий в качестве входных данных и извлекать ключевую информацию о товарах (прямо с каталожных страниц, без перехода на страницы товаров), включая: Бренд Категорию Цену Доступные размеры Ссылку на товар Рейтинг Количество отзывов Ссылки на изображения Сохранение: в CSV-файл. Объем: 100k - 1 млн товаров (суммарно по всем ссылкам). Особенности: Использование прокси с ротацией. Настройка прокси через appsettings.json. Каждому прокси должен соответствовать свой файл cookies. Кеширование запросов в файлы (ключ кеша – текущий URL). Вопрос пагинации: возможно, URL следующей страницы можно сгенерировать, исходя из количества товаров на странице и общего числа страниц. Если у вас есть опыт в веб-скрапинге на C# или Node.js и вы можете реализовать это эффективно, отправьте заявку! Укажите в отклике примеры ваших проектов по веб-скрапингу.