На главную

Парсинг сайтов-каталогов

Доброго времени суток! Цена указана условная, прошу ознакомиться с ТЗ ниже и оценить ваш труд исходя из сложности. Важно - высылайте, пожалуйста, вдумчивые ответы, визитки обычно не "в кассу")) Дано. 8 сайтов каталогов/агрегаторов, данных не более 500-1000 контактов, вероятность пересечения до 90%. Сайты имеют вид либо статичного каталога, либо ленты постов посвященных контрагенту которого мы парсим. Задачи: 1. Совместно выявить графы (категории), которые являются критерием для фильтра на сайте (контакты, котегория и пр ) Нужно согласовать со мной финальный вид шапки и после одобрения, дальнейшие шаги: 2. Объединить те, которые повторяются в двух и более сайтах; 3. Для сайтов со структурой выдачи контрагентов в виде постов.* Сделать итоговые количественные подсчёты какое количество раз сайт который парсим ссылался на внешний ресурс контрагента. (вытекающая задача подсчёт количество отсылок) 4. Для сайтов со структурой выдачи контрагентов в виде постов.* Произвести ранжирование, поднимая в ТОП строку с большим количеством обращений к нему, по убывания; 5. Проверка валидности, если ссылка на офер контрагента битая, нужно проверить работает ли сайт в целом, те вторая валидация проверка работоспособности домена. Итоговый результат нужен в формате Exel