Нужно написать парсер.
Что должен уметь делать парсер:
1. По заданным параметрам парсить адреса сайтов которые выдает Яндекс и Гугл по этим запросам https://docs.google.com/spreadsheets/d/1lGkQ2wf1Z8LRW54om8DLEx0OI7ZXS0Tv/edit?usp=sharing&ouid=117687608608221821972&rtpof=true&sd=true
Важна возможность вручную задавать глубину просмотра (сколько позиций выдачи проверяется), а также указать от каких регионов он ищет (для яндекса). На выходе ожидаем от 2 000 адресов сайтов.
2. Уникализировать адреса сайтов (чтобы один и тот же сайт не попадал в выдачу много раз) например отбрасывая все что после .ru или после .com
Пример
https://triadacompany.ru/uslugi/deklaraciya-dvos
и
https://triadacompany.ru/wiki/zona_sanitarnoi_ohrani - это должно быть одним сайтом
На выходе должна формироваться табличка показывающая какой ключ сработал и какой сайт выдало.
Важно!
Итогом работы должен стать именно сам парсер, а не результат его работы (парсинг).
Т.е. вы передаете нам саму программу и демонстрируете результат ее работы!
Программа не должна использовать платные сервисы для своей работы.
В идеале должна работать локально.
В случае остановки работы должна быть опция продолжить работу с того момента где остановилась.
Требования к тесту:
Если в результате работы программа выдала меньше 1500 сайтов значит она скорее всего работает не правильно