Здравствуйте, нужно написать оч мощный парсер (многопточный), который возьмёт все доменные имена в зоне ru и пройдётся по ним с поиском есть ли у этого сайта АПИ документация.
К примеру есть сайт
dadata.ru - у них на главной есть ссылка на API документацию.
smsgorod.ru - так же есть API слово в футоре.
hh.ru,
sape.ru/glossary/ - тут к примеру на вторестепенной (второго уровня) - есть про апи, а на главной нет.
Подумать как обходить.
Цель нужно найти все сайты рунета у которых есть АПИ.