Собрать базу данных учителей с сайтов школ

Обработать открытые данные - сайты школ и образовательных заведений, с выгрузкой данных учителей-предметников. Формат данных по колонкам (с примером): - Номер название школы - Регион - Занимаемая должность (должности) - Преподаваемые дисциплины - e-mail Необходимо почистить базу от возможных дублей. Проверка будет проводиться случайно выборкой - проверять по именам емейлам. Проект долгосрочный (школ в стране много, нам нужно постепенно обработать все). Предполагается, что базы будем принимать частями сперва по 10 000 строк, после тестового периода, если данные будут валидными, можем увеличить разовый объем до 100 000 строк.