Парсинг данных

1. Общие требования Автоматизированное решение для: Еженедельной выгрузки из ЕФРСБ данных о завершенных банкротствах (ФИО, ИНН, адрес, дата рождения, СНИЛС). Обогащения данных через Осинт (телефоны, ссылки ВК/Telegram). Генерации Excel-отчета с 4 вкладками. 2. Источники данных ЕФРСБ API (ключи от заказчика): Выгрузка данных каждые 7 дней. Обработка пагинации, логирование ошибок. Осинт API (ключи от заказчика): Поиск телефонов, ссылок ВК/Telegram. Соблюдение лимитов запросов, сохранение логов. 3. Отчет в Excel Вкладки: Должники: полные данные из ЕФРСБ. Телефоны: ФИО + номер. ВК: ФИО + ссылка. ТГ: ФИО + ссылка. Требования: Формат .xlsx, уникальное имя с датой (напр., Отчет_Должники_2024-07-01.xlsx). Проверка на дубликаты (по ИНН/ФИО), русские заголовки. 4. Автоматизация Запуск каждые 7 дней. Уведомления: Отправка отчета на email/чат. Оповещения об ошибках (API, данные). 5. Безопасность API-ключи хранятся защищенно. HTTPS для передачи данных. Удаление временных файлов после формирования отчета. 6. Логирование Фиксация этапов: Количество записей из ЕФРСБ. Статистика обогащения (телефоны, ВК, ТГ). Критические ошибки (доступ к API). 7. Тестирование и приемка Этапы: Проверка выгрузки ЕФРСБ. Тестирование интеграции с Осинт. Валидация отчета. Критерии: Корректность данных во вкладках. Рабочее расписание автоматизации.