Написать crawler на Python

<p>Требуется разработать эффективный веб-краулер на Python для автоматизированного сбора данных с веб-сайтов. Основные задачи включают: Парсинг HTML-страниц с использованием библиотек (например, BeautifulSoup, Scrapy или lxml). Поддержка работы с динамическим контентом (AJAX, JavaScript) через Selenium или Playwright. Обработка пагинации, фильтрация и извлечение необходимых данных (текста, ссылок, изображений). Реализация механизмов управления скоростью запросов (rate limiting) и соблюдение правил robots.txt. Сохранение данных в формате JSON, CSV или базу данных (например, SQLite, PostgreSQL). Обработка ошибок и логирование для мониторинга процесса сканирования. Необходимо учитывать устойчивость к сбоям, оптимизацию скорости работы и возможность масштабирования краулера для обработки больших объемов данных.</p>