Написать crawler на Python

<p>Описание задачи: Разработка веб-краулера на Python Цель: Создать веб-краулер (web crawler) на языке Python для автоматизированного сбора данных с веб-страниц. Краулер должен эффективно обходить заданные сайты, извлекать структурированную информацию и сохранять её в удобном формате для дальнейшей обработки. Основные задачи: Обход веб-страниц: Реализовать функционал для отправки HTTP-запросов и получения HTML-контента. Обеспечить поддержку работы с динамическими сайтами, используя библиотеки, такие как requests, BeautifulSoup, Selenium или Scrapy. Извлечение данных: Спарсить необходимые данные (текст, изображения, ссылки, метаданные и т.д.). Обеспечить корректную обработку разных форматов контента (HTML, JSON, XML). Обработка и хранение данных: Сохранение собранных данных в структурированном виде (например, CSV, JSON или базу данных). Реализация логирования для отслеживания статуса выполнения и обработки ошибок. Ограничение и оптимизация: Учет robots.txt и правил этичного парсинга. Настройка ограничения частоты запросов для предотвращения блокировок. Реализация функциональности для обхода пагинации. Требования: Опыт работы с Python и библиотеками для веб-скрапинга. Знание принципов работы с HTTP-протоколом и REST API. Понимание основ работы с регулярными выражениями и XPath/CSS-селекторами.</p>