Разработки интеллектуальной поисковой системы (Бюджет: 1500 ₽/час, для всех)

1. Разработка шаблона данных для сайта: o Определить, какие типы данных будут собираться (текст, изображения, видео, аудио). o Создать структуру данных для хранения контента, ключевых метаданных, ссылок и других необходимых элементов. o Продумать шаблоны для парсинга каждой категории данных и установить правила, которые будут использоваться для различных сайтов. 2. Создание веб-сканера: o Использовать библиотеки для обхода сайтов (например, Scrapy, BeautifulSoup + requests). o Настроить систему для регулярного сбора данных, например, раз в сутки. o Следовать правилам, указанным в robots.txt на каждом сайте, чтобы избежать блокировок. o Реализовать сохранение скачанного контента в локальной базе для последующего анализа.