На главную

Настроить парсеры на Python (Apache Kafka + ClickHouse)

Есть несколько парсеров на Python. 3 самописных и 3 с rapidapi.com (по сути тоже готовые). Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse. Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно. От исполнителя ожидаем: 1. Понимание и опыт работы с Apache Kafka и ClickHouse 2. Знания по настройке этих систем 3. Хорошие знания в Python 4. Свободное время для выполнения заказа Подробное ТЗ по каждому парсеру пришлю исполнителю. Потом нужно будет написать на FastApi API для работы с фронтом. Если сработаемся и будет желание, отдам этот проект вам.