Задача создать парсер новостных rss лент, в том числе rss открытых телеграмм каналов, который формирует из суточного объема данных топ новостей, с проверкой их на дубликаты/"похожесть" (с настраиваемым процентом) и автоматический их постинг в целевой телеграмм канал.
Все новости должны быть доступны через telegraph телеграмма и выводится в виде:
Заголовок новости
Дата публикации в источнике
Краткое содержание (до 500 символов)
Ссылка на telegraph с новостью
С rss лент телеграмм каналов должно выводиться только сам пост и все медиа из источника, с датой и временем публикации в источнике и ссылкой на пост в источнике.
Далее, исходя из данных за неделю/месяц/год и так далее программа должна выдавать подробный анализ и прогнозирование по тематикам, которые она формирует самостоятельно, исходя из обрабатываемых данных.
Например, анализ политической ситуации, должен быть рассмотрен в контексте новостных сводок за прошедшую неделю и программа должна выдать подробный прогноз, что может произойти и на что это может повлиять.
У программы должна быть возможность обрабатывать большое количество rss лент (более 500) и обладать отказоустойчивостью, обходить flood wait и т.п.
Программа должна работать с русским, английским, китайским, ивритом, арабской вязью и интерпретировать их в итоге на русском.
Если в принципе, интересна задача, могу предоставить подробное техническое задание.