Предиктивная аналитика на bigdata

Имеется промышленное оборудование, которое состоит из 5000 датчиков и устройств. Среди них есть контроллеры, которые фиксируют внештатные ситуации (поломка оборудования, выходы датчиков из строя, фиксируют случившиеся аварии и тд).<br><br>Датчики и устройства отправляют данные по очереди. Т.е. данные идут непрерывным потоком примерно от 100 до 1000 сигналов в секунду в зависимости от времени суток, формируя длинный временной ряд. Суточный объем данных временного ряда примерно 1Gb.<br><br>В поток записываются всё, что происходит на оборудовании, в т.ч. аварийные ситуации. Аварийных ситуаций несколько типов. <br><br>В приложении файл с алгоритмом формирования размеченного датасета для обучения модели классификации аварии.<br><br><strong>Необходимо:</strong><br><br>- Посмотреть и понять алгоритм подготовки датасета, который приложен в файле.<br>- Доработать или разработать новый алгоритм<br>- Из потока подготовить датасет для обучения модели