Исправить python парсер

Работающий парсер в последнее время стал слишком часто выдавать ошибку получения следующей/последней страницы. изначально настроен так чтобы не сохранять промежуточный результат, а только по окончании работы с рубрикой. Нужно исправить слишком частые выдачи ошибки и изменить способ сохранения промежуточных результатов. предоставлю скрипт после первого контакта