Спарсить инфу и собрать эксель из 5 граф

Необходимо спарсить данные и разнести их по экселю исключая дубли согласно условию определения дублей. Просмотреть нужно будет 500 000 страниц.