Парсер сайта + скрипт обработки данных

С сайта, на котором 1 млн страниц, но он особо не защищен от парсинга, нужно собрать текстовые данные. Соответственно, получится 1 млн строк. Далее нужно будет написать...