Цены на парсинг в России изменчивы. Вот причины:
- Появляются новые сервисы и программы, которые скорее упрощают процесс парсинга, чем снижают на него цену. Сегодня парсить могут не только разработчики, которые знают языки программирования, но и те, кто разобрался в интерфейсе сервиса или программы для парсинга
- Компании и фрилансеры выставляют цены на парсинг субъективно, поэтому за одну и ту же задачу разница в цене может быть в 2-3 раза
Статьи о том, сколько стоит парсинг есть в интернете, но большинство устарели, и цены в них сильно отличаются от реальных. Из-за чего мы решили провести свое исследование.
Для начала разберем, из чего состоит стоимость парсинга. Ее можно разложить на две составляющие:
- Технических условий парсинга. Количество записей и сайтов-источников, защищенность веб-сайта, сроки и т.п.
- Как вы делаете парсинг. Сделать его можно самостоятельно или заказать. Всего есть 4 варианта:
- Самостоятельно парсить через облачные сервисы. Сервисы — это SaaS(c англ. software as a service) решения, где все вычисления, в нашем случае парсинг, происходят на серверах сервиса и его функционале. Вы же платите за подписку и всем этим пользуетесь в облаке.
- Самостоятельно парсить через программы. Устанавливаете на компьютер и пользуетесь возможностями программы.
- Заказать у фрилансера. Обсуждаете задачу с отдельным человеком, и он парсит то, что вам нужно. Найти их можно по-разному: биржи, telegram-чаты, группы в соц. сетях и т.д.
- Заказать у студии и команды парсинга. Схема работы такая же. Разница в том, что команды, как правило, быстрее выполняют парсинг и реже пропадают из вашего поля зрения. К командам относимся и мы — io.
Чтобы сравнить цены на рынке парсинга, мы возьмем типовую задачу: спарсить средний интернет-магазин рыболовной приманки prikormka.com. Поля: наименование, цена, наличие, артикул, все характеристики с разбивкой по столбцам, описание текстом html, картинки, скачанные в архив (в таблице оставить на них ссылки).
Мы спарсим prikormka. com за 2500₽ в течение 2 дней. Теперь посмотрим, сколько нужно заплатить сервисам или программам, чтобы выполнить эту задачу самостоятельно, как оценивают её другие команды и фрилансеры.
Самостоятельный парсинг
Самостоятельно парсить можно и бесплатно, но для этого нужны достаточные знания языков программирования, таких как Python и JavaScript. Тогда вы сможете написать свой парсер, использовать бесплатные инструменты для парсинга или триал версии платных сервисов и программ.
Если вы решитесь парсить сайт самостоятельно, то все же присмотритесь к платным инструментам. Гайдов, как написать свой парсер с нуля, достаточно в интернете, но профессионалы обычно так не делают. Им выгоднее отдать часть прибыли платным инструментам, чтобы упростить настройку парсера и сэкономить время на еще один заказ.
Большинство сервисов и программ для парсинга заточены под узкие задачи, например, Screaming Frog SEO Spider специализируется на работе с SEO данными. Однако есть и такие, которые позволяют парсить данные с любого сайта, как ScrapingBee.
Посмотрим, сколько нужно заплатить трем популярным сервисам и программам, чтобы выполнить адекватный парсинг prikormka. com. Начнем с сервисов:
Облачные сервисы для парсинга
Octoparse
Использует визуальное программирование парсера. Вам не нужно знать языки программирования, но разобраться с интерфейсом придется. Впрочем, есть множество статей, объясняющих, как пользоваться сервисом (в том числе на русском).
Бесплатная версия доступна на 14 дней. Она медленнее платной в 10 раз и имеет ограничение в 10.000 записей на экспорт.
Цена подписки: от 75 долларов в месяц.
ParseHub
Расширение для браузера, которое собирает данные любого веб-сайта. Не требует знаний языков программирования, но доступен только английский язык. Действует аналогично парсеру яндекса: собирает все интерактивы, использованные веб-обозревателем.
Веб-источники, которые собирает Parser Hub:
- Поисковые запросы;
- Интерактивные карты;
- Календари;
- Калькуляторы для расчетов;
- Информацию об участников форумов, их посты;
- Данные аутентификации.
На официальном сайте продукта можно договориться с менеджерами о подборе технических характеристик программы конкретно для вас. Например, увеличение скорости обработки, повышение объема задач.
Бесплатная или пробная версия недостаточна для полноценной работы из-за ограничения на скорость парсинга. Чтобы спарсить 200 страничек понадобиться 40 минут.
Цена подписки: начинается с 149 долларов в месяц и сократит время обработки того же количества ссылок в 4 раза по сравнению с бесплатной версией.
ScraperAPI
Сервис подойдет в случае, если вы умеете программировать на одном из языков программирования NodeJS, Python, Ruby или PHP, вам нужно получить данные с сайта с высокой степенью защиты.
5000 запросов бесплатны для ознакомления с ScraperAPI.
Цена подписки: начинается с 29 долларов в месяц.
Программы для парсинга
Программы отличаются от сервисов тем, что они устанавливаются на компьютер. Из-за этого могут возникнуть проблемы с недостаточной вычислительной мощностью, нехваткой свободного места на жестком диске и т.п.
Недостатки компенсируются стоимостью подписки на программу. В среднем она дешевле, чем подписка не сервисы. Из-за того, что разработчику не нужно содержать серверы, которые выполняют парсинг и хранят другие данные.
Helium scraper
Программа для парсинга данных с сайтов. Визуально записывает ваши действия в виде кода для того, чтобы воспроизвести сценарий парсинга. Интерфейс не слишком понятен, но есть видеоуроки и база знаний, которые помогут разобраться.
Если планируете собирать много данных (до 140 Терабайт), стоит присмотреться к Helium scraper. Еще одна особенность — это возможность работы с API, т.е. вы сможете интегрировать запросы в свой проект.
Бесплатная версия программы с полным функционалом доступна на 10 дней
Цена подписки: для одного человека 99 долларов в месяц.
Dexi.io
Подходит для профессионалов, в ней – большое количество сторонних сервисов. Например, вы можете интегрировать из нее к себе решателей каптчи, облачные хранилища.
Особенность
Dexi.io выявляет материалы о продуктах и услугах компаний. На выходе пользователь получает четкую структуру, проанализированную и очищенную от различного спама.
Цена подписки: начинается с 119 долларов в месяц
Easy Web Extract
Программа может собирать данные с сайтов любой сложности. В настройке парсера легко разобраться, потому что вас ведут по шагам.
Особенности:
Можно запрограммировать автоматический поиск для определенных товаров и собирать только нужные данные
Многопоточность(до 24 веб-страниц)
Бесплатная версия доступна 14 дней.
Цена подписки: начинается с 60 долларов в месяц
Заказать парсинг у фрилансеров и компаний
Мы выставили нашу задачу на Upwork крупнейшем форуме фрилансеров и получили такие отклики:
Фрилансеры оценивают от 2 до 6 тысяч рублей. Понять, какой фрилансер выполняет парсинг лучше до начала работы с ним. Если решитесь заказать у них парсинг, то внимательно читайте профиль. Обратите внимание на отзывы и стек технологий.
У компаний и команд, которые зарабатывают на парсинге, разброс цен примерно такой же: от 2 до 5 тысяч рублей за парсинг сайта prikormka.com. Мы выяснили это по опросу 10 компаний из топа выдачи гугл.
Плюс компаний в том, что они выполняют парсинг быстрее, чем фрилансеры, потому что работает команда. А еще они реже теряются и перестают выходить на контакт.
Заключение
Получается, чтобы заказать парсинг среднего интернет-магазина у фрилансеров или компании вам нужно заплатить от 2 до 5 тысяч рублей. Наша цена в 2500 рублей вполне демократична.
Если делать одноразовый парсинг самостоятельно, то можно обойтись бесплатной версией какого-нибудь сервиса или программы. Но нужно будет научиться парсить сайты, а на это нужно время. Обычно это имеет смысл, если вы собираетесь заниматься парсингом периодически. Подписки на одного человека стоят от 30 долларов в месяц.
Мы очень коротко описали возможности сервисов и программ, потому что цель статьи была посчитать, сколько стоит парсинг интернет магазинов. Так что, познакомьтесь и с другими сервисами и программами для парсинга.