Под термином «парсинг» подразумевают автоматизированный сбор информации, размещенной в открытом доступе на сайтах в интернете по условиям, заданным пользователем. Сканировать при этом можно как отдельные страницы, так и весь ресурс. Но спарсить нужные вам данные возможно не только с них: результаты поисковой выдачи, сообщения на форумах, посты в социальных сетях – все это может дать аналитическую базу для построения правильной стратегии развития любого проекта. Причем для решения большинства задач не обязательно проплачивать подписку на полный доступ к выбранному сервису: даже бесплатный парсер даст много полезных сведений и позволит оценить перспективы вашего ресурса в условиях жесткой конкуренции.
Классификация парсеров сайтов
Собирать техническую или коммерческую информацию, размещенную на страницах ваших проектов, поставщиков или конкурентов вручную – сложно. Парсинг, автоматизирующий этот процесс, позволяет скопировать информацию с сайта в считанные секунды, структурирует ее, формируя файл в формате, удобном для дальнейшей обработки.
Парсеры, используемые для извлечения нужных сведений, делятся на несколько групп в зависимости от:
- Способа доступа к интерфейсу: через облако или программу, устанавливаемую на жесткий диск компьютера;
- По технологии: скрипты на основе популярных языков программирования (Python, PHP), расширения для браузеров, надстройки в Excel или формулы в Google Sheets;
- По назначению: парсер товаров интернет-магазина, инструмент для мониторинга конкурентов, поиск информации из соцсетей, проверка оптимизации сайта и т.д.
Разберем каждый из них по отдельности.
По интерфейсу
Доступ к интерфейсу программы может осуществляться посредством:
- Установки десктопного программного обеспечения на компьютер, управляемый операционной системой Windows, MacOS X или Linux в различных редакциях;
- Личного кабинета на сайте, с передачей прав на управление параметрами парсинга через API, в то время как сама программа устанавливается на серверах разработчика.
По технологии
Первые парсеры представляли собой самописные скрипты, написанные на популярных языках программирования. Такая практика распространена и сегодня, но если вы не готовы платить за программы с неурезанным функционалом, можно воспользоваться и бесплатными подручными средствами. Так, по технологии, их можно разделить на:
- Программное обеспечение, написанное на Python или PHP. Пишется программистом, «затачивается» под нужды предприятия, разработка стоит дорого, вложения оправданы при нестандартных задачах;
- Расширения для браузеров. Используются для быстрого сбора описаний, ассортимента, цен. Извлекают данные с помощью языка запросов XPath, выгружая их в файлы любого формата — CSV, XLSX, XML, JSON, таблицы Google и т.д.;
- Надстройки для Excel. Речь идет о специальных командах, позволяющих автоматизировать работу программы для редактирования таблиц. Можно создавать файлы в «удобных» для дальнейшей работы форматах – XLS или CSV;
- Google Таблицы. Парсинг осуществляется двумя функциями – importxml, а также importhtml. Позволяют анализировать источники XML, HTML, CSV, TSV, RSS, ATOM XML посредством того же языка запросов XPath.
По функционалу
Важно определить характер и объем задач, возлагаемых на парсер. Чаще всего, такие программы используют для:
- Организации совместных покупок;
- Мониторинга конкурентов по нише;
- Автоматизированное наполнение сайта контентом;
- Анализа цен на товар в разных магазинах;
- Сбора SEO-параметров отдельной страницы и т.д.
Популярные SEO парсеры
Собирать данные для аудита, оптимизации и дальнейшего продвижения ресурса в поисковых системах вручную – очень трудозатратно. Поэтому SEO-специалисты (равно так же, как и интернет маркетологи) пользуются парсерами. Ведь с их помощью можно:
- Проанализировать корректность настройки зеркал;
- Проверит содержание файлов robots.txt, sitemap.xml;
- Просматривать наличие, длину, содержание метатегов и заголовков;
- Находить и устранять «битые» ссылки;
- Собирать основные сведения о технической оптимизации на всех страницах.
При этом стоит отметить, что среди парсеров для оптимизаторов можно выделить:
PR-CY
Парсер онлайн, анализирующий страницу или ресурс по более чем 70 пунктам. Может указать на все ошибки оптимизации, предлагает адекватные способы их решения, формирует полноценный чеклист SEO-аудита. «Бесплатная» версия отображает лишь общую информацию о количестве страниц в индексе, а также выводит данные о вирусах или фильтрах (ограничениях), наложенных выбранной поисковой системой.
Более детальный анализ осуществляется платно. При этом стоит отметить, что подписка по одному из тарифов позволяет проводить ежедневный мониторинг всего сайта или отдельных страниц, сравнивая актуальные показатели с результатами конкурентов. Опробовать полную версию можно бесплатно, в течение 7 дней, дальше придется платить.
Screaming Frog SEO Spider
Один из самых популярных SEO-парсеров в мире. Позволяет:
- Анализировать содержимое сайта;
- Получить код ответа каждой страницы;
- Проверять статус индексирования в поисковиках;
- Изучать длину, содержание метатегов, заголовков, подзаголовков;
- Контролировать параметры изображений и графики;
- Находить ошибки при настройке канонических ссылок, пагинации и т.д.
В бесплатной версии ограничивается 500 ссылками. После покупки лицензии вы получите неограниченный доступ ко всему функционалу программы.
Netpeak Spider
Комплексный сканер сайта, проверяющий ресурс на ошибки внешней и внутренней оптимизации. Интегрируется с Search Console Гугла и кабинетом Яндекс.Вебмастера. Корпоративная подписка позволяет формировать брендированные отчеты с логотипом вашей компании.
Инструмент платный, стоимость зависит от тарифа, однако базовые функции парсера доступны в каждом из них. Попробовать сервис бесплатно можно в течение 14 дней после регистрации. Далее – оформление и ежемесячное продление подписки.
SE Ranking
Сервис, анализирующий сайт по ключевым параметрам, учитываемым всеми поисковиками. По итогам сканирования, инструмент выставляет оценку сайта по 100-балльной шкале: чем она выше – тем лучше.
Программа может генерировать XML-карты сайта, формировать брендированные отчеты, отправлять их на email пользователя по разрешению или заданному расписанию. Оплата за использование взимается за отдельные проверки или месяц использования. Бесплатный пробный период – 2 недели.
Xenu’s Link Sleuth
Абсолютно бесплатная программа, парсящая все ссылки, присутствующие на сайте. Причем не только внутренние, но и внешние, а также адреса картинок и т.д. Несмотря на свою универсальность, граббер сайта используют для поиска битых ссылок. Представлен только в формате десктопного приложения для Windows.
Примечательно, что по каждой из ссылок выводится информация о ее статусе, типе, размере, метатегам, ключевым словам, а также выявленной ошибке.
ComparseR
Программа для внутреннего (технического) аудита сайта. Не только указывает на ошибки, но и транслирует информацию о статусе каждой ссылки в индексе Яндекса и Google. Иными словами – помогает с оптимизацией, а также демонстрирует результаты проделанной работы.
Приложение платное, «привязывается» к одному компьютеру, не может использоваться на других «машинах». Тем не менее, существует демо-версия, немного урезанная по функционалу. Однако, даже этой «базы» достаточно для комплексного анализа любого ресурса.
SiteAnalyzer от Majento
Бесплатный инструмент, сканирующий все страницы, скрипты, документы и изображения сайта. «Вытаскивает» коды ответа сервера, наличие и содержание метатегов/заголовков, информацию об атрибутах rel=”canonical”, список внешних ссылок, внутреннюю перелинковку, «дубликаты» страниц, зеркала и т.д.
Несмотря на заявленное требование по установке на ПК, может работать и со съемного носителя. Но только на компьютерах с операционной системой Windows. Формирует простые, понятные, удобные отчеты в форматах CSV, XLS, PDF.
A-Parser
Предусматривает 70 вариантов парсинга: от анализа выдачи популярных поисковых систем, до списка внешних ссылок на сайт с форумов и соцсетей. Примечательно, что разработчики оставили возможность настройки параметров поиска для программистов, работающих с Xpath или JavaScript. Кроме того, благодаря API, его можно интегрировать в CMS любого сайта.
Гибкость тарифов объясняется разнообразием опций. Но в отличие от иных сервисов, дающих 7-14 дней для теста, опробовать A-Parser бесплатно можно только в течение 6 часов с момента первого запуска.
Правила выбора парсера
Выбрать «правильный» парсер под ваши задачи непросто. Тем не менее – возможно. Для этого достаточно ответить на несколько вопросов:
- Для чего нужен парсер: анализ конкурентов, перенос информации с сайта поставщика, SEO-аудит, либо совмещение нескольких задач;
- Какие данные, в каком объеме и формате вам нужно получить на выходе, кому предназначен формируемый отчет;
- Насколько регулярно придется собирать и обрабатывать информацию, необходимую для оптимизации или поддержки сайта;
- Решают ли программы или онлайн-сервисы задачи, преследуемые вашим сайтом, а также нужно ли вкладывать в создание уникального скрипта.
Из сотен инструментов придется выбрать 1-2, детально изучив все отзывы о них. Кроме того, желательно соотнести уровень собственной подготовки со сложностью выбранной программы. В большинстве случаев, этих моментов достаточно для того, чтобы выбрать наиболее подходящий парсер, а также понять, нужно ли оплачивать лицензию или подписку на сервис.