Іронічно, але Google, Yandex, Yahoo, Bing та інші пошукові системи, що побудували цілі “імперії” на “копіюванні” чужого контенту, ставляться до парсингу максимально негативно. Особливо, якщо йдеться про «скребок» видачі на певний запит. Адже при побудові семантичного ядра (запитів, які використовуються для «попадання» сторінки у видачу ПС), SEO-фахівцям важливо оцінити ефективність використання тих чи інших ключових слів. При чому далеко не завжди «стандартні» інструменти, які пропонують розробники систем, дають об’єктивні дані про те, які «ключі» принесуть максимальний результат.
Тому експерти проекту «Спарсім» вирішили розповісти про те, як «парсити» видачу пошуковиків без ризику блокувань та штрафних санкцій з боку медіа гігантів (результати пошукової видачі), поділившись важливою, корисною, цікавою та актуальною інформацією з усіма читачами нашого блогу!
Як пошукові системи виявляють роботів?
Щоб розрізняти органічний та неорганічний трафік, системи захисту пошукових систем використовують кілька «фільтрів», які виявляють ботів за:
- IP-адресою. Визначається кількість запитів із одного IP. При виявленні великого обсягу трафіку, вони можуть зажадати введення капчі (CAPTCHA) – текстового чи графічного ключа, не видимого для роботів;
- Шаблони пошуку. При невідповідності запитів або швидкості перегляду результатів видачі «поведінці» реального користувача пошуковики запускають механізм блокування.
При цьому варто зазначити, що з кожним роком механізми виявлення ботів і скриптів удосконалюються. І якщо з десяток років тому їх «обійти» було просто, то в наші дні розробникам парсерів доводиться «адаптувати» свої програми під нові умови захисту.
Як знизити ризик виявлення?
Щоб уникнути проблем при парсингу результатів пошукової видачі, намагайтеся:
- Встановлювати мінімальну швидкість сканування сторінок;
- Налаштувати перемикання user-agent між напрямом запитів;
- Використовувати різні шаблони, змінюючи їх іноді;
- Підключати «інтелектуальну» ротацію IP-адрес, з яких працює скрипт;
- Видаляти cookies після кожної зміни адреси (або повністю відключати їх).
При цьому варто відзначити, що більшість онлайн-сервісів використовують власні алгоритми «Обходу» блокувань пошукових систем, а їх розробники намагаються оновлювати скрипти відповідно до оновлень, що анонсуються в блогах ПС.
