При підготовці статті в блог, рекламного поста в соціальній мережі або наповненні каталогу для інтернет-магазину важливо підібрати правильні зображення. Найчастіше йдеться про пошук тематичних картинок за ключовими словами через пошукові системи. Однак, подібне рішення є актуальним далеко не завжди. Особливо якщо товарний асортимент вашого магазину представлений десятками тисяч окремих позицій. Благо сьогодні, цей процес можна автоматизувати, використовуючи парсер картинок із сайту виробника, постачальника чи фотостоків.
Що таке фото?
Парсинг зображень – автоматичний збір картинок, фотографій, ілюстрацій до статей із відкритих джерел за параметрами, заданими користувачем. У процесі пошуку програма може враховувати:
- Ключові слова чи артикул;
- Розмір зображення;
- Вага файлу.
Крім того, парс можна як окремий сайт або сторінку, так і пошукову видачу. В результаті ви отримуєте «пачку» картинок, релевантних заданим параметрам, витративши мінімум часу або зусиль.
Причому результати парсингу можуть виводитись у вигляді:
- Папки із зображеннями;
- Посилання на картинки.
Перший варіант дозволяє вивантажувати знайдені фото на сайт або групи соцмереж вручну, через або адмін-панель. URL-адреса використовують при імпорті графіки за допомогою CMS: система управління контентом в інтернет-магазині здатна сама скачати їх по зовнішніх урлах, вивантажуючи їх у файлову систему автоматично.
Види парсерів картинок
По суті будь-який платний або безкоштовний парсер сайтів може здійснювати скачування картинок за параметрами, що задаються під час налаштування. Тому розподіл на категорії відбувається за аналогією з інструментами, що завантажують текстовий контент або файли, що знаходяться у відкритому доступі на сайті. Проте, щоб підібрати правильний інструмент, важливо розібрати кожен із них окремо.
Десктопні парсери
Програми, які потребують встановлення на комп’ютер. Розрізняються за інтерфейсом, функціоналом, гнучкістю налаштувань параметрів пошуку та іншими критеріями. Задіює обчислювальні потужності локальної машини, дозволяє зберігати завантажені зображення окрему папку або архів.
До переваг десктопних парсерів можна віднести:
- Простоту налаштування параметрів пошуку картинок;
- Різноманітність параметрів парсингу зображень;
- Можливість одночасного сканування кількох сайтів;
- Унікалізація фото онлайн для виключення проблем із авторським правом.
Але є і мінуси. По-перше – потрібно витрачати час на встановлення та «чистити» пам’ять. По-друге, далеко не всі програми безкоштовні: демо-версії пропонують тимчасове користування або «урізаний» функціонал. По-третє, для настроювання окремих інструментів можуть знадобитися базові навички програмування.
Сервіси онлайн парсингу
Популярність онлайн-сервісів, що автоматизують завантаження фото за заданими параметрами, зростає в геометричній прогресії. Адже по-перше, їх не потрібно встановлювати на комп’ютер, по-друге – вони не торкаються обчислювальних потужностей вашої «машини», по-третє, їх розробники намагаються зробити максимально простий, зрозумілий і зручний інтерфейс, користуватися яким зможе кожен. При цьому варто відзначити, що результати можуть зберігатися відразу на ПК, носій, що знімається, або в хмарне сховище.
Плюси:
- Простота використання;
- Можливість запуску з будь-якого пристрою;
- Висока швидкість сканування сайтів;
- Можливість вивантаження знайдених фото у загальний доступ.
До мінусів ж можна віднести обмеження на одночасне сканування декількох ресурсів (5-10 у безкоштовних версіях), порівняно невелику кількість параметрів пошуку, що налаштовуються, обмеження на обсяг скачуваних фото при парсингу з соцмереж в рамках одного пошукового запиту.
Платні послуги з підпискою
Для підтримки працездатності онлайн-сервісів більшість з них працюють за моделлю платної підписки, пропонуючи користувачам кілька десятків різних тарифів. Оплата може здійснюватися за кількістю картинок або за використання парсера протягом дня, тижня, місяця, кварталу або півріччя.
Платні послуги для парсингу картинок відрізняються:
- Чи не урізаним функціоналом;
- Відсутністю обмежень щодо масового вивантаження зображень;
- Можливістю використання більше 10 джерел при пошуку необхідних фотографій.
Єдиним недоліком вважається вартість передплати: в окремих випадках за використання сервісу доведеться заплатити до $100 (з урахуванням актуального курсу валют сума не маленька, особливо для приватного використання).
Скрипти надбудови
У цьому форматі парсером виступає Microsoft Excel з набором макросів, що відповідають за виконання певних функцій. До переваг можна віднести:
- Відсутність навантаження на “залізо” комп’ютера;
- Простота пошуку потрібної картинки у результатах парсингу;
- Формування універсальної бази з таблицями, що містять URL корисних зображень.
З мінусів – примітивний функціонал, мінімум налаштувань, порівняно невисока швидкість роботи, а також безліч помилок, які змушують «чистити» список отриманих посилань вручну.
Інструменти для парсингу зображень
Парсувати картинки з сайту можна за допомогою десятків різних інструментів. Причому більшість із них мають схожий функціонал, оскільки в основу програм, онлайн-сервісів та надбудов закладено аналогічний алгоритм роботи. Різниця – в інтерфейсі, функціоналі та вимогах щодо оплати за їх використання. До списку найпопулярніших парсерів графіки, які використовуються розробниками, контент-менеджерами та власниками інтернет-магазинів, можна віднести:
Image Parser
Представлений у форматі розширення для браузера Google Chrome, доступний у магазині плагінів. Після встановлення відповідний значок з’являється у лівому верхньому куті вікна, біля адресного рядка.
Для запуску парсингу достатньо перейти на потрібний сайт і натиснути на іконку розширення: плагін відкриє нове вікно зі знайденими зображеннями і запропонує зберегти їх у zip-архів. При цьому варто зазначити, що:
- Доповнення абсолютно безкоштовне;
- Підтримувані формати – png, jpg, jpeg, gif;
- Image Parser завантажує навіть “захищені” картинки;
- Можливе отримання списку посилань на зображення.
З мінусів – необхідність переходу на сайт, відсутність багатозадачності та налаштувань вибірки.
PictureGoogleGraber
Простий та безкоштовний сервіс для парсингу картинок із видачі Google з інтуїтивно зрозумілим інтерфейсом. За замовчуванням завантажує найбільші файли з доступних, після налаштування можна задати свої параметри за висотою, шириною, роздільною здатністю або орієнтацією. Одночасно з графікою копіює URL картинки. Може працювати у 10 потоків.
З переваг:
- відсутність обов’язкової плати за використання сервісу;
- Завантаження зображень за заданими параметрами;
- Вивантаження посилань на зображення в окремий файл.
До недоліків можна віднести мінімум налаштувань, а також спрацювання антивірусного ПЗ під час встановлення програми.
ImageGrabber RX
Платна програма, здатна аналізувати десятки сайтів одночасно, або «витягувати» всі картинки з зазначеного конкретного джерела. Може фільтрувати картинки за розміром, а також порівнювати контент, що скачується, з наявною базою зображень. Можливе вивантаження лише унікальних картинок, що виключає дублювання файлів навіть за різних назв.
Переваги:
- Оперативність скачування зображень;
- Інтелектуальний аналіз картинок;
- Автоматичне порівняння збережених і збережених зображень;
- Фільтрування файлів з дрібною роздільною здатністю.
З недоліків – платна ліцензія, а також відсутність інструментів для обходу блокування при парсингу.
GoogleImageFinder
Парсер Google-зображень із простим інтерфейсом, готовий до роботи відразу після завантаження. Має безліч налаштувань: від кількості, до параметрів графіки, що скачується. Дозволяє “розкладати” картинки в папки відповідно до запиту, може унікалізовано збережені зображення в автоматичному режимі.
Цікавий за рахунок:
- Демо-версії з повним функціоналом;
- Розмаїття пошукових інструментів;
- Мультизадачність із збереженням швидкості;
- Збереження вихідних назв файлів;
- Створення окремого списку посилань на картинки.
Мінуси – після закінчення демо-режиму доведеться купувати ліцензію на використання програми, а також орієнтація виключно на Google.
Робота з парсерами картинок
Незалежно від використовуваного інструменту, процес парсингу картинок відбувається за схожим алгоритмом:
- Запуск програми, сервісу чи скрипту;
- Вказівка посилання на сайт, сторінку або паблік у соцмережі;
- Вибрати параметри фільтрації зображень;
- Натиснути кнопку “Запустити”.
Десктопне додаток збереже знайдену графіку в окрему папку, онлайн-сервіс запропонує «вивантажити» фото в архів для скачування, або зберегти результати парсингу в сховище.
При парсингу картинок за ключовими словами вкажіть:
- формат зображення;
- орієнтацію;
- розмір картинки;
- обсяг файлу.
Це звузить область пошуку, спростивши вибірку графіки для подальшої публікації на вашому сайті.
Найчастіші проблеми та їх вирішення
Схема роботи парсерів пошукової видачі однакова:
- Емулювання запиту користувача за ключовим словом;
- Формування видачі картинок за заданим параметром;
- Збереження зображень з топу як необхідних.
У більшості випадків вибірка виходить максимально точною. Але можуть бути й проблеми:
- При пошуку фото товарів за артикулом програма може зберегти назву іншого кольору;
- Збережені зображення можуть супроводжуватися водяними знаками, що використовуються для захисту від парсерів;
- Низькочастотні та змішані запити можуть вивести в топ видачі абсолютно незрозумілі, нерелевантні картинки;
- Блокування IP, з якого здійснюється парсинг: у цьому випадку весь архів складатиметься з картинок з повідомленням про помилку 404.
На жаль, універсального рішення не існує. Тому парсинг зображень вимагає постійного контролю, підключення проксі-серверів та VPN з регулярно змінним IP і т.д.
При цьому варто відзначити, що можливість завантаження картинок залежить від складності ресурсу. Якщо сайт створений мовами програмування високого рівня, ймовірність успішного парсингу потрібних вам зображень близька до нульової.
Єдине, що можна зробити – знизити можливість блокування, виставивши правильні параметри сканування відповідно до норм поведінкових факторів користувачів:
- Середня швидкість перегляду сторінок;
- використання різних IP для різних сайтів;
- Автоматичне схвалення відправки
Крім того, “дістати” потрібні картинки зі складних сайтів можна, просто запустивши парсинг за їхньою мобільною версією!
