Вилучення контенту є одним із трьох “китів” веб-майнінгу, нарівні з аналізом логів сайту та пошуком корисної інформації за допомогою вивчення гіперпосилань. При цьому варто зазначити, що для більшості людей контент – це виключно текстові матеріали. Але насправді за цим терміном ховаються не лише статті, а зображення, відео-, аудіоматеріали, зовнішні посилання тощо.
Так що ж є контент-майнінг?
Інтернет надає безперешкодний доступ до мільярдів сторінок. Так, ви можете зайти на eBay або Aliexpress, щоб переглянути будь-яке оголошення, розміщене на цих майданчиках. Або відкрити сайти великих банків, щоб знайти найвигіднішу відсоткову ставку.
Однак у випадках, якщо дані збираються для проведення маркетингових досліджень, ручний пошук потрібної інформації забере багато часу та сил. А людині властиво помилятися і часто, ціна такої помилки може спричинити серйозні збитки через прийняття неправильних бізнес-рішень.
Для економії часу, а також для підвищення точності збору даних можна використовувати програми, онлайн-сервіси або скрипти для майнінгу, що дозволяють отримувати свіжу, актуальну інформацію з вибраних джерел у будь-який час. Тим не менш, точність цих даних залежить від кількох критеріїв.
По-перше, нинішній інтернет тягнеться до нескінченності, а деякі користувачі вважають за краще дублювати контент. З одного боку, таке «запозичення» карається пошуковими системами «вильотом» із ТОПу видачі. Але при майнінгу виявлення дублікатів говорить про те, що дані «чисті».
Звідси випливає другий момент – необхідність «очищення» зібраних даних від «інформаційного шуму». На жаль, алгоритми програм-майнерів так і не навчилися розпізнавати його (хоча все йде до цього). Тому зібраний контент доведеться «підчищати» вручну. Це дасть гарантію того, що всі ухвалені рішення виявляться вірними, а бізнес процвітатиме.
По-третє, зібрані дані доведеться структурувати. Загалом, інформація в інтернеті представлена у трьох видах:
- неструктурованому;
- Напівструктурованому;
- Повністю структурованому.
До першого можна віднести вільні тексти: за їх аналізу, роботи можуть знайти релевантні ключові слова, тоді як загальний зміст статті відрізнятиметься від шуканого. Другі містять списки та таблиці, що спрощують встановлення пари «ключ-значення», а треті є готовими базами даних у вигляді файлів XML і JSON.
Підходи до контент-майнінгу
У випадку з вилученням контенту з мережі, фахівці використовують два підходи, що кардинально відрізняються:
Агентний
Машинні алгоритми, що працюють автономно чи з частковим втручанням людини. Аналізують вибірку у пошуках релевантного сайту та автоматично збирають інформацію з них. поділяються на:
- Інтелектуальні – повністю автономні;
- Фільтри інформації – з відсіюванням інформаційного шуму;
- Персоналізовані – поведінка реального користувача, що імітує.
І кожен з них має особливості, нюанси, переваги і недоліки, застосовні в різних ситуаціях.
Підхід, заснований на структуризації даних
Алгоритми вивчають багаторівневий бази чи системи запитів, збирають напівструктуровану інформацію, структурують її та знаходять шукані значення.
Як це працює?
Скріпінг контенту передбачає:
- Визначення конкретних сторінок або вибір запитів;
- Пошук правильних “точок входу” для економії часу;
- Написання скрипта для отримання потрібних даних.
При чому складнощі можуть виникнути саме із третім пунктом. Проте, навчається програмування чи наймати команду фахівців не обов’язково, т.к. “витягти” все, що потрібно можна за допомогою готового ПЗ або онлайн-сервісів.
