Широке запровадження терміна «Big Data» пов’язують із журналістом журналу Nature Кліффордом Лінчем. Проте точний опис цього явища було надано за три роки до публікації статті Роджером Мугаласом, а сам процес збирання неструктурованих даних з подальшою структуризацією для проведення різних досліджень був відомий з кінця 1600-х років.
При цьому варто зазначити, що «Великі дані» – відносне поняття. Адже під словом «Big» ховається не тільки обсяг інформації, що обробляється і аналізується, а масштаби компанії, що займається її структуризацією. Так, загальна вага файлів, що надходять на сервери Google, набагато більша, ніж аналогічний показник у середньої аналітичної компанії.
Але з огляду на загальну концепцію, навіть ранні астрологічні та астрономічні дослідження, засновані на спостереженні за переміщенням об’єктів у зоряному небі з подальшим аналізом отриманої інформації для пошуку причинно-наслідкових зв’язків, можна вважати своєрідним «Big Data» свого часу. Сьогодні ж, поговоримо про історію Big Data, чиї технічні можливості дозволяють збирати, зберігати та аналізувати набагато більші обсяги даних, що робить їх воістину «великими».
Історичний екскурс
Незважаючи на те, що збирання та обробка різної інформації існувала з моменту появи людства, перший задокументований статистичний аналіз даних був проведений Джоном Грантом з метою аналізу закономірностей для визначення походження, швидкості поширення, рівня зараження та смертності під час епідемії бубонної чуми в 1663 році. Через дві сотні років його почала рости в геометричній прогресії, що призвело до формування загальної концепції «Великих даних» і послужило поштовхом до появи засобів, що автоматизують і прискорюють цей процес.
До кінця 1800-х математик Герман Холлеріт винайшов лічильну машину для узагальнення інформації, що зберігається на перфорованих картках. Технічний засіб дозволив скоротити час обробки даних всенародного перепису населення США з прогнозованих 10 років, до 3 місяців, цим заклавши основу для технічної автоматизації обробки інформації, що надходить. Трохи пізніше технологія була доопрацьована і почала використовуватися не лише в державних установах, а й на підприємствах приватного сектору, що спростило документообіг і змінило «правила гри» у бізнес-сфері тих років.
При цьому прогрес не стояв на місці і до початку Першої світової війни, збирання та аналіз статистичної інформації дозволяв передбачати варіанти переміщення військ, ґрунтуючись на їх чисельності та кількості наявної техніки. А на зміну перфокартам прийшла магнітна стрічка, здатна зберігати більший обсяг інформації у компактному форматі. 1931 ознаменував ще один прорив для Big Data – компанія IBM зібрала перший «суперкомп’ютер» на замовлення Колумбійського університету. А до 1943, у спробах створити засіб для дешифрації закодованих нацистських записів, британці винайшли перший у світі процесор.
Наприкінці війни світове наукове співтовариство почало обговорення концепції сховища програм і вивело поняття Електронного автоматичного комп’ютера з дискретними змінними (EDVAC), заклавши основу для сучасної комп’ютерної архітектури. З появою інтернету як військова розробка, машини додали в потужності і почали обробляти сотні мегабайт інформації за лічені години, що в наші дні здається мізерним.
Адже можливості сучасних суперкомп’ютерів, які обслуговують ЦЕРН та адронний колайдер, а також інші науково-дослідні лабораторії, отримують та аналізують «Великі дані» в режимі реального часу, що прискорює науковий прогрес і в майбутньому відіграє свою роль у осягненні таємниць світобудови.
