Про ефективність одгого методу пошуку у великих масивах даних

Анотація

У роботі пропонується та обґрунтовується вдосконалений метод пошуку інформації у великих масивах даних, ключовою особливістю якого є безпосереднє врахування апріорного розподілу ймовірностей звертання до окремих елементів масиву. Актуальність дослідження зумовлена постійним зростанням обсягів неструктурованих даних, де класичні підходи не завжди забезпечують оптимальну швидкість доступу при нерівномірній частоті запитів.

Авторами розроблено алгоритмічну модель, що адаптує структуру пошуку відповідно до статистичних характеристик вхідного потоку запитів. Основна увага приділена дослідженню ефективності запропонованого методу в порівнянні з традиційними інструментами: методом послідовного перегляду та класичним двійковим пошуком. Математичне моделювання та серія чисельних експериментів проводилися для різних сценаріїв розподілу ймовірностей, зокрема для рівномірного розподілу, специфічного “бінарного” закону та емпіричного закону Ціпфа, що описує реальні процеси звернення до інформаційних ресурсів.

Результати порівняльного аналізу демонструють, що для розподілів з високою нерівномірністю (таких як закон Ціпфа) запропонований метод дозволяє суттєво скоротити середню кількість порівнянь, необхідних для знаходження цільового елемента. Встановлено критичні межі ефективності, за яких адаптивний підхід випереджає двійковий пошук. Теоретично доведено, що врахування статистичної природи запитів дозволяє мінімізувати математичне сподівання часу пошуку, що є критично важливим для систем опрацювання великих даних (Big Data) та високонавантажених баз даних. Отримані дані можуть бути використані при проектуванні інтелектуальних систем пошуку та оптимізації структур зберігання даних у сучасних інформаційних комплексах.