Збірники наукових праць ЦНТУ
Permanent URI for this communityhttps://dspace.kntu.kr.ua/handle/123456789/1
Browse
2 results
Search Results
Item Розробка системи управління базою даних рекомендаційної системи для комп’ютерних та комп’ютерно-інтегрованих систем(ЦНТУ, 2022) Міхав, В. В.; Мелешко, Є. В.; Якименко, М. С.; Шуліка, Я. П.; Mikhav, V.; Meleshko, Ye.; Yakymenko, M.; Shulika, Ya.Метою даної роботи є розробка системи управління базою даних рекомендаційної системи для комп’ютерних та комп’ютерно-інтегрованих систем, та порівняння якості її роботи з існуючими системами. На сьогоднішній день рекомендаційні системи мають широке застосування у комп’ютерних мережах, зокрема, в соціальних мережах, системах Інтернет-торгівлі, поширенні медіа-контенту, реклами тощо, а також у комп’ютерно-інтегрованих системах, зокрема, в Інтернеті речей та розумних будинках. Ефективний спосіб представлення даних, необхідних для роботи рекомендаційної системи, може зменшити кількість потрібних ресурсів та полегшити розробку і використання більш складних алгоритмів для формування списків рекомендацій. У цій роботі було проведено дослідження можливості та ефективності використання відкритих лінійних списків для збереження даних рекомендаційної системи. Розроблена система значно випереджає розглянуті існуючі інструменти як за швидкістю роботи, так і за ефективністю використання пам’яті. The goal of this work is to develop a database management system of the recommendation system for computer networks and computer-integrated systems, as well as to compare the quality of its work with existing systems. Today, recommendation systems are widely used in computer networks, in particular, in social networks, Internet commerce systems, media content distribution, advertising, etc., as well as in computer-integrated systems, in particular, in the Internet of Things and smart houses. An effective way to present the data required for the recommendation system can reduce the number of resources required and facilitate the development and use of more sophisticated algorithms for compiling lists of recommendations. When storing data from the recommendation system, one of the important parameters of the database is the speed of reading/writing information, as well as the amount of memory required to store data in one format or another. Therefore, it is advisable to use simple data models. This paper investigated the feasibility and effectiveness of using open linear lists to store recommendation system data in computer networks and computer-integrated systems. To test the effectiveness of the proposed method of presenting data in the recommendation system, comparative experiments were conducted with such software as: relational database management system Postgresql, resident repository key-value pairs Redis and graph database Neo4j. Each method of presenting data was tested on the following indicators: time of filling the repository with test data; the amount of memory occupied by the repository after filling; recommendation generation time. The MovieLens data set was used as test data. The developed database management system based on linear lists is significantly ahead of the existing tools in terms of both speed and efficiency of memory use.Item Методи та структури даних для реалізації бази даних рекомендаційної системи соціальної мережі(ЦНТУ, 2021) Міхав, В. В.; Мелешко, Є. В.; Шимко, С. В.; Mikhav, V.; Meleshko, Ye.; Shymko, S.Метою даної роботи є дослідження та програмна реалізація методів і структур даних для побудови бази даних рекомендаційної системи, щоб порівняти ефективність їх використання за затратами часу та пам’яті. Наявність великої кількості різних методів реалізації баз даних викликає необхідність порівняльного аналізу та вибору оптимального методу і структури даних для зберігання інформації у рекомендаційних системах. Було проведено дослідження різних структур даних, які можна використати для створення бази даних рекомендаційної системи, зокрема, досліджені зв’язний список, розгорнутий зв’язний список, хеш-таблиця, B-дерево, B+-дерево та бінарна діаграма рішень. Також було проведено серію експериментів на програмній імітаційній моделі рекомендаційної системи з різною кількістю агентів, предметів та сесій. Відповідно до результатів проведених експериментів, розгорнутий список показав найкращі показники швидкодії та використання пам’яті. Структура B+-дерево показала результати, близькі до хеш-таблиці. Час доступу до окремого елементу в обох випадках сталий, але B+-дерево має певні переваги – елементи зберігаються відсортованими, а при зміні розміру немає необхідності розширювати область пам’яті. Найгірші результати показала структура даних бінарна діаграма рішень як за затратами часу, так і за затратами пам’яті. Профілювання показало, що 75% часу роботи тесту варіанту з розгорнутим списком зайняло генерування випадкових даних для програмного імітаційного моделювання агентів та предметів рекомендаційної системи, тож, саме сховище даних має високі показники ефективності. Профілювання варіанту із інвертованим списком показало, що доступ до випадкових блоків займає більше часу через неможливість закешувати їх, тож, за умов реального навантаження час вставки нових даних буде більшим, а відносна ефективність застосування інвертованого списку зросте. Для найбільш ефективного використання пам’яті розмір блоку зв’язного списку має бути адаптований таким чином, щоб блоки були максимально заповнені. Блоки малого розміру зменшують втрати пам’яті, але збільшують час обходу всіх елементів списку та збільшують накладні витрати пам’яті. The goal of this work is to research and program implementation of methods and data structures for building a database of a recommendation system in order to compare the efficiency of their use in terms of time and memory costs. The presence of a large number of different methods of database implementation necessitates a comparative analysis and selection of the optimal method and data structure for storing information in recommendation systems. A research on various data structures that can be used to create a recommendation system database, in particular, the linked list, unrolled linked list, hash table, B-tree, B+-tree, and binary decision diagram were examined was conducted. A series of experiments on a software simulation model of a recommendation system with a different number of agents, items and sessions was also carried out. The following research results were obtained. According to the results of the experiments, the unrolled linked list showed the best time and memory effectiveness. The B+-tree structure showed results close to a hash table. The access time to an individual element is stable in both cases, but the B+-tree has certain advantages – the elements are kept sorted, and when resizing, there is no need to expand the memory area. The worst results were shown by the data structure of the binary decision diagram, both in terms of time consumption and memory consumption. Profiling showed that 75% of the test run time for the option with an unrolled list was taken by generating random data for software simulation of agents and items of the recommendation system, therefore, the data warehouse itself has high performance indicators. Profiling of the variant with an inverted list showed that access to random blocks takes longer due to the inability to cache them, therefore, under real load conditions, the time for inserting new data will be longer, and the relative efficiency of using the inverted list will increase. For the most efficient use of memory, the block size of the linked list should be adapted so that the blocks are as full as possible. Small blocks reduce memory waste, but increase the time to traverse all the elements of the list and increase memory overhead.