Математична модель обробки даних з використанням комбінованих методів спільної фільтрації та матричної факторизації для рекомендаційних систем в освіті

Олена Григорівна Глазунова; Ярослав Юрійович Понзель

doi:10.26642/ten-2025-1(95)-266-273

Автор(и)

Олена Григорівна Глазунова Національний університет біоресурсів та природокористування України, Україна https://orcid.org/0000-0002-0136-4936
Ярослав Юрійович Понзель Національний університет біоресурсів та природокористування України, Україна https://orcid.org/0009-0005-6282-1888

DOI:

https://doi.org/10.26642/ten-2025-1(95)-266-273

Ключові слова:

рекомендаційна система, матрична факторизація, прогнозування оцінок, середньоквадратична помилка, корінь середньоквадратичної помилки, норма Фробеніуса, ML.NET, контентна фільтрація, освіта, студент, індивідуальний план навчання

Анотація

Ефективність рекомендаційних систем, які використовуються у різних галузях і, зокрема у освітній системі, є актуальною проблематикою для досліджень науковців та розробників програмних систем. На прикладі системи, яка надає рекомендації для вибору освітніх компонентів навчального плану на основі різних параметрів, зокрема попередніх навчальних досягнень студентів, даних щодо їх попереднього вибору дисциплін та вибору інших студентів тощо. Основною метою дослідження є розробка математичної моделі, яка здатна ефективно передбачати оцінки для предметів, які студенту даються на вибір.

У рамках поточної реалізації використовуються інструменти ML.NET, що автоматизують процес факторизації матриць та мінімізації функції втрат, спрощуючи розробку і налаштування моделі. Основні етапи реалізації включають тренування моделі через використання MatrixFactorizationTrainer, визначення параметрів сутності-тренера, а також оптимізацію моделі через градієнтний спуск та регуляризацію за допомогою норми Фробеніуса. Також застосовується функція втрат у вигляді середньоквадратичної помилки, що дозволяє оцінити точність передбачення та досягти мінімізації різниці між реальними та прогнозованими оцінками.

Запропоновано шляхи для покращення моделі, такі як: інтеграція контентної фільтрації, що дозволить в майбутньому враховувати додаткові характеристики предметів, такі як тип або ж складність, що значно підвищить точність рекомендацій. Також, існує можливість покращити обчислення схожості між предметами або студентами, що, в свою чергу, дозволить робити рекомендації для кінцевого користувача на основі подібності.

У підсумку, демонструється підхід, який дозволяє створити ефективну рекомендаційну систему, що може бути застосована для прогнозування результатів навчання студентів та формування персоналізованих освітніх програм. Підвищення точності таких систем відкриває нові можливості для покращення освітнього процесу, сприяючи більш індивідуальному підходу до навчання.

Посилання

Ko, H., Lee, S., Park, Y. and Choi, A. (2022), «A Survey of Recommendation Systems: Recommendation Models, Techniques, and Application Fields», [Online], available at: https://www.mdpi.com/2079-9292/11/1/141

Kiulian, A., Polhul, T. and Khazin, M., «Matematychna model rekomendatsiinoho servisu na osnovi metodu kolaboratyvnoi filtratsii», [Online], available at: https://ir.lib.vntu.edu.ua/bitstream/handle/123456789/7911/226-227.pdf?sequence=1&isAllowed=y

Cui, Y. (2021), «Intelligent Recommendation System Based on Mathematical Modeling in Personalized Data Mining», [Online], available at: https://www.researchgate.net/publication/349701292_Intelligent_Recommendation_System_Based_on_Mathematical_Modeling_in_Personalized_Data_Mining

Filali Zegzouti, S. and Banouar, O. (2024), «Benslimane M. Recommendation systems techniques based on generative models and matrix factorization: a survey», [Online], available at: https://science.lpnu.ua/mmc/all-volumes-and-issues/volume-11-number-4-2024/recommendation-systems-techniques-based

Fareed, A., Hassan,S., Belhaouari, S.B. and Halim, Z. (2023), «A collaborative filtering recommendation framework utilizing social networks», [Online], available at: https://www.sciencedirect.com/science/article/pii/S2666827023000488

Papadakis, H., Panagiotakis, C. and Fragopoulou, P. (2017), «SCoR: A Synthetic Coordinate based Recommender System», [Online], available at: https://www.researchgate.net/publication/313835321_SCoR_A_Synthetic_Coordinate_based_Recommender_System

«Collaborative Filtering in Recommender System: An Overview» (2023), [Online], available at: https://medium.com/@evelyn.eve.9512/collaborative-filtering-in-recommender-system-an-overview-38dfa8462b61

«Matrix factorization», [Online], available at: https://developers.google.com/machine-learning/recommendation/collaborative/matrix

«Approximated Matrix», [Online], available at: https://www.sciencedirect.com/topics/computer-science/approximated-matrix

Bergmann, D. and Stryker, C. (2024), «What is a loss function?», [Online], available at: https://www.ibm.com/think/topics/loss-function

«Mean-Squared-Error», [Online], available at: https://www.sciencedirect.com/topics/engineering/mean-squared-error

«Frobenius Norm», [Online], available at: https://www.sciencedirect.com/topics/mathematics/frobenius-norm

Yaremchuk, N.A., Redoha, O.Yu. and Sikoza, O.M., «Osoblyvosti aryfmetyzatsii dyskretnykh verbalnykh shkal», [Online], available at: https://ela.kpi.ua/server/api/core/bitstreams/8c59d2a8-4bc1-4caa-91df-39024f503020/content

Herzog, R., Köhne, F., Kreis, L. and Schiela, A. (2023), «Frobenius-type norms and inner products of matrices and linear maps with applications to neural network training», [Online], available at: https://arxiv.org/pdf/2311.15419

Patel, D., Patel, F. and Chauhan, U. (2023), «Recommendation Systems: Types, Applications, and Challenges», [Online], available at: https://www.researchgate.net/publication/370498330_Recommendation_Systems_Types_Applications_and_Challenges

«MatrixFactorizationTrainer. Options. Lambda Field», [Online], available at: https://learn.microsoft.com/uk-ua/dotnet/api/microsoft.ml.trainers.matrixfactorizationtrainer.options.lambda?view=ml-dotnet-preview

Murel, J. and Kavlakoglu, E. (2024), «What is content-based filtering?», [Online], available at: https://www.ibm.com/think/topics/content-based-filtering

Sheldon, R. (2022), «Dot product (scalar product)», [Online], available at: https://www.techtarget.com/whatis/definition/dot-product-scalar-product

Список використаної літератури:

A Survey of Recommendation Systems: Recommendation Models, Techniques, and Application Fields / H.Ko, S.Lee, Y.Park, A.Choi. – 2022 [Electronic resource]. – Access mode : https://www.mdpi.com/2079-9292/11/1/141.

Кюльян А. Математична модель рекомендаційного сервісу на основі методу колаборативної фільтрації / А.Кюльян, Т.Польгуль, М.Хазiн [Електронний ресурс]. – Режим доступу : https://ir.lib.vntu.edu.ua/bitstream/handle/123456789/7911/226-227.pdf?sequence=1&isAllowed=y.

Cui Y. Intelligent Recommendation System Based on Mathematical Modeling in Personalized Data Mining / Y.Cui. – 2021 [Electronic resource]. – Access mode : https://www.researchgate.net/publication/349701292_Intelligent_Recommendation_System_Based_on_Mathematical_Modeling_in_Personalized_Data_Mining.

Filali Zegzouti S. Recommendation systems techniques based on generative models and matrix factorization: a survey / S.Filali Zegzouti, O.Banouar, M.Benslimane. – 2024 [Electronic resource]. – Access mode : https://science.lpnu.ua/mmc/all-volumes-and-issues/volume-11-number-4-2024/recommendation-systems-techniques-based.

A collaborative filtering recommendation framework utilizing social networks / A.Fareed, S.Hassan, S.B. Belhaouari, Z.Halim. – 2023 [Electronic resource]. – Access mode : https://www.sciencedirect.com/science/article/pii/S2666827023000488.

Papadakis H. SCoR: A Synthetic Coordinate based Recommender System / H.Papadakis, C.Panagiotakis, P.Fragopoulou. – 2017 [Electronic resource]. – Access mode : https://www.researchgate.net/publication/313835321_SCoR_A_Synthetic_Coordinate_based_Recommender_System.

Collaborative Filtering in Recommender System: An Overview. – 2023 [Electronic resource]. – Access mode : https://medium.com/@evelyn.eve.9512/collaborative-filtering-in-recommender-system-an-overview-38dfa8462b61.

Matrix factorization [Electronic resource]. – Access mode : https://developers.google.com/machine-learning/recommendation/collaborative/matrix.

Approximated Matrix [Electronic resource]. – Access mode : https://www.sciencedirect.com/topics/computer-science/approximated-matrix.

Bergmann D. What is a loss function? / D.Bergmann, C.Stryker. – 2024 [Electronic resource]. – Access mode : https://www.ibm.com/think/topics/loss-function.

Mean-Squared-Error [Electronic resource]. – Access mode : https://www.sciencedirect.com/topics/engineering/mean-squared-error.

Frobenius Norm [Electronic resource]. – Access mode : https://www.sciencedirect.com/topics/mathematics/frobenius-norm.

Яремчук Н.А.. Особливості арифметизації дискретних вербальних шкал / Н.А. Яремчук, О.Ю. Редьога, О.М. Сікоза [Електронний ресурс]. – Режим доступу : https://ela.kpi.ua/server/api/core/bitstreams/8c59d2a8-4bc1-4caa-91df-39024f503020/content.

Frobenius-type norms and inner products of matrices and linear maps with applications to neural network training / R.Herzog, F.Köhne, L.Kreis, A.Schiela. – 2023 [Electronic resource]. – Access mode : https://arxiv.org/pdf/2311.15419.

Patel D. Recommendation Systems: Types, Applications, and Challenges / D.Patel, F.Patel, U.Chauhan. – 2023 [Electronic resource]. – Access mode : https://www.researchgate.net/publication/370498330_Recommendation_Systems_Types_Applications_and_Challenges.

MatrixFactorizationTrainer. Options. Lambda Field [Electronic resource]. – Access mode : https://learn.microsoft.com/uk-ua/dotnet/api/microsoft.ml.trainers.matrixfactorizationtrainer.options.lambda?view=ml-dotnet-preview.

Murel J. What is content-based filtering? / J.Murel, E.Kavlakoglu. – 2024 [Electronic resource]. – Access mode : https://www.ibm.com/think/topics/content-based-filtering.

Sheldon R. Dot product (scalar product) / R.Sheldon. – 2022 [Electronic resource]. – Access mode : https://www.techtarget.com/whatis/definition/dot-product-scalar-product.