استخدام نموذج BERT لحل  مشكلة البداية الباردة في أنظمة التوصية

إيمان خليفة علي خليفة; آمال عبدالسلام ارحومة الجائر; أسماء علي أبودينة

doi:10.59743/jbs.v38i1.327

المؤلفون

إيمان خليفة علي خليفة قسم علوم الحاسوب، كلية تقنية المعلومات، الجامعة الأسمرية الإسلامية، زليتن، ليبيا
آمال عبدالسلام ارحومة الجائر قسم علوم الحاسوب، كلية تقنية المعلومات، الجامعة الأسمرية الإسلامية، زليتن، ليبيا
أسماء علي أبودينة قسم علوم الحاسوب، كلية تقنية المعلومات، الجامعة الأسمرية الإسلامية، زليتن، ليبيا

DOI:

https://doi.org/10.59743/jbs.v38i1.327

الكلمات المفتاحية:

نموذج BERT، مشكلة البداية الباردة (Cold Start Problem)، الفلترة التعاونية العصبية (NCF).

الملخص

تعد أنظمة التوصية(Recommendation Systems) من التقنيات المهمة في العديد من التطبيقات الحديثة مثل التجارة الإلكترونية، شبكات التواصل الاجتماعي، ومنصات البث الرقمية مثل نتفليكس(Netflix) ويوتيوب(YouTupe) ، حيث تقوم بتقديم اقتراحات مخصصة للمستخدمين بناءً على بيانات تفاعلهم السابقة أو خصائص المحتوى الذي يتفاعلون معه.ومن أبرز التحديات والمشاكل التي تواجه هذه الأنظمة هي مشكلة البداية الباردة (Cold Start Problem)، وهي الحالة التي يصعب فيها تقديم توصيات دقيقة عندما تكون بيانات تفاعل المستخدمين أو العناصر جديدة أو محدودة. هذه المشكلة تصبح أكثر تعقيدًا في الحالات التي يتعامل فيها النظام مع المستخدمين الجدد أو العناصر غير المعروفة، لحل هذه المشكلة تم استخدام نموذج التعلم العميق BERT لتحسين قدرة النظام على تقديم توصيات دقيقة للمستخدمين بناء على خصائصهم النصية بالإضافة إلى الاستفادة من بيانات المستخدم الديموغرافية كالعمر ، الجنس ، لتحقيق حلول فعّالة في تحسين أداء هذه الأنظمة، وقد تم الوصول إلى دقة قدرها 96% في تصنيف النصوص، مما يبرز قدرة النموذج على التعميم بشكل جيد على بيانات جديدة. كما اثبت نموذج التعلم العميق bert كفاءته في هذه الدراسة مقارنة بنموذج الشبكة العصبية Neural Collaborative Filtering (NCF)

المراجع

Y. Shi, M. Larson, and A. Hanjalic, “Collaborative filtering beyond the user-item matrix: A survey of the state of the art and future challenges,” ACM Comput. Surv., vol. 47, no. 1, pp. 1–45, Jan. 2014.

Y. Koren, R. Bell, and C. Volinsky, “Matrix factorization techniques for recommender systems,” Computer, vol. 42, no. 8, pp. 30–37, Aug. 2009.

Y. Luo, Y. Jiang, Y. Jiang, G. Chen, J. Wang, K. Bian, ... and Q. Zhang, "Online Item Cold-Start Recommendation with Popularity-Aware Meta-Learning," arXiv preprint arXiv:2411.11225, 2024.

B. He, J. Zhou, R. Zhao, L. Wang, L. Li, and Y. Yang, "Cold-Start Product Recommendation Method Based on GAE," Journal of Computing and Electronic Information Management, vol. 13, no. 3, pp. 8–15, 2024.

X. Wu, H. Zhou, Y. Shi, W. Yao, X. Huang, and N. Liu, "Could Small Language Models Serve as Recommenders? Towards Data-centric Cold-start Recommendations," arXiv preprint arXiv:2306.17256, 2024.

X. Lin, W. Wang, J. Zhao, Y. Li, F. Feng, and T.-S. Chua, "Temporally and Distributionally Robust Optimization for Cold-Start Recommendation," in Proceedings of the 38th AAAI Conference on Artificial Intelligence (AAAI-24), 2024.

Y. Li, Y. Liu, and T. Furukawa, "Integrating Prior Knowledge from Meta-Learning and Large Language Models for Cold-Start Recommendation," in Proceedings of International Exchange and Innovation Conference on Engineering & Sciences (IEICES), 2023, pp. 327-333.

L. Zheng, J. Chen, P. Liu, G. Zhang, and J. Fang, "VM-Rec: A Variational Mapping Approach for Cold-start User Recommendation," arXiv preprint arXiv:2307.04709, 2023.

B. Hao, H. Yin, J. Zhang, C. Li, and H. Chen, "A Multi-Strategy based Pre-Training Method for Cold-Start Recommendation," Proc. ACM Meas. Anal. Comput. Syst., vol. 37, no. 4, pp. 1–24, May 2022.

M. Volkovs, G. Yu, and T. Poutanen, "DropoutNet: Addressing Cold Start in Recommender Systems," Proceedings of the 31st International Conference on Neural Information Processing Systems (NeurIPS), Long Beach, CA, USA, 2017, pp. 4003–4013.

C.W. Leung, S.C. Chan and K.K.F. Chung. Applying Cross-Level Association Rule Mining to Cold-Start Recommendations, Proceedings of the 2007 IEEE/WIC/ACM International Conference on Web Intelligence and International Conference on Intelligent Agent Technology, 2007, Silicon Valley, CA, USA, pag: 133-136

A. Vaswani, “Attention is all you need,” in Advances in Neural Information Processing Systems, 2017.

J. D. M. W. C. Kenton and L. K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” in Proceedings of NAACL-HLT, vol. 1, no. 2, Jun. 2019.