International Conference on Information and Knowledge Technology

فارسی

Home / پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval

Authors :

Mahmood Kalantari¹ Mehdi Feghhi² Nasser Mozayani³

1- دانشگاه علم و صنعت ایران 2- دانشگاه علم و صنعت ایران 3- دانشگاه علم و صنعت ایران

Keywords :

Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)

Abstract :

The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.

List of archived papers

تشخیص زودهنگام سندروم داون از روی تصاویر سونوگرافی جنین با استفاده از مدل‌های عمیق پیش‌آموزش دیده

فائزه سادات حسینی نیا - محرم منصوری زاده - حسن ختنلو

امنیت در اینترنت اشیا؛ معماری، کاربرد‌ها، چالش‌ها و راهکارها

مهدی موسی وند - دکتر پیام محمودی نصر مهدی موسی وند - پیام محمودی نصر -

تحویل بهینه جریان پخش زنده HTTP: یک رویکرد ترکیبی سرور- شبکه

فائزه امینی تهرانی - احمدرضا منتظرالقائم

مکان‌یابی خطاهای کاربردها و خدمات نرم‌افزاری با کمک تولید داده آزمون با نامتغیرهای محتمل

محمد نصرتی مقدم - حسن حقیقی - مجتبی وحیدی اصل

A Multi-Task Framework Using Mamba for Identity, Age, and Gender Classification from Hand Images

Amirabbas Rezasoltani - Alireza Hosseini - Ramin Toosi - MohammadAli Akhaee

روش مهاجرت خوشه‎ای‎ برای بهبود بستربندی به ‎مشتری در گردش‌کارهای بدون سرویس‌دهنده

محمدامین قسوری جهرمی - مهرداد آشتیانی - فاطمه بخشی

Sentiment Analysis of the Amazon Customers Using the BiGRU Neural Network Enhanced by Attention Mechanism

Sara Sinan Salman al-Abedi - Keyvan Mohebbi

Improving Personalized Federated Learning-based QoE Assessment using Clustering

Skokufe Motaharipour - Behrouz Shahgholi Ghahfarokhi - Saeid Afshari

A hybrid CNN–transformer framework for retinal disease classification

Hanie Zomorrodi - Hassan Khotanlou

تخلیه‌ی باری وظایف اینترنت اشیاء بر روی مه محاسباتی با استفاده از الگوریتم حشره آبسوار

عفت تقی زاده بیلندی - آرش دلداری - علیرضا صالحان

more

Samin Hamayesh - Version 43.8.0