International Conference on Information and Knowledge Technology

فارسی

Home / پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval

Authors :

Mahmood Kalantari¹ Mehdi Feghhi² Nasser Mozayani³

1- دانشگاه علم و صنعت ایران 2- دانشگاه علم و صنعت ایران 3- دانشگاه علم و صنعت ایران

Keywords :

Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)

Abstract :

The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.

List of archived papers

یادگیری فناورانه و بین‌المللی‌سازی سکوهای پیام‌رسان: چارچوبی برای بازیگران متأخر

علیرضا کبیری فرد - علی ولی زاده - مهدی مجیدپور

Identifying Children's Personality Styles through Drawing Analysis using Machine Learning

Maedeh Mosharraf - Faezeh Banabazi

شبکه‌های نرم‌افزار محور در کلان داده: مطالعه‌ی راهکارهای امنیتی و چالش‌ها

احسان سلیمانی دهکردی - محمدرضا ملاخلیلی میبدی

بهبود هزینه‌های تراکنش در معماری مدیریت زنجیره‌ی تامین مبتنی بر زنجیره‌ی بلوکی

مژگان نوروزی نژاد - دکتر زهرا موحدی مژگان نوروزی نژاد - زهرا موحدی -

Similarity Measures in Medical Image Registration: A Review Article

Zohre Mohammadi - Dr Mohammad Reza Keyvanpour

A Swarm Intelligence Approach to Design Optimal Repeaters in Multilayer Graphene Nanoribbon Interconnects

Majid Sanaeepur - Maryam Momeni

شناسایی کمپلکس‎ های پروتئینی با استفاده از داده‎ های زیستی و خوشه بندی فازی

مریم مولی وردیخانی - دکتر سعید جلیلی مریم مولی وردیخانی - سعید جلیلی -

‌نقشه های شناختی فازی پیشرفته (FCM) رویکردی برای مدل سازی سیستم های پیچیده ی پویا

فریبا اسلامی امیرآبادی - کمال میرزایی بدرآبادی

Customer Churn Prediction Using Data Mining Techniques for an Iranian Payment Application

Olya Rezaeian - Dr ُSeyedhamidreza Shahabi Haghighi - Dr Jamal Shahrabi

تاثیر مدیریت دانش مشتری بر توسعه محصول جدید و نوآورانه با رویکرد مدل سازی معادلات ساختاری با استفاده از حداقل مربعات جزئی: مطالعۀ موردی شرکت کاله

دکتر آرش خسروی - سیده فاطمه حسینی - دکتر مرتضی رجب زاده آرش خسروی - سیده فاطمه حسینی - مرتضی رجب زاده -

more

Samin Hamayesh - Version 44.5.0