International Conference on Information and Knowledge Technology

Please wait ...

فارسی

Home / شانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

A Framework for Systematic Stability Assessment of Post-hoc Explanations in Text Classification

Authors :

Parman Mohammadalizadeh¹ Parham Mohammadalizadeh² Ayda Mahmoudian³

1- دانشگاه زنجان 2- پژوهشگر مستقل 3- پژوهشگر مستقل

Keywords :

Explainable AI،Explainability Evaluation،Natural Language Processing

Abstract :

Post-hoc explanation methods are widely adopted for interpreting neural text classifiers, yet lack standardized evaluation of their stability under input perturbations. We present a systematic framework for assessing explanation stability through three categories of stress tests: preprocessing variations, semantic paraphrasing, and explainer seed variations. The framework combines quantitative metrics (Jaccard similarity, Spearman correlation, attribution differences) with automated stability card generation for standardized reporting. We evaluate Integrated Gradients, LIME, and SHAP across four model-dataset combinations spanning sentiment analysis and topic classification. Results reveal nuanced stability patterns, including the decoupling of model capacity from explanation reliability and architecture-dependent vulnerability to perturbation types. Our open-source implementation supports standard transformer models and explanation libraries, establishing practical stability assessment as a reproducible evaluation standard for NLP explainability research.

List of archived papers

Fast Duplicate Bug Reports Detector Training using Sampling for Dimension Reduction

Behzad Soleimani Neysiani - Saeed Doostali - Seyed Morteza Babamir - Zahra Aminoroaya

پیش بینی بیماری قلبی با استفاده از روش تحلیل شبکه ای

هدیه مشتاقی محمدزاده - فاطمه باقری

Conceptual Intelligent Model for Visual Question Answering using Attention Mechanism and Relational Reasoning

ٍElham Alighardash - Dr Hassan Khotanlou - Vahid Pour Amin

An Efficient Link Prediction Method using Community Structures

Dr Hadi Shakibian - Setareh Mokhtari

An efficient hybrid approach for performance-based alternative design evaluation in systems engineering

Abbas Chaman Para - Maryam Nooraei Abadeh - Sondos Bahadori

بررسی تأثیر استقرار استاندارد COBIT در افزایش بهره وری سازمان‌ها (مطالعه موردی: شعب نمایندگی‌های همراه اول، ایرانسل، رایتل)

دکتر محمد ابراهیم سمیع - ساره رحمانیان محمد ابراهیم سمیع - ساره رحمانیان -

Enhancing Supervised Learning in Speech Emotion Recognition through Unsupervised Representations

Niloufar Faridani - Amirali Soltani Tehrani - Ramin Toosi

مدل یادگیری عمیق با بازنمایی چند مقیاسی زمان برای پیش‌بینی آبشار اطلاعاتی در شبکه‌های اجتماعی

مبینا پناهی - مهدی عمادی

پیش‌بینی بستری مجدد بیماران با استفاده از استخراج مفاهیم زیست‌پزشکی از متون بالینی

فهیمه شاهرخ شهرکی - رسول سامانی - دکتر ناصر قدیری فهیمه شاهرخ شهرکی - رسول سامانی - ناصر قدیری -

LLM-Driven Feature Extraction for Stock Market Prediction: A case study of Tehran Stock Exchange

Siavash Hosseinpour Saffarian - Saman Haratizadeh

more

Samin Hamayesh - Version 45.0.1