Relation Detection of Persian Questions by Combining Direct and Indirect Methods
Subject Areas : electrical and computer engineeringAbbas Shahini Shamsabadi 1 , Reza Ramezani 2 * , Hadi Khosravi farsani 3 , Mohammadali nematbakhsh 4
1 - Department of Software Engineering, Faculty of Computer Engineering, University of Isfahan, Iran
2 - Department of Software Engineering, Faculty of Computer Engineering, University of Isfahan, Iran
3 - Department of Computer Engineering, Shahrekord University, Shahrekord, Iran
4 - Department of Software Engineering, Faculty of Computer Engineering, University of Isfahan, Iran
Keywords: Persian question-answering, relation detection, knowledge base, natural language processing.,
Abstract :
In this study, for the problem of answering Persian questions using linked data, the sub-problem of relation detection for single-relation questions has been investigated in detail. In these questions, the answer is extracted from a triple in the form of <subject, predicate, object>. This process has two main steps: entity linking and relation detection. In the first step, the entity identified in the question is mapped to a subject or object of a triple, and in the second step, a predicate is selected for the semantic relation in the question. In most existing methods, after entity linking, all relations of that entity in the knowledge base are considered as candidate relations, and finally one of them is selected as the final relation. In these methods, if there is an error in the entity linking step, it is propagated to the relation detection step. In this study, to solve this dependency, the hierarchical structure of relations is used in order to directly extract the relation of the question. The accuracy of the proposed method in Persian is 72% for direct relation detection and 90% for selecting the best candidate relation (indirect). The accuracy has increased to 94% by combining direct and indirect methods.
[1] S. Auer, et al., "DBedpia: a nucleus for a web of open data," in Proc. 6th Int. Semantic Web Con. and the 2nd Asian Semantic Web Conf., pp. 722-735, Busan, Sourh Korea,11-15 Nov. 2007.
[2] K. Bollacker, C. Evans, P. Paritosh, T. Sturge, and J. Taylor, "Freebase: a collaboratively created graph database for structuring human knowledge," in Proc. of the 2008 ACM SIGMOD Int. Conf. on Management of Data, pp. 1247-1250, Vancouver, BC, Canada, 10-12 Jun. 2008.
[3] M. Vegupatti, et al., "Simple question answering over a domain-specific knowledge graph using BERT by transfer learning," in Proc. 28th Irish Conf. on Artificial Intelligence and Cognitive Science, pp. 289-300, Dublin, Ireland, 7-8 Dec. 2020.
[4] H. Cui, T. Peng, L. Feng, T. Bao, and L. Liu, "Simple question answering over knowledge graph enhanced by question pattern classification," Knowl. Inf. Syst., vol. 63, no. 10, pp. 2741-2761, 2021.
[5] ش. بستان، ع. م. زارع بیدکی و م. ر. پژوهان، "بهبود رتبهبندی با استفاده از BERT،" نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 22، شماره 1، صص. 29-21، بهار 1403.
[6] A. S. Shamsabadi, R. Ramezani, H. K. Farsani, and M. Nematbakhsh, "Direct relation detection for knowledge-based question answering," Expert Syst. Appl., vol. 211, Article ID: 118678, 2023.
[7] D. Golub and X. He, "Character-level question answering with attention," in Proc. EMNLP 2016-Conf. on Empirical Methods in Natural Language Processing, pp. 1598-1607, Austin, Tx, USA, 1-4 Nov. 2016.
[8] W. Yin, M. Yu, B. Xiang, B. Zhou, and H. Schütze, "Simple question answering by attentive convolutional neural network," in Proc. 26th Int. Conf. on Computational Linguistics, Technical Papers, pp. 1746-1756, Osaka, Japan, 11-16 Dec. 2016.
[9] D. Lukovnikov, A. Fischer, J. Lehmann, and S. Auer, "Neural network-based question answering over knowledge graphs on word and character level," in Proc. 26th Int. World Wide Web Conf., pp. 1211-1220, Perth, Australia, 3-7 Apr. 2017.
[10] S. Mohammed, P. Shi, and J. Lin, "Strong baselines for simple question answering over knowledge graphs with and without neural networks," in Proc. of the Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, vol. 2, pp. 291-296, New Orleans, LA, USA, 1-6 Jun. 2018.
[11] G. Melis, C. Dyer, and P. Blunsom, "On the state of the art of evaluation in neural language models," in Proc. 6th Int. Conf. on Learning Representations, 10 pp., Vancouver, Canada, 30 Apr.-3 May 2018.
[12] A. Vaswani, et al., "Attention is all you need," Adv. Neural Inf. Process. Syst., vol. 30, pp. 5998-6008, 2017.
[13] M. Yu, et al., "Improved neural relation detection for knowledge base question answering," in Proc. 55th Annu. Meeting Assoc. Comput. Linguistics, pp. 571-581, Vancouver, Canada, 30 Jul.-4 Aug. 2017..
[14] H. Zhang, et al., "An attention-based word-level interaction model for knowledge base relation detection," IEEE Access, vol. 6, pp. 75429-75441, 2018..
[15] R. Z. Wang, Z. H. Ling, and Y. Hu, "Knowledge base question answering with attentive pooling for question representation," IEEE Access, vol. 7, pp. 46773-467842019..
[16] Y. Deng, et al., "Multi-task learning with multi-view attention for answer selection and knowledge base question answering," in Proc. 33rd AAAI Conf. on Artificial Intelligence, 31st Innovative Applications of Artificial Intelligence Conf., and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence, pp. 6318-6325, Honolulu, HI, USA, 27 Jun.-1 Feb. 2019..
[17] Y. Chen and H. Li, "DAM: transformer-based relation detection for question answering over knowledge base," Knowledge-Based Syst., vol. 201-202, Article ID: pp. 106077, 2020..
[18] G. Maheshwari, et al., "Learning to rank query graphs for complex question answering over knowledge graphs," in Proc. Int. Semantic Web Conf., pp. 487-504, Auckland, New Zealand, 26-30 Oct.. 2019..
[19] "hazm 0.5.2." https://pypi.org/project/hazm/0.1/ .
[20] K. Taghva, R. Beckley, and M. Sadeh, "A stemming algorithm for the Farsi language," in Int. Conf. Inf. Technol. Coding Comput., vol. 2, pp. 158-162, Las Vegas, NV, USA, 4-6 Apr. 2005..
[21] Z. Mousavi and H. Faili, "Developing the persian wordnet of verbs using supervised learning," Trans. Asian Low-Resource Lang. Inf. Process., vol. 20, no. [22] E. Sherkat and M. Farhoodi, "A hybrid approach for question classification in Persian automatic question answering systems," in Proc. 4th Int. Conf. Comput. Knowl. Eng., pp. 279-284, Mashhad, Iran, 29-30 Oct. 2014..
[23] M. Razzaghnoori, H. Sajedi, and I. K. Jazani, "Question classification in Persian using word vectors and frequencies," Cogn. Syst. Res., vol. 47, pp. 16-27, Jan. 2018..
[24] F. Ahmadi and H. Moradi, "A hybrid method for Persian named entity recognition," in Proc. 7th Conf. on Information and Knowledge Technology, 7 pp., Urmia, Iran, 26-28 May 2015..
[25] H. Veisi and H. F. Shandi, "A Persian medical question answering system," Int. J. Artif. Intell. Tools, vol. 29, no. 6, Article ID: 2050019, 2020..
[26] A. Kazemi, J, Mozafari, and M. A. Nematbakhsh, "PersianQuAD: The native question answering dataset for the Persian language," IEEE Access, vol. 10, 26045-26057, 2022..
[27] R. Etezadi and M. Shamsfard, A Knowledge-Based Approach for Answering Complex Questions in Persian, arXiv Prepr. arXiv2107.02040, 2021..
[28] R. Etezadi and M. Shamsfard, "PeCoQ: a dataset for persian complex question answering over knowledge graph," in Proc. 11th Int. Conf. Inf. Knowl. Technol. pp. 102-106, Tehran, Iran, 22-23 Dec. 2020..
[29] F. Shirmardi, S. M. H. Hosseini, and S. Momtazi, "FarsWikiKG: an automatically constructed knowledge graph for Persian," Int. J. Web Res., vol. 4, no. 2, pp. 25-30, Dec. 2021..
[3ش م. ا. شناسا و ب. مینایی بیدگلی، "کاربست انواع جانمایی کلمات پیشآموزش دادهشده در مدلهای یادگیری عمیق برای تولید عنوان از متون فارسی،" نشریه مهندسی برق و مهندسی کامپیوتر ایران ب- مهندسی کامپیوتر، سال 22، شماره 1، صص. 38-30، بهار 1403..
[31] A. Bordes, N. Usunier, S. Chopra, and J. Weston, "Large-scale simple question answering with memory networks," CoRR, vol. abs/1506.0, [Online]. Available: http://arxiv.org/abs/1506.02075, 2015..
[32] P. Qi, T. Dozat, Y. Zhang, and C. D. Manning, "Universal dependency parsing from scratch," in Proc. of the {CoNLL} 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 160-170, Brussels, Belgium, 31 Oct.-1 Nov. 2018..
[33] ش. بستان، ع. م. زارع بیدکی و م. ر. پژوهان، "درونسازی معنایی واژهها با استفاده از BERT روی وب فارسی،" نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 21، شماره 2، صص. 100-89، تابستان 1402..
[34] -, "SimpleQuestions-EntityLinking," https://github.com/Gorov/SimpleQuestions-EntityLinking .
[35] م. حسینزاده اقدم، م. آنالویی و ج. تنها، "ارائه روشی جدید بر مبنای تجزیه ماتریس غیرمنفی برای کاهش ابعاد،" نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 2، صص. 172-164، تابستان 1401..
[36] W. T. Yih, M. W. Chang, X. He, and J. Gao, "Semantic parsing via staged query graph generation: question answering with knowledge base," in Proc. 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int. Joint Conf. on Natural Language Processing of the Asian Federation of Natural Language Processing, Proc. of the Conf., vol. 1, pp. 1321-1331, Beijing, China, 26-31 Jul. 2015..
نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 23، شماره 1، بهار 1404 17
مقاله پژوهشی
تشخیص رابطه پرسشهای فارسی با ترکیب
روشهای مستقیم و غیرمستقیم
عباس شاهینی شمسآبادی، رضا رمضانی، هادی خسروی فارسانی و محمدعلی نعمتبخش
چکیده: در این مطالعه برای مسأله پاسخ به سؤالهای فارسی با استفاده از دادههای پیوندی، زیرمسأله تشخیص رابطه برای سؤالهای تکرابطهای به تفصیل بررسی شده است. در این سؤالها، پاسخ از یک سهتایی به شکل <فاعل، گزارهنما، مفعول> استخراج میشود. این کار دارای دو مرحله اصلی میباشد: نگاشت نهاد و تشخیص رابطه. در مرحله اول، نهاد شناساییشده در سؤال به یک فاعل یا مفعول از یک سهتایی نگاشت شده و در مرحله دوم یک گزارهنما برای رابطه معنایی موجود در سؤال انتخاب میشود. در اکثر روشهای موجود پس از نگاشت نهاد، همه رابطههای آن نهاد در پایگاه دانش به عنوان رابطههای نامزد در مرحله تشخیص رابطه در نظر گرفته شده و در نهایت یکی از آنها انتخاب میشود. در این روشها اگر خطایی در مرحله نگاشت نهاد وجود داشته باشد به مرحله بعد منتشر شده و تشخیص رابطه به درستی انجام نمیشود. در این مطالعه برای رفع این وابستگی از ساختار سلسلهمراتبی رابطهها به منظور استخراج مستقیم رابطه سؤال بهره گرفته میشود. دقت روش پیشنهادی در زبان فارسی برای تشخیص مستقیم رابطه 72% و برای انتخاب بهترین رابطه نامزد (غیرمستقیم) 90% میباشد. این دقت با ترکیب دو روش مستقیم و غیرمستقیم به 94% افزایش پیدا کرده است.
کلیدواژه: پرسش- پاسخ فارسی، تشخیص رابطه، پایگاه دانش، پردازش زبان طبیعی.
1- مقدمه
هدف از یک سیستم پرسش- پاسخ، پیداکردن پاسخ مناسب برای سؤالی است که توسط یک انسان به زبان طبیعی مطرح شده است. کاربر این سیستمها هیچ اطلاعی از منابع داده و مراحل پردازش سؤال ندارد و یافتن و تولید پاسخ قرار است به طور خودکار انجام شود. به همین دلیل در این سیستمها دو مبحث اصلی بازیابی اطلاعات و پردازش زبان طبیعی مطرح است.
سیستمهای پرسش- پاسخ به دو دسته مبتنی بر بازیابی اطلاعات و مبتنی بر پایگاه دانش تقسیم میشوند. سیستمهای پرسش- پاسخ مبتنی بر بازیابی اطلاعات (که مبتنی بر متن هم نامیده میشوند) از حجم زیاد اطلاعات متنی موجود در وب یا مجموعههای خاص مانند پابمِد2
به عنوان منبع اطلاعاتی برای پاسخ به سؤالها استفاده میکنند. در سیستمهای پرسش- پاسخ مبتنی بر پایگاه دانش که موضوع این تحقیق هم هست، از پایگاه دادههای ساختارمند مثل دیبیپدیا3 [1] یا فریبیس4 [2] به عنوان منبع اطلاعاتی استفاده میشود.
اساس سیستمهای پرسش- پاسخ مبتنی بر پایگاه دانش، استفاده از دادههای ساختارمند برای پاسخ به یک سؤال میباشد. این دادههای ساختارمند، پایگاههای دانشی مثل فریبیس و دیبیپدیا هستند که دادهها در آنها به شکل سهتاییهای RDF ذخیره شده است. هر سهتایی به شکل <فاعل، گزارهنما، مفعول> است که در آن فاعل همیشه یک موجودیت است، اما مفعول میتواند یک موجودیت یا یک مقدار باشد. گزارهنما هم رابطه بین فاعل و مفعول را نشان میدهد. به عنوان مثال در سهتایی <گلستان، نویسنده، سعدی> موجودیت کتاب گلستان یک فاعل، نویسنده یک گزارهنما و موجودیت سعدی یک مفعول میباشد. اما کلمه نثر که در سهتایی <گلستان، نوع، نثر> مفعول است، یک موجودیت نبوده و یک مقدار میباشد.
سیستمهای پرسش- پاسخ با توجه به تعداد رابطهای که در سؤال وجود دارد به دو دسته تکرابطهای و چندرابطهای تقسیم میشوند. یک سؤال تکرابطهای فقط به یک سهتایی از پایگاه دانش نگاشت میشود، اما برای پاسخ به یک سؤال چندرابطهای به چندین سهتایی از پایگاه دانش نیاز است. سوابق پرسوجوها و سایتهای پرسش- پاسخ عمومی نشان میدهند که اکثر سؤالها به صورت تکرابطهای هستند.
امروزه تمرکز سیستمهای پرسش- پاسخ بیشتر بر روی سؤالهای واقعنما5 است. پاسخ این سؤالها یک حقیقت کوتاه مثل نام یک شخص یا سازمان، یک مکان یا زمان میباشد. علت اصلی تمرکز بر سؤالهای واقعنما، سادهبودن پاسخدهی به آنها نسبت به سؤالهای توصیفی و دلیلی6 است. سه سؤال زیر مثالهایی از سؤالهای واقعنما هستند:
- نویسنده کتاب تاریخ طبری کیست؟
- سهراب سپهری در چه شهری متولد شد؟
- جنگ ایران و عراق در چه سالی شروع شد؟
تمرکز این تحقیق بر روی سیستمهای پرسش- پاسخ واقعیتی تکرابطهای است. همان طور که در شکل 1 مشاهده میشود، مدلهای مربوط به این
شکل 1: مراحل کلی یک سیستم پرسش- پاسخ واقعنمای تکرابطهای [3].
نوع سؤالها معمولاً دارای دو مرحله اصلی پیوند نهاد و تشخیص رابطه میباشد. در مرحله پیوند نهاد، موجودیت خاصی که در سؤال شناسایی شده است، به فاعل یا مفعول سهتاییهایی از پایگاه دانش نگاشت میشود. در یک پایگاه دانش ممکن است برای یک فاعل یا مفعول، سهتاییهای مختلفی با گزارهنماهای متفاوتی وجود داشته باشد. هدف از مرحله تشخیص رابطه، نگاشت رابطه معنایی موجود در سؤال به گزارهنمای نظیر آن است.
در بیشتر روشهای موجود از خروجی مرحله تشخیص نهاد برای تشخیص رابطه استفاده میشود. در این روشها همه گزارهنماهای موجود برای فاعل یا مفعولی که به سؤال نگاشت شدهاند، به عنوان رابطه نامزد در نظر گرفته شده و در مرحله تشخیص رابطه، بهترین رابطه از بین آنها انتخاب میشود. در این روشها مرحله تشخیص رابطه وابستگی شدیدی به مرحله پیوند نهاد دارد. بنابراین بدون پیوند نهاد نمیتوانند رابطه سؤال را تشخیص دهند و هرگونه انتخاب اشتباه نهاد، منجر به انتخاب اشتباه رابطه میگردد. البته در برخی از مقالات مثل [4] هم مرحله پیوند نهاد به عنوان گلوگاهی برای سیستمهای پرسش- پاسخ مبتنی بر پایگاه دانش اعلام شده است. در این مقاله راهکارهایی ارائه شد که بدون نیاز به نهاد سؤال، رابطه سؤال به طور مستقیم تشخیص داده میشود.
در بیشتر کارهای انجامشده از روش کدگذاری- مقایسه7 استفاده میشود، به نحوی که با استفاده از روشهای تعبیه8 [5]، رابطهها و سؤالها هر کدام به شکل بردارهایی با تعداد ابعاد ثابت فشرده شده و با همدیگر مقایسه میشود [6]. این کار باعث از بین رفتن قسمتی از اطلاعات معنایی سؤال میشود. برخلاف روشهای فعلی که از تعبیه کلمه یا جمله برای کدگذاری سؤالها استفاده میکنند، در راهحل پیشنهادی از کدگذاری وانهات9 در سطح حروف برای ورودی شبکههای عصبی استفاده میشود. این کار دارای سه مزیت میباشد؛ اول اینکه با این روش برای کلمات خارج از لغتنامه (کلمات جدید یا دارای غلط املایی) هم میتوان بردار تولید کرد. دوم اینکه کلمات کمتکرار را بهتر میتوان پوشش داد؛ زیرا روشهای تعبیه کلمه به حجم خیلی زیادی از دادههای آموزشی برای توصیف مناسب کلمات کمتکرار نیاز دارند. سوم اینکه تعداد ابعاد بردارهای مختلفی که ساخته میشود کم بوده و به تعداد حروف الفبای زبان میباشد، بنابراین از پیچیدگی مدل کاسته شده و کارایی افزایش مییابد.
در مقالهای که توسط نویسندگان مقاله ارائه شده است [6]، دو روش مستقیم و غیرمستقیم برای تشخیص رابطه پرسشهای انگلیسی به طور جداگانه آزمایش شدند. اما در این مقاله برای زبان فارسی از ترکیب این دو
(الف)
(ب)
(ج)
شکل 2: فشردهسازی سؤال و رابطه، (الف) فشردهسازی جداگانه رابطه و سؤال قبل از محاسبه شباهت آنها، (ب) ایجاد یک بردار فشرده برای سؤال با توجه به هر رابطه، قبل از محاسبه شباهت با آن رابطه و (ج) محاسبه شباهت رابطه و سؤال بدون فشردهسازی در روش پیشنهادی.
روش به منظور افزایش دقت استفاده شده است. نوآوریهای اصلی این مقاله به شرح زیر میباشد:
- رابطه سؤالهای فارسی به طور مستقیم و مستقل از مرحله پیوند نهاد، تشخیص داده شده است.
- از ساختار سلسلهمراتبی رابطهها برای تشخیص رابطه سؤال استفاده شده است.
- از هیچ مدل آماده یا آموزشدادهشدهای برای تعبیه کلمه، سؤال یا رابطه استفاده نشده است.
- از بردارهای میانی استفاده نگردیده و ورودی هر مرحله به شکل متنی میباشد.
- از ترکیب دو روش مستقیم و غیرمستقیم برای افزایش دقت تشخیص رابطه سؤالهای فارسی استفاده شده است.
در بخش دوم از این مقاله، پیشینه تحقیق بیان شده و رویکردهای پیشنهادی با سایر کارهای انجامشده در این مقاله مقایسه شدهاند. در بخش سوم، رویکردهای پیشنهادی بیان شده و در بخش چهارم پیادهسازی و ارزیابی گردیده و خروجیها تحلیل شده است. بخش پنجم شامل نتیجهگیری است.
2- پیشینه تحقیق
تحقیقات زیادی در زمینه تشخیص رابطهها در پاسخ به پرسشهای واقعنمای تکرابطهای انجام شد که برخی از آنها در جدول 1 نمایش داده شدهاند. در بیشتر این روشها، مرحله پیوند نهاد پیشنیاز است. همچنین آنها از روش کدگذاری- مقایسه استفاده میکنند، به نحوی که رابطهها و سؤالها هر کدام به شکل بردارهایی با تعداد ابعاد ثابت فشرده شده و با همدیگر مقایسه میشود. این کار باعث از بین رفتن قسمتی از اطلاعات معنایی سؤال میشود. دو قسمت الف و ب از شکل 2 نشاندهنده رفتار این روشها هستند؛ در بعضی از آنها (مثل قسمت الف) فقط یک بردار برای سؤال ساخته شده و با بردار همه رابطههای نامزد مقایسه میشود. اما در بعضی از روشها (مثل قسمت ب) برای هر رابطه یک بردار جداگانه برای سؤال ایجاد میشود که بردار رابطه هم در ساخت آن در نظر گرفته شده است. اما روش پیشنهادی مثل قسمت ج از این شکل بوده و قبل از مقایسه، هیچ نوع فشردهسازی انجام نمیشود؛ بلکه رابطه و سؤال به شکل ورودیهایی با کدگذاری وانهات در نظر گرفته میشوند.
[1] این مقاله در تاریخ 30 مرداد ماه 1403 دریافت و در تاریخ 3 دی ماه 1403 بازنگری شد.
عباس شاهینی شمسآبادی، دانشکده مهندسی کامپیوتر، دانشگاه اصفهان، اصفهان، ایران، (email: ashahini@eng.ui.ac.ir).
رضا رمضانی (نویسنده مسئول)، دانشکده مهندسی کامپیوتر، دانشگاه اصفهان، اصفهان، ایران، (email: r.ramezani@eng.ui.ac.ir).
هادی خسروی فارسانی، دانشکده فنی و مهندسی، دانشگاه شهرکرد، شهرکرد، ایران، (email: khosravi@eng.sku.ac.ir).
محمدعلی نعمتبخش، دانشکده مهندسی کامپیوتر، دانشگاه اصفهان، اصفهان، ایران، (email: nematbakhsh@eng.ui.ac.ir).
[2] . PubMed
[3] . DBpedia
[4] . Freebase
[5] . Factoid
[6] . Reasoning
[7] . Encoding-Comparison
[8] . Embedding
[9] . One-Hot
جدول 1: مقایسه ساختاری روش پیشنهادی با روشهای قبلی.
| سال | تعبیه در سطح حرف | تعبیه در سطح کلمه | نحوه نمایش سؤال | نوع شبکه عصبی عمیق | روش اندازهگیری شباهت | استفاده از کدگذاری- مقایسه | تشخیص رابطه | تعداد مراحل استفاده از | تعداد بردارهای تولیدشده | ||
مستقیم | استفاده از رابطههای نامزد | |||||||||||
وابسته به نهاد | مستقل از نهاد | |||||||||||
هی و همکاران [7] | 2016 | ü | - | توالی خروجی LSTM | LSM, CNN | کسینوس | - | - | - | ü | 3 | 1 |
یین و همکاران [8] | 2016 | - | ü | attentive max pooling | CNN | کسینوس | ü | - | ü | - | 2 | تعداد رابطههای نامزد |
لوکووینکوف و همکاران [9] | 2017 | ü | ü | خروجی آخرین لایه مخفی GRU | GRU | کسینوس | ü | - | - | ü | 2 | 1 |
محمد و همکاران [10] | 2018 | - | ü | خروجی آخرین لایه مخفی BiGRU | BiGRU | کسینوس | ü | - | - | ü | 2 | 1 |
یو و همکاران [13] | 2017 | - | ü | max pooling | BiLSTM | کسینوس | ü | - | ü | - | 4 | 1 |
ژانگ و همکاران [14] | 2018 | - | ü | توالی بردارهای کلمات | BiLSTM, CNN | لایه کانولوشن | - | - | ü | - | 3 | 1 |
وانگ و همکاران [15] | 2019 | ü | ü | attentive max pooling | BiLSTM | کسینوس | ü | - | ü | - | 4 | سه برابر تعداد رابطههای نامزد |
دِنگ و همکاران [16] | 2019 | - | ü | attentive max/mean pooling | BiLSTM, CNN | کسینوس | ü | - | ü | - | 6 | 5 |
چن و همکاران [17] | 2020 | - | ü | attentive max pooling | BiLSTM | کسینوس | ü | - | ü | - | 2 | تعداد رابطههای نامزد |
روش پیشنهادی برای تشخیص مستقیم رابطه | 2024 | ü | - | کدگذاری وانهات | BiGRU | BiGRU | - | ü | - | - | 3 | 1 |
روش پیشنهادی برای انتخاب بهترین رابطه نامزد | 2024 | ü | - | کدگذاری وانهات | BiGRU | BiGRU | - | - | ü | - | 1 | 1 |
هی و همکاران [7] یک روش کدگذار- کدگشای مبتنی بر حروف را پیشنهاد دادند که از توجه1 استفاده میکرد. کدگذار دارای یک لایه LSTM و کدگشا دارای دو لایه LSTM بود. آنها ادعا داشتند که مدل آنها تعداد پارامترهایش نسبت به مدلهای قبلی ۱۶ برابر کمتر است. به علت استفاده از تعبیه در سطح حروف، طول توالیهای آنها زیاد بود و چون LSTM برای ورودیهای طولانی ضعیف عمل میکند، نتیجه کار آنها بسیار ضعیف بود.
یین و همکاران [8] به کمک شبکههای عصبی کانولوشن، روش هی و همکاران [7] را بهبود بخشیدند. در رویکرد آنها، پیوند نهاد در سطح حروف انجام میشد، ولی تشخیص رابطه در سطح کلمه بود. آنها برای بررسی تطابق بین رابطههای نامزد و سؤال از توجه مکس پولینگ2 در شبکههای عصبی کانولوشن استفاده کردند. در این روش به ازای هر رابطه نامزد، یک بردار جداگانه برای سؤال ایجاد میشد. به عبارت دیگر، هنگام ایجاد یک بردار برای سؤال، رابطه هم در نظر گرفته میشد تا به کلماتی از سؤال که رابطه را توصیف میکنند وزن بیشتری داده شود. اگرچه دقت کار آنها قابل قبول بود، اما برای هر سؤال بردارهای زیادی (به تعداد رابطههای نامزد) باید ایجاد میشد که پیچیدگی فرایند را به طور چشمگیری افزایش میداد.
لوکووینکوف و همکاران [9] برای کدگذاری کلمات از شبکههای عصبی GRU هم در سطح کلمه و هم در سطح حروف استفاده کردند تا بتوانند به درستی از معانی در سطح کلمه بهره برده و چالش کلمههای خارج از لغتنامه و کلمههای کمتکرار را مدیریت نمایند. آنها از یک شبکه دیگر برای تولید یک بردار برای سؤال استفاده کردند. علت استفاده
از شبکههای GRU به جای شبکههای LSTM، توانایی آنها برای پردازش توالیهای طولانی بود. معماری روش آنها انتهابهانتها3 بود و از پیچیدگیهای خط لوله پردازش زبان طبیعی و انتشار خطا پرهیز نموده و به آسانی میتوان آن را برای دامنههای دیگر آموزش داد. متأسفانه دقت این روش در مقایسه با روشهای روز بسیار پایین میباشد.
محمد و همکاران [10] برای کدگذاری نهاد و رابطه، روشهای مختلفی را بررسی کرده و در پایان برای کدگذاری نهاد، شبکه BiLSTM و برای کدگذاری رابطه، شبکه BiGRU را مناسب دانستند. آنها عقیده داشتند که روشهای یادگیری عمیق پیچیده، دستاوردهای ضعیفی داشتهاند و مدل آنها از این پیچیدگیهای غیرضروری پرهیز کرده است. در همین زمینه ملیس و همکاران [11] نشان دادند که یک LSTM خوب تنظیمشده4 از بسیاری از مدلهای موجود بهتر است. به طور مشابه واسوانی و همکاران [12] نشان دادند که کارایی روشهایی که از کدگذار- کدگشا به همراه توجه استفاده میکنند با یک ماژول تنهای توجه برابر است، بنابراین بهتر است از شبکههای سادهتر استفاده شود تا بتوان آنها را سادهتر و سریعتر آموزش داد. روش پیشنهادشده توسط محمد و همکاران [10]، مشابه روش پیشنهادشده در این مقاله، رابطه یک سؤال را به طور مستقیم تشخیص داده و به مرحله پیوند نهاد وابستگی ندارد، ولی دقت روش آنها بسیار پایین است.
یو و همکاران [13] از دو لایه BiLSTM برای کدگذاری سؤالها در سطح کلمه و کدگذاری رابطهها هم در سطح کلمه و هم در سطح رابطه استفاده کردند. روش آنها دقت قابل قبولی را در انتخاب بهترین رابطه از بین رابطههای نامزد داشت.
ژانگ و همکاران [14] یک مدل مبتنی بر توجه در سطح کلمه را پیشنهاد دادند که کار یو و همکاران [13] را با کدگذاری سؤالها به وسیله توجه نرم5 بهبود بخشیده و با کلمات رابطه مانند پرسوجوها رفتار میکرد. آنها برخلاف یو و همکاران فقط از نمایشهای سطح کلمه استفاده کردند و نتایج به عنوان ورودی به یک لایه مقایسهکننده کانولوشن داده میشد تا ویژگیهای بیشتری استخراج شود. آنها تبدیل یک سؤال به یک بردار با تعداد ابعاد ثابت را به عنوان یک گلوگاه اطلاعاتی بیان کردند. در روش آنها به جای ادغام توالیها در یک بردار واحد، تناظر نرم بین کلمات جمله و رابطه آموزش داده میشد. سپس کلمات متناظر از سؤال و رابطه با استفاده از یک شبکه کانولوشن مقایسه شده و نتایج ادغام میشدند؛ البته این روش هم مبتنی بر رابطههای نامزد میباشد.
وانگ و همکاران [15] یک روش توجه چندسطحی را پیشنهاد دادند که رابطه در سه سطح مختلف حرف، کلمه و رابطه پردازش شده و سه بردار جداگانه برای آن ایجاد میشد. در این روش بردار سؤال به رابطه وابسته بوده و بنابراین به ازای هر رابطه سه بردار مختلف برای یک سؤال ایجاد میشد. در پایان با توجه به سه بردار تولیدشده برای رابطه و سه بردار تولیدشده برای سؤال، یک امتیاز برای آن رابطه محاسبه میشد. در این روش اگرچه نیاز به پردازشهای زیادی برای تولید تعداد زیادی از بردارها است، ولی دقت حاصلشده در مقایسه با روشهای قبلی بسیار ضعیف بود.
دِنگ و همکاران [16] از روشهای یادگیری چندوظیفهای برای پرسش- پاسخ بهره بردند. آنها از پنج دید توجه شامل کلمه، دانش، معنا، معنای دانش و توجه مشترک استفاده کردند. اگرچه این روش برای تشخیص رابطهها دقت قابل قبولی را ارائه میدهد، ولی همچنان نیازمند رابطههای نامزد به عنوان ورودی است و توانایی تشخیص مستقیم رابطه را ندارد.
چن و همکاران [17] یک روش تطبیق معنایی توجه عمیق مبتنی بر مبدل 6(DAM) را برای تشخیص رابطه پیشنهاد دادند. آنها از یک مدل توجه دانهبندی ریز مبتنی بر کلمه استفاده کردند و کار آنها به طور کامل بر اساس توجه بوده که از تحقیقات ماهِشواری و همکاران [18] و همچنین دنگ و همکاران [16] الهام گرفته شده بود. این روش مشابه یین و همکاران [8] به ازای هر رابطه نامزد یک بردار جداگانه برای سؤال تولید میکند.
راهحل پیشنهادی در این تحقیق، رابطه سؤال را به طور مستقیم پیدا کرده و برخلاف روشهای قبلی نیازمند رابطههای نامزد نمیباشد. بنابراین در روش پیشنهادی مشکل انتشار خطا (از مرحله پیوند نهاد به مرحله استخراج رابطه) وجود ندارد. البته اگر مجموعه رابطههای نامزد در اختیار باشد، این روش میتواند آنها را رتبهبندی نموده و بهترین را انتخاب نماید. همچنین روش پیشنهادی برخلاف روشهای قبلی از کدگذاری- مقایسه برای رتبهبندی رابطههای نامزد استفاده نمیکند که در نتیجه از اتلاف اطلاعات جلوگیری میشود. روش پیشنهادی بسیار ساده بوده و هیچ تعبیه کلمه یا رابطه در آن استفاده نمیشود. همچنین در این روش برخلاف روشهای قبلی، نیازی به تولید یک بردار جداگانه برای سؤال به ازای هر رابطه نامزد نمیباشد.
در جدول 1، روشهای مختلف با همدیگر مقایسه شدهاند. همان طور که مشاهده میشود، روش پیشنهادی در سه مرحله با استفاده از سه شبکه عصبی میتواند به طور مستقیم و بدون نیاز به رابطههای نامزد، رابطه یک سؤال را تشخیص دهد. اما اگر رابطههای نامزد در دسترس باشند، فقط با استفاده از یک شبکه عصبی میتواند رابطه سؤال را انتخاب کند.
کتابخانهای به نام هضم [19] در محیط برنامهنویسی پایتون ایجاد شده که به گفته سازندگان آن عمل تمیزکردن متن فارسی، تقطیع جملهها و واژهها، ریشهیابی واژهها و تحلیل صرفی و نحوی جمله را انجام داده و واسطه استفاده از دادههای فارسی است. در [20] نیز یک الگوریتم مبتنی بر ماشین حالت قطعی برای یافتن ریشه لغتهای فارسی بیان شده است.
موسوی و فیلی [21] وردنت فارسی را به یک روش تمام خودکار توسعه دادند. در [22] از یک روش ترکیبی مبتنی بر قاعده و مبتنی بر یادگیری ماشین برای دستهبندی سؤالهای فارسی و تشخیص نوع پاسخ مورد انتظار استفاده میشود. در [23] نیز سه روش از نوع یادگیری ماشین برای دستهبندی سؤالهای فارسی مطرح شده است. در [24] از یک
روش ترکیبی مبتنی بر قاعده و زنجیره پنهان مارکوف برای تشخیص موجودیتهای خاص استفاده میشود. ویسی و همکاران [25] یک سیستم پرسش- پاسخ مبتنی بر بازیابی اطلاعات برای پاسخ به سؤالهای فارسی پزشکی ارائه کردند. کاظمی و همکاران [26] هم برای زبان فارسی، یک مجموعه داده به نام پرشینکواد7 ارائه دادند تا مشکل کمبود داده سیستمهای پرسش- پاسخ مبتنی بر بازیابی اطلاعات که قصد استفاده از یادگیری عمیق را دارند برطرف شود.
اعتضادی و همکاران [27] یک روش مبتنی بر پایگاه دانش برای پاسخ به سؤالهای پیچیده فارسی ارائه کردند که از گراف دانش فارسبِیس8 استفاده میکرد. همچنین یک مجموعه داده فارسی به نام PeCoQ [28] تولید کردند که سؤالهای آن با استفاده از قالبهای ثابت از روی فارسبِیس ساخته شده بود. شیرمردی و همکاران [29] با اینفوباکسهای ویکیپدیای فارسی یک گراف دانش به نام FarsWikiKG ایجاد کردند.
3- رویکردهای پیشنهادی
در این بخش، روشهایی برای تشخیص مستقیم رابطه یک سؤال بدون نیاز به پیوند نهاد بیان میشود. البته از این روشها میتوان برای انتخاب بهترین رابطه از بین رابطههای نامزد هم استفاده کرد. امروزه کارهای زیادی در زمینه پردازش زبان فارسی به کمک یادگیری عمیق انجام شده است [30]. همه روشهای بیانشده در این بخش از یادگیری عمیق استفاده کرده که به زبان خاصی وابسته نیستند. به عبارت دیگر برای هر دو زبان انگلیسی و فارسی قابل استفاده هستند.
در بعضی از پایگاههای دانش، رابطهها به شکل سلسلهمراتبی هستند؛ مثلاً در پایگاه دانش فریبیس رابطهها به شکل موضوع/ نوع/ دامنه هستند. همان طور که در شکل 3 نشان داده شده است، این گونه رابطهها
شکل 3: ساختار درختی (سلسلهمراتبی) رابطهها در پایگاه دانش فریبیس.
شکل 4: مثالی از راهکار پیشنهادی برای تشخیص رابطه سؤال.
[1] . Attention
[2] . Max Pooling
[3] . End-to-End
[4] . Well-Set up
[5] . Soft Attention
[6] . Transformer-Based Deep Attentive Semantic Matching
[7] . PersianQuAD
[8] . Farsbase
شکل 5: مراحل راهکار پیشنهادی مبتنی بر دستهبندی دودویی.
را میتوان با یک ساختار درختی چندسطحی نشان داد. در روش پیشنهادی از چنین ساختاری برای تشخیص بهتر رابطهها استفاده میشود. همان طور که در شکل 4 نشان داده شده است، به جای اینکه کل رابطه در یک مرحله پیدا شود، با توجه به ساختار سهسطحی که در پایگاه دانش فریبیس وجود دارد، رابطه سؤال در سه مرحله که به شکل متوالی قرار دارند تشخیص داده میشود. البته در هر مرحله علاوه بر سؤال، خروجی مرحله قبلی هم در نظر گرفته میشود.
در مثال شکل 4، در مرحله اول دسته people به عنوان دامنه پیدا شده و با توجه به مقدار مرحله اول، در مرحله دوم دسته person به عنوان نوع تشخیص داده میشود. در مرحله سوم با توجه به خروجی مرحله دوم دسته place_of_birth به عنوان موضوع انتخاب شده و در پایان رابطه people/person/place_of_birth حاصل میشود. در مجموعه داده SimpleQuestions [31] که از روی فریبیس ساخته شده است در سطح اول 83 دسته، در سطح دوم 794 دسته و در سطح سوم 1514 دسته وجود دارد.
3-1 راهکار مبتنی بر دستهبندی دودویی برای استخراج مستقیم رابطهها
در این بخش یک راهکار برای تشخیص مستقیم رابطهها ارائه شده که نیازی به مرحله پیوند نهاد ندارد. راهحل پیشنهادی مبتنی بر ویژگی سلسلهمراتبی رابطههاست و برای پیادهسازی آن از شبکههای عصبی BiGRU استفاده شده است. در حقیقت در روش پیشنهادی به جای این که ابتدا نهاد مشخص شده و سپس همه رابطههای مربوط به آن به عنوان رابطههای نامزد در نظر گرفته شوند، همه رابطههای موجود در پایگاه دانش به عنوان نامزد در نظر گرفته میشوند. برای پیادهسازی راهکار پیشنهادی از دستهبندی دودویی استفاده شده که در ادامه توضیح داده میشوند.
در روش مبتنی بر دستهبندی دودویی برای هر کدام از دستههای ممکن، یک ورودی برای شبکه عصبی تولید میشود؛ به طوری که برچسب آن دسته در ابتدای سؤال درج شده و شبکه عصبی یک امتیاز برای آن تولید میکند. برای دسته صحیح، خروجی شبکه عصبی یک و برای دسته نادرست خروجی صفر است. در مرحله اول تعداد ورودیهای تولیدشده برابر تعداد دستههای سطح اول است، اما در مراحل بعدی به تعداد فرزندان دسته انتخابشده در مرحله قبل میباشد.
به عنوان مثال برای سؤال «where was barack obama born»، ابتدا همه برچسبهای سطح اول از درخت شکل 3 (مثل people، religion و غیره) به طور جداگانه در ابتدای سؤال درج میشوند. اگر مثل شکل 4، برچسب people بالاترین امتیاز را تولید کند، این بار همه فرزندان people در درخت شکل 3 (مثل person، family و غیره) به همراه آن در ابتدای سؤال درج شده و توسط شبکه عصبی سطح دوم یک امتیاز برای هر کدام محاسبه میشود. اگر مانند شکل 4 برچسب person بیشترین امتیاز را تولید کند، به طور مشابه مراحل قبل فرزندان person (مثل place_of_birth، nationality و غیره) توسط شبکه عصبی سطح سوم بررسی شده و در نهایت place_of_birth انتخاب میشود.
مراحل روش مبتنی بر دستهبندی دودویی در شکل 5 آمده است. ابتدا برچسبهای POS برای کلمات سؤال تولید شده و برچسب مربوط به
شکل 6: نمایشی از مراحل مختلف روش دودویی برای سؤال «where was barack obama born».
شکل 7: ساختار کلی انتخابکننده بهترین برچسب.
هر کلمه پس از آن کلمه درج میشود. در مرحله اول، همه برچسبهای دستههای سطح اول به عنوان مجموعه 
در نظر گرفته شده و توسط «پیوستکننده1» به طور جداگانه در ابتدای سؤال درج میشوند و ورودیهای جداگانهای را ایجاد میکنند. در ادامه یک انتخابکننده وجود دارد که به کمک شبکههای عصبی عمیق، ورودیِ دارای برچسب بهترین دسته را انتخاب میکند. پس از مشخصشدن دسته مرحله اول 
، همه فرزندان آن دسته (مجموعه 
) به عنوان نامزدهای مرحله دوم در نظر گرفته شده و هر کدام به طور جداگانه توسط پیوستکننده مرحله دوم در ابتدای سؤال درج میگردند.
مشابه مرحله اول، در مرحله دوم هم یک انتخابکننده وجود دارد که ورودی دارای بهترین برچسب 
را انتخاب میکند و فرزندان دسته نظیر آن (مجموعه 
) به عنوان نامزدهای مرحله سوم در نظر گرفته شده و هر کدام به طور جداگانه در ابتدای سؤال درج شده و توسط انتخابکننده این مرحله، ورودیِ دارای بهترین برچسب انتخاب میشود. همان طور که در شکل 5 نشان داده شده است، برچسب انتخابشده در این مرحله 
نشاندهنده برچسب کل رابطه است، زیرا برچسب هر دسته شامل برچسب پدر آن هم میباشد. مثلاً در شکل 6 مراحل مختلف روش دودویی برای سؤال «where was barack obama born» نشان داده شده است.
همان طور که در شکل 7 مشاهده میشود، یک انتخابکننده بهترین برچسب از دو قسمت اصلی کدگذاری وانهات و شبکه عصبی عمیق تشکیل شده است. هر سه مرحله دارای قسمت کدگذاری وانهات یکسانی هستند، اما شبکه عصبی جداگانهای دارند. پس از اینکه برچسب هر دسته به طور جداگانه به ابتدای سؤال اضافه شد، به ازای هر حرف از رشته ایجادشده، یک بردار وانهات تولید میشود. کد وانهات تولیدشده به عنوان ورودی به شبکه عصبی داده شده و یک مقدار در بازه 
به عنوان خروجی تولید میشود. در حالت ایدهآل انتظار میرود که برای برچسب صحیح، مقدار خروجی برابر یک و برای برچسبهای نادرست صفر باشد. اما چون مقادیر تولیدشده بین صفر و یک هستند، برچسبی
که بزرگترین مقدار خروجی را تولید کند به عنوان بهترین برچسب انتخاب میگردد.
3-2 استفاده از روش پیشنهادی برای انتخاب بهترین رابطه از بین رابطههای نامزد
اکثر روشهای موجود فقط میتوانند از بین رابطههای نامزد برای یک سؤال، یکی را انتخاب کنند. در این روشها به جای نگاشت مستقیم سؤال به یک رابطه از پایگاه دانش، ابتدا نهاد سؤال در پایگاه دانش پیدا شده و سپس همه رابطههایی که برای آن نهاد وجود دارند به عنوان نامزد در نظر گرفته میشوند تا بهترین آنها انتخاب شود. روش پیشنهادی در این پژوهش، توانایی نگاشت مستقیم یک سؤال به رابطه نظیر آن در پایگاه دانش را دارد، اما به منظور مقایسه با سایر روشهای موجود از آن برای انتخاب بهترین رابطه از بین رابطههای نامزد هم استفاده شده است. برای این کار فقط از شبکه عصبی مرحله سوم استفاده میشود.
انتخاب بهترین رابطه نامزد با استفاده از روش دستهبندی دودویی بسیار ساده است. برچسبهای هر سه قسمت رابطه در ابتدای سؤال درج
شکل 8: مراحل ایجاد دادههای منفی برای شبکه عصبی مرحله سوم با در نظر گرفتن رابطههای رقیب یک رابطه.
شده و رشته تولیدشده به عنوان ورودی به شبکه عصبی مرحله سوم
داده میشود و مقدار خروجی تولیدشده به عنوان امتیاز آن رابطه در نظر گرفته میشود.
همان طور که در شکل 8 نشان داده شده است، در روش دستهبندی دودویی، تعداد زیادی داده منفی به دادههای آموزشی شبکه عصبی مرحله سوم اضافه شدند تا دقت آن را برای انتخاب بهترین رابطه از بین رابطههای نامزد، افزایش دهند. به همین منظور برای هر رابطه 
یک مجموعه شامل رابطههای رقیب آن 
ایجاد شد. اگر 
مجموعهای شامل همه سؤالهایی باشد که رابطه نظیر آنها است، آنگاه اجتماع همه رابطههای نامزد برای سؤالهای عضو بجز به عنوان 
در نظر گرفته میشود. پس شامل رابطههایی است که در جایی با رقابت میکنند. برچسب هر رابطه عضو در ابتدای هر سؤال که عضو است اضافه شده و یک داده آموزشی با مقدار خروجی منفی را ایجاد میکند. چون ممکن است برای بعضی از رابطهها خیلی بزرگ شود میتوان با مشخصکردن حداکثر اندازه، آن را محدود کرد.
3-3 ترکیب روشهای مستقیم و غیرمستقیم
با توجه به سه گزینه اولی که در هر سطح توسط روش مستقیم تشخیص رابطه پیشنهاد میشود، میتوان رابطههای نامزد نادرست را حذف کرد؛ زیرا مقدار صحیح رابطه در هر کدام از سطوح با احتمال بالای 94% یکی از سه گزینه اولی است که توسط روش مستقیم تشخیص رابطه پیشنهاد میشود. در روش ترکیبی برای هر سطح از یک فیلتر برای حذف رابطههای نادرست استفاده شده است.
مراحل کلی روش ترکیبی برای هر سطح 
از رابطهها در شکل 9 نشان داده شده است؛ البته در مجموعه داده فعلی سه سطح وجود دارد. ابتدا با روشی که در بخش قبلی شرح داده شد، رابطههای نامزد رتبهبندی میشوند که در شکل 9 رتبهبندی* نامیده میشود. در فیلتر سطح 1 ابتدا به روش مستقیم، برچسب سطح اول رابطه برای سؤال فارسی تشخیص داده میشود؛ با این تفاوت که به جای بهترین گزینه، سه گزینه اول در نظر گرفته میشود. سپس رابطههای نامزدی که برچسب سطح اول آنها هیچ کدام از این سه گزینه نیست، حذف میشوند و به همین خاطر فیلتر نامیده میشود. در پایان این مرحله، رابطههای نامزدی که برچسب سطح اول آنها با بهترین رابطه باقیمانده (طبق رتبهبندی*) متفاوت است هم
شکل 9: مراحل روش پیشنهادی ترکیب روشهای مستقیم و غیرمستقیم.
حذف میشوند. در این حالت، سطح اول همه رابطههای نامزد باقیمانده یکسان است.
در فیلتر سطح 2 هم با توجه به برچسب سطح اولی که همه رابطههای نامزد باقیمانده دارند، برچسب سطح دوم رابطه سؤال به روش مستقیم تشخیص داده میشود. باز هم به جای بهترین گزینه، سه گزینه اول در نظر گرفته میشود. سپس رابطههای نامزدی که برچسب سطح دوم آنها هیچ کدام از این سه گزینه نیست، حذف میشوند. در پایان این مرحله، رابطههای نامزدی که برچسب سطح دوم آنها با بهترین رابطه باقیمانده متفاوت است، مشابه مرحله قبل حذف میشوند. فیلتر سطح 3 هم مشابه فیلترهای 1 و 2 اعمال شده و در نهایت از بین رابطههای نامزد باقیمانده، رابطهای که طبق رتبهبندی اولیه از سایرین بهتر است به عنوان رابطه سؤال انتخاب میشود.
4- پیادهسازی و بررسی نتایج
در این مطالعه از مجموعه داده SimpleQuestions (SQ) [31] برای ارزیابی کارایی روش پیشنهادی استفاده شده است. این مجموعه داده شامل سؤالهایی به همراه سهتاییهای نظیر آنها در فریبیس میباشد. اندازه دادههای آموزشی، ارزیابی و تست در این مجموعه به ترتیب 77911، 10846 و ۲۱۶۸8 میباشد. در پایگاه دانش فریبیس، رابطهها به شکل سلسلهمراتبی سهسطحی هستند؛ به همین خاطر در آزمایشها سه شبکه عصبی مختلف برای هر کدام از سه سطح، آموزش داده شده است. برای ارزیابی روشهای پیشنهادی از معیار دقت استفاده شده که طبق (1) محاسبه میشود
(1)
[1] . Attacher
شکل 10: قسمتی از مجموعه داده SQ که بر روی رابطهها تمرکز داشته و به زبان فارسی ترجمه شده است.
شکل 11: نمونهای از ترجمه جداگانه هر کدام از سه قسمت یک رابطه از مجموعه داده SQ به زبان فارسی.
4-1 راهاندازی عملی
از کتابخانه Keras در پایتون برای پیادهسازی شبکههای عصبی استفاده شده است. ساختار شبکههای عصبی استفادهشده در هر سه سطح برای دستهبندی دودویی در شکل 7 به عنوان شبکه عصبی عمیق نشان داده شده است. در همه شبکهها اندازه لایه دوم ۱۲۸ و مقدار حذف تصادفی 5/0 میباشد.
در روش پیشنهادی بعد از هر کلمه از سؤال، برچسب POS آن کلمه که توسط کتابخانه پایتون پردازش زبان طبیعی استنفورد [32] تولید شده است، درج میگردد. برخلاف اکثر روشهای پردازش زبان طبیعی فعلی که از تعبیه استفاده میکنند [33]، در روش پیشنهادی برای تولید ورودی شبکههای عصبی از کدگذاری وانهات در سطح حرف استفاده شده است. در این روش برای هر حرف از هر کلمه سؤال، یک بردار ایجاد میشود که مقادیر ابعاد آن بهجز بُعد نظیر آن حرف، صفر بوده و فقط مقدار بُعد نظیر آن حرف، یک میباشد. چون در مجموعه داده SQ همه کلمات با حروف کوچک نوشته شدهاند، در روش پیشنهادی از بردارهایی با تعداد ابعاد ۳۱ استفاده شده است. این بردارها همه حروف کوچک انگلیسی بهعلاوه فاصله، کاما، نقطه و علامت سؤال را پوشش میدهد. در این روش اعداد نادیده گرفته شدهاند، اما برچسب POS آنها وجود دارد تا بتواند فقدان آنها را جبران کند.
نتایج آزمایشهای مختلف نشان داد اندازه مناسب برای تعداد حروف یک سؤال 128 میباشد. این اندازه شامل خود سؤال، برچسبهای POS و برچسب دستهای است که در ابتدای آن درج شده است. در آزمایشهای انجامشده، اندازههای بزرگتر تأثیری بر دقت نداشتند، چون حروف یک سؤال با بردارهایی با تعداد ابعاد ۳۱ نمایش داده شده بودند؛ بنابراین ورودی شبکههای عصبی یک ماتریس با اندازه ۱۲۸ در ۳۱ میباشد.
4-2 آمادهسازی دادهها برای زبان فارسی
چون برای پرسش- پاسخ مبتنی بر پایگاه دانش برای سؤالهای تکرابطهای مجموعه داده فارسی وجود ندارد، در این تحقیق از مترجم گوگل برای ترجمه فارسی مجموعه داده انگلیسی SQ استفاده شد. اگرچه اغلب ترجمههای این مترجم قابل قبول است، نتایجی که برای مجموعه داده SQ تولید میشد بسیار بیکیفیت بود. یکی از دلایل آن، تنوع بالای جملات در SQ و دیگری وجود نهادهای پیچیده شامل چند کلمه در سؤالها بود. برای رفع این مشکل از یک نسخه از SQ استفاده شد [34] که در آن نهاد از سؤال حذف شده و کلمه ثابت #head_entity# بهجای آن قرار گرفته بود. برای ایجاد ترجمه بهتر، کلمه Helen جایگزین آن شده و از مترجم گوگل برای ترجمه فارسی سؤالها استفاده شد. در شکل 10 قسمتی از مجموعه داده نشان داده شده که ستون اول شماره رابطه سؤال و ستون دوم شامل شماره همه رابطههای نامزد است. نکته جالب این است که حذف علامت ؟ از پایان سؤال باعث تولید ترجمههای متنوعی میشود. مطابق شکل 11 هر کدام از سه قسمت یک رابطه، بهطور جداگانه توسط مترجم گوگل به فارسی ترجمه شدند.
همان طور که در بخشهای قبلی اشاره شد، استفاده از برچسبهای POS باعث افزایش دقت میشود؛ به همین علت این برچسبها برای سؤالهای فارسی هم تولید شده و بعد از هر کلمه درج شدند. برای پوششدادن برچسبهای انگلیسی در ورودی، حروف انگلیسی باید در کدگذاری وانهات لحاظ شوند که موجب افزایش تعداد ابعاد بردارهای ورودی به اندازه 26 میشود. برای کاهش ابعاد بردارها [35]، حروف انگلیسی این برچسبها طبق جدول 2 با حروف فارسی جایگزین شدند. خانههای خالی در ردیف دوم از این جدول نشاندهنده حذفشدن حروف انگلیسی و عدم جایگزینی حرف فارسی برای آنها است. حروف انگلیسی که معادل تلفظ حروف کوتاه فارسی ( َ ِ ُ ) هستند و حروفی که معادل تلفظ خاصی در فارسی ندارند، حذف شدند. چون هیچ کدام از برچسبهای فارسی تولیدشده یکسان نیستند، حذف این حروف مشکلی ایجاد نمیکند. به دو دلیل از این روش استفاده شده است: 1) تعداد حروف کلمات تولیدشده کم است و 2) کلمات تولیدشده در زبان فارسی وجود ندارند و سرعت آموزش شبکه عصبی با شناخت آسانتر تگها بالا میرود.
4-3 ارزیابی روش مستقیم مبتنی بر دستهبندی دودویی برای تشخیص رابطه
اگر تعداد رابطههای پایگاه دانش 
در نظر گرفته شود، پیچیدگی زمانی این الگوریتم بر اساس تعداد برچسبهای رابطه که امتیازدهی میشوند در بدترین حالت 
است. بهترین حالت و حالت متوسط هنگامی است که در درخت سلسلهمراتبی تعداد فرزندان همه گرههای میانی یکسان باشد. در این حالت پیچیدگی زمانی 
میباشد. این پیچیدگی زمانی برای حالتی است که رابطهها سهسطحی باشند؛ برای رابطههای دارای 
سطح، پیچیدگی زمانی 
خواهد بود.
در روش پیشنهادی از سه شبکه عصبی BiGRU مختلف با اندازههای ۵۱۲ برای پیادهسازی سطوح یک تا سه استفاده شده و ارزیابی این شبکهها در جدول 3 نشان داده شده است. عنوان ستون دوم از این جدول حد آستانه است. خروجیهای این شبکهها مقادیری در بازه صفر تا یک میباشد. در هنگام ارزیابی، مقادیر بزرگتر از حد آستانه به عنوان یک و سایر مقادیر به عنوان صفر در نظر گرفته شده است. فرمولهای زیر نحوه محاسبه دقت1، معیار F2، صحت3 و جامعیت4 را نشان میدهند
[1] . Accuracy
[2] . F-Measure
[3] . Precision
[4] . Recall
جدول 2: جایگزینی حروف انگلیسی برچسبهای POS با حروف فارسی.
حرف انگلیسی | Z | Y | X | W | V | U | T | S | R | Q | P | O | N | M | L | K | J | I | H | G | F | E | D | C | B | A | |
جایگزین فارسی | ز |
|
|
| و |
| ت | س | ر | ک | پ |
| ن | م | ل | ک | ج | ی | ه | گ | ف |
| د | ک | ب | ا | |
مثال | سؤال با برچسبهای اصلی | چه DET فیلمی NOUN توسط ADP هلن PROPN تولید NOUN شده VERB است AUX | |||||||||||||||||||||||||
سؤال با برچسبهای فارسی | چه دت فیلمی نن توسط ادپ هلن پرپن تولید نن شده ورب است ا | ||||||||||||||||||||||||||
جدول 3: ارزیابی شبکههای عصبی آموزشدادهشده برای دستهبندی دودویی.
| حد آستانه | دقت | معیار F | صحت | جامعیت |
سطح اول | 5/0 | 99/0 | 82/0 | 75/0 | 93/0 |
9/0 | 99/0 | 87/0 | 86/0 | 88/0 | |
سطح دوم | 5/0 | 98/0 | 80/0 | 74/0 | 89/0 |
9/0 | 98/0 | 82/0 | 82/0 | 83/0 | |
سطح سوم | 5/0 | 98/0 | 90/0 | 88/0 | 94/0 |
8/0 | 98/0 | 90/0 | 92/0 | 89/0 |
(2)
(3)
(4)
(5)
در جدول 4، دقت پیشبینی سه سطح مختلف روش مستقیم برای هر دو زبان انگلیسی و فارسی آمده است. ستون با عنوان اول، حالتی را نشان میدهد که اگر اولین گزینه پیشنهادی روش مستقیم صحیح بود، مقدار خروجی به عنوان صحیح در نظر گرفته شود. ستون با عنوان دوم، حالتی را نشان میدهد که اگر یکی از دو گزینه اول پیشنهادی روش مستقیم صحیح بود، مقدار خروجی به عنوان صحیح در نظر گرفته شود. ستونهای با عنوان سوم تا پنجم هم به طور مشابه میباشند.
در این آزمایشها هر سطحی مستقل از سطح قبلی بررسی شده و دقت هر کدام مستقل از دیگری محاسبه شده است. به عنوان مثال در سطح دوم فرض شده که دسته سطح اول به درستی انتخاب شده است؛ بنابراین دسته صحیح به عنوان ورودی به سطح دوم داده شده و به طور مشابه این کار برای سطح سوم نیز تکرار گردیده است. برای ارزیابی روش پیشنهادی در محیط واقعی، مدلهای ساختهشده برای سه سطح به صورت یک خط لوله استفاده شدند؛ یعنی خروجی سطح اول در سطح دوم استفاده شده و به طور مشابه خروجی سطح دوم نیز در سطح سوم استفاده شده است. همان طور که در جدول 4 نشان داده شده است، در این حالت دقت برای زبانهای انگلیسی و فارسی به ترتیب 80/0 و 72/0 میباشد. البته باید توجه داشت که حدود ۱۵% از سؤالهای مجموعه داده SQ ذاتاً مبهم هستند و میتوان آنها را به بیش از یک سهتایی نگاشت کرد. مثلاً در سؤال «In what city does eastern air lines operate?» در سطح اول از رابطه بین aviation (هوانوردی) و transportation (حمل و نقل) ابهام وجود دارد که رابطه صحیح aviation مشخص شده است. به طور مشابه در سؤال «What was the gender of llyron?» در سطح اول از رابطه بین people (مردم) و fictional_universe (دنیای تخیلی) ابهام وجود دارد که رابطه صحیح fictional_universe مشخص شده است.
برای بررسی تأثیر استفاده از برچسبهای POS، آزمایشهای بالا برای زبان فارسی با حذف این برچسبها از سؤالها تکرار شدند که نتایج آن در جدول 5 آمده است. مقایسه این جدول با جدول قبل، کاهش 01/0 دقت برای سطوح دوم، سوم و حالت خط لوله را نشان میدهد.
4-4 انتخاب بهترین رابطه از بین رابطههای نامزد
در این آزمایش برای هر سؤال، همه رابطههای نامزد به عنوان ورودی به مدل داده شده و رابطه انتخابشده از بین آنها ارزیابی میشود. در مجموعه داده SQ، نهاد هر سؤال مشخص شده است. در پایگاه دانش، رابطههای سهتاییهایی که نهاد آنها با نهاد سؤال یکسان است، به عنوان رابطههای نامزد برای آن سؤال در نظر گرفته میشود. بنابراین باید بهترین رابطه از بین این مجموعه انتخاب شده و با رابطه صحیح که در مجموعه داده SQ مشخص شده است، مقایسه گردد. همان طور که در جدول 6 نشان داده شده است، روش پیشنهادی برای زبان انگلیسی باعث دقت بالاتری شده و دقت بهترین روشها را 028/0 بهبود بخشیده است.
دو ردیف آخر از جدول 6 دقت روشهای پیشنهادی برای زبان فارسی را نشان میدهد. همان طور که مشاهده میشود، استفاده از ترکیب روشهای مستقیم و غیرمستقیم، دقت انتخاب بهترین رابطه نامزد را از 90/0 به 94/0 درصد افزایش داده است.
4-5 تحلیل خروجیها
نمودارهای شکل 12 نشاندهنده دقت برای رابطهها برحسب تعداد حروف آنها در هر سطح میباشد. برای هر کدام از این نمودارها فقط تعداد حروف رابطه در همان سطح در نظر گرفته شده است. همان طور که در شکلهای 12- الف و 12- ب مشاهده میشود با افزایش تعداد حروف، تقریباً دقت کاهش مییابد. بنابراین میتوان نتیجه گرفت که بهتر است برچسبهای با طول کوتاهتر برای هر رابطه در هر سطح در نظر گرفته شود. اما شکل 12- ج عدم تأثیر تعداد حروف در سطح سوم را نشان میدهد. به همین علت، این فرضیه مطرح شد که احتمالاً تعداد حروف رابطههایی که در سطح سوم با هم دیگر رقابت میکنند (دستههایی که پدر آنها در سطح دوم یکسان است)، نزدیک به هم است. برای اثبات این فرضیه مقدار انحراف از معیار برای تعداد حروف هر دسته از دستههای سطح سوم که دارای پدر یکسانی هستند به طور جداگانه محاسبه شده و در هر سطح میانگین آنها به دست آمد. در جدول 7 میانگین انحراف از معیار برای هر کدام از زبانهای انگلیسی و فارسی در سه سطح اول
تا سوم نشان داده شده است. همان طور که مشاهده میشود میانگین انحراف از معیار برای هر دو زبان در سطح سوم کمتر از 2 است. به عبارت دیگر رابطههایی که در سطح سوم برای یک سؤال در نظر گرفته شده و بهترین آنها انتخاب میشود، تقریباً تعداد حروفشان نزدیک به هم است.
(الف)
(ب)
(ج)
شکل 12: رابطه بین دقت (محور عمودی) و تعداد حروف رابطه (محور افقی)، (الف) سطح اول، (ب) سطح دوم و (ج) سطح سوم.
(الف)
(ب)
(ج)
شکل 13: رابطه بین دقت (محور عمودی) و تعداد کلمات رابطه (محور افقی)، (الف) سطح اول، (ب) سطح دوم و (ج) سطح سوم.
جدول 4: ارزیابی روش پیشنهادی مبتنی بر دستهبندی دودویی برای تشخیص مستقیم رابطه سؤال.
| دقت زبان انگلیسی | دقت زبان فارسی | ||||||||||
| اول | دوم | سوم | چهارم | پنجم | اول | دوم | سوم | چهارم | پنجم | ||
سطح اول | 87/0 | 93/0 | 95/0 | 96/0 | 97/0 | 85/0 | 92/0 | 94/0 | 95/0 | 96/0 | ||
سطح دوم | 85/0 | 93/0 | 95/0 | 96/0 | 97/0 | 86/0 | 94/0 | 95/0 | 97/0 | 97/0 | ||
سطح سوم | 91/0 | 96/0 | 97/0 | 98/0 | 98/0 | 93/0 | 97/0 | 98/0 | 99/0 | 99/0 | ||
خط لوله | 80/0 | 72/0 | ||||||||||
جدول 5: ارزیابی دقت روش پیشنهادی مبتنی بر دستهبندی دودویی بدون استفاده از برچسبهای POS برای زبان فارسی.
|
| اول | دوم | سوم | چهارم | پنجم |
تشخیص مستقیم رابطه سؤال | سطح اول | 86/0 | 92/0 | 94/0 | 95/0 | 96/0 |
سطح دوم | 85/0 | 93/0 | 95/0 | 96/0 | 97/0 | |
سطح سوم | 92/0 | 97/0 | 98/0 | 99/0 | 99/0 | |
خط لوله | 71/0 | -- | -- | -- | -- |
بنابراین در نمودار شکل 12- ج تعداد حروف رابطه بر روی دقت بدون تأثیر مشاهده میشود.
در نمودارهای شکل 13 میانگین دقت با توجه به تعداد کلمات رابطهها نشان داده شده است. همان طور که در شکلهای الف و ب مشاهده میشود، در سطوح اول و دوم در هر دو زبان انگلیسی و فارسی با افزایش تعداد کلمات رابطه، دقت کاهش مییابد. در نمودار شکل ج تأثیری برای سطح سوم مشاهده نمیشود. مشابه آنچه که در بخش قبلی برای تأثیر تعداد حروف رابطه در سطح سوم شرح داده شد، علت آن یکسانبودن تقریبی تعداد کلمات رابطههای رقیب در سطح سوم است.
در جدول 8 میانگین انحراف از معیار دستههای هر سطح نشان داده شده است. هر دسته شامل دستههایی است که دارای پدر یکسانی در سطح قبلی هستند. برای هر دسته یک انحراف از معیار بر اساس تعداد کلمات دستهها محاسبه شده و سپس میانگین انحراف از معیارهای همه دستهها محاسبه شده است. همان طور که مشاهده میشود برای هر دو زبان انگلیسی و فارسی، میانگین انحراف از معیار در سطح سوم عدد کوچکی بوده و از سطوح اول و دوم خیلی کمتر است. به عبارت دیگر در سطح سوم، رابطههای رقیب تقریباً دارای تعداد کلمات یکسانی هستند و به همین خاطر تأثیری از تعداد کلمات در دقت دیده نمیشود؛ بنابراین با توجه به نمودارهای الف و ب از شکل 13، هرچه تعداد کلمات رابطهها کمتر باشد بهتر است.
جدول 6: مقایسه دقت روشهای پیشنهادی برای انتخاب بهترین رابطه نامزد با پژوهشهای قبلی.
روش | سال | دقت |
هی و همکاران [7] | 2016 | 80/0 |
لوکووینکوف و همکاران [9] | 2017 | 823/0 |
وانگ و همکاران [15] | 2019 | 824/0 |
محمد و همکاران [10] | 2018 | 828/0 |
ییه و همکاران [36] | 2015 | 90/0 |
یین و همکاران [8] | 2016 | 913/0 |
دِنگ و همکاران [16] | 2019 | 931/0 |
یو و همکاران [13] | 2017 | 933/0 |
چن و همکاران [17] | 2020 | 933/0 |
ژانگ و همکاران [14] | 2018 | 935/0 |
روش پیشنهادی برای زبان انگلیسی [6] | 2023 | 963/0 |
روش پیشنهادی برای زبان فارسی | 2024 | 90/0 |
روش پیشنهادی ترکیبی برای زبان فارسی | 2024 | 94/0 |
5- نتیجهگیری
رویکردهای پیشنهادشده در این مقاله به زبان خاصی وابسته نبوده
و برای هر دو زبان انگلیسی و فارسی قابل استفاده هستند. در این مقاله یک روش جدید تشخیص رابطه پیشنهاد شده که با استفاده از ساختار سلسلهمراتبی رابطهها، به طور مستقیم رابطه یک سؤال را تشخیص میدهد. در روش پیشنهادی، رابطه یک سؤال از میان همه رابطههای موجود در پایگاه دانش انتخاب میشود؛ در حالی که اکثر روشهای موجود، نیازمند این هستند که تعدادی رابطه به عنوان نامزد گردآوری شده و رابطه سؤال از بین آنها انتخاب شود. با توجه به ساختار سلسلهمراتبی رابطهها، روش پیشنهادی از سه مرحله دستهبندی استفاده میکند که به صورت خط لوله در امتداد یکدیگر قرار گرفتهاند و در هر کدام، خروجی مرحله قبل به همراه سؤال به عنوان ورودی استفاده میشود.
اگرچه روش پیشنهادی به طور مستقیم میتواند رابطه یک سؤال را تشخیص دهد، اما آن را میتوان بسط داد تا به طور غیرمستقیم، بهترین رابطه را از بین رابطههای نامزد انتخاب کند. برای این کار کافی است
که از شبکه عصبی مرحله سوم استفاده شود. در روش پیشنهادی برای بالابردن دقت شبکه عصبی مرحله سوم در انتخاب بهترین رابطه نامزد، تعدادی داده منفی به مجموعه دادههای آموزشی اضافه شده و این شبکه عصبی به طور جداگانه برای این کار آموزش داده شد.
برای بالابردن دقت تشخیص رابطه سئوالهای فارسی از ترکیب روشهای پیشنهادی مستقیم و غیرمستقیم استفاده شد. از مجموعه داده SQ به منظور ارزیابی روشهای پیشنهادی برای زبان انگلیسی و از ترجمه آن برای زبان فارسی استفاده شد. دقت روش پیشنهادی در تشخیص مستقیم رابطه برای زبانهای انگلیسی و فارسی به ترتیب 80/0 و 72/0 بود. این دقت در تشخیص غیرمستقیم به ترتیب 963/0 و 90/0 میباشد که برای زبان فارسی با ترکیب دو روش مستقیم و غیرمستقیم 04/0 افزایش یافت و به 94/0 رسید.
مراجع
[1] S. Auer, et al., "DBedpia: a nucleus for a web of open data," in Proc. 6th Int. Semantic Web Con. and the 2nd Asian Semantic Web Conf., pp. 722-735, Busan, Sourh Korea,11-15 Nov. 2007.
جدول 7: میانگین انحراف از معیار برای تعداد حروف دستههایی که دارای پدر یکسانی هستند.
| سطح اول | سطح دوم | سطح سوم |
زبان انگلیسی | 7/3 | 28/4 | 65/1 |
زبان فارسی | 21/4 | 64/3 | 61/1 |
جدول 8: میانگین انحراف از معیار برای تعداد کلمات دستههایی که دارای پدر یکسانی هستند.
| سطح اول | سطح دوم | سطح سوم |
زبان انگلیسی | 37/0 | 52/0 | 22/0 |
زبان فارسی | 78/0 | 65/0 | 32/0 |
[2] K. Bollacker, C. Evans, P. Paritosh, T. Sturge, and J. Taylor, "Freebase: a collaboratively created graph database for structuring human knowledge," in Proc. of the 2008 ACM SIGMOD Int. Conf. on Management of Data, pp. 1247-1250, Vancouver, BC, Canada, 10-12 Jun. 2008.
[3] M. Vegupatti, et al., "Simple question answering over a domain-specific knowledge graph using BERT by transfer learning," in Proc. 28th Irish Conf. on Artificial Intelligence and Cognitive Science, pp. 289-300, Dublin, Ireland, 7-8 Dec. 2020.
[4] H. Cui, T. Peng, L. Feng, T. Bao, and L. Liu, "Simple question answering over knowledge graph enhanced by question pattern classification," Knowl. Inf. Syst., vol. 63, no. 10, pp. 2741-2761, 2021.
[5] ش. بستان، ع. م. زارع بیدکی و م. ر. پژوهان، "بهبود رتبهبندی با استفاده از BERT،" نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 22، شماره 1، صص. 29-21، بهار 1403.
[6] A. S. Shamsabadi, R. Ramezani, H. K. Farsani, and M. Nematbakhsh, "Direct relation detection for knowledge-based question answering," Expert Syst. Appl., vol. 211, Article ID: 118678, 2023.
[7] D. Golub and X. He, "Character-level question answering with attention," in Proc. EMNLP 2016-Conf. on Empirical Methods in Natural Language Processing, pp. 1598-1607, Austin, Tx, USA, 1-4 Nov. 2016.
[8] W. Yin, M. Yu, B. Xiang, B. Zhou, and H. Schütze, "Simple question answering by attentive convolutional neural network,"
in Proc. 26th Int. Conf. on Computational Linguistics, Technical Papers, pp. 1746-1756, Osaka, Japan, 11-16 Dec. 2016.
[9] D. Lukovnikov, A. Fischer, J. Lehmann, and S. Auer, "Neural network-based question answering over knowledge graphs on word and character level," in Proc. 26th Int. World Wide Web Conf., pp. 1211-1220, Perth, Australia, 3-7 Apr. 2017.
[10] S. Mohammed, P. Shi, and J. Lin, "Strong baselines for simple question answering over knowledge graphs with and without neural networks," in Proc. of the Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, vol. 2, pp. 291-296, New Orleans, LA, USA, 1-6 Jun. 2018.
[11] G. Melis, C. Dyer, and P. Blunsom, "On the state of the art of evaluation in neural language models," in Proc. 6th Int. Conf. on Learning Representations, 10 pp., Vancouver, Canada, 30 Apr.-3 May 2018.
[12] A. Vaswani, et al., "Attention is all you need," Adv. Neural Inf. Process. Syst., vol. 30, pp. 5998-6008, 2017.
[13] M. Yu, et al., "Improved neural relation detection for knowledge base question answering," in Proc. 55th Annu. Meeting Assoc. Comput. Linguistics, pp. 571-581, Vancouver, Canada, 30 Jul.-4 Aug. 2017.
[14] H. Zhang, et al., "An attention-based word-level interaction model for knowledge base relation detection," IEEE Access, vol. 6, pp. 75429-75441, 2018.
[15] R. Z. Wang, Z. H. Ling, and Y. Hu, "Knowledge base question answering with attentive pooling for question representation," IEEE Access, vol. 7, pp. 46773-467842019.
[16] Y. Deng, et al., "Multi-task learning with multi-view attention for answer selection and knowledge base question answering," in Proc. 33rd AAAI Conf. on Artificial Intelligence, 31st Innovative Applications of Artificial Intelligence Conf., and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence, pp. 6318-6325, Honolulu, HI, USA, 27 Jun.-1 Feb. 2019.
[17] Y. Chen and H. Li, "DAM: transformer-based relation detection for question answering over knowledge base," Knowledge-Based Syst., vol. 201-202, Article ID: pp. 106077, 2020.
[18] G. Maheshwari, et al., "Learning to rank query graphs for complex question answering over knowledge graphs," in Proc. Int. Semantic Web Conf., pp. 487-504, Auckland, New Zealand, 26-30 Oct.. 2019.
[19] "hazm 0.5.2." https://pypi.org/project/hazm/0.1/
[20] K. Taghva, R. Beckley, and M. Sadeh, "A stemming algorithm for the Farsi language," in Int. Conf. Inf. Technol. Coding Comput.,
vol. 2, pp. 158-162, Las Vegas, NV, USA, 4-6 Apr. 2005.
[21] Z. Mousavi and H. Faili, "Developing the persian wordnet of verbs using supervised learning," Trans. Asian Low-Resource Lang. Inf. Process., vol. 20, no.
[22] E. Sherkat and M. Farhoodi, "A hybrid approach for question classification in Persian automatic question answering systems," in Proc. 4th Int. Conf. Comput. Knowl. Eng., pp. 279-284, Mashhad, Iran, 29-30 Oct. 2014.
[23] M. Razzaghnoori, H. Sajedi, and I. K. Jazani, "Question classification in Persian using word vectors and frequencies," Cogn. Syst. Res., vol. 47, pp. 16-27, Jan. 2018.
[24] F. Ahmadi and H. Moradi, "A hybrid method for Persian named entity recognition," in Proc. 7th Conf. on Information and Knowledge Technology, 7 pp., Urmia, Iran, 26-28 May 2015.
[25] H. Veisi and H. F. Shandi, "A Persian medical question answering system," Int. J. Artif. Intell. Tools, vol. 29, no. 6, Article ID: 2050019, 2020.
[26] A. Kazemi, J, Mozafari, and M. A. Nematbakhsh, "PersianQuAD: The native question answering dataset for the Persian language," IEEE Access, vol. 10, 26045-26057, 2022.
[27] R. Etezadi and M. Shamsfard, A Knowledge-Based Approach for Answering Complex Questions in Persian, arXiv Prepr. arXiv2107.02040, 2021.
[28] R. Etezadi and M. Shamsfard, "PeCoQ: a dataset for persian complex question answering over knowledge graph," in Proc. 11th Int. Conf. Inf. Knowl. Technol. pp. 102-106, Tehran, Iran, 22-23 Dec. 2020.
[29] F. Shirmardi, S. M. H. Hosseini, and S. Momtazi, "FarsWikiKG: an automatically constructed knowledge graph for Persian," Int. J. Web Res., vol. 4, no. 2, pp. 25-30, Dec. 2021.
[30] م. ا. شناسا و ب. مینایی بیدگلی، "کاربست انواع جانمایی کلمات پیشآموزش دادهشده در مدلهای یادگیری عمیق برای تولید عنوان از متون فارسی،" نشریه مهندسی برق و مهندسی کامپیوتر ایران ب- مهندسی کامپیوتر، سال 22، شماره 1، صص. 38-30، بهار 1403.
[31] A. Bordes, N. Usunier, S. Chopra, and J. Weston, "Large-scale simple question answering with memory networks," CoRR, vol. abs/1506.0, [Online]. Available: http://arxiv.org/abs/1506.02075, 2015.
[32] P. Qi, T. Dozat, Y. Zhang, and C. D. Manning, "Universal dependency parsing from scratch," in Proc. of the {CoNLL} 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 160-170, Brussels, Belgium, 31 Oct.-1 Nov. 2018.
[33] ش. بستان، ع. م. زارع بیدکی و م. ر. پژوهان، "درونسازی معنایی واژهها با استفاده از BERT روی وب فارسی،" نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 21، شماره 2، صص. 100-89، تابستان 1402.
[34] -, "SimpleQuestions-EntityLinking," https://github.com/Gorov/SimpleQuestions-EntityLinking
[35] م. حسینزاده اقدم، م. آنالویی و ج. تنها، "ارائه روشی جدید بر مبنای تجزیه ماتریس غیرمنفی برای کاهش ابعاد،" نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 2، صص. 172-164، تابستان 1401.
[36] W. T. Yih, M. W. Chang, X. He, and J. Gao, "Semantic parsing via staged query graph generation: question answering with knowledge base," in Proc. 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int. Joint Conf. on Natural Language Processing of the Asian Federation of Natural Language Processing, Proc. of the Conf., vol. 1, pp. 1321-1331, Beijing, China, 26-31 Jul. 2015.
عباس شاهینی شمسآبادی تحصیلات خود را در هر سه مقاطع کارشناسی، کارشناسی ارشد و دکتری به ترتیب در سالهای 1383، 1387 و 1402 در دانشگاه اصفهان به پایان رسانده است. نامبرده از سال 1389 عضو هیات علمی دانشگاه آزاد اسلامی واحد شهرکرد میباشد. زمينههاي تحقيقاتي مورد علاقه ايشان عبارتند از: پردازش زبان طبیعی، موتورهای جستجو و آتاماتای سلولی کوانتومی.
رضا رمضانی مدارک کارشناسی و کارشناسی ارشد خود را در رشته مهندسی کامپیوتر به ترتیب از دانشکده فنی شیراز و دانشگاه صنعتی اصفهان در سالهای 1389 و 1391 دریافت کردهاست. او از سال 1393 همکاری با دپارتمان کامپیوتر و اتوماتیکای دانشگاه UCM مادرید را آغاز نمود و همچنین مدرک دکترای مهندسی نرم افزار خود را از گروه مهندسی کامپیوتر، دانشگاه فردوسی مشهد، در پاییز 1396 دریافت کرد. نامبرده در حال حاضر دانشیار گروه مهندسی نرمافزار دانشگاه اصفهان است. زمينههاي تحقيقاتي مورد علاقه ايشان عبارتند از: دستیارهای هوشمند، پردازش زبان طبیعی، داده کاوی و وب معنایی.
هادی خسروی فارسانی تحصیلات خود را در هر سه مقاطع کارشناسی، کارشناسی ارشد و دکتری به ترتیب در سالهای 1383، 1386 و 1391 در دانشگاه اصفهان به پایان رسانده است. نامبرده در حال حاضر دانشیار دانشگاه شهرکرد میباشد. زمينههاي تحقيقاتي مورد علاقه ايشان عبارتند از: داده کاوی، یادگیری ماشین، پایگاه داده، تجارت الکترونیک و بازیابی اطلاعات.
محمدعلی نعمتبخش مدرک کارشناسی خود را در رشته مهندسی برق از دانشگاه فناوری لوئیزیانا در سال 1360، کارشناسی ارشد و دکتری خود را از دانشگاه آریزونا، به ترتیب در سال های 1362و 1366 در رشتههای مهندسی برق و کامپیوتر دریافت کرد. وی قبل از پیوستن به دانشگاه اصفهان به مدت 5 سال در شرکت تحقیقاتی سیستمهای پزشکی توشیبا آمریکا مشغول به کار بود. او در حال حاضر استاد تمام گروه مهندسی کامپیوتر و سرپرست گروه تحقیقاتی کلانداده دانشگاه اصفهان است. زمينههاي تحقيقاتي مورد علاقه ايشان عبارتند از: کلانداده، وب هوشمند و پردازش زبان طبیعی.