ارائه راهکاری مبتنی بر یادگیری عمیق به منظور تشخیص موارد مشکوک به کووید 19
محورهای موضوعی : مهندسی برق و کامپیوتر
آتنا عبیدی
1
,
هانیه محمودی
2
,
زهرا حیدران داروقه امنیه
3
,
ایمان ذباح
4
*
1 - گروه کامپیوتر، واحد بوشهر، دانشگاه آزاد اسلامی، بوشهر، ایران
2 - گروه کامپیوتر، واحد مشهد، دانشگاه آزاد اسلامی مشهد، ایران
3 - گروه کامپیوتر، واحد دولت آباد، دانشگاه آزاد اسلامی، اصفهان، ایران
4 - گروه برق و کامپیوتر، واحد تربت حیدریه، دانشگاه آزاد اسلامی، تربت حیدریه، ایران
کلید واژه: کووید 19, یادگیرهای عمیق, داده‌کاوی,
چکیده مقاله :
شبکه‌های عمیق به دلیل توانمندی در استخراج ویژگی‌های پیچیده و ارتباطات غیرخطی، برای تشخیص بیماریها و وظایف پزشکی مورد استفاده قرار می‌گیرند. پس از ظهور بیماری کووید 19، یادگیرهای عمیق به عنوان رویکرد‌ی قدرتمند در حوزه تشخیص این بیماری مطرح شده‌اند. در برخی موارد، متدهای مبتنی بر داده‌کاوی نمی‌توانند کووید 19 را به‌طور قطعی تشخیص دهند که دلیل آن، عدم قابلیت تعمیم مناسب روی داده‌هاست. هدف از این پژوهش ارائه راهکاری به منظور بهبود نتیجه تشخیص در تصاویر مشکوک به کووید 19 است. در این پژوهش پس از تشخیص بیماری با استفاده از دو شبکه عمیق گوگل و الکس، لایه احتمالی دو یادگیر استخراج شده و موارد مشکوک به بیماری شناسایی می‌شوند. سپس برترین ویژگی‌های مستخرج از دو یادگیر عمیق ترکیب شده و به یک شبکه عصبی پرسپترون جهت تشخیص موارد مشکوک ارسال می‌گردد. استخراج بهترین ویژگی‌ها توسط روش تحلیل مؤلفه اصلی صورت گرفته است. پایگاه داده مورد مطالعه، شامل 224 تصویر سی‌تی‌اسکن ریه مبتلا به کووید 19 و 522 تصویر ریه افراد سالم میباشد که از مرجع گیت‌هاب تهیه شده است. نتایج آزمون‌ها مبين آن است که تجمیع یادگیرهای عمیق در لایه احتمالی می‌تواند منجر به بهبود تشخیص کووید 19 در موارد مشکوک به میزان 1/98% شود.
Deep neural networks are used in the detection of diseases and medical tasks due to their power and capability in extracting complex features and non-linear relationships. Following the emergence of COVID-19, deep learning approaches have been introduced as a powerful approach in diagnosing this disease. In some cases, data mining-based methods cannot definitively diagnose COVID-19 due to their lack of appropriate generalizability on the data. The aim of this research is to propose a solution to improve the diagnostic results in suspicious COVID-19 images.
In this study, after diagnosing the disease using two deep networks, GoogleNet and AlexNet, the probability layer of the two learned networks is extracted, and the suspicious cases of the disease are identified. Then, the top features extracted from the two deep learners are combined and sent to a perceptron neural network for the diagnosis of suspicious cases. The extraction of the best features was performed using principal component analysis. The study database includes 224 CT scan images of COVID-19-infected lungs and 522 lung images of healthy individuals, obtained from the GitHub repository. The study results indicate that the aggregation of deep learners in the probability layer can lead to a 98.1% improvement in the diagnosis of COVID-19 in suspicious cases.
[1] M. Zreik, et al., "Deep learning analysis of the myocardium in coronary CT angiography for identification of patients with functionally significant coronary artery stenosis," Med Image Anal, vol. 44, no. 3, pp. 72-85, Feb. 2018.
[2] M. Q. Zhang, et al., "Clinical features of 2019 novel coronavirus pneumonia in the early stage from a fever clinic in Beijing," Case Reports, vol. 43, no. 3, pp. 215-218, May 2020.
[3] R. Ouni and H. Alhichri, Cross-Dataset Domain Adaptation for the Classification of COVID-19 Using Chest Computed Tomography Images, arXiv preprint arXiv:2311.08524, 2023.
[4] L. Gaur, U. Bhatia, N. Z. Jhanjhi, G. Muhammad, and M. Masud, "Medical image-based detection of COVID-19 using deep convolution neural networks," Multimedia Systems, vol. 29, pp. 1729-1738, 2023.
[5] W. Zhao, Z. Zhong, X. Xie, Q. Yu, and J. Liu, "Relation between chest CT findings and clinical conditions of coronavirus disease (covid-19) pneumonia: a multicenter study," American J. of Roentgenology, vol. 214, no. 5, pp. 1072-1077, May 2020.
[6] O. Gozes, et al., Rapid AI Development Cycle for the Coronavirus (Covid-19) Pandemic: Initial Results for Automated Detection & Patient Monitoring Using Deep Learning CT Image Analysis, arXiv preprint. arXiv:2003.05037, 2020.
[7] T. Ai, et al., "Correlation of chest CT and RT-PCR testing for coronavirus disease 2019 (COVID-19) in China: a report of 1014 cases" Radiology, vol. 296, no. 2, pp. E32-E40, Aug. 2020.
[8] C. Zheng, et al., "Deep learning-based detection for COVID-19 from chest CT using weak label," IEEE Trans. on Medical Imaging, vol. 39, no. 8, pp. 2615-2625, Aug. 2020.
[9 م. معلم و ع. ا. پویان، "کشف ناهنجاری با استفاده از کد کننده خودکار مبتنی بر بلوک‌های "LSTM، مجله مدل¬سازی در مهندسی، سال 17، شماره 56، صص. 211-191، اردیبهشت 1398.
[10] L. Wang, Y. Lin, and A. Wong, "COVID-Net: a tailored deep convolutional neural network design for detection of COVID-19 cases from chest X-ray images," Scientific Reports, vol. 10, Article ID: 19549, 2020.
[11] ع. ماروسی، ا. ذباح، م. مقربی، س. ا. یثربی و ک. لایقی، " بهبود تشخیص بیماری سرطان پستان با استفاده از سیستم استنتاج عصبی- فازی تطبیقی"، کارافن، سال 19، شماره 3، صص. 392-377، آذر 1401.
[12] M. Loey, F. Smarandache, and N. E. M. Khalifa, "Within the lack of COVID-19 benchmark dataset: a novel GAN with deep transfer learning for corona-virus detection in chest X-ray images," Symmetry, vol. 12, no. 4, Article ID: 0651, 2020.
[13] X. Yang, et al., "Deep learning signature based on staging CT for preoperative prediction of sentinel lymph node metastasis in breast cancer," Academic Radiology, vol. 27, no. 9, pp. 1226-1233, Sept. 2019.
[14] E. Cortés and S. Sánchez, "Deep Learning Transfer with AlexNet for chest X-ray COVID-19 recognition," IEEE Latin America Trans., vol. 19, no. 6, pp. 944-951, Jun. 2021.
[15] S. Akter, F. J. M. Shamrat, S. Chakraborty, A. Karim, and S. Azam, "COVID-19 detection using deep learning algorithm on chest X-ray images," Biology, vol. 10, no. 11, Article ID: 1174, 2020.
[16] Y. Kaya, Z. Yiner, M. Kaya, and F. Kuncan, "A new approach to COVID-19 detection from x-ray images using angle transformation with GoogleNet and LSTM," Measurement Science and Technology, vol. 33, no. 12, Article ID: 124011, Dec. 2022.
[17] I. Zabbah, K. Layeghi, and R. Ebrahimpour, "Improving the diagnosis of COVID-19 by using a combination of deep learning Models," Journal of Electrical and Computer Engineering Innovations, vol. 10, no. 2, pp. 411-424, Jul. 2020.
[18] ا. ذباح، ع. ماروسی و ر. ابراهیم¬پور، "تشخیص هوشمند بیماری کوید19 با استفاده از ترکیب ویژگی های عمیق و تحلیل مولفه اصلی"، پردازش سیگنال پیشرفته، در حال انتشار.
[19] V. X. Nunes, et al., "A novel web platform for covid-19 diagnosis using x-ray exams and deep learning techniques," in Proc. Int. Joint Conf. on Neural Networks, 8 pp., Shenzhen, China, 18-22 Jul. 2019.
[20] P. Silva, E. Luz, G. Silva, G. Moreira, R. Silva, D. Lucio, and D. Menotti, "COVID-19 detection in CT images with deep learning: a voting-based scheme and cross-datasets analysis," Informatics in Medicine Unlocked, vol. 20, Article ID: 100427, 2020.
[21] ر. نوپور، ج. شنبه¬زاده و ه. کاظمی آرپناهی، "پیشنهاد یک راهکار فناورانه موثر جهت تشخیص زودهنگام بیماری کووید-19: مطالعه مبتنی بریادگیری ماشین داده محور"¬، مجله انفورماتیک سلامت و زیست پزشکی، سال 7، شماره 1، صص. 78-68، بهار 1400.
نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 22، شماره 4، زمستان 1403 295
مقاله پژوهشی
ارائه راهکاری مبتنی بر یادگیری عمیق به منظور
تشخیص موارد مشکوک به کووید 19
آتنا عبیدی، حانیه جامحمودی، زهرا حیدران داروقه امنیه و ایمان ذباح
چکیده: شبکه‌های عمیق به دلیل توانمندی در استخراج ویژگی‌های پیچیده و ارتباطات غیرخطی، برای تشخیص بیماریها و وظایف پزشکی مورد استفاده قرار می‌گیرند. پس از ظهور بیماری کووید 19، یادگیرهای عمیق به عنوان رویکرد‌ی قدرتمند در حوزه تشخیص این بیماری مطرح شده‌اند. در برخی موارد، متدهای مبتنی بر داده‌کاوی نمی‌توانند کووید 19 را به‌طور قطعی تشخیص دهند که دلیل آن، عدم قابلیت تعمیم مناسب روی داده‌هاست. هدف از این پژوهش ارائه راهکاری به منظور بهبود نتیجه تشخیص در تصاویر مشکوک به کووید 19 است.
در این پژوهش پس از تشخیص بیماری با استفاده از دو شبکه عمیق گوگل و الکس، لایه احتمالی دو یادگیر استخراج شده و موارد مشکوک به بیماری شناسایی می‌شوند. سپس برترین ویژگی‌های مستخرج از دو یادگیر عمیق ترکیب شده و به یک شبکه عصبی پرسپترون جهت تشخیص موارد مشکوک ارسال می‌گردد. استخراج بهترین ویژگی‌ها توسط روش تحلیل مؤلفه اصلی صورت گرفته است. پایگاه داده مورد مطالعه، شامل 224 تصویر سی‌تی‌اسکن ریه مبتلا به کووید 19 و 522 تصویر ریه افراد سالم میباشد که از مرجع گیت‌هاب تهیه شده است. نتایج آزمون‌ها مبين آن است که تجمیع یادگیرهای عمیق در لایه احتمالی می‌تواند منجر به بهبود تشخیص کووید 19 در موارد مشکوک به میزان 1/98% شود.
کلیدواژه: کووید 19، یادگیرهای عمیق، داده‌کاوی.
1- مقدمه
بیماری کووید ۱۹ که توسط ویروس کرونا2 ایجاد می‌شود، یکی از چالش‌های جدی سلامت جهانی است که در سال ۲۰۲۰ به وجود آمد و همچنان تأثیر قابل توجهی بر جامعه جهانی دارد. تشخیص صحیح و سریع این بیماری از اهمیت بالایی برخوردار است، زیرا درمان به‌موقع و پیشگیری از شیوع آن می‌تواند زندگی انسان‌ها را نجات دهد. با رشد چشمگیر فناوری‌های هوش مصنوعی و به‌ویژه یادگیری عمیق، تلاش‌های فراوانی در جهت استفاده از این روش‌ها برای تشخیص بیماری کووید ۱۹ انجام شده است. یادگیری عمیق، یک شاخه از هوش مصنوعی است که با استفاده از شبکه‌های عصبی عمیق، قادر است اطلاعات پنهان و الگوهای پیچیده را از داده‌ها استخراج کند [1]. پژوهش‌های متعددی از شبکه‌های عمیق به منظور تشخیص بیماری کووید 19 استفاده کرده‌اند. مثلاً [2] نشان می‌دهد که شبکه 50ResNet از دقت بالاتری نسبت به شبکه‌های دیگر برخوردار است که البته پایگاه داده مورد مطالعه از نوع تصاویر قفسه سینه اشعه x بوده است. در پژوهشی دیگر پنج شبکه عمیق مختلف به منظور تشخیص بیماری کووید 19 مورد بررسی قرار گرفته است. تعداد نمونه‌های پایگاه داده 1427 تصویر اشعه x بوده که این تعداد 224 تصویر مربوط به مبتلایان به کووید 19، 700 تصویر ذات‌الریه و 504 تصویر سالم بوده است [3]. از دیگر تلاش‌ها در این زمینه می‌توان به طراحی شبکه‌ای به نام کوویدنت3 که عمل گسترش و فشرده‌سازی لایه‌ها را در یادگیر عمیق انجام می‌دهد، اشاره کرد. پایه اصلی این شبکه پیشنهادی، شبکه عمیق کانولوشنی است که نهایتاً منجر به افزایش دقت تشخیص بیماری کووید 19 گردیده است [4]. زائو و همکاران به بررسی تفاوت بین ذات‌الریه و کووید 19 از روی تصاویر سی‌تی‌اسکن ریه با استفاده از یادگیرهای عمیق پرداختند. پایگاه داده مورد مطالعه ایشان شامل 101 تصویر توموگرافی سینه بوده که از یکی از بیمارستان‌های چین جمع‌آوری شده است [5]. در مطالعه‌ای دیگر که بر روی 157 مورد از تصاویر سی‌تی‌اسکن قفسه سینه انجام شده است، به کمک هوش مصنوعی، مدلی معرفی گردید تا بتواند ضمن شناسایی بیماری کووید 19، میزان درگیری ریه را نیز مشخص نماید [6]. در پژوهشی دیگر از مجموع 1014 بیمار تعداد 601 مورد، تست پی‌سی‌آر مثبت داشته‌اند که تصاویر سی‌تی‌اسکن آنها مورد بررسی و مقایسه قرار گرفت و میزان حساسیت آنها %97 به دست آمد [7]. استفاده از یادگیری عمیق به منظور تشخیص اتوماتیک بیماری کووید 19 از روی تصاویر سی‌تی‌اسکن سه‌بعدی ریه در پژوهش دیگری مورد بررسی قرار گرفت. تعداد تصاویر پایگاه داده مطالعه مذکور، 630 تصویر بوده و نهایتاً احتمال ابتلا به ویروس کووید 19 پیش‌بینی شده است [8]. در 51 بیمار مبتلا به کووید که هم تست پی‌سی‌آر داشتند و هم تصاویر سی‌تی‌اسکن، مشخص شد که میزان حساسیت برابر %71 است؛ در حالی که این پارامتر در تصاویر سی‌تی‌اسکن 98% این افراد میباشد [9].
در تمامی متدهای یادگیری عمیق به منظور تشخیص بیماری کووید 19 سه بخش عمده وجود دارد: استخراج ویژگی تصاویر، بیان معنایی از تصویر و در نهایت کلاس‌بندی آن [10]. با توجه به تعدد ویژگی‌های مستخرج از تصویر، کاهش ابعاد به عنوان یک راهکار در فضای ورودی مسأله انجام می‌شود تا حجم محاسبات کاهش یابد. اما از آنجا که یکی از
[1] این مقاله در تاریخ 23 تیر ماه 1402 دریافت و در تاریخ 26 خرداد ماه 1403 بازنگری شد.
آتنا عبیدی، گروه کامپیوتر، واحد بوشهر، دانشگاه آزاد اسلامی، بوشهر، ایران،(email: abidi18.a@gmail.com).
حانیه جامحمودی، گروه کامپیوتر، واحد مشهد، دانشگاه آزاد اسلامی مشهد، ایران،(email: haniye.jamahmoodi@gmail.com).
زهرا حیدران داروقه امنیه، گروه برق واحد دولت‌آباد دانشگاه آزاد اسلامی، اصفهان، ایران، (email: zahraheydaran@iau.ac.ir).
ایمان ذباح (نويسنده مسئول)، گروه برق و کامپیوتر، واحد تربت حیدریه، دانشگاه آزاد اسلامی، تربت حیدریه، ایران (email: im.zabbah@iau.ac.ir).
[2] . SARS-CoV
[3] . Covid_Net
شکل 1: نمونه تصاویر سی‌تی‌اسکن مبتلا به کووید.
شکل 2: نمونه تصاویر سی‌تی‌اسکن ریه افراد سالم.
جدول 1: تقسیم‌بندی داده‌های آموزش و آزمون در پایگاه داده کووید.
پایگاه داده | نرمال | کووید 19 |
مجموع | 522 | 224 |
نمونه‌های آموزش | 227 | 119 |
نمونه‌های آزمون | 244 | 105 |
مهم‌ترین اهداف در تشخیص بیماری کووید 19 افزایش دقت یادگیرها است، به‌جای استفاده از کاهش ابعاد در فضای ورودی می‌توان از کاهش ابعاد در فضای ویژگی استفاده نمود و به‌جای آن تعداد یادگیرها را افزایش داد. در این مطالعه با ارائه یک رویکرد جدید تلاش شده تا افزایش دقت تشخیص به کمک ترکیب لایه‌های احتمالی دو شبکه عمیق انجام شود. ایده اصلی این مطالعه، استخراج لایه احتمالاتی دو شبکه کانولوشنی گوگل‌نت1 و الکس‌نت2 و بعد تجمیع آنها بوده است تا بتواند تمرکز خود را بر روی نمونه‌های با احتمال مشابه که در این مقاله از آنها به عنوان نمونه‌های مشکوک یاد می‌شود ( بین دو حالت نرمال و کووید 19)، بهبود بخشد. برای اطمینان از بهبود عملکرد نتایج حاصل از عملکرد هر شبکه به صورت مستقل و نیز عملکرد هر شبکه در حالت ترکیب، استخراج ویژگی‌ها مورد بررسی قرار گرفته است.
2- پایگاه داده، مواد و روش‌ها
2-1 پایگاه داده
پایگاه داده مورد استفاده در این مطالعه از مرجع گیت‌هاب [10] جمع‌آوری شده است. این پایگاه شامل 224 تصویر مبتلا به کووید 19 و 522 تصویر ریه افراد سالم است که برخی از آنها در شکل‌های 1 و 2 قابل مشاهده است. به منظور آموزش شبکه‌های عصبی عمیق، 70% از نمونه‌ها به منظور آموزش شبکه و 30% از نمونه‌ها به منظور تست شبکه مورد استفاده گرفته است. به منظور اطمینان از صحت نتایج از روش اعتبارسنجی متقابل (k_fold) در طبقه‌بندی استفاده شده است. جدول 1 تعداد نمونه‌های موجود در پایگاه داده و تعداد نمونه‌های آموزش و آزمون را نشان می‌دهد.
2-2 متد کلاس‌بندی
به طور کلی باید یک تعادل بین دقت3 و قابلیت تعمیم4 در سیستم یادگیر وجود داشته باشد. در صورت وجود داده‌های اعتبارسنجی5 در این سیستم یادگیر و گزینش صحیح ویژگی‌ها، کلاس‌بندی انجام می‌شود [11]. مثلاً شبکه عصبی پرسپترون چندلایه 6(MLP)، بردار ماشین پشتیبان 7(SVM)، درخت تصمیم8 و یا هر ابزار کلاس‌بندی دیگری می‌تواند مورد استفاده قرار گیرد. در این پژوهش پس از استخراج ویژگی‌ها از شبکه‌های عمیق، از شبکه عصبی پرسپترون دولایه برای کلاس‌بندی استفاده شده است.
[1] . AlexNet
[2] . GoogleNet
[3] . Accuracy
[4] . Generalizability
[5] . Validation
[6] . Multi Layer Perceptron
[7] . Support Vector Machine
[8] . Decision Tree
شکل 3: فلوچارت ارائه‌شده در این پژوهش.
2-3 یادگیری انتقالی
ایده اصلی در یادگیری انتقالی1 در یادگیری عمیق این است که اگر یک شبکه عصبی عمیق با تعداد زیادی لایه و پارامتر را در یک مسئله پیچیده آموزش داده و وزن‌های آن به‌درستی تنظیم شود، می‌توان این شبکه را به عنوان یک مبنای اولیه استفاده کرد و آن را برای حل مسائل مرتبط دیگر به کار برد. در فرایند یادگیری انتقالی، شبکه عصبی عمیق ابتدا با استفاده از داده‌های آموزشی در مسئله اصلی آموزش می‌بیند و وزن‌های آن بهینه می‌شوند. سپس بخشی از شبکه یا لایه‌های آن به همراه وزن‌هایشان (معمولاً لایه‌های پیش‌آموزش‌دیده2) برای حل مسئله یا وظیفه جدید استفاده می‌شوند. این لایه‌ها می‌توانند به صورت جزئی یا کامل به عنوان ورودی برای شبکه جدید استفاده شوند. سپس شبکه جدید با استفاده از داده‌های جدید در مسئله جدید آموزش داده می‌شود و وزن‌های آن بهبود می‌یابند [12].
3- روش پیشنهادی
در این پژوهش، هدف اصلی بهبود تشخیص بیماری کووید 19 است. برای دستیابی به این هدف، یک فریم‌ورک ترکیبی از دو شبکه عمیق گوگل و الکس طراحی شده است. انتخاب این دو شبکه به دلیل نوع داده‌های استفاده‌شده (تصاویر) و قابلیت برتری شبکه‌های خانواده کانولوشنی 3(CNN) مانند گوگل و الکس در طبقه‌بندی بیماریها صورت گرفته است [13]. به طور کلی، رویکرد پیشنهادی در 4 گام ارائه و اجرا شده است:
- گام اول: طراحی شبکه الکس و شبکه گوگل و تشخیص بیماری کووید 19 در هر شبکه به طور مستقل
- گام دوم: استخراج احتمال تعلق از لایه prob در شبکه الکس و گوگل و تجمیع احتمالات مستخرج و بررسی موارد مشکوک
- گام سوم: استخراج بهترین ویژگی‌ها از لایه ماقبل آخر از هر شبکه (هر شبکه 200 ویژگی) به کمک روش PCA و تجمیع بهترین ویژگی‌های مستخرج (400 ویژگی)
- گام چهارم: طراحی شبکه عصبی پرسپترون و آموزش با ویژگی‌های منتخب
شکل 3 فلوچارت ارائه‌شده در این پژوهش را نشان می‌دهد.
[1] . Transfer Learning
[2] . PreTrain Layers
[3] . Convolutional Neural Network
جدول 2: وضعیت 25 لایه شبکه الکس.
ردیف | نام لایه | نوع لایه | توضیحات |
۱ | نام لایه | ورودی تصویر | تصاویر ۲۲۷×۲۲۷×۳ با نرمال‌سازی 'zerocenter' |
۲ | 'data' | کانولوشن | ۹۶ کانولوشن ۱۱×۱۱×۳ با گام [۴ ۴] |
۳ | 'conv1' | ReLU | ReLU |
۴ | 'relu1' | نرمال‌سازی کانال متقاطع | نرمال‌سازی کانال متقاطع با ۵ کانال در هر عنصر |
۵ | 'norm1' | Max Pooling | ۳×۳ max pooling با گام [۲ ۲] |
۶ | 'pool1' | کانولوشن گروهی | ۲ گروه کانولوشن ۱۲۸ ۵×۵×۴۸ با گام [۱ ۱] |
۷ | 'conv2' | ReLU | ReLU |
۸ | 'relu2' | نرمال‌سازی کانال متقاطع | نرمال‌سازی کانال متقاطع با ۵ کانال در هر عنصر |
۹ | 'norm2' | Max Pooling | ۳×۳ max pooling با گام [۲ ۲] |
۱۰ | 'pool2' | کانولوشن | ۳۸۴ کانولوشن ۳×۳×۲۵۶ با گام [۱ ۱] و padding [۱۱۱۱] |
۱۱ | 'conv3' | ReLU | ReLU |
۱۲ | 'relu3' | کانولوشن گروهی | ۲ گروه کانولوشن ۱۹۲ ۳×۳×۱۹۲ با گام [۱ ۱] و padding [۱۱۱۱] |
۱۳ | 'conv4' | ReLU | ReLU |
۱۴ | 'relu4' | کانولوشن گروهی | ۲ گروه کانولوشن ۱۲۸ ۳×۳×۱۹۲ با گام [۱ ۱] و padding [1۱۱۱] |
۱۵ | 'conv5' | ReLU | ReLU |
۱۶ | 'relu5' | Max Pooling | ۳×۳ max pooling با گام [۲ ۲] و padding [۰۰۰۰] |
۱۷ | 'pool5' | Fully Connected | لایه کاملاً متصل ۴۰۹۶ |
۱۸ | 'fc6' | ReLU | ReLU |
۱۹ | 'relu6' | Dropout | Dropout %50 |
۲۰ | 'drop6' | Fully Connected | لایه کاملاً متصل ۴۰۹۶ |
۲۱ | 'fc7' | ReLU | ReLU |
۲۲ | 'relu7' | Dropout | Dropout %50 |
۲۳ | 'drop7' | Fully Connected | لایه کاملاً متصل ۱۰۰۰ |
۲۴ | 'fc8' | Softmax | Softmax |
3-1 گام اول: طراحی شبکه عمیق الکس و گوگل به‌منظور تشخیص کووید 19
الکس‌نت، اولین شبکه عمیق است که در این پژوهش مورد استفاده قرار گرفته است. این شبکه با استفاده از داده‌های 2ImageNet که شامل 1/2 میلیون تصویر رنگی در 1000 کلاس مختلف است، در کلاس‌بندی تصاویر موفقیت خود را ثابت کرده است [14]. در این پژوهش، تصاویر CT-scan برای استخراج ویژگی‌ها به شبکه عمیق الکس‌نت پیش‌آموزش داده شده ارسال می‌شوند. این شبکه شامل 5 لایه کانولوشن است که توسط لایه پولینگ به لایه‌های بعدی متصل می‌شوند و در نهایت توسط 2 لایه کاملاً متصل به لایه طبقه‌بندی نهایی ارسال می‌شوند. ویژگی‌های استخراج‌شده در لایه 7FC که شامل 4096 ویژگی است، برای تمامی نمونه‌ها استخراج می‌شود.
تصاویر ابتدا به سایز 227 در 227 تبدیل می‌شوند. سپس 96 فیلتر در لایه کانولوشن اول (1conv) و به ابعاد 11×11 به تصویر اعمال می‌شوند. بنابراین تعداد بردار وزن برابر 11×11×3×96 خواهد بود. خروجی این لایه به لایه بعدی یعنی 1relu منتقل می‌شود. لایه بعدی 1norm است که وظیفه آن نرمال‌سازی خروجی است و پارامترهای پیش‌فرض آن 
و 
و 
میباشد. لایه بعدی 1pool است که با سایز 3×3 تعریف شده است. این عملیات در لایه‌های بعدی تکرار می‌شوند. جدول 2 وضعیت هر یک از لایه‌ها را نشان می‌دهد.
دومین شبکه مورد استفاده در این مطالعه که از عمیق‌ترین شبکه‌های CNN است، شبکه گوگل میباشد. وجه تمایز این شبکه نسبت به سایر مدل‌ها استفاده از ماژول‌های Inception است [15]. به طور کلی یک شبکه با ساختار گوگل‌نت دارای دو لایه کانولوشن و دو لایه پولینک و 9 لایه Inception است. در این مرحله با استفاده از شبکه گوگل‌نت اقدام به کلاس‌بندی نمونه‌های تصاویر سی‌تی‌اسکن ریه شده است. این شبکه دارای 144 لایه میباشد. در ابتدایی‌ترین لایه یعنی لایه ورودی ابعاد تصویر 224×224×3 میباشد. 64 فیلتر به ابعاد 7×7 در لایه کانولوشن بعدی وجود دارد. 3 لایه بعدی ReLU ، pool و normal در مرحله بعد وجود دارد. آخرین بخش تصویر همان لایه inception است که مشابه این قسمت 8 لایه دیگر تکرار می‌شود [16].
3-2 گام دوم: بررسی لایه احتمال در شبکه الکس و گوگل به منظور استخراج تصاویر مشکوک
در این مرحله، میزان تعلق هر نمونه به کلاس «نرمال» یا «کووید 19» از لایه احتمال1 استخراج می‌شود. جدول 3 نتیجه این احتمال برای 10 نمونه اول را نشان می‌دهد. طبق جدول 3 در برخی از تصاویر، اختلاف قابل توجهی بین دو کلاس وجود دارد و لایه آخر شبکه با قطعیت بالا رأی نهایی را صادر می‌کند. به عنوان مثال برای تصویر سوم، با احتمال %70 فرد مبتلا به کووید ۱۹ تشخیص داده می‌شود و با احتمال ۳۰% به عنوان سالم در نظر گرفته می‌شود. با توجه به این اختلاف نسبتاً بزرگ، رأی شبکه درباره مبتلابودن فرد به کووید ۱۹ قابل اعتماد است. اما برای تصویر 9، اختلاف احتمالات به اندازه‌ای چشمگیر نیست. با احتمال ۴6%
[1] . Probe
جدول 3: احتمال تعلق 10 نمونه اول به کلاس کووید 19 یا نرمال در شبکه الکس.
احتمال تعلق به کلاس کووید | احتمال تعلق به کلاس نرمال | شماره نمونه | احتمال تعلق به کلاس کووید | احتمال تعلق به کلاس نرمال | |
1 | 59/0 | 40/0 | 6 | 70/0 | 29/0 |
2 | 68/0 | 31/0 | 7 | 75/0 | 24/0 |
3 | 70/0 | 29/0 | 8 | 70/0 | 29/0 |
4 | 78/0 | 21/0 | 9 | 46/0 | 54/0 |
5 | 71/0 | 28/0 | 10 | 85/0 | 14/0 |
جدول 4: احتمال تعلق 10 نمونه اول به کلاس کووید و نرمال در شبکه گوگل‌نت.
شماره نمونه | احتمال تعلق به کلاس کووید | احتمال تعلق به کلاس نرمال | شماره نمونه | احتمال تعلق به کلاس کووید | احتمال تعلق به کلاس نرمال |
1 | 1/0 | 89/0 | 6 | 36/0 | 64/0 |
2 | 19/0 | 80/0 | 7 | 24/0 | 76/0 |
3 | 26/0 | 73/0 | 8 | 01/0 | 99/0 |
4 | 37/0 | 63/0 | 9 | 45/0 | 55/0 |
5 | 14/0 | 86/0 | 10 | 23/0 | 77/0 |
جدول 5: مقدار ET محاسبه‌شده برای 10 نمونه اول در شبکه الکس و گوگل.
شماره نمونه | مقدار ET شبکه الکس | مقدار ET شبکه گوگل | شماره نمونه | مقدار ET شبکه الکس | مقدار ET شبکه الکس |
1 | 18/0 | 1/2 | 6 | 40/0 | 5/0 |
2 | 37/0 | 4/1 | 7 | 51/0 | 1/1 |
3 | 40/0 | 0/1 | 8 | 33/0 | 9/4 |
4 | 56/0 | 5/0 | 9 | 71/0 | 9/3 |
5 | 43/0 | 7/1 | 10 | 59/0 | 2/1 |
فرد به کووید ۱۹ مبتلاست و با احتمال ۵4% سالم در نظر گرفته می‌شود؛ حتی در موارد دیگر، اختلاف بسیار کوچک‌تر خواهد بود. اگرچه تصمیم لایه نهایی به درصد بالابودن متمرکز است، با دخالت سایر یادگیرنده‌ها، دقت تشخیص را می‌توان بهبود بخشید. مانند قبل، احتمال تعلق هر تصویر به هر کلاس در شبکه گوگل تعیین می‌گردد. جدول 4 نتیجه این کلاس‌بندی برای 10 نمونه اول را نشان می‌دهد.
طبق جدول 4 در مورد نمونه اول که احتمال تعلق آن به کلاس اول تقریباً 9/0 و احتمال تعلق آن به کلاس دوم تقریباً 1/0 است، می‌توان گفت شبکه گوگل با دقت مطلوبی توانسته است نمونه اول را طبقه‌بندی کند. در این مرحله نیاز داریم معیاری برای نمونه مشکوک تعریف کنیم. توسط (1) اختلاف بین طبقه‌های به‌دست‌آمده را محاسبه می‌کنیم
(1)
در رابطه فوق 
احتمال تعلق یک تصویر به طبقه اول و 
احتمال تعلق همان تصویر به طبقه دوم است. با محاسبه تمامی تصاویر و تعیین یک سطح آستانه می‌توانیم روی تصاویری که درصد تعلق آنها به هر یک از دو کلاس از آن سطح آستانه بیشتر است را به فاز بعدی هدایت کنیم. این عمل می‌تواند از طریق محاسبه mse در (2) انجام شود
(2)
که در این رابطه mse همان سطح آستانه نمونه مشکوک، n تعداد نمونه‌ها و ET اختلاف احتمال تعلق‌ها در هر تصویر است. ضمن اینکه می‌توانیم فقط تصاویری را انتخاب کنیم که از نظر شبکه، احتمالات مشابهی در هر کلاس دارند. در این مرحله تمامی تصاویری را که اختلاف ET آنها از سطح آستانه مشکوک بیشتر باشد، جدا می‌کنیم
(3)
از مجموع 522 تصویر، تعداد 147 تصویر دارای مقدار ET کمتر از سطح آستانه در شبکه الکس و تعداد 112 تصویر کمتر از حد آستانه در شبکه گوگل هستند. دو تصویر شکل 4 مربوط به نمونه‌های 516 و 520 است که دارای مقادیر ET به ترتیب 23/0 و 016/0 میباشد. این دو تصویر توسط شبکه الکس به‌سختی تشخیص داده شده‌اند و با احتمال مشابهی به هر دو کلاس تعلق دارند. مقدار ET برای هر یک از 10 تصویر اول در جدول 5 محاسبه و نشان داده شده است.
در نهایت مقدار mse محاسبه‌شده برای شبکه الکس 28/0 و برای شبکه گوگل 016/0 به دست آمد. این عدد هر چقدر به صفر نزدیک باشد، بیانگر دقت بیشتر شبکه است و این مسأله نشان می‌دهد شبکه گوگل در مجموع توانایی بیشتری در تشخیص بیماری دارد.
3-3 گام سوم: استخراج بهترین ویژگی‌ها در شبکه الکس‌نت و گوگل‌نت و طراحی شبکه پرسپترون
در این مرحله برای مقایسه متد پیشنهادی اقدام به استخراج اطلاعات لایه 8FC که به عنوان «لایه تمام‌متصل» شناخته می‌شود، نمودیم. همان طور که گفته شد ابعاد تصاویر ورودی در ابتدا 227×227×3 بوده است. این ابعاد با اعمال فیلترهای مختلف و بعد از گذراندن 25 لایه به تعداد 4096 ویژگی در لایه ماقبل آخر تقلیل می‌یابد؛ بنابراین ماتریسی با ابعاد 522×4096 ساخته می‌شود. اگرچه هر شبکه عمیق، توانایی استخراج ویژگی‌های خاصی از نمونه ورودی را دارد، اما ترکیب بهترین ویژگی‌های مستخرج از هر یک از شبکه‌ها می‌تواند منجر به افزایش دقت طبقهبندها شود [17]. ایده‌ای که در این مطالعه به منظور افزایش دقت تشخیص کووید 19 از روی تصویر سی‌تی‌اسکن ریه ارائه شده است، کاهش ابعاد
شکل 4: تصاویر مربوط به نمونه 520 (تصویر سمت راست) و نمونه 516 (تصویر سمت چپ).
ویژگی‌های مستخرج توسط یادگیرهای عمیق مراحل قبل میباشد. تعداد ویژگی‌های مستخرج از شبکه عمیق الکس‌نت و گوگل‌نت که از تصاویر سی‌تی‌اسکن ریه استخراج شده است، به ترتیب 4096 و 1024 میباشد. اما از آنجا که تجمیع ویژگی‌های فوق منجر به افزایش ابعاد در مسأله کلاس‌بندی می‌شود، لذا ابتدا اقدام به کاهش ابعاد و انتخاب بهترین ویژگی‌ها شده است. بدین منظور از روش تحلیل مؤلفه اصلی 1(PCA) استفاده شده است. تحلیل مؤلفه اساسی به بیان ساده، روشی برای استخراج متغیرهای مهم (به شکل مؤلفه) از مجموعه بزرگی از متغیرهای موجود در یک مجموعه داده است. تحلیل مؤلفه اساسی در واقع یک مجموعه با بُعد پایین از ویژگی‌ها را از یک مجموعه با بُعد بالا استخراج می‌کند [18]؛ به این ترتیب بیشترین واریانس موجود در فضای ویژگی‌ها مشخص می‌شود. محتوی موجود در اولین مؤلفه حاوی بیشترین اطلاعات و دومین مؤلفه حاوی اطلاعات کمتر و به همین ترتیب است. به منظور ترکیب بهترین ویژگی‌های دو شبکه، در این مرحله 200 ویژگی برتر مستخرج توسط PCA در شبکه الکس و 200 ویژگی برتر در شبکه گوگل با یکدیگر ترکیب شده و 400 ویژگی ایجاد می‌شود. اکنون این 400 ویژگی را به یک مدل یادگیر مانند شبکه عصبی پرسپترون داده و نتیجه را برای نمونه‌هایی که توسط دو شبکه مشکوک بوده‌اند، بررسی می‌کنیم.
4- یافته‌ها
نرمافزار مورد استفاده در این مطالعه برای ایجاد و بررسی شبکه‌های عمیق، 2019MATLAB بوده و مشخصات سیستم مورد استفاده عبارت است از ویندوز 10 نسخه 64 بیتی، 1 گیگابایت حافظه گرافیکی، 8 گیگابایت حافظه RAM و پردازنده اینتل 3687 7@i. به منظور آنالیز پاسخ‌های هر یک از شبکه‌ها و محاسبه دقت مدل‌ها از پارامترهای مختلفی استفاده شده که عبارتند از دقت که از (3) محاسبه می‌شود؛ پارامتر 2TP تعداد کل افراد سالمی است که به‌درستی تشخیص داده شده‌اند و 3TN تعداد کل افراد مبتلا به بیماری کووید ۱۹ است که به‌درستی تشخیص داده شده‌اند. مخرج کسر در این رابطه نیز تعداد کل افراد (شامل هم سالم و هم بیمار) را نشان می‌دهد. علاوه بر محاسبه دقت شبکه، دو شاخص دیگر نیز استفاده شده است؛ ۱) Sensitivity: شاخص نسبت تعداد افراد بیمار به کل افراد و ۲) Specificity: شاخص نسبت تعداد افراد سالم به کل افراد [19]
(4)
(5)
(6)
4-1 نتایج حاصل از طبقه‌بندی کووید 19 با شبکه الکس و گوگل به طور مستقل
در این مرحله اجازه داده شد که شبکه الکس و گوگل هر یک به تنهایی به طبقه‌بندی داده‌های کووید پس از آموزش بپردازند که نتیجه در جدول 6 نشان داده شده است.
4-2 نتایج حاصل از استخراج ویژگی‌های برتر از شبکه گوگل و الکس و ترکیب آنها
در گام دوم، استخراج ویژگی‌های برتر به کمک الگوریتم PCA در هر شبکه انجام شد و عمل طبقه‌بندی صورت گرفت. در واقع هر شبکه فقط نقش یک مستخرج‌کننده ویژگی4 را داشته است. آموزش شبکه عصبی با 200 ویژگی مستخرج شبکه گوگل‌نت و 200 ویژگی مستخرج الکس‌نت انجام شد و طبقه‌بندی به کمک یک شبکه پرسپترون نتایج جدول 7 را به دنبال داشت. همان طور که در جدول مشخص شده است، وقتی فقط از 200 ویژگی برتر مستخرج از هر شبکه و سپس از یک شبکه پرسپترون چندلایه به عنوان طبقه‌بند استفاده می‌شود، نتایج تشخیص بهبود می‌یابد. اما ترکیب 200 بهترین ویژگی مستخرج از لایه fc در شبکه الکس و نیز 200 بهترین ویژگی مستخرج از شبکه گوگل منجر به شکل‌گیری 400 ویژگی شده و طبقه‌بندی به کمک یک شبکه پرسپترون منجر به نتایج بهتر می‌گردد.
4-3 نتایج حاصل از ترکیب احتمالات گوگل و الکس و طبقه‌بندی
در بخش قبلی، احتمال تعلق هر یک از نمونه‌ها توسط دو شبکه که در لایه احتمال هر یک از دو شبکه وجود داشت استخراج گردید. به منظور ترکیب دو لایه و جمع نظرات خبره‌ها با استفاده از (7) احتمال تعلق هر یک از نمونه‌ها به هر کلاس را محاسبه می‌کنیم
(7)
که در این روابط 
احتمال تعلق به کلاس اول در شبکه الکس، 
احتمال تعلق به کلاس اول در شبکه گوگل، 
احتمال تعلق به کلاس دوم در شبکه الکس و 
احتمال تعلق به کلاس دوم در شبکه گوگل میباشد. در نهایت 
احتمال تعلق به کلاس اول توسط دو شبکه
و 
احتمال تعلق به کلاس دوم توسط دو شبکه خواهد بود. در
لایه قبل از تمام اتصال در شبکه‌های خانواده CNN احتمالات تعلق هر نمونه به هر کلاس وجود دارد که به لایه احتمال (PROB) معروف است. شکل 5 وضعیت میزان تعلق هر نمونه به هر کلاس در هر یک از شبکه‌ها را نشان می‌هد.
هر نمونه 6 مقدار دارد که 2 مقدار اول (1 و 2) مربوط به شبکه گوگل، دو مقدار دوم (3 و 4) مربوط به شبکه الکس و دو مقدار بعدی (5 و 6) مربوط به جمع احتمالات دو شبکه است. ذکر این نکته هم ضروری است
[1] . Principal Component Analysis
[2] . True Positive
[3] . True Negative
[4] . Feature Extractor
شکل 5: میزان تعلق 10 نمونه از داده‌های آزمون؛ 1PG_: احتمال تعلق نمونه به کلاس اول در شبکه گوگل، 2PG_: احتمال تعلق نمونه به کلاس دوم در شبکه گوگل،
1PA_: احتمال تعلق نمونه به کلاس اول در شبکه الکس، 2PA_: احتمال تعلق نمونه به کلاس دوم در شبکه الکس، 1PGA_: احتمال تعلق به کلاس اول در ترکیب دو شبکه گوگل و الکس، 2PGA_: احتمال تعلق به کلاس دوم در ترکیب دو شبکه گوگل و الکس.
جدول 6: طبقه‌بندی داده‌های کووید با شبکه الکس و گوگل به صورت مستقل.
شبکه الکس‌نت به طور مستقل | الکس‌نت داده‌های آموزش | الکس‌نت داده‌های آزمون | دقت تشخیص داده‌های آموزش | دقت تشخیص داده‌های آزمون |
کوویدهای واقعی درست تشخیص‌داده‌شده | 179 | 83 | 4/%73 | %79 |
کوویدهای واقعی تشخیص‌داده‌نشده | 65 | 22 | - | - |
نرمال واقعی درست تشخیص‌داده‌شده | 215 | 94 | 3/%77 | %79 |
نرمال واقعی تشخیص‌داده‌نشده | 63 | 25 | - | - |
تعداد کل نمونه‌ها | 522 | 224 | 5/%75 | %79 |
شبکه گوگل‌نت به طور مستقل | گوگل‌نت داده‌های آموزش | گوگل‌نت داده‌های آزمون | دقت تشخیص داده‌های آموزش | دقت تشخیص داده‌های آزمون |
کوویدهای واقعی درست تشخیص‌داده‌شده | 228 | 75 | 4/%93 | 4/%71 |
کوویدهای واقعی تشخیص‌داده‌نشده | 16 | 30 | - | - |
نرمال واقعی درست تشخیص‌داده‌شده | 276 | 109 | 3/%99 | 6/%91 |
نرمال واقعی تشخیص‌داده‌نشده | 2 | 19 | - | - |
تعداد کل نمونه‌ها- درصد تشخیص | 522 | 224 | 6/%96 | 1/%81 |
جدول 7: طبقه‌بندی داده‌های کووید 19 با بهترین ویژگی‌های مستخرج از گوگل و الکس.
استخراج 200 ویژگی از شبکه الکس مدل یادگیر شبکه پرسپترون | تعداد داده‌های آموزش | تعداد داده‌های آزمون | دقت تشخیص داده‌های آموزش | دقت تشخیص داده‌های آزمون |
کوویدهای واقعی درست تشخیص‌داده‌شده | 168 | 31 | 8/%98 | 9/%96 |
کوویدهای واقعی تشخیص‌داده‌نشده | 2 | 8 | - | - |
نرمال واقعی درست تشخیص‌داده‌شده | 195 | 38 | %99 | 6/%82 |
نرمال واقعی تشخیص‌داده‌نشده | 2 | 1 | - | - |
تعداد کل نمونه‌ها- درصد تشخیص | 366 | 78 | 9/%98 | 5/%88 |
استخراج 200 ویژگی از شبکه گوگل مدل یادگیر شبکه پرسپترون | تعداد داده‌های آموزش | تعداد داده‌های آزمون | دقت تشخیص داده‌های آموزش | دقت تشخیص داده‌های آزمون |
کوویدهای واقعی درست تشخیص‌داده‌شده | 173 | 34 | %99 | 9/%82 |
کوویدهای واقعی تشخیص‌داده‌نشده | 1 | 6 | - | - |
نرمال واقعی درست تشخیص‌داده‌شده | 192 | 31 | %100 | 8/%83 |
نرمال واقعی تشخیص‌داده‌نشده | 0 | 7 | - | - |
تعداد کل نمونه‌ها- درصد تشخیص | 366 | 78 | 7/%99 | 3/%83 |
ترکیب 400 ویژگی از شبکه گوگل و اکس مدل یادگیر شبکه پرسپترون | تعداد داده‌های آموزش | تعداد داده‌های آزمون | دقت تشخیص داده‌های آموزش | دقت تشخیص داده‌های آزمون |
کوویدهای واقعی درست تشخیص‌داده‌شده | 189 | 36 | %100 | 4/%97 |
کوویدهای واقعی تشخیص‌داده‌نشده | 0 | 6 | - | - |
نرمال واقعی درست تشخیص‌داده‌شده | 208 | 33 | %100 | 6/%84 |
نرمال واقعی تشخیص‌داده‌نشده | 0 | 1 | - | - |
تعداد کل نمونه‌ها- درصد تشخیص | 397 | - | %100 | %91 |
جدول 8: طبقه‌بندی داده‌های کووید با ترکیب احتمالات الکس و گوگل.
ترکیب احتمالات مدل یادگیر شبکه پرسپترون | تعداد داده‌های آموزش | تعداد داده‌های آزمون | دقت تشخیص داده‌های آموزش | دقت تشخیص داده‌های آزمون |
کوویدهای واقعی درست تشخیص‌داده‌شده | 276 | 113 | 5/%97 | 3/%96 |
کوویدهای واقعی تشخیص‌داده‌نشده | 2 | 6 | - | - |
نرمال واقعی درست تشخیص‌داده‌شده | 237 | 96 | 2/%99 | 9/%97 |
نرمال واقعی تشخیص‌داده‌نشده | 7 | 9 | - | - |
تعداد کل نمونه‌ها- درصد تشخیص | 522 | 224 | 3/%98 | 1/%97 |
جدول 9: گزارش تخمین پارامتریک در شبکه‌های مختلف روی داده‌های آزمون.
| Sensitivity (درصد) | Specificity (درصد) | Accuracy (درصد) |
شبکه الکس عادی | 5/75 | 79 | 79 |
شبکه گوگل عادی | 4/71 | 6/91 | 1/82 |
شبکه الکس با 200 ویژگی | 9/96 | 6/82 | 5/88 |
شبکه گوگل با 200 ویژگی | 9/82 | 8/83 | 3/83 |
ترکیب الکس و گوگل 400 ویژگی | 4/97 | 6/84 | 91 |
ترکیب لایه‌های احتمالاتی الکس و گوگل | 3/96 | 9/97 | 1/97 |
که در این پژوهش، جمع دو احتمال نرمال نشده یعنی بین صفر و یک قرار نگرفته است. به همین دلیل مقادیر مربوط به 5 و 6 در شکل ممکن است مقادیر بیشتر از یک داشته باشند که البته خللی در نتیجه ایجاد نمی‌کند. پس ار تجمیع محتویات دو لایه و تجمیع با استفاده از (6) و (7) و آموزش با مدل پرسپترون طبقه انجام و نتایج در جدول 8 ثبت شد.
همان طور که مشاهده می‌شود دقت شبکه روی داده‌های آموزش به 3/%98 رسیده که نسبت به زمانی که هر یک از شبکه‌ها به طور مستقل عمل تشخیص را انجام می‌دهد. به عبارت دقیق‌تر وقتی جمع نظرات دو خبره در لایه‌های ماقبل آخر (Probe) یعنی لایه قبل از تمام اتصال (FC) محاسبه می‌گردد، گزارش تخمین متریک هر یک از شبکه‌ها در جدول 9 نشان داده شده است.
جدول 10 مقایسه نتایج این مطالعه با برخی از پژوهش‌های مشابه را که بر روی تصاویر اشعه x انجام شده، نشان می‌دهد؛ ضمن اینکه برخی از پردازش‌ها فقط بر روی دو کلاس کووید 19 و نرمال و برخی بر روی سه کلاس کووید 19، نرمال و ذات‌الریه انجام شده است.
5- بحث و نتیجه‌گیری
در این پژوهش، یک روش جدید با استفاده از ترکیب ویژگی‌ها که در برخی از مطالعات به شکل‌های دیگر مشاهده می‌شود [20]، در لایه‌های احتمالی پیشنهاد شده است؛ به این ترتیب که نمونه‌هایی از تصاویر سی‌تی‌اسکن ریه که توسط دو شبکه عمیق گوگل و الکس با احتمال ضعیفی تشخیص داده شده‌اند (نمونه‌های مشکوک) به شبکه جدید ارسال می‌شوند. این شبکه جدید در واقع متشکل از ترکیبی از بهترین ویژگی‌های عمیق دو شبکه و یک طبقه‌بند از نوع پرسپترون چندلایه است. هدف نهایی یک سیستم شناسایی الگو، رسیدن به بالاترین نرخ طبقه‌بندی ممکن برای مسأله مورد نظر است. از آنجایی که هیچ الگوریتم طبقه‌بندی وجود ندارد که به تنهایی به طور کامل برای تمام مسائل مناسب باشد، ترکیب ویژگی به عنوان یک راه حل برای افزایش کارایی پیشنهاد شده است [21]. استفاده از متدهای داده‌کاوی در تشخیص بیماری کووید 19 نتایج قابل توجهی در شناسایی سریع این بیماری داشته است [22]. نتایج حاکی از آن است که به‌کارگیری چندین شبکه عمیق و استخراج ویژگی‌ها
جدول 10: مقایسه روش پیشنهادی در تشخیص بیماری کووید 19
با سایر پژوهش‌های مشابه.
مدل شبکه | تعداد کلاس و نمونه موارد | بهترین دقت | شماره مرجع |
19VGG | 224 Covid19: 700 Normal: 504 Pneumonia: | 48/93 | 18 |
CovidNet | 53 Covid19: 5526 NotCovid19: 8066 Normal: | 4/92 | 19 |
ResNet + SVM | 25 Covid19: 25 NotCovid19: | 38/95 | 15 |
COVIDX-Net | 25 Covid19: 25 NotCovid19: | 1/90 | 20 |
DRE-Net | 777 Covid19: 708 NotCovid19: | 86 | 21 |
M-Inception | 195 Covid19: 258 NotCovid19: | 9/82 | 22 |
UNet + 3D Deep Network | 313 Covid19: 229 NotCovid19: | 8/90 | 23 |
ResNet + Location Attention | 219 Covid19: 175 Normal: 224 Pneumonia: | 7/86 | 24 |
DenseNet | 125 Covid19: 500 Normal: 500 Pneumonia: | 02/87 | 25 |
روش پیشنهادی | 244 Covid19: 522 Normal: | 1/97 | - |
و سپس انتخاب بهترین ویژگی‌ها، نسبت به زمانی که فقط از یک یادگیر عمیق استفاده می‌شود در پیش‌بینی بهتر بیماری مؤثر است. علت بهبود نتیجه را می‌توان این گونه توصیف کرد که اگرچه هر یک از یادگیرها به‌تنهایی قادر به پیش‌بینی بیماری کووید ۱۹ هستند، اما با در نظر گرفتن وجود لایه‌های متعدد کانولوشنی و همچنین استفاده از کرنل‌های متنوع در شبکه‌های عمیق پیش‌آموزش داده شده، امکان استخراج ویژگی‌های متنوع از هر نمونه تصویر فراهم می‌شود. بدین ترتیب از توانایی هر شبکه به‌صورت مستقل استفاده می‌شود تا دقت تشخیص در نمونه‌های مشکوک افزایش یابد. در زمانی که یکی از شبکه‌های عمیق با دقت مشابه دو کلاس را یکسان تخمین می‌زند، شبکه جدید می‌تواند امکان تخمین درست را افزایش دهد. اگرچه این دقت به نظر ممکن است اندک به نظر برسد، اما با توجه به اهمیت بیماری کووید ۱۹ برای سلامت و زندگی افراد، حتی بهبود حدود 1% نیز اهمیت چشمگیری پیدا خواهد کرد.
مراجع
[1] M. Zreik, et al., "Deep learning analysis of the myocardium in coronary CT angiography for identification of patients with functionally significant coronary artery stenosis," Med Image Anal, vol. 44, no. 3, pp. 72-85, Feb. 2018.
[2] M. Q. Zhang, et al., "Clinical features of 2019 novel coronavirus pneumonia in the early stage from a fever clinic in Beijing," Case Reports, vol. 43, no. 3, pp. 215-218, May 2020.
[3] R. Ouni and H. Alhichri, Cross-Dataset Domain Adaptation for the Classification of COVID-19 Using Chest Computed Tomography Images, arXiv preprint arXiv:2311.08524, 2023.
[4] L. Gaur, U. Bhatia, N. Z. Jhanjhi, G. Muhammad, and M. Masud, "Medical image-based detection of COVID-19 using deep convolution neural networks," Multimedia Systems, vol. 29, pp. 1729-1738, 2023.
[5] W. Zhao, Z. Zhong, X. Xie, Q. Yu, and J. Liu, "Relation between chest CT findings and clinical conditions of coronavirus disease (covid-19) pneumonia: a multicenter study," American J. of Roentgenology, vol. 214, no. 5, pp. 1072-1077, May 2020.
[6] O. Gozes, et al., Rapid AI Development Cycle for the Coronavirus (Covid-19) Pandemic: Initial Results for Automated Detection & Patient Monitoring Using Deep Learning CT Image Analysis, arXiv preprint. arXiv:2003.05037, 2020.
[7] T. Ai, et al., "Correlation of chest CT and RT-PCR testing for coronavirus disease 2019 (COVID-19) in China: a report of 1014 cases" Radiology, vol. 296, no. 2, pp. E32-E40, Aug. 2020.
[8] C. Zheng, et al., "Deep learning-based detection for COVID-19 from chest CT using weak label," IEEE Trans. on Medical Imaging, vol. 39, no. 8, pp. 2615-2625, Aug. 2020.
[9] م. معلم و ع. ا. پویان، "کشف ناهنجاری با استفاده از کد کننده خودکار مبتنی بر بلوک‌های "LSTM، مجله مدلسازی در مهندسی، سال 17، شماره 56، صص. 211-191، اردیبهشت 1398.
[10] L. Wang, Y. Lin, and A. Wong, "COVID-Net: a tailored deep convolutional neural network design for detection of COVID-19 cases from chest X-ray images," Scientific Reports, vol. 10, Article ID: 19549, 2020.
[11] ع. ماروسی، ا. ذباح، م. مقربی، س. ا. یثربی و ک. لایقی، " بهبود تشخیص بیماری سرطان پستان با استفاده از سیستم استنتاج عصبی- فازی تطبیقی"، کارافن، سال 19، شماره 3، صص. 392-377، آذر 1401.
[12] M. Loey, F. Smarandache, and N. E. M. Khalifa, "Within the lack of COVID-19 benchmark dataset: a novel GAN with deep transfer learning for corona-virus detection in chest X-ray images," Symmetry, vol. 12, no. 4, Article ID: 0651, 2020.
[13] X. Yang, et al., "Deep learning signature based on staging CT for preoperative prediction of sentinel lymph node metastasis in breast cancer," Academic Radiology, vol. 27, no. 9, pp. 1226-1233, Sept. 2019.
[14] E. Cortés and S. Sánchez, "Deep Learning Transfer with AlexNet for chest X-ray COVID-19 recognition," IEEE Latin America Trans., vol. 19, no. 6, pp. 944-951, Jun. 2021.
[15] S. Akter, F. J. M. Shamrat, S. Chakraborty, A. Karim, and S. Azam, "COVID-19 detection using deep learning algorithm on chest X-ray images," Biology, vol. 10, no. 11, Article ID: 1174, 2020.
[16] Y. Kaya, Z. Yiner, M. Kaya, and F. Kuncan, "A new approach to COVID-19 detection from x-ray images using angle transformation with GoogleNet and LSTM," Measurement Science and Technology, vol. 33, no. 12, Article ID: 124011, Dec. 2022.
[17] I. Zabbah, K. Layeghi, and R. Ebrahimpour, "Improving the diagnosis of COVID-19 by using a combination of deep learning Models," Journal of Electrical and Computer Engineering Innovations, vol. 10, no. 2, pp. 411-424, Jul. 2020.
[18] ا. ذباح، ع. ماروسی و ر. ابراهیمپور، "تشخیص هوشمند بیماری کوید19 با استفاده از ترکیب ویژگی های عمیق و تحلیل مولفه اصلی"، پردازش سیگنال پیشرفته، در حال انتشار.
[19] V. X. Nunes, et al., "A novel web platform for covid-19 diagnosis using x-ray exams and deep learning techniques," in Proc. Int. Joint Conf. on Neural Networks, 8 pp., Shenzhen, China, 18-22 Jul. 2019.
[20] P. Silva, E. Luz, G. Silva, G. Moreira, R. Silva, D. Lucio, and D. Menotti, "COVID-19 detection in CT images with deep learning:
a voting-based scheme and cross-datasets analysis," Informatics in Medicine Unlocked, vol. 20, Article ID: 100427, 2020.
[21] ر. نوپور، ج. شنبهزاده و ه. کاظمی آرپناهی، "پیشنهاد یک راهکار فناورانه موثر جهت تشخیص زودهنگام بیماری کووید-19: مطالعه مبتنی بریادگیری ماشین داده محور"، مجله انفورماتیک سلامت و زیست پزشکی، سال 7، شماره 1، صص. 78-68، بهار 1400.
آتنا عبیدی دانشجوی دکتری انفورماتیک پزشکی ورودی ۱۴۰۲ دانشگاه علوم پزشکی کرمان میباشد. کارشناسی ارشد ایشان در رشته مهندسی کامپیوتر گرایش نرمافزار از دانشگاه آزاد اسلامی واحد بوشهر در سال ۱۳۹۶ اخذ شده است.
حانیه جامحمودی دانشجوی دکتری رشته کامپیوتر گرایش نرمافزار دانشگاه آزاد اسلامی واحد مشهد است و مدارک کارشناسی ارشد گرایش نرمافزار و کارشناسی فناوری اطلاعات را به ترتیب از دانشگاه آزاد اسلامی واحد علوم تحقیقات تهران و اسلامی واحد مشهد اخذ کرده است. ایشان از سال 1399 مشغول تدریس در دانشگاه آزاد اسلامی واحد مشهد و موسسه آموزش عالی فردوس میباشد. زمینههای مورد علاقه ایشان عبارتند از: سیستم‌های توصیه‌گر، اینترنت اشیا، هوش مصنوعی.
زهرا حیدران داروقه امنیه تحصیلات خود را در مقاطع کارشناسی مهندسی برق الکترونیک، کارشناسی ارشد مهندسی برق الکترونیک- دیجیتال و دکترای تخصصی مهندسی برق الکترونیک در سالهای ۱۳۷۸ و ۱۳۹۶ و ۱۴۰۱ در دانشگاههای آزاد اسلامی واحد نجف آباد، علم و صنعت ایران و آزاد اسلامی واحد ساوه به پایان رسانده است. ایشان عضو هیأت علمی و استادیار گروه برق دانشگاه آزاد اسلامی واحد دولت آباد میباشد. زمینههای مورد علاقه تحقیقاتی ایشان عبارتند از: هوش مصنوعی، پردازش موازی، الکترونیک قدرت، کنترل مدرن و انرژیهای نو.
ایمان ذباح در سال 1383 مدرك كارشناسي مهندسي کامپیوتر خود را از دانشگاه آزاد اسلامی واحد مشهد و در سال 1386 مدرك كارشناسي ارشد مهندسي هوش مصنوعی و رباتیک را از همان دانشگاه دريافت نمود. درسال 1404 مدرک دکتری هوش مصنوعی را از دانشگاه آزاد اسلامی واحد تهران شمال اخذ نمود. از سال 1383 تا کنون به تدریس در دانشگاه آزاد اسلامی واحد تربت حیدریه و سایر دانشگاهها اشتغال دارد. نامبرده عضو هيأت علمي دانشگاه آزاد اسلامی واحد تربت حیدریه ميباشد. زمينههاي علمي مورد علاقه ایشان متنوع بوده و شامل موضوعاتي مانند تشخیص بیماریها، هوش مصنوعی و رباتیک و یادگیری عمیق است.