معاون پژوهش و فناوری پایگاه استنادی علوم جهان اسلام با اشاره به معایب سیستم ارزیابی علم سنجی با تاکید بر اینکه امکان دستکاری در شاخص‌ها از طریق خود استنادی مفرط و ارزشگذاری غیر واقعی نسبت به فهرست‌های عملکردی کمی مانند نویسندگان یک و 2 درصد برتر وجود دارد، گفت: آسیب‌های این نظام‌ها در ایران بیشتر است از این رو باید در خصوص شاخض‌های ارزیابی، مطالعات بیشتری صورت گیرد.
به گزارش ایسنا، دکتر منصور حقیقت در وبینار “چالش‌های استفاده از شاخص‌های علم سنجی در ارزیابی پژوهش”، سیاستگذاری در حوزه علم و فناوری را از ضروریات پیشرفت کشورها دانست و گفت: وضعیت فعلی ما در حوزه‌های علم و فناوری حاصل سیاستگذاری‌ها و برنامه‌ریزی‌های کشور در سال‌های گذشته بوده است.
وی با بیان اینکه سیاستگذاری‌های این حوزه همسو و هم جهت نیستند، ابراز امیدواری کرد که مسوولان کشور به سیاستگذاری‌های میان مدت و بلند مدت متمرکز در این حوزه بپردازند.
حقیقت، با اشاره به چالش‌های موجود در زمینه شاخص‌های ارزیابی علم و فناوری، خاطر نشان کرد: هر چند که این شاخص‌ها مانند تعداد “استنادات به مقالات”، “هرش”، ضریب تاثیر” و “چارک‌های 1 تا 4” با مشکلاتی همراه هستند ولی ضرورت است که ما از این شاخص‌ها برای علم سنجی بهره ببریم.
وی با اشاره به تعداد تولیدات علمی کشور اظهار کرد: بر اساس آمارها از سال 2000 تا 2020 رشد قابل توجهی در این زمینه داشتیم به گونه‌ای که تعداد مقالات منتشر شده در WOS از هزار مقاله در سال 2000 به سالی 70 هزار مقاله در سال 2020 رسید که این عدد به معنای تولید دو درصد علم دنیا از سوی محققان ایرانی است.
معاون پژوهش و فناوری پایگاه استنادی علوم جهان اسلام به بیان دلایل پیشرفت ایران در تولیدات علمی پرداخت و افزود: در سال 2003 از سوی وزارت علوم، تحقیقات و فناوری سیاستگذاری تشویقی برای انتشار مقالات در ژورنال‌های بین المللی اجرایی شد که اگر این سیاست به منظور رشد کیفی تولیدات علمی بود که توام با موفقیت است ولی اگر هدف ارتقا کیفی مقالات بوده که علامت سوالی را در اینجا ایجاد می‌کند.
به گفته وی بیشترین تعداد مقالات (46 درصد) مربوط به سال 2007 و کمترین انتشار مقالات (12 درصد) مربوط به سال 2013 است ضمن آنکه میانگین رشد سالانه انتشار مقالات 20 درصد است و ایران در میان کشورهای اسلامی رتبه اول را در تولیدات علمی کسب کرده است.
آسیب‌های شاخص استناد مقالات
حقیقت، با اشاره به سابقه تعریف شاخص استناد مقالات در علم سنجی، خاطر نشان کرد: در حال حاضر اساس رتبه بندی دانشگاه‌ها در نظام‌های رتبه بندی مانند تایمز ، میزان استنادات به مقالات است از این رو در کشور شاهدیم که برخی از دانشگاه‌های کوچک که از نظر بنیه علمی در جایگاه مناسبی نیست و حرفی برای گفتن ندارد در شاخص استناد در بالاترین رتبه نسبت به دانشگاه‌های بزرگ کشور قرار گرفته است که این امر مربوط به برنامه ریزی آنها در ارتقا استنادات می‌شود.
وی با بیان اینکه حتی اگر اعداد و ارقام این شاخص واقعی باشد، نتایج آن گمراه کننده است، در این باره توضیح داد: افزایش تعداد استنادات به مقالات معمولا مربوط به یک فرد است و در صورتی که این فرد در دانشگاه جا به جا شود، رتبه آن دانشگاه جا به جا خواهد شد.
استاد دانشگاه فیزیک دانشگاه شیراز به بیان ضعف‌ها و مزایای شاخص استناد پرداخت و گفت: نظام‌های ارزیابی عملکرد پژوهشی “داوری محور” و “سنجه محور” هستند. از جمله مزایای نظام “سنجه محور” می‌توان به مواردی چون سادگی و سهولت محاسبه مقادیر و شاخص‌ها، دسترسی آسان به داده‌های مورد نیاز برای محاسبه، عینی بودن و بی طرفی نتایج، قابلیت باز تولید و راستی آزمایی، قابلیت تعدیل مقادیر برای رشته‌ها و حوزه‌های علمی مختلف و امکان ترسیم روندهای گذشته و پیش بینی روندهای آینده اشاره کرد.
وی ایجاد رقابت مفرط در بین پژوهشگران برای رسیدن به حد نصاب معیارهای کمی، عدم توجه به تفاوت رتبه‌ها، امکان دستکاری در شاخص‌ها از طریق خود استنادی مفرط، ارزشگذاری غیر واقعی نسبت به فهرست‌های عملکردی کمی مانند نویسندگان یک و 2 درصد برتر را از آسیب‌های نظام سنجه محور دانست.
معاون پژوهش و فناوری پایگاه ISC با اشاره به مزایا و معایب نظام ارزیابی بر پایه قضاوت و داوری، خاطر نشان کرد: این نظام در کنار مزایایی که دارد با آسیب‌هایی چون احتمال سو گیری به نفع موضوعات حوزه‌های پژوهشی، کندی فرآیند داوری، افزایش هزینه و زمان ارزیابی، شفافیت ناکافی ارائه طرح‌های پژوهشی ابتکاری با نتایج نامشخص همراه است.
وی تاکید کرد: هر چند که چالش‌های این دو نظام متوجه همه کشورهای دنیا است ولی در ایران آسیب‌های آنها شدیدتر است از این رو ما ناگزیر هستیم که سنجه‌ها را بیشتر مورد مطالعه قرار دهیم.
نتایج یک تحقیق در ISC
معاون پژوهش و فناوری پایگاه استنادی ISC با اشاره به آسیب‌های نظام‌های ارزیابی پژوهشی از اجرای تحقیقاتی در این پایگاه خبر داد و گفت: این تحقیقات بر روی 6 ژورنال علمی بین المللی انجام شد که در یک بازه زمانی مشخص 27 مقاله داغ را منتشر کرده بود. مقالات داغ مقالاتی هستند که در فاصله دو سال پس از انتشار و در بازه‌های دو ماهه از نظر تعداد استنادات دریافتی در جمع یک دهم یک درصد برتر مقالات یک حوزه موضوعی خاص قرار گیرند. فرض می‌شود که مقالات داغ دستاوردهای علمی تازه‌ای هستند که توسط متخصصان یک حوزه مورد توجه جدی قرار می‌گیرند و بیانگر ظهور رویدادهای تازه در پژوهش و پیشرفت علمی هستند.
وی ادامه داد: نتایج این تحقیقات نشان دادکه نویسندگان می‌توانند از طریق دستکاری در شاخص‌های استنادی مانند ایجاد حلقه‌های استنادی و نرخ بالای خود استنادی اقدام به تولید مقالات داغ و پر استناد کنند ضمن آنکه دستکاری در شاخص‌ها و استنادهای غیر واقعی به مقالات می‌تواند آنها را در جمع مقالات داغی وارد کند که از کیفیت علمی مطلوبی برخوردار نیستند.
به گفته این محقق، بررسی تعداد 27 مقاله داغ از چند نویسنده در این 6 ژورنال منتخب نشان می‌دهد که این مقالات از طریق خود استنادی تولید شده‌اند به طوری که نرخ خود استنادی در برخی مقالات داغ 75 درصد بود.
وی اضافه کرد: علاوه بر آن حدود نیمی از مقالات استناد کننده در همان نشریات منتخب چاپ شده بودند.
دانشمند برتر یک درصد یا نویسندگان پر استناد
حقیقت با اشاره به تعریف شاخص دیگری در حوزه علم سنجی در زمینه “دانشمندان یک درصد” گفت: ما از دو سال قبل در تلاش هستیم که نام دانشمند یک درصد را حذف کنیم ولی به دلیل فشارهای زیادی که از سوی وزارت علوم و دانشگاه‌ها به ما وارد می‌شود این امر میسر نشده است.
معاون پژوهش و فناوری پایگاه استنادی جهان اسلام با تاکید بر اینکه اساتیدی که جز دانشمندان یک درصد قرار می‌گیرند، “نویسندگان پر استناد” هستند نه دانشمند، خاطر نشان کرد: استفاده از لفظ دانشمند یک درصد برای انتخاب اساتید برتر آسان تر است.
وی با تاکید بر اینکه آنچه از دانشمند یک درصد در ایران از آن یاد می‌شود در سایر کشورهای دیگر توجه نمی‌شود، افزود: موسسه ملی سلامت آمریکا بزرگترین حامی مالی تحقیقات حوزه زیست پزشکی در دنیا است. نتایج یک تحقیق بر روی مقالات منتشر شده محققان امریکایی در فاصله سال‌های 2001 تا 2012 نشان داد که حدود 60 درصد از نویسندگان پر استناد امریکایی در حوزه زیست پزشکی دارای گرنت پژوهشی فعال از طرف این موسسه به عنوان محقق اصلی نبودند. به عبارت دیگر از هر 5 5 نویسنده این مقالات پر استناد 3 نفر در آن زمان دارای گرنت پژوهشی به عنوان محقق اصلی نبودند.
حقیقت اضافه کرد: این در حالی است که اکثر قریب به اتفاق اعضای فعال در بخش‌های مطالعاتی این موسسه صرف نظر از تاثیر استنادی آنها دارای نوعی فاندهای پژوهشی بودند.
عضو هیات علمی دانشگاه شیراز ادامه داد: بر این اساس در تحلیل‌های آماری پایگاه استنادی ISC از فهرست دانشمندان یک درصد برتر این پایگاه در سال 2020 تعداد 512 نویسنده ایرانی به عنوان نویسنده یک درصد برتر شناسایی شدند اما در تحلیل‌های علم سنجی ISC از شاخص‌های دیگری به غیر از مجموع استنادات برای بررسی اثرگذاری این نویسندگان استفاده شد.
وی خاطر نشان کرد: در نتیجه تنها 391 نفر از نویسندگان به عنوان پژوهشگران برتر شناسایی شدند در حالی که 47 نویسنده در محدوده غیر نرمال قرار داشتند و عده دیگری نیز عضو گروه‌های بزرگ همکاری‌های بین المللی بودند و از تحلیل حذف شدند.
انتهای پیام
منبع: ایسنا
