تحلیل ضرورت‌های همترازسازی ارزش تولیدات علمی حوزه‌های تخصصی در علم‌سنجی و آسیب‌شناسی سنجش و ارزیابی همسان: مطالعه موردی حوزه هنر

نوع مقاله: مقاله پژوهشی

نویسنده

استادیار گروه علم اطلاعات و دانش شناسی دانشگاه شاهد

چکیده

تفاوت‌های موجود میان رشته‌ها، به عوامل مختلفی بازمی‌گردد که ریشه اصلی اکثر آنها، تفاوتی است که در نوع نگاه رشته‌ها و همچنین در روش‌های مورد استفاده و ماهیت رشته‌ها وجود دارد. همین تفاوت‌ها سبب بروز رفتارهای علمی و استنادی متفاوتی در رشته‌های مختلف نسبت به یکدیگر می‌شود. از آنجایی که مطالعه رفتارهای علمی و استنادی و به ویژه لزوم انجام مطالعات تطبیقی رشته‌ها، بخش مهمی از زمینه‌های مطالعاتی علم‌سنجی را دربرمی‌گیرد، لزوم توسعه روش‌ها و ابزارهایی که بتواند ضمن در نظر گرفتن تفاوت‌های میان رشته‌ها، آنها را مقایسه‌پذیر کند، مسئله‌ای است که همواره در علم‌سنجی مطرح بوده است. با وجود این، ارائه پاسخ‌های قطعی به پرسش‌هایی مانند «چگونه می‌توان چند رشته یا حوزه علمی متفاوت و یا چند پژوهشگر از رشته‌های متفاوت را مورد مقایسه قرار داد؟» و یا «یک مقاله در حوزه علوم انسانی و اجتماعی معادل چند کتاب در حوزه دیگر است؟ یا به عبارتی، یک کتاب در حوزه علوم انسانی معادل چند مقاله در رشته دیگر است؟» در دستور کار مطالعات همترازسازی در علم‌سنجی قرار گرفته است. به این ترتیب، مسائل مطرح در این خصوص که چگونه می‌توان تولیدات و بهره‌وری علمی حوزه‌های تخصصی گوناگون را به طور صحیح و با در نظر گرفتن کلیه ابعاد و جوانب، نسبت به یکدیگر مورد مقایسه قرار داد، در سال‌های اخیر زمینه‌ساز انجام مطالعات نوین همترازسازی در علم‌سنجی بوده است. این مقاله در پی تبیین ضرورت‌های همترازسازی ارزیابی‌های حوزه‌های تخصصی متفاوت و شناسایی آسیب‌های غفلت از همترازسازی در این ارزیابی‌های تخصصی است که به صورت مطالعه موردی در حوزه هنر انجام شده است.
این مقاله با رویکرد ترویجی به تحلیل، جمع‌بندی و انعکاس نتایج یافته‌های مرتبط به منظور روشنگری جامعه علمی در خصوص اهمیت همترازسازی در ارزیابی حوزه‌های تخصصی گوناگون پرداخته است. این پژوهش از نوع پژوهش‌های تحلیلی است که با استفاده از روش کتابخانه‌ای انجام شد.
نتایج نشان می‌دهد مهم‌ترین آسیب‌هایی که مطالعات همترازسازی علم‌سنجی در پی رفع آن است، به این واقعیت باز می‌گردد که انجام ارزیابی و مقایسۀ رشته‌های علمی و یا پژوهشگران حوزه‌های مختلف بدون توجه به این تفاوت‌ها و مسائل در وهله نخست موجب خواهد شد ارزیابی‌کنندگان از انجام مطالعات تطبیقی رشته‌های مختلف با یکدیگر صرفنظر و فقط به سطح مقایسه درون‌رشته‌ای اکتفا کنند. این در حالی است که با تکیه بر مطالعات همترازسازی و بهره‌گیری از رویکرد مشابهت‌ یا همسانی، ضمن در نظر گرفتن کلیه ملاحظات موجود در هر یک از حوزه‌های تخصصی، امکان مقایسه حوزه‌های تخصصی متفاوت فراهم می‌شود و نتایج کاربردی‌تر و سیاست‌گذارانه‌تری به برنامه‌ریزان و سیاست‌گذاران علم، فناوری و نوآوری قابل ارائه خواهد بود. به عنوان مثال شناسایی بروندادهای غالب هر حوزه، در خصوص حوزه‌هایی که از لحاظ ماهیتی تفاوت زیادی با سایر حوزه‌ها دارند همچون حوزه هنر که در این مقاله مورد بررسی قرار گرفت می‌تواند با استفاده راهکارهای مشابهی همچون همترازسازی و شیوه‌های مشابه که باز هم در این مقاله به آن اشاره شد در دستور کار اینگونه سازمان‌ها قرار گیرد.

کلیدواژه‌ها


عنوان مقاله [English]

Analyzing the Necessities of Equating the Value of Scientific Outputs of Specialized Fields in Scientometrics and Pathology of Similar Measurement and Evaluation: Case Study: Field of Art

نویسنده [English]

  • Lale Samadi
چکیده [English]

The differences between the disciplines are due to a number of factors, most of which are rooted in the way the disciplines are viewed, the methods used, and the nature of the disciplines. The study of scientific and citation behaviors and especially the need for comparative studies of disciplines is an important part of the field of scientometric studies. Thus, the need to develop methods and tools that, while they take into account the differences between disciplines, are comparable has always been an issue, and it has been discussed in scientometrics. Nevertheless, on the agenda of alignment studies in scientometrics is providing definitive answers to the questions such as: how can one compare several disciplines or different scientific fields or several researchers from different disciplines? Or an article in the field of humanities and social sciences is equivalent to several books in another field, or in other words, a book in the field of humanities is equivalent to several articles in another field. Therefore, in recent years, the regarded issues of properly comparing the scientific products and productivity of different specialized fields while taking into account all dimensions and aspects have paved the way for new studies of alignment in scientometrics. This article seeks to explain the need for alignment of evaluations in different specialized areas and to identify the disadvantages of neglecting alignment in these specialized evaluations; Which has been done as a case study in the field of art.
With the promotional approach, this article analyzes, summarizes and reflects the results related to the enlightenment of the scientific community regarding the importance of alignment in the evaluation of various specialized fields. Therefore, this research is a type of analytical research that was done using the library method.
The results show that the most important harms that scientometric leveling studies seek to eliminate refers to this fact that evaluating and comparing scientific disciplines or researchers in different fields, regardless of the differences and issues, will primarily make evaluators refrain from the comparative studies of different disciplines with each other and suffice only with the level of internal comparison. However, by relying on alignment studies and using the similarity or similarity approach, while taking into account all the considerations in each of the specialized areas, it is possible to compare different specialized areas, and more practical and policy-making results will be available to planners and policymakers of Science, Technology, and innovation. For example, identifying the dominant outputs of each domain, especially domains that are fundamentally different from other domains, such as the arts domain explored in this article, can be addressed using similar strategies such as alignment and similar methods. The article pointed out that this should be included in the agenda of such organizations

کلیدواژه‌ها [English]

  • Measurement and Evaluating
  • Similar Measurement
  • Equating
  • Similarity
  • Evaluation of Specialized Fields
[1]    Albarra´n, P., Crespo, J. A., Ortun˜o, I., and Ruiz-Castillo, J. The skewness of science in 219 sub-fields and a number of aggregates. Scientometrics. 2011, (88), 385-397.

[2]    Archambault, Eric; Gagne, Etienne Vignola. Science Metrix final report: The use of bibliometric in the social Sciences and Humanities. Prepared for the Social Sciences and Humanities Research Council of Canada (SSHRCC). 2004, [Online]. Abailable at: www.science-metrix.com, visited: 2013-11-12.

[3]    Davarpanah, Mohammad Reza. Scientific Capacity Index: A model for measuring and comparing the scientific fertility of disciplines. Library and Information Quarterly, 2010, 13 (3), 20-30.

[4]    Eiduson, Bernice T. Productivity rate in research scientists. American Scientist,1966, 54.

[5]    Garfield, Eugene. Citation Analysis as a tool in journal evaluation. Science, 1972, 178 (Nov.3). 471-479.

[6]    Ghazavi, Roghayeh. Validation, normalization and evaluation of research evaluation indicators in different fields of science in Iran, with emphasis on the differences between disciplines (Master Thesis). Department of Information Science and Knowledge, Shahed University. 2013.

[7]    Mohammadi, A. And Mojtahedzadeh, Rita. Database and ranking of Iranian medical schools in general medicine. Tehran: Ain Mohammadi; Rita Mojtahedzadeh. 2001.

[8]    Glanzel, Wolfgang. Overview: Development of bibliometrics. Berlin: European summer school for scientometrics (ess). 2010, [Online]. Available at: www.scientometrics-school.eu/images/ISSInewsletter23.
pdf
, visited at 2015- 05-24.

[9]    Hamshahri Online. Age is not just a number: increasing the average age of Oscar winners. 2018, Available at: https://www.hamshahrionline.ir/news

[10]   Hejazi, Yousef and Behravan, Jaleh. Investigating the relationship between individual and organizational factors with research productivity of agricultural faculty members. Iranian Agricultural Extension and Education Sciences, 2009, 5 (1), 47-60.

[11]   Hemlin, S., and Gustafsson, M. Research production in the arts and humanities: A questionnaire study of factors influencing research performance. Scientometrics, 1996, 37 (3), 417-432.

[12]   Jafari, F. and Goltaji, M. Study of the status of scientific productions of the faculty members of the faculties of humanities and arts and social sciences of the state universities during the years 2000-2008. Iranian Journal of Information Science and Technology Research Quarterly, 2012, 27 (3), 561-575.

[13]   Jamali Mahmoui, Hamidreza, Saeed Asadi and Shahram Sedghi. Assessing the research effect in medical sciences, patterns and methods. Tehran: Academy of Medical Sciences of the Islamic Republic of Iran. 2012.

[14]   Katz, J. S. Scale-independent bibliometric indicators. MEASUREMENT. 2005, 3 (1). P. 24-28. [online]. Available at: www.sussex.ac.uk/SIB-Katz.pdf, visited 2015-01-12.

[15]   Kyvik, s. Productivity differences, fields of learning, and Lotka's law. Scientometrics, 1989, 15(3), 205-214.

[16]   Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. The Place of Serials in Referencing Practices: Comparing Natural Sciences and Engineering With Social Sciences and Humanities. Journal Of The American Society For Information Science And Technology, 2006, 57 (8), 997-10

[17]   Lariviere, V., Gingras, Y., and Archanbault, E. Canadian collaboration networks: A comparative analysis of the natural sciences, social sciences and the humanities. Scientometric, 2006, 68 (3), 519-533.

[18]   Lehman, Harvey C. The Creative Production rates of present versus past generations of scientists. Journal of Gerontology. 1962, 17. 411.

[19]   Leydesdorff, Loet and Opthof, Tobias. Normalization, CWTS indicators, and the Leiden Rankings:Differences in citation behavior at the level of fields. Journal of Informetrics, 2010, 4 (4), 644–646.

[20]   Lundberg, J. Bibliometrics as a research assessment tool- impact beyond the impact factor. Karolinska Institute, Stockholm. 2006.

[21]   Moed, H. F. CWTS crown indicator measures citation impact of a research group’s publication oeuvre, Journal of Informetrics. 20104, (3), in print.

[22]   Moed, Hank. Citation analysis in research evaluation. Translated by Abbas Mirzaei and Heidar Mokhtari. Tehran: Chapar Publishing. 1387.

[23]   Moed, Henk. New developments in the use of citation analysis in research evaluation. Arch. Immunol. Ther. 2009, Exp, 57, 13–18.

[24]   Narin, Francis. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of science activity. Washington: computer Horizons. 1976.

[25]   Nederhof, A. J. Bibliometric monitoring of research performance in the social science and the humanities. Scientometrics, 2006, 66 (1). 81-100.

[26]   Noroozi Chakli, Abdolreza. Familiarity with scientometrics (basics, concepts, relationships and roots). Tehran: Organization for the Study and Compilation of University Humanities Books (Position); Shahed University, Printing and Publishing. 2011.

[27]   Noroozi Chakli, Reza and Samadi, Laleh. Normalization is a fundamental necessity in measuring and evaluating the specialized factors and components of science and technology. In the Proceedings of the First National Conference on Science Assessment, 2015, Vol. 2. 793-808.

[28]   Ouhadi, Vahid Reza. University Ranking Criteria. Rahyaft, 2007, 41.

[29]   Oxford university Press (2003).Oxford Advanced learner’s Dictionary. Under “equate”. [Online]. Available at: www.oxforddictionaries.com/definition/ learner/equate.Visited 2015-11-23.

[30]   Oxford University Press. Oxford Advanced learner’s Dictionary. Under Similarity. 2003, [Online]. Available at: www.oxforddictionaries.com/definition/learner/equate. Visited 2015-11-23.

[31]   Price, Derek J. De solla. Networks of Scientific Papers. Science, 1969, 149 (July 30).

[32]   Raan, A. F. J. v. The use of bibliometric analysis in research performance assessment and monitoring of interdisciplinary scientific developments Technikfolgenabschätzung, 2003, 12 (1), 20-29.

[33]   Rezaei, Mina. Identification and validation of research productivity evaluation indicators of researchers and universities in the country. Tehran: Shahed University. Master Thesis. 2012.

[34]   Ruiz-Castillo, Javier and Ludo Waltman. Field-normalized citation impact indicators and the choice of an appropriate counting method. Journal of Informetrics, 2015, 9, (1), 102-117.

[35]   Saadat, Rasool, Shabani, Ahmad and Asemi, Atefeh. Examining the citation rate of ISI web of science articles to DOAJ free access journals in the fields of health and medical sciences and basic sciences. Health Information Management, 2011, 8 (9), 165-175.

[36]   Samadi, Laleh. Alignment of productivity evaluation indicators of Iranian art and medical researchers. (PhD Thesis). University of Tehran. 2016.

[37]   Samadi, Laleh, Nakhoda, Maryam, Novarzi Chakli, Abdolreza, Asadi, Saeed. Alignment model for evaluating the research productivity of Iranian art and medical researchers with a similar approach: A case study: Performing arts and health education and health promotion. Academic Library and Information Research, 2017, 51 (2), 305-319. Doi: 10.22059/jlib. 2016.60670.

[38]   Schubert, Andras, and Braun, T. Cross field normalization of scientometric indicators. scientometrics, 1996, 36 (3), 311-324.

[39]   Thijs, B., and Glanzel, W. A structural analysis of benchmarks on different bibliometrical indicators for European research institutes based on their research profile. Scientometrics, 2009, 79 (2), 377-388.

[40]   Torres-Salinas, D., Moreno-Torres, J. G., Delgado-Lo´pez-Co´zar, E., and Herrera, F. A methodology for Institution-Field ranking based on a bidimensional analysis: the IFQ2A index. Scientometrics, 2011, 88, 771-786.

[41]   Vinluan, L. R. Research productivity in education and psychology in the Philippines and comparison with ASEAN countries. Scientometrics, 2012, 91, 277–294.

[42]   Waltman L., van Eck N. J. Field Normalization of Scientometric Indicators. In: Glänzel W. Moed H.F., Schmoch U., Thelwall M. (eds) Springer Handbook of Science and Technology Indicators. Springer Handbooks. Springer, Cham. 2019, https://doi.org/10. 1007/978-3-030-02511-3_11.

[43]   Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser, M. S., and van Raan, A. Towards a new crown indicator: sometheoretical considarations. Journal of Informetrics, 2011, 5 (1), 37-47.

[44]   Waltman, Ludo., van Eck, N. J., van Leeuwen, T. N., Visser, M. S., and van Raan, A. Towards a new crown indicator: An empirical analysis. 2010, arXiv:1004.1632v1.

[45]   Wenzel, V. Complex system in natural science and humanities. Scientometrics, 2001, 52 (3).

[46]   Westbrook, J. H. Identifying Significant research. Science (October). 1960, 1229-1234.

Zitt, M., & Small, H. Modifying the journal impact factor by fractional citation weighting: The audience factor. Journal of the American Society for Information Science and Technology, 2008, 59 (11), 1856-1860