การวัดผลการวิจัย: สิ่งที่ทุกคนจำเป็นต้องรู้
Cassidy R. Sugimoto และ Vincent Larivière Oxford University Press: 2018
นักวิทยาศาสตร์ด้านสารสนเทศ Cassidy Sugimoto และ Vincent Larivière วิเคราะห์ข้อมูลเพื่อสำรวจธรรมชาติที่เปลี่ยนแปลงไปของการวิจัย ตั้งแต่การเปิดเผยความเหลื่อมล้ำทางเพศของวิทยาศาสตร์ไปจนถึงการสร้างแผนภูมิผลกระทบของการย้ายถิ่นต่อการอ้างอิง ตอนนี้พวกเขาได้เขียนคู่มือการวิจัยการวัด พวกเขาพูดถึงการใช้ตัวชี้วัดการอ้างอิงในทางที่ผิดเพื่อตัดสินนักวิจัยแต่ละคน ตัวชี้วัด Wild West และอคติทางวัฒนธรรมของฐานข้อมูล
ทำไมคุณถึงเขียนหนังสือเล่มนี้?
CS: เมื่อเห็นการใช้บรรณานุกรมในทางที่ผิด เราทั้งคู่รู้สึกว่าจำเป็นต้องมีคู่มือที่เข้าถึงได้เพื่อช่วยให้ผู้คนใช้บรรณานุกรมอย่างมีความรับผิดชอบมากขึ้น สำหรับนักวิทยาศาสตร์ นี่คือภาพรวมของวิธีการวัดผลลัพธ์และผลกระทบของพวกมัน สำหรับผู้ที่จัดการวิทยาศาสตร์ หนังสือเล่มนี้มีเครื่องมือที่จำเป็นสำหรับการตีความข้อมูลบรรณานุกรมและแนวทางในการใช้ตัวบ่งชี้อย่างรับผิดชอบ
บทเรียนหลักเกี่ยวกับอินดิเคเตอร์คืออะไร?
CS: สำหรับตัวบ่งชี้ใด ๆ เราต้องตรวจสอบให้แน่ใจว่าการใช้ตัวบ่งชี้นั้นไม่ทำให้เกิดการบิดเบือนจำนวนมากในสิ่งที่เรากำลังพยายามวัด สิ่งสำคัญคือต้องรู้ว่าสามารถนำไปใช้ประโยชน์ได้ที่ไหนและเมื่อใด นักวิจารณ์บางครั้งชี้ให้เห็นข้อบกพร่องของการอ้างอิงหรือปัจจัยกระทบ และกล่าวว่าเราควรใช้วิจารณญาณเท่านั้น หากคุณกำลังประเมินผลงานของนักวิชาการคนหนึ่งหรือบทความเดียว ให้ใช้การตัดสินโดยเพื่อน แต่ถ้าคุณกำลังประเมินผลผลิตของทั้งประเทศ นั่นไม่สามารถทำได้ในวงกว้าง และตัวชี้วัดอาจมีประโยชน์ในบางบริบทที่จางหายไปในบริบทอื่นๆ ตัวอย่างเช่น ตัวชี้วัดที่เป็นมาตรฐานจะมีประโยชน์อย่างยิ่งในประเทศที่มีระดับการวิจารณ์ในระดับสูง เนื่องจากเป็นการวัดตามวัตถุประสงค์เพื่อตอบโต้เครือข่ายเด็กชรา
VL: ตัวชี้วัดเป็นเพียงมุมมองหนึ่งของแนวคิดพื้นฐาน
เช่น ผลกระทบของการวิจัย และไม่ได้แสดงถึง ‘ความจริงพื้นฐาน’ เพียงอย่างเดียว สิ่งสำคัญคือต้องรู้ว่าเมื่อใดจึงจะเหมาะสมที่จะใช้มัน
ในหนังสือของคุณ คุณชี้ไปที่จำนวนตัวบ่งชี้ทางวิทยาศาสตร์และแหล่งข้อมูลที่เพิ่มขึ้นในช่วงไม่กี่ปีที่ผ่านมา นั่นเป็นสัญญาณของความซับซ้อนในการวัดหรือสัญญาณเตือนภัยแห่งความโกลาหลหรือไม่?
CS: เมื่อผู้คนสร้างตัวบ่งชี้ใหม่ พวกเขากำลังระบุว่าพวกเขาต้องการให้ความสนใจกับค่านิยมใหม่: ให้ความสนใจกับโซเชียลมีเดียเป็นต้น นี่เป็นการเริ่มต้นการสนทนาที่มีประโยชน์เกี่ยวกับค่านิยมที่เราต้องการสร้างแรงจูงใจทางวิทยาศาสตร์ แต่ถ้าเราจะใช้ indicator ในการจัดอันดับหรือประเมิน ก็ต้องทำให้เป็นมาตรฐาน ทุกคนก็ต้องใช้วิธีเดียวกัน
VL: ใช่ ตอนนี้เป็นตัวบ่งชี้และแหล่งข้อมูลแบบ Wild West หากคุณกำลังพยายามตรวจสอบผลกระทบ คุณจะพบคำตอบนับร้อยตามตัวบ่งชี้และแหล่งข้อมูลต่างๆ จากมุมมองของข้อมูล องค์กรเช่น Google สามารถเปลี่ยนแปลงสิ่งนั้นได้ พวกเขามีวิธีในการรวบรวมข้อมูลทุกอย่างและทำให้ข้อมูลพร้อมใช้งาน น่าเสียดายที่พวกเขาให้เครื่องมือค้นหาของตนแก่ผู้อื่น แต่เก็บข้อมูลทั้งหมดไว้ เราจึงยังไม่มีเครื่องมือที่เปิดกว้าง รวมกันเป็นมาตรฐาน
คุณอภิปรายปัญหาเรื่อง “เศรษฐศาสตร์การวัดผลการวิจัย” นั่นอะไร?
VL: เช่นเดียวกับในพื้นที่ส่วนใหญ่ของเศรษฐกิจดิจิทัล เราพึ่งพาองค์กรต่างๆ สำหรับตัวชี้วัดของเราในขณะนี้ — โดยเฉพาะอย่างยิ่ง Web of Science ของ Clarivate และฐานข้อมูล Scopus ของ Elsevier รวมถึง Google และ Microsoft บริษัทต่างๆ สามารถกำหนดข้อจำกัดในการใช้หรือการเปิดเผยข้อมูล และนั่นคือสิ่งที่พวกเขากำลังทำอยู่ แม้ว่าจะแตกต่างกันออกไป นี่คือเหตุผลที่เราผลักดันให้มีข้อมูลเมตาที่ไม่จำกัดหรือเปิดกว้าง ดังนั้นชุมชนการวิจัยจึงสามารถเข้าถึงข้อมูลที่จำเป็นในการประเมินตนเองได้อย่างเต็มที่
และคุณสังเกตว่าฐานข้อมูลอ้างอิงที่สำคัญของเรามีความลำเอียงทางวัฒนธรรม ปัญหาประเภทใดที่ทำให้เกิดปัญหาดังกล่าว
CS: แหล่งข้อมูลสำคัญเกี่ยวกับบุคลากรทางวิทยาศาสตร์ที่เป็นตัวแทนของบางภาษา ประเทศ และสาขาวิชาอย่างเป็นระบบ ดังนั้นจึงอาจเป็นเรื่องยากที่จะแยกแยะความแตกต่างระหว่างความเหลื่อมล้ำที่สะท้อนความแตกต่างที่แท้จริง เช่น ในการผลิตหรือผลกระทบ และความเหลื่อมล้ำที่เกิดจากปัญหาการเป็นตัวแทนน้อยเกินไป หากไม่เห็นคุณค่าในสิ่งนี้ อาจมีอันตรายที่จะทำให้เกิดความไม่เท่าเทียมกันทางใจความ ภาษา และวัฒนธรรมหลายประการ การส่งเสริมให้ตีพิมพ์ในวารสารระดับนานาชาติโดยเฉพาะ อาจจูงใจนักวิจัยให้ออกห่างจากหัวข้อใดหัวข้อหนึ่งหรือเผยแพร่ในวารสารระดับประเทศที่มีผลกระทบในท้องถิ่นสูง ชุมชนการวิจัยต้องระมัดระวังเพื่อให้แน่ใจว่าตัวชี้วัดให้บริการการวิจัยมากกว่าที่จะเป็นทาส
