Goodhart’s law — “When a measure becomes a target, it ceases to be a good measure” — citations are gamed.

Ivan Oransky (Founder The Retraction Watch) dan rekan-rekannya berpendapat bahwa untuk meningkatkan kualitas riset dan ilmu pengetahuan, harus dilakukan dengan mengurangi pentingnya sitasi (citation index) untuk menilai, mempromosikan, membiayai, dan merekrut para ilmuwan.

Hingga saat ini, termasuk di Indonesia, Universitas menjadikan sitasi sebagai ukuran kualitas sebuah riset. Tidak hanya itu, ukuran total sitasi (total citation index) setiap universitas dibandingan dengan universitas lainnya. Ukuran sitasi ini menjadi sebuah capaian kinerja universitas. Dibanggakan dan dibagikan ke sosial media. Lebih lagi sistem kinerja ini diakomodir dengan sebuah kebijakan dan sistem seperti SINTA.

Baca: Mengurai sistem indeks kinerja peneliti ‘SINTA’: lebih banyak mudarat atau manfaatnya bagi produksi riset Indonesia?

Meskipun SINTA terbukti meningkatkan produktivitas, sistem yang dibuat, menurut akademisi Indonesia, justru berperan memperkuat budaya penelitian yang mengutamakan kecepatan dan kuantitas di atas kualitas.
-Artikel The Conversation Indonesia pada Maret 30, 2023

Sitasi sering dianggap sebagai ukuran prestasi dalam dunia akademis, meskipun nilai sebenarnya sulit ditentukan dan dapat dimanfaatkan dengan berbagai cara. Ini disebabkan ukuran sitasi tidak dapat menggambarkan bagaimana kinerja peneliti jika berbicara tentang praktik riset yang baik (good research practice), lebih dari itu ketika dihadapkan pada isu keterbukaan, kualitas data penelitian hingga ekosistem tentang sains terbuka (open science).

Saat ini sistem peringkat universitas — seperti THE, QS WUR–dan ukuran bibliometrik banyak didasarkan pada ukuran publikasi dan sitasi. Ini mayoritas digunakan dan mempengaruhi pendanaan dan ukuran dampak akademik. Selain ukuran dampak, penggunaan sistem peringkat dan sitasi mendorong sistem insentif yang seringkali manipulatif.

Upaya manipulasi ini termasuk pembentukan kartel sitasi, jual beli authorship, kloning jurnal ilmiah untuk mengecoh peneliti, atau mengutip artikel mereka sendiri secara berlebihan (self-citation).

Situasi ini mendorong hubungan transaksional di universitas dengan memberikan “bonus” kepada dosen yang menerbitkan makalah di jurnal berperingkat tinggi yang seringkali dimaknai dengan ukuran kuartil jurnal atau ukuran bibliometrik lainnya seperti H-index atau Impact Factor. Ukuran itu tidak keliru jika ditempatkan fungsinya sebagai indikator penjangkauan jurnal ilmiah untuk penerbit. Juga menjadi penting bagi Pustakawan untuk acuan pemilihan artikel/jurnal ilmiah/penerbit yang perlu dilanggan atau dipromosikan sebagai sebuah sumber ilmiah bagi para akademisi di universitas tempat dia bekerja.

Namun ukuran-ukuran ini, tidak tepat menjadi indikator kinerja individu apalagi menggambarkan kinerja akademisi di institusi secara keseluruhan. Beberapa institusi bahkan dikabarkan menyusun skema untuk merekrut akademisi ternama yang menambahkan afiliasi pada karya mereka atau ikut “berkolaborasi” dalam menulis artikel.

Serangkaian masalah ini, memicu tindakan yang merugikan integritas penelitian secara keseluruhan, seperti munculnya publikasi rendah kualitas, tidak mendapatkan cukup telaah sejawat (peer-review) dan persaingan yang tidak sehat dalam dunia penelitian. Jika melihat banyaknya publikasi ilmiah yang diretraksi oleh jurnal ilmiah dampak kerugian semakin besar di masa depan.

Akar Masalah dan Bagaimana Keluar dari Kubangan?

Penyelesaian masalah ini memerlukan perubahan sistem insentif, di mana pentingnya sitasi dalam promosi, pendanaan, dan perekrutan ilmuwan harus dikurangi atau ditempatkan secara proporsional.

Baca: Apa itu CV Naratif?

CV Naratif adalah sebuah pendekatan inovatif dalam menyusun Curriculum Vitae (CV) yang tidak hanya menekankan pada daftar prestasi atau publikasi ilmiah, tetapi juga mengintegrasikan narasi atau cerita di balik pencapaian tersebut. Pendekatan ini lebih menitikberatkan pada penceritaan kisah dan konteks di sekitar karya ilmiah, penelitian, dan kontribusi akademik, sehingga lebih mudah dipahami oleh berbagai pihak, termasuk lembaga donor, universitas, lembaga riset, dan masyarakat umum
Rekaman Brownbag IDSCL dapat dilihat di https://youtu.be/IEgbj6TS-cg

Para pengambil kebijakan juga harus bergerak jauh dari model yang hanya berfokus pada volume untuk mendapatkan keuntungan. Universitas dan penyandang dana juga dapat memberikan penghargaan atas perilaku yang sejalan dengan praktik penelitian yang baik, seperti berbagi data dan koreksi —penerapan prinsip sains terbuka (open science), beberapa prinsip FAIR dalam pengelolaan data riset.

Meskipun saat ini banyak kemajuan dalam upaya ini, seperti di Inggris yang membatasi dominasi pentingnya publikasi dalam penilaian proposal riset , serta dukungan terhadap Deklarasi tentang Penilaian Penelitian (DORA), Manifesto Leiden, hingga yang terbaru di tahun 2023 di uni eropa membuah Coalition for Advancing Research Assessment (CoARA).

Walaupun beberapa kebijakan induk riset memungkinkan untuk mengubah ekosistem riset yang lebih inklusif dan berkualitas sudah ada, jalan untuk menghentikan obsesi perangkingan dan ukuran dampak dengan bibliometrik di Indonesia masih terjal. Ukuran Kinera Utama (IKU) universitas dan lembaga penelitian pun masih memberikan dorongan untuk menjadikan ukuran metrik sebagai acuan penting bagi akademisi dan peneliti.

Walaupun jalan masih terjal, namun upaya untuk keluar dari ketergantungan terhadap lembaga perangkingan dan ukuran metrik ini penting untuk mendukung ilmu pengetahuan yang memiliki dampak positif dan mendorong perilaku inklusif sesuai dengan praktik dan etika penelitian yang baik.

Referensi:
1. Opinion: How bibliometrics and school rankings reward unreliable science https://www.bmj.com/content/382/bmj.p1887
2. Coalition for Advancing Research Assessment (CoARA) https://coara.eu/
3. The Declaration on Research Assessment (DORA) https://sfdora.org/