Jumlah publikasi ilmiah dan banyaknya kutipan atau sitasi sering dijadikan ukuran keberhasilan penelitian sebuah universitas. Semakin sering karya para penelitinya dikutip, semakin besar pula pengaruh ilmiah yang dianggap dimiliki oleh institusi tersebut. Namun, banyaknya sitasi tidak selalu menunjukkan apakah penelitian tersebut dihasilkan melalui praktik ilmiah yang dapat dipertanggungjawabkan.
Sebuah studi yang diterbitkan dalam Royal Society Open Science pada 2026 menunjukkan bahwa penilaian terhadap institusi penelitian dapat berubah ketika sejumlah indikator risiko integritas ikut diperhitungkan. Indikator tersebut mencakup sitasi diri yang sangat tinggi, artikel ilmiah yang ditarik kembali, serta publikasi pada jurnal yang kemudian dihentikan pengindeksannya karena persoalan kualitas.
Indonesia menjadi salah satu negara yang dibahas dalam temuan tersebut. Dari 16 institusi Indonesia yang memenuhi persyaratan analisis utama, tujuh masuk dalam kelompok 100 institusi dunia dengan pengurangan nilai relatif tertinggi akibat sitasi diri ekstrem. Tiga institusi Indonesia juga masuk kelompok 100 dunia dengan pengurangan nilai relatif tertinggi akibat kepengarangan pada artikel yang ditarik kembali.
Angka tersebut tidak berarti institusi yang bersangkutan terbukti melakukan manipulasi sitasi atau pelanggaran akademik. Penelitian ini menggunakan indikator statistik untuk mengidentifikasi pola yang memerlukan pemeriksaan lebih lanjut, bukan untuk menetapkan kesalahan.
Penelitian dilakukan oleh John Ioannidis dari Stanford University bersama Jeroen Baas dan Roy Boverhof dari Elsevier serta Cyril Voyant dari Mines Paris–PSL. Ioannidis juga dikenal sebagai salah satu pengembang basis data ilmuwan yang paling banyak dikutip, yang sering disebut dalam daftar Top 2% Scientists.
Menggunakan data Scopus yang dibekukan pada Agustus 2025, para peneliti memeriksa sekitar 10,9 juta penulis ilmiah dan memetakan 6.979 institusi di seluruh dunia. Sebanyak 2.380 institusi memenuhi persyaratan untuk dibandingkan dalam analisis utama.
Penelitian ini mencoba menjawab persoalan yang selama ini kurang diperhatikan dalam evaluasi akademik: apakah institusi yang memiliki banyak ilmuwan berpengaruh tetap menunjukkan kinerja serupa ketika pola publikasi yang berkaitan dengan risiko integritas penelitian ikut diperhitungkan?
Mengukur pengaruh ilmiah dan risiko integritas
Selama beberapa dekade, jumlah publikasi dan sitasi menjadi ukuran penting dalam evaluasi penelitian. Universitas menggunakan angka tersebut untuk menunjukkan produktivitas, pengaruh akademik, dan posisi mereka dalam persaingan internasional.
Namun, sitasi pada dasarnya hanya menunjukkan bahwa suatu karya dirujuk oleh karya ilmiah lain. Sitasi tidak secara langsung membuktikan bahwa metode penelitian benar, data dapat dipercaya, atau proses publikasinya memenuhi standar integritas ilmiah.
Untuk mengukur pengaruh ilmiah, Ioannidis dan koleganya menghitung jumlah peneliti yang termasuk kelompok ilmuwan paling banyak dikutip, atau top-cited authors, pada setiap institusi. Identifikasi kelompok ini menggunakan indikator gabungan yang mencakup jumlah sitasi, h-index, penyesuaian berdasarkan jumlah penulis bersama, serta posisi kepengarangan.
Analisis utama dibatasi pada peneliti yang mulai memublikasikan karya pada 1980 atau setelahnya, memiliki sedikitnya 40 publikasi terindeks Scopus, dan minimal lima publikasi sebagai penulis tunggal, pertama, atau terakhir. Hanya institusi dengan sedikitnya 100 peneliti yang memenuhi kriteria tersebut yang dimasukkan dalam pemeringkatan utama.
Pembatasan ini penting karena jumlah ilmuwan berpengaruh saja dapat menghasilkan gambaran yang menyesatkan. Institusi besar cenderung memiliki lebih banyak ilmuwan dengan sitasi tinggi dibandingkan dengan institusi kecil.
Harvard University, misalnya, memiliki 1.135 ilmuwan top-cited yang memenuhi kriteria penelitian, sementara Stanford University memiliki 912. Namun, ketika jumlah tersebut dibandingkan dengan seluruh peneliti yang memenuhi persyaratan di masing-masing institusi, hasilnya berbeda.
Princeton University memiliki proporsi ilmuwan top-cited sebesar 41,93 persen, University of California, Berkeley sebesar 40,13 persen, dan Carnegie Mellon University sebesar 38,22 persen. Perbedaan ini menunjukkan bahwa ukuran institusi memengaruhi penilaian ketika hanya jumlah absolut ilmuwan berpengaruh yang digunakan.
Namun, proporsi ilmuwan dengan sitasi tinggi juga belum cukup untuk menggambarkan kualitas penelitian. Karena itu, para peneliti menambahkan tiga indikator yang disebut sebagai research integrity proxies, yakni ukuran tidak langsung yang dapat menunjukkan risiko terhadap integritas penelitian.
Indikator pertama adalah kepengarangan pada artikel ilmiah yang ditarik kembali, atau retraction. Penarikan artikel dapat terjadi karena kesalahan serius, persoalan data, atau pelanggaran etika publikasi. Penelitian ini mengecualikan penarikan yang disebabkan oleh kesalahan penerbit atau jurnal.
Indikator kedua adalah sitasi diri yang ekstrem. Sitasi diri terjadi ketika peneliti mengutip karya ilmiahnya sendiri. Praktik ini sebenarnya sah dan sering diperlukan untuk menjelaskan kesinambungan suatu penelitian. Namun, tingkat sitasi diri yang jauh lebih tinggi dibandingkan dengan peneliti lain dalam subbidang yang sama dapat menjadi alasan untuk melakukan pemeriksaan. Studi ini menandai ilmuwan top-cited yang tingkat sitasinya melampaui persentil ke-95 dalam subbidangnya.
Indikator ketiga adalah publikasi pada jurnal yang kemudian dihentikan pengindeksannya oleh Scopus karena persoalan kualitas. Penghentian pengindeksan tidak berarti semua artikel dalam jurnal tersebut bermasalah. Namun, konsentrasi publikasi yang sangat tinggi pada jurnal semacam itu dapat memberikan informasi tambahan tentang pola penerbitan.
Ketiga indikator tersebut digunakan untuk menyesuaikan nilai pengaruh ilmiah institusi.
Para peneliti menyebut pengurangan nilai dalam model tersebut sebagai penalty atau penalti. Istilah ini tidak berarti universitas menerima hukuman atau sanksi. Penalti merupakan pengurangan angka dalam perhitungan statistik yang dibuat oleh peneliti.
Dalam model dasar, dua kepengarangan pada artikel yang ditarik mengurangi nilai setara dengan kontribusi satu ilmuwan top-cited. Sementara itu, proporsi ilmuwan dengan sitasi diri ekstrem dan publikasi pada jurnal yang dihentikan pengindeksannya dibandingkan dengan acuan 5 persen. Nilai di atas acuan dapat menghasilkan pengurangan, sedangkan nilai di bawahnya dapat menghasilkan penyesuaian positif.
Para penulis mengakui bahwa sebagian pembobotan tersebut bersifat arbitrer, yakni ditentukan melalui pilihan metodologis yang tidak memiliki satu dasar mutlak. Dengan demikian, skor hasil penyesuaian tidak dapat diperlakukan sebagai ukuran pasti mengenai tingkat integritas suatu institusi.
Ketika peringkat institusi berubah
Penyesuaian berdasarkan indikator integritas menghasilkan perubahan pada sejumlah institusi yang sebelumnya memiliki konsentrasi ilmuwan berpengaruh tinggi.
Princeton University, misalnya, memiliki proporsi awal ilmuwan top-cited sebesar 41,93 persen. Setelah indikator integritas diperhitungkan, nilainya menjadi 36,47 persen. University of California, Berkeley mengalami perubahan dari 40,13 persen menjadi 37,26 persen.
Sebaliknya, Alphabet Inc. memperoleh nilai yang meningkat dari 37,29 persen menjadi 40,20 persen. Kenaikan ini dimungkinkan karena model memberikan penyesuaian positif ketika tingkat indikator tertentu berada di bawah ambang yang digunakan.
Hasil tersebut menunjukkan bahwa posisi institusi berdasarkan sitasi tidak selalu sama dengan posisi setelah indikator risiko integritas diperhitungkan.
Penelitian juga menemukan bahwa ketiga indikator tidak selalu muncul bersamaan. Hubungan statistik antara penarikan artikel dan sitasi diri hampir tidak ada, sementara hubungan antara sitasi diri dan publikasi pada jurnal yang dihentikan pengindeksannya juga rendah.
Artinya, institusi yang memiliki banyak kepengarangan pada artikel yang ditarik belum tentu memiliki tingkat sitasi diri ekstrem yang tinggi. Begitu pula sebaliknya. Ketiga indikator menangkap aspek berbeda dari praktik penelitian dan publikasi.
Perbedaan geografis juga terlihat. Dari 100 institusi dengan penalti relatif tertinggi akibat penarikan artikel, 75 berasal dari China. Pada indikator sitasi diri, Rusia menyumbang 26 institusi, China sembilan, dan Indonesia tujuh. Sementara itu, India dan China masing-masing memiliki 12 institusi dalam kelompok 100 dengan penalti relatif tertinggi akibat publikasi pada jurnal yang pengindeksannya dihentikan.
Konsentrasi tersebut tidak membuktikan adanya pelanggaran sistematis di negara-negara tersebut. Perbedaan ukuran sistem penelitian, cakupan basis data, komposisi disiplin ilmu, dan karakteristik institusi juga perlu diperhitungkan sebelum menarik kesimpulan mengenai penyebabnya.
Indonesia: sitasi diri ekstrem dan penarikan artikel
Dari 2.380 institusi yang memenuhi persyaratan pemeringkatan utama, 16 berasal dari Indonesia. Tujuh di antaranya, atau sekitar 44 persen, masuk kelompok 100 institusi dunia dengan penalti relatif tertinggi akibat sitasi diri ekstrem. Tiga institusi Indonesia juga masuk kelompok 100 dunia dengan penalti relatif tertinggi akibat penarikan artikel.
Untuk memahami temuan tersebut, ScienceWatchdog memeriksa data Indonesia yang disediakan bersama penelitian. Dataset ini mencakup 50 institusi Indonesia yang memenuhi persyaratan awal, yakni memiliki setidaknya 50 penulis dengan minimal 15 publikasi terindeks Scopus. Namun, hanya 16 institusi memenuhi persyaratan yang lebih ketat untuk pemeringkatan utama.
Jumlah peneliti dalam analisis tersebut bukan jumlah seluruh dosen atau peneliti yang bekerja di sebuah universitas. Angka tersebut hanya mencakup peneliti yang memenuhi persyaratan khusus dari kriteria penelitian dalam temuan Ioannidis dan koleganya.
Institut Teknologi Bandung (ITB), misalnya, memiliki 361 peneliti yang memenuhi persyaratan analisis utama. Tujuh di antaranya termasuk ilmuwan top-cited, dan tiga dari tujuh ilmuwan tersebut memiliki tingkat sitasi diri di atas persentil ke-95 subbidangnya.
Universitas Gadjah Mada memiliki 388 peneliti yang memenuhi persyaratan, dengan empat ilmuwan top-cited. Dua di antaranya memiliki tingkat sitasi diri ekstrem. Universitas Sumatera Utara memiliki 158 peneliti yang memenuhi kriteria utama dan dua ilmuwan top-cited, keduanya termasuk kelompok dengan tingkat sitasi diri ekstrem.
Universitas Indonesia memiliki 529 peneliti yang memenuhi persyaratan, dengan lima ilmuwan top-cited. Satu di antaranya memenuhi indikator sitasi diri ekstrem.
Angka-angka tersebut tidak menunjukkan bahwa para ilmuwan itu terbukti memanipulasi sitasi. Penelitian hanya mengidentifikasi tingkat sitasi diri yang sangat tinggi dibandingkan dengan ilmuwan berpengaruh lain dalam subbidang yang sama.
Pola berbeda terlihat pada indikator penarikan artikel. Universitas Airlangga tercatat memiliki 30 kepengarangan pada artikel yang ditarik kembali, Badan Riset dan Inovasi Nasional (BRIN) 21, Universitas Sumatera Utara 19, Universitas Indonesia 13, dan Universitas Brawijaya 10.
Perlu dibedakan antara jumlah artikel yang ditarik dan jumlah kepengarangan pada artikel yang ditarik. Apabila satu artikel memiliki tiga penulis dari institusi yang sama, artikel tersebut dapat menyumbang tiga kepengarangan dalam perhitungan. Karena itu, angka 30 untuk Universitas Airlangga tidak dapat langsung diartikan sebagai 30 artikel berbeda yang ditarik kembali.
Dasar penghitungan penarikan artikel juga lebih luas daripada kelompok ilmuwan top-cited. Peneliti menghitung kepengarangan pada artikel yang ditarik dari penulis yang mulai memublikasikan karya pada 1980 atau setelahnya dan memiliki setidaknya lima publikasi penuh terindeks Scopus. Mereka tidak harus memenuhi persyaratan minimal 40 publikasi yang digunakan dalam analisis utama ilmuwan berpengaruh.
Perbedaan ini menjelaskan mengapa sebuah institusi dapat memiliki jumlah kepengarangan pada artikel yang ditarik relatif besar meskipun hanya memiliki sedikit ilmuwan top-cited yang memenuhi kriteria penelitian.
Penelitian juga menunjukkan bahwa median peringkat persentil institusi Indonesia setelah penyesuaian berada pada angka 21,0. Artinya, titik tengah posisi 16 institusi Indonesia berada di bagian bawah distribusi 2.380 institusi yang dibandingkan. Angka tersebut bukan nilai kualitas penelitian Indonesia sebesar 21 dari 100, melainkan posisi relatif berdasarkan skor yang dikembangkan para peneliti.
Ada keterbatasan lain yang perlu diperhatikan. Jumlah ilmuwan top-cited yang memenuhi kriteria analisis utama pada sejumlah institusi Indonesia sangat kecil. Karena itu, keberadaan satu atau dua ilmuwan dengan indikator ekstrem dapat menghasilkan perubahan nilai relatif yang besar.
Penelitian ini juga tidak menjelaskan mengapa pola tersebut muncul di Indonesia. Hubungan antara indikator risiko dengan kebijakan insentif publikasi, target kinerja dosen, atau sistem pemeringkatan universitas tidak diuji secara langsung. Namun, data tersebut memberikan dasar untuk pemeriksaan lebih lanjut. Pola sitasi diri dapat ditelusuri melalui jaringan kutipan pada tingkat artikel dan penulis.
Penarikan artikel dapat diperiksa berdasarkan alasan resmi penerbit, kronologi, serta tanggung jawab masing-masing penulis. Publikasi dalam jurnal yang dihentikan pengindeksannya juga perlu ditinjau berdasarkan periode publikasi dan kondisi editorial jurnal saat artikel diterbitkan. Pemeriksaan semacam ini diperlukan agar indikator statistik tidak berubah menjadi tuduhan yang tidak didukung bukti.
Pemeriksaan semacam ini diperlukan agar indikator statistik tidak berubah menjadi tuduhan yang tidak didukung bukti.
Paradoks Ioannidis: mengkritik metrik, tetapi tetap membuat peringkat peneliti dari data Scopus
Penelitian ini juga menyisakan persoalan yang berkaitan dengan posisi Ioannidis sendiri dalam pengembangan indikator akademik.
Ioannidis merupakan salah satu pengembang basis data ilmuwan top-cited yang sering disebut dalam daftar Top 2% Scientists. Daftar tersebut banyak digunakan oleh universitas (termasuk di Indonesia) untuk mengumumkan pencapaian dosen dan penelitinya. Dalam praktiknya, masuk dalam daftar tersebut kerap diperlakukan sebagai bentuk pengakuan atas keunggulan ilmiah.
Padahal, basis data itu pada dasarnya merupakan hasil pengukuran berdasarkan indikator sitasi. Tingginya sitasi tidak dengan sendirinya membuktikan bahwa seseorang menghasilkan penelitian yang lebih berkualitas, lebih dapat dipercaya, atau lebih berintegritas dibandingkan dengan peneliti lain.
Di sinilah muncul paradoks dalam penelitian terbaru Ioannidis. Ia dan koleganya memperlihatkan kelemahan evaluasi akademik yang hanya mengandalkan sitasi, tetapi pendekatan yang mereka tawarkan tetap menghasilkan skor dan urutan institusi berdasarkan indikator bibliometrik.
Perbedaannya, model terbaru menambahkan indikator yang berkaitan dengan risiko integritas penelitian. Dengan demikian, penelitian ini tidak meninggalkan logika pemeringkatan, melainkan mencoba memperbaikinya melalui penyesuaian statistik.
Langkah tersebut memiliki manfaat. Data penarikan artikel dan pola sitasi diri dapat membantu mengidentifikasi institusi atau kelompok peneliti yang memerlukan perhatian lebih lanjut. Namun, memasukkan lebih banyak indikator tidak otomatis menghasilkan penilaian yang lebih akurat tentang kualitas penelitian.
Setiap indikator memiliki keterbatasan. Sitasi diri yang tinggi tidak selalu merupakan manipulasi. Penarikan artikel dapat terjadi karena kesalahan yang ditemukan dan diperbaiki secara bertanggung jawab. Publikasi dalam jurnal yang kemudian dihentikan pengindeksannya juga tidak membuktikan bahwa seluruh artikel di dalamnya bermasalah.
Selain itu, keputusan mengenai bobot pengurangan nilai tetap dibuat oleh peneliti. Dua kepengarangan pada artikel yang ditarik, misalnya, diperlakukan setara dengan satu ilmuwan top-cited dalam model dasar. Pembobotan semacam itu dapat diuji secara statistik, tetapi tidak memiliki makna yang sama dengan penilaian substantif terhadap integritas penelitian.
Masalah lainnya adalah bagaimana hasil pemeringkatan digunakan di luar konteks penelitian. Ketika sebuah daftar diterbitkan dan diperbarui secara berkala, institusi dapat menggunakannya untuk membangun reputasi, membandingkan pencapaian, atau menentukan prioritas kebijakan. Peringatan mengenai keterbatasan metrik tidak selalu mencegah penggunaan tersebut.
Kritik ini tidak berarti bahwa Ioannidis seharusnya berhenti mengembangkan indikator bibliometrik. Persoalan yang lebih mendasar adalah apakah evaluasi penelitian harus selalu berakhir pada satu skor dan urutan peringkat.
Kualitas penelitian mencakup berbagai dimensi yang tidak selalu dapat digabungkan menjadi satu angka. Keandalan metode, keterbukaan data, replikasi temuan, kontribusi teoretis, dan integritas publikasi membutuhkan bentuk penilaian yang berbeda.
Penelitian Ioannidis berhasil menunjukkan keterbatasan pemeringkatan berbasis sitasi. Namun, pada saat yang sama, penelitian tersebut memperlihatkan batas pendekatan yang mencoba menyelesaikan persoalan evaluasi akademik dengan terus menambahkan indikator ke dalam sistem pemeringkatan.
Meninjau kembali evaluasi penelitian di Indonesia
Temuan ini relevan bagi Indonesia, terutama ketika jumlah publikasi, sitasi, dan posisi dalam pemeringkatan internasional digunakan sebagai indikator keberhasilan akademik.
Metrik bibliometrik dapat memberikan informasi mengenai produktivitas dan pengaruh penelitian. Namun, penggunaannya perlu dibedakan dari penilaian terhadap kualitas metodologi, keandalan temuan, dan integritas proses ilmiah.
Penelitian Ioannidis dan koleganya tidak menguji apakah kebijakan insentif publikasi di Indonesia menyebabkan tingginya sitasi diri atau penarikan artikel. Karena itu, hasil penelitian tidak dapat digunakan untuk menyimpulkan hubungan sebab-akibat antara kebijakan tertentu dan praktik publikasi yang teridentifikasi.
Meski demikian, data tersebut dapat menjadi titik awal penelitian lanjutan. Pemeriksaan dapat menghubungkan perubahan kebijakan evaluasi akademik dengan perkembangan pola sitasi, jaringan kolaborasi, publikasi pada jurnal tertentu, serta penarikan artikel dalam periode yang sama.
Pemeriksaan terhadap institusi juga perlu mempertimbangkan alasan penarikan artikel. Sebuah penarikan dapat mencerminkan pelanggaran serius, tetapi dapat pula menunjukkan bahwa kesalahan ilmiah berhasil ditemukan dan diperbaiki. Tanpa informasi mengenai penyebab dan tanggung jawab masing-masing pihak, jumlah penarikan artikel tidak cukup untuk menentukan tingkat integritas sebuah institusi.
Keterbatasan basis data juga harus diperhatikan. Scopus tidak mencakup seluruh bentuk keluaran penelitian secara merata. Perbedaan disiplin ilmu, bahasa publikasi, serta karakteristik institusi dapat memengaruhi jumlah publikasi dan sitasi yang tercatat. Pembatasan analisis pada peneliti dengan rekam jejak publikasi panjang juga membuat hasilnya tidak mewakili seluruh komunitas akademik.
Para peneliti melakukan analisis sensitivitas dengan menggunakan berbagai ambang dan bobot pengurangan. Secara umum, hasil pemeringkatan tetap berkorelasi tinggi dengan model dasar, meskipun posisi sejumlah institusi dapat berubah cukup besar. Temuan ini menunjukkan bahwa pola umum tidak sepenuhnya bergantung pada satu pilihan bobot, tetapi tidak menjadikan skor gabungan sebagai ukuran definitif integritas penelitian.
Bagi Indonesia, hasil studi tersebut memberikan alasan untuk memperkuat pemeriksaan integritas penelitian, bukan sekadar menambah indikator baru dalam penilaian kinerja universitas. Pemeriksaan terhadap artikel yang ditarik, pola sitasi yang tidak lazim, dan kualitas proses publikasi perlu dilakukan dengan mempertimbangkan konteks masing-masing kasus.
Pada akhirnya, pengaruh ilmiah dan integritas penelitian merupakan dua dimensi yang saling berkaitan, tetapi tidak identik. Banyaknya sitasi dapat menunjukkan perhatian komunitas ilmiah terhadap suatu karya. Keandalan pengetahuan yang dihasilkan tetap harus dinilai melalui metode, bukti, transparansi, dan proses penelitian yang dapat dipertanggungjawabkan.
Sumber:
Ioannidis, J., Baas, J., Boverhof, R., & Voyant, C. (2026). Science-wide mapping of institutions based on affiliated authors’ impact and research integrity proxies. Royal Society Open Science, 13, 260870. https://doi.org/10.1098/rsos.260870
Dataset: https://doi.org/10.17632/jn5j7gjpzj.1
Catatan data: Angka Indonesia berasal dari pengolahan dataset institusi Indonesia yang menyertai penelitian. Indikator yang dilaporkan merupakan ukuran statistik untuk mengidentifikasi pola risiko, bukan bukti langsung kecurangan ilmiah.
