Artikel ini merupakan versi pre-print/pra-cetak sebelum melewati proses editorial Kompas. Versi penerbitan daring dapat dibaca di Kompas tanggal 13 Mei 2024 dengan judul “Perguruan Tinggi dan Obsesi pada Konsultan Pemeringkatan” versi bahasa Inggris disini

Tulisan Tauchid Komara Yuda yang diterbitkan oleh Harian Kompas pada tanggal 7 Mei 2024, yang berjudul “Perlukah Mundur dari Pemeringkatan Internasional” mendorong agar perguruan tinggi (PT) di Indonesia tidak ikut-ikutan mundur dari kompetisi pemeringkatan seperti yang telah dilakukan oleh beberapa PT di berbagai negara.

Meskipun awalnya di tulisan tersebut penulis mengakui bahwa pemeringkatan PT bukan kompetisi yang adil, pada akhirnya penulis tetap kokoh dengan keyakinannya bahwa berpartisipasi dalam pemeringkatan PT tetap diperlukan untuk mendorong persaingan dan peningkatan kualitas pendidikan tinggi di Indonesia.

Dalam tulisan ini, saya akan menguraikan mengapa kesimpulan ini keliru secara fundamental. Kekeliruan ini berakar dari setidaknya dua hal: 1) kesalahpahaman tentang bagaimana cara lembaga pemeringkatan bekerja; dan 2) pengabaian atas peran kebijakan dalam membentuk perilaku individu, yang menjadi subjek utama dari kebijakan itu sendiri.

Kalau mempertimbangkan dua poin penting ini, maka PT di Indonesia seharusnya berhenti terobsesi dengan konsultan pemeringkatan.

Mengukur reputasi, bukan kualitas

Memahami bagaimana cara konsultan pemeringkatan bekerja dapat dimulai dengan melihat apa yang mereka ukur dan bagaimana cara mengukurnya. Berbagai konsultan pemeringkatan, seperti Times Higher Education (THE), Academic Ranking of World Universities (ARWU), dan Quacquarelli Symonds World University Rankings (QS WUR), mengklaim mengukur kualitas pendidikan dan penelitian di PT dengan mempertimbangkan beberapa indikator “perantara” (proksi), yang sebenarnya tidak terkait langsung dengan “kualitas” yang mereka klaim dapat ditunjukkan dari pemeringkatan ini.

Konsultan pemeringkatan menggunakan indikator yang berbeda-beda dan memberikan bobot yang berbeda pula pada indikator-indikator ini. Misalnya, jumlah kutipan karya ilmiah (citation impact) dibobot 20% dalam QS WUR, tetapi bobotnya 30% dalam THE. Jumlah produksi artikel ilmiah dibobot 20% dalam ARWU, sedangkan THE membobot 6% saja. ARWU hanya menghitung jumlah artikel yang diindeks di basis data Web of Science, sedangkan THE dan QS WUR mengambil data dari basis data Scopus milik Elsevier.

Masalah lainnya, ketiga konsultan ini juga mengukur “kualitas” PT melalui “survei reputasi,” yaitu dengan menanyakan kepada sejumlah responden yang telah dipilih sebelumnya, mana PT yang menurut persepsi mereka “berkualitas”, tanpa memberikan penjelasan lebih lanjut “kualitas” seperti apa yang mereka maksudkan. Jadi, survei ini sebenarnya tidak berbeda jauh dengan menanyakan warung bakso apa yang menurut warganet paling enak, atau merek deterjen mana yang menurut warga Kelurahan Mulyorejo paling ampuh membersihkan noda membandel. Cara ini sangat subjektif dan rawan dicemari efek halo, padahal bobotnya cukup besar (THE 15%, QS WUR 40%).

Tampaknya, konsultan pemeringkatan kebingungan membedakan antara “reputasi” dengan “kualitas”, padahal, meskipun berkaitan, keduanya adalah konsep yang berbeda. Karena “kualitas” adalah sesuatu yang kompleks dan sulit sekali untuk diukur secara objektif, maka agar sederhana, diasumsikan saja kalau jenama PTnya terkenal (reputasi), maka “kualitas” penelitian dan pendidikan di dalamnya sudah pasti baik.

Akibat metode pengukuran yang berbeda-beda ini, tidak heran konsultan pemeringkatan merilis hasil yang berbeda-beda pula. Universitas Indonesia (UI), misalnya pada tahun 2024, menduduki peringkat 237 di QS WUR dan 801-1000 di THE. UI bahkan tidak masuk daftar ARWU sama sekali. Ketika mengukur sesuatu dengan alat ukur yang berbeda, perbedaan 2-3 poin mungkin masih dapat ditoleransi, tetapi perbedaan sedrastis ini menunjukkan bahwa tidak ada satupun dari ketiga „alat ukur“ ini yang dapat dipercaya.

Sangat naif apabila mengasumsikan indikator „perantara“ yang digunakan konsultan pemeringkatan benar-benar menunjukkan „kualitas“. Jadi, membayangkan kalau berlomba dalam pemeringkatan ini bisa membantu PT meningkatkan kualitasnya adalah wishful thinking semata. Lebih celaka lagi, pemerintah kemudian mengadopsi indikator-indikator yang dipromosikan konsultan pemeringkatan ini sebagai sasaran atau capaian kinerja secara sembrono dan tidak bertanggung jawab. Padahal, sasaran kinerja ini, entah bagaimana caranya dan apapun kondisinya, harus dipenuhi oleh pengelola PT, dosen, tenaga kependidikan, dan mahasiswa yang menjadi subjek kebijakan. Kalau merujuk teori pilihan rasional, mencari „jalan-jalan pintas“ adalah keputusan yang logis diambil agar sasaran kinerja dapat terpenuhi segera.

Kebijakan membentuk perilaku individu

Para ahli kebijakan menyebutkan bahwa kebijakan dapat menjadi faktor krusial, yang menentukan keputusan-keputusan yang diambil individu. Hal ini nampak jelas ketika masa pandemi COVID yang kita hadapi beberapa tahun yang lalu. Kebijakan social distancing dan kewajiban menggunakan masker, misalnya, mengubah persepsi Masyarakat soal risiko kesehatan dan perilaku yang mengikutinya.

Situasi yang sama juga terjadi setelah kebijakan internasionalisasi diperkenalkan pemerintah. Rizqy Amelia Zein (2018) dan Iswandi Syahputra (2024) sebelumnya menyebutkan tentang „efek kobra“ dari kebijakan internasionalisasi PT berbasis pemeringkatan ini. Tekanan Kemendikbudristek agar PT meningkatkan posisinya di tabel pemeringkatan, dengan berbagai macam penghargaan (bila berhasil) sekaligus hukumannya (bila gagal), membuat subjek kebijakan menempuh segala cara agar tujuan ini tercapai.

Cara cepat dan mudah untuk meningkatkan posisi di tabel pemeringkatan adalah menambah sebanyak-banyaknya jumlah artikel ilmiah dan kutipan di basis data yang dirujuk konsultan pemeringkatan. Akibatnya, peneliti dan akademisi memproduksi artikel ilmiah sebanyak-banyaknya, karena pengelola PT memberikan iming-iming tambahan pendapatan dari artikel-artikel yang berhasil diterbitkan. Jumlah sitasi juga bisa digenjot dengan mewajibkan dosen dan mahasiswa saling mengkutip artikel ilmiah satu sama lain. Untuk apa memusingkan soal kualitas penelitian, karya ilmiah, atau relevan tidaknya artikel yang dikutip? Konsultan pemeringkatan toh hanya menghitung jumlahnya saja tanpa melihat bagaimana penelitian itu dilaksanakan, mulai dari perencanaan sampai diseminasinya.

Jadi, tentu logis kalau, di satu sisi, PT di Indonesia banyak yang naik peringkatnya di tabel pemeringkatan dan mengalami lonjakan produktivitas publikasi ilmiah yang luar biasa sejak 2012. Tetapi di sisi yang lain, Indonesia adalah salah satu produsen utama artikel ilmiah yang diterbitkan di jurnal predator (Macháček & Srholec, 2022). Berbagai kasus pelanggaran integritas akademik yang mencuat akhir-akhir ini, seperti kepengarangan tidak sah, plagiasi, jual-beli artikel melalui peternakan artikel ilmiah (paper mill), kartel sitasi, adalah efek samping dari kebijakan internasionalisasi. Pada praktiknya, kasus-kasus seperti ini tidak sepenuhnya dapat dijelaskan dari kesengajaan atau ketidaktahuan pelakunya, tetapi dapat dijelaskan juga dari capaian kinerja yang „dilembagakan“ di tataran pengelola PT.

Saya sepakat kalau berhenti dari pemeringkatan akan membuat produktivitas artikel ilmiah menurun karena memang begitulah „efek kobra“ bekerja. Tetapi, ini adalah satu-satunya solusi untuk mengurangi kerugian sumberdaya yang timbul akibat perilaku-perilaku yang curang ini. Kementerian dapat memulai ikut serta dalam inisiatif-inisiatif global yang mengedepankan responsible use of research metrics, sekaligus memulai dialog dengan para pemangku kepentingan – sesuatu yang sering hilang dalam proses penyusunan kebijakan di Indonesia dewasa ini.

Berhenti sekarang juga, sebelum terlambat

Mundurnya Universitas Utrecht dan Universitas Zurich dari THE di tahun 2023 dan awal 2024 lalu menjadi momentum yang tepat bagi Kementerian Pendidikan, Kebudayaan, Riset dan Teknologi (Kemendikbudristek) untuk mengevaluasi kembali kebijakan internasionalisasi PT yang sudah digaungkan sejak 2015-2016.

Sebenarnya, mundurnya dua PT terkemuka ini tidak terlalu mengejutkan, mengingat kecilnya pengaruh konsultan pemeringkatan terhadap kebijakan pendidikan tinggi di kawasan Uni Eropa. Kebanyakan PT di Eropa memang tidak pernah benar-benar berpartisipasi dalam pemeringkatan PT. Hanya saja, kebanyakan tidak mengumumkannya secara terbuka seperti Utrecht dan Zurich.

Seandainya betul kalau Zurich dan Utrecht punya modal awal yang sudah baik, maka pertanyaan yang logisnya diajukan justru: mengapa PT yang kondisinya sudah baik justru hengkang dari kompetisi? Bukankah lebih “menyenangkan” selalu menang dalam suatu kompetisi apalagi ketika “pemain” yang diuntungkan ini nyaris tidak perlu melakukan apapun?

Kenyataannya, Zurich dan Utrecht hanya sebagian dari banyak PT di dunia yang mau mendengarkan pendapat dan hasil riset para ahli kebijakan dan manajemen pendidikan tinggi. Hasil riset-riset ini jelas menunjukkan bahwa pemeringkatan PT justru akan membuat PT-PT terkemuka dunia ini akan kehilangan keunggulan yang selama ini mereka jaga. Para ahli menyebutkan bahwa pemeringkatan PT, secara paradoks, memberikan insentif untuk “kerja sains yang buruk” (bad scientific practices) akibat “efek kobra” ini.

Dalam pernyataannya, Utrecht ingin memprioritaskan budaya sains yang “lebih terbuka” (open science) dan kerja lembaga pemeringkatan kontradiktif dengan semangat ini. Berbagai inisiasi global mulai bermunculan untuk membereskan masalah yang ditimbulkan oleh konsultan pemeringkatan. Beberapa diantaranya adalah Declaration on Research Assesment (DORA) di tahun 2012, Leiden Manifesto di tahun 2021, More than Our Rank yang diiniasi oleh asosiasi manajemen riset global INORMS di tahun 2021, dan yang terbaru, Coalition for Advancing Research Assessment (COARA) yang disponsori oleh pemerintah Uni Eropa di tahun 2023. Menariknya, COARA tidak eksklusif diikuti oleh negara-negara di Eropa Barat dan Amerika Utara saja. Tetapi, negara-negara di kawasan lain, seperti Nigeria, Peru, Zimbabwe hingga Timor Leste juga ikut ambil bagian. Justru janggal kalau Indonesia absen dari forum-forum ini.

Ketika sebagian besar PT terkemuka dunia dan pemerintah di banyak negara, sebagai pendana utama penelitian, sedang berupaya untuk keluar dari “kubangan” budaya ilmiah yang korup akibat hiperkompetisi, mengapa justru kita memilih untuk menjerumuskan diri kita sendiri di “kubangan” itu, lebih dalam lagi?

Ilham Akhsanu Ridlo
Mahasiswa S3 LMU Munich, Dosen Kebijakan Kesehatan, Universitas Airlangga