Soal Peringkat Kedua Dunia: Masukan Penting untuk Tempo

“…Namun begitu, kami juga sampaikan sekalipun pengutipan sumber untuk infografis ini bermasalah secara saintifik namun secara keseluruhan hal ini TIDAK MENGGUGURKAN TEMUAN HASIL INVESTIGASI yang dilakukan oleh Tempo perihal Profesor abal-abal di Indonesia.

Apa yang kami tulis (ulang) disini tentu tidak mengurangi kredibilitas investigasi redaksi, editor dan jurnalis Tempo, yang tengah “menguliti” kecurangan akademik di Indonesia akhir-akhir ini, kami perlu sampaikan “sedikit” masukan penting soal riset yang dipakai acuan dalam infografis dari riset yang dilakukan Vit Machacek dan Martin Srholec.

Gambar 1. Infografis yang terbit di majalah Tempo 8-14 Juli 2024 “Skandal Guru Besar Abal-Abal”.

Jika benar redaksi Tempo mengutip artikel Vit Machacek dan Martin Srholec yang berjudul “Predatory publishing in Scopus: evidence on cross-country differences” yang terbit pertama kali di jurnal Scientometrics tahun 2021. Maka perlu kami berikan masukan korektif bahwa artikel tersebut sudah ditarik (diretraksi) dari penerbitan dengan status dicabut.

Sehingga status yang melekat pada artikel di jurnal Scientometrics yaitu RETRACTED ARTICLE. Dengan begitu infografis yang disajikan memuat beberapa data yang diambil dari hasil riset tersebut tentu mempunyai masalah, memantik kritik kami untuk meragukan keabsahannya.

Lalu Apa Alasan Artikel Vit Machacek dan Martin Srholec Dicabut atau Ditarik?

Artikel ini ditarik setelah dilakukan post-publication peer reviews oleh Editor-in-Chief jurnal Scientometrics karena beberapa hasil risetnya yang tidak bisa dipercaya. Setelah artikel ini diterbitkan, telaah lebih lanjut menunjukkan bahwa artikel tersebut memuat pernyataan tentang author dari beberapa negara (geographic region) yang tidak berdasar dalam penarikan kesimpulannya.

Gambar 2. Penarikan artikel oleh jurnal Scientometrics yang dirilis pada tanggal 6 September 2021.

Berdasarkan pernyataan tentang penarikan (retraction) artikel dari jurnal Scientometrics dapat diketahui bahwa artikel tersebut bermasalah pada analisis yang digunakan tidak menyertakan kelompok kontrol, sehingga hasilnya tidak lengkap dan tidak dapat dipercaya. Hasil dan temuan artikel ini didasarkan pada daftar hitam (blacklist) Beall’s list 1. Lebih lanjut temuan Macháček dan Srholec tidak dilengkapi dengan hasil yang diperoleh menggunakan kelompok kontrol positif. Dalam hal ini, database Scopus tidak bisa dianggap sebagai kelompok kontrol karena merupakan database yang sangat luas. Selain itu, analisis hanya mencakup publikasi dalam empat bahasa (Inggris, Spanyol, Prancis, dan Arab), sehingga hasilnya tidak mewakili publikasi dalam bahasa lain.

Our scholarly communication system is a representation of what and who we value as an academic community, and open access is one way to help democratize that system to include people who have historically been devalued through their exclusion. While predatory publishing is a problem, it’s actually an information literacy problem for which we currently have the knowledge and skills to address.

Shea Swauger, 2017 – Open access, power, and privilege
A response to “What I learned from predatory publishing”

Untuk memberikan perbaikan penting, Scientometrics memberikan kesempatan kepada penulis untuk mengirimkan naskah yang telah direvisi untuk ditinjau ulang. Namun, Vít Macháček dan Martin Srholec, tidak setuju dengan penarikan ini. Mereka mengabaikan masukan penting dari editor dan penelaah Scientometrics, selanjutnya mereka melakukan submisi di jurnal Quantitative Science Studies (QSS) yang diterbitkan MIT Press.

Secara substantif masukan editor-in-chief Scientometrics merupakan catatan penting dan perlu dijadikan telaah kritis yang tidak boleh diacuhkan oleh penulis. Publikasi ilmiah juga tidak berdiri sendiri sebagai satu terbitan baru, dia berdiri dari satu argumen utuh sejak bagaimana riset dibuat, ditelaah, dikritisi, diterbitkan. Sehingga isu penarikan dan apa alasannya harus dilihat sebagai bagian utuh dalam penelusuran sebuah bukti ilmiah (scientific evidence). Kita sedang berdiskusi tentang skrining dan cara “menyaring” sebuah bukti ilmiah. Sama kayak kita sebagai akademisi, track record itu juga penting.

Semoga redaksi, editor dan jurnalis Tempo ke depan dapat mempertimbangkan catatan ini juga menjadi masukan penting untuk kerja-kerja jurnalistik investigasi yang dilakukan hingga kini. Namun begitu, kami juga sampaikan sekalipun pengutipan sumber untuk infografis ini bermasalah secara saintifik namun secara keseluruhan hal ini TIDAK menggugurkan temuan dan hasil investigasi yang dilakukan oleh Tempo perihal Profesor abal-abal di Indonesia.

Tabik.

1 Walaupun penerbitan “predator” (istilah populer yang masih dipakai hingga kini) adalah sebuah masalah, namun daftar hitam Beall ini bermasalah dan mempunyai kritik dari komunitas Open Access terutama dikaitkan dengan demokratisasi, ilmu pengetahuan, diskriminasi struktural, literasi informasi dan narasi kekuasaan sosial dan politik negara global utara.


Update 11/06/2024:
Menanggapi komentar dan masukan Prof. Arief di kolom komentar maka, beberapa hal kami berikan tanggapan sebagai berikut.

Terimakasih Prof. Arief atas masukan juga beberapa tambahan input untuk artikel yang kami buat sebagai lanjutan dari utas sebelumnya. Jawaban ini juga secara umum menjawab beberapa pertanyaan detail yang prof. Arief sampaikan.

Setelah membaca lagi kronologis termasuk pembelaan penulis baik di blog pribadi maupun di acknowledgement, serta membandingkan dengan catatan retraksi maka kami sampaikan bahwa kedua pihak mempunyai bias pada proses editorial. Keduanya (peneliti/penulis dan editor scientometrics) memberikan kesan bagi kami terbawa oleh subyektifitasnya masing-masing. Ini terlihat dari kronologi dan debat yang ada di dalamnya. Benar yang Prof. Arief sampaikan bahwa diskusi tentang hal ini tidak berada di ruang vakum. “Debatable” seperti yang Prof. Arief sampaikan.

Namun begitu, ada beberapa kritik dan catatan seputar pengutipan (termasuk visualisasi) pada Tempo yang menurut kami penting untuk menjadi catatan teman-teman jurnalis juga “mungkin” bermanfaat ke depan.

Bahwa, menarik kesimpulan tentang publikasi ilmiah di jurnal “predator” (mengacu pada terminologi Beall yg dikritik) secara langsung pada satu kesimpulan bahwa satu negara (Indonesia) berada di peringkat kedua dalam hal “ketidakjujuran akademik” dari artikel ilmiah Macháček dan Scholec (2022) ini saya kira terlalu sembrono.

Terminologi “ketidakjujuran akademik” sendiri mencakup banyak hal misalnya plagiarisme, pemalsuan data, fabrikasi data, bahkan permasalahan kepengarangan dan manajemen riset hingga yang paling parah paper mill. Semua hal ini tidak selalu berkaitkan langsung dengan publikasi di jurnal “predator”. Mengkaitkan seluruh masalah ketidakjujuran akademik dengan publikasi di jurnal predator adalah penyederhanaan yang berlebihan.

Sampai saat ini, saya belum bisa memahami kenapa tingginya jumlah artikel yang diterbitkan di jurnal predatory bisa diartikan sebagai indikasi maraknya ketidakjujuran akademik peneliti Indonesia. Untuk sampai ke kesimpulan tersebut, maka harus dibedah dan dikuliti faktor-faktor* penyebabnya dulu (harus di“rule out“ dulu).

Persoalan publikasi di jurnal “predator” bisa terjadi dan disebabkan oleh berbagai faktor, termasuk:
a) kurangnya kesadaran dan pengetahuan tentang publikasi ilmiah (jurnal);
b) tekanan kebijakan yang menyasar pada kuantitas;
c) ketergantungan penilaian kualitas hanya pada produk luaran artikel yang terbit;
d) ditambah dengan anggapan yang “keliru” menilai kualitas artikel ilmiah dengan indeksasi, kuartil dan impact factor jurnal ilmiah.

Ada banyak sekali faktor yang perlu dikuliti satu per satu. Termasuk persoalan keterbatasan sumber daya dalam kelindan komersalisasi/kapitalisasi penerbitan ilmiah.

Ini semua tidak berhenti pada kuantitas jumlah, namun secara terpisah harus dilakukan investigasi khusus per artikel (bisa dilakukan sampling) untuk menilai (bisa dilakukan grading) per artikel sesuai bidang keilmuan. Penilaiannya pun bisa menyeluruh dari proses riset (hulu) hingga luaran (hilir). Baru sampai kita pada kesimpulan “Oh ternyata memang mereka tidak jujur” atau “oh bukan ternyata mereka hanya terdesak, oh mereka tidak tahu”

Sebagai tambahan, informasi dan diskusi kita akan saya tambahkan di dalam artikel ini sebagai “update” untuk memperkaya diskusi tentang topik jurnal predator.

Salam hangat,

Ilham

8 thoughts on “Soal Peringkat Kedua Dunia: Masukan Penting untuk Tempo

  1. Thanks Mas

    Ikut nimbrung ya. (1) Sebagian besar yg dicurigai bermasalah oleh editor adalah analisis regresi (ini juga debatable, lihat point 2), padahal data yg ditampilkan Tempo bukan bagian dari hasil regresi. Jadi kelemahan analisis regresi menurut saya tidak melemahkan ranking itu. (2) Saya tdk melihat penulis secara explisit melakukan regresi dengan tujuan utk melakukan causal inference, ini biasa. Econometrics analysis tidak selalu bersifat causal inference, bisa saja hanya association. Jadi saya blm melihat (barangkali saya nya kurang cermat) kenapa tidak ada control-group jadi masalah. Thanks.

  2. Satu point lagi, nomor (3) berarti. (3) Terbitnya kembali artikel di QSS lumayan mendelegitimasi alasan retraction Scientometrics. Tdk ada research yg sempurna. Apalagi qualitas QSS tidak kalah bagus dgn Scientometrics. Kalau IF jadi ukuran (I know it have flaws), Pctile QSS=83.4%, SCINTO=82.2% (same subject).

    1. Terimakasih Prof. Arief atas masukan juga beberapa tambahan input untuk artikel yang kami buat sebagai lanjutan dari utas sebelumnya. Jawaban ini juga secara umum menjawab beberapa pertanyaan detail yang prof. Arief sampaikan.

      Setelah membaca lagi kronologis termasuk pembelaan penulis baik di blog pribadi maupun di acknowledgement, serta membandingkan dengan catatan retraksi maka kami sampaikan bahwa kedua pihak mempunyai bias pada proses editorial. Keduanya (peneliti/penulis dan editor scientometrics) memberikan kesan bagi kami terbawa oleh subyektifitasnya masing-masing. Ini terlihat dari kronologi dan debat yang ada di dalamnya. Benar yang Prof. Arief sampaikan bahwa diskusi tentang hal ini tidak berada di ruang vakum. Debatable seperti yang Prof. Arief sampaikan.

      Namun begitu, ada beberapa kritik dan catatan seputar pengutipan (termasuk visualisasi) pada Tempo yang menurut kami penting untuk menjadi catatan teman-teman jurnalis juga “mungkin” bermanfaat ke depan.

      Bahwa, menarik kesimpulan tentang publikasi ilmiah di jurnal “predator” (mengacu pada terminologi Beall yg dikritik) secara langsung pada satu kesimpulan bahwa satu negara (Indonesia) berada di peringkat kedua dalam hal “ketidakjujuran akademik” dari artikel ilmiah Macháček dan Scholec (2022) ini saya kira terlalu sembrono.

      Terminologi “ketidakjujuran akademik” sendiri mencakup banyak hal misalnya plagiarisme, pemalsuan data, fabrikasi data, bahkan permasalahan kepengarangan dan manajemen riset hingga yang paling parah paper mill. Semua hal ini tidak selalu berkaitkan langsung dengan publikasi di jurnal “predator”. Mengkaitkan seluruh masalah ketidakjujuran akademik dengan publikasi di jurnal predator adalah penyederhanaan yang berlebihan.

      Sampai saat ini, saya belum bisa memahami kenapa tingginya jumlah artikel yang diterbitkan di jurnal predatory bisa diartikan sebagai indikasi maraknya ketidakjujuran akademik peneliti Indonesia. Untuk sampai ke kesimpulan tersebut, maka harus dibedah dan dikuliti faktor-faktor* penyebabnya dulu. (Istilahnya harus di“rule out“ dulu).

      Persoalan publikasi di jurnal “predator” bisa terjadi dan disebabkan oleh berbagai faktor, termasuk:
      a) kurangnya kesadaran dan pengetahuan tentang publikasi ilmiah (jurnal);
      b) tekanan kebijakan yang menyasar pada kuantitas;
      c) ketergantungan penilaian kualitas hanya pada produk luaran artikel yang terbit;
      d) ditambah dengan anggapan yang “keliru” menilai kualitas artikel ilmiah dengan indeksasi, kuartil dan impact factor jurnal ilmiah.

      Ada banyak sekali faktor yang perlu dikuliti satu per satu. Termasuk persoalan keterbatasan sumber daya dalam kelindan komersalisasi/kapitalisasi penerbitan ilmiah.

      Ini semua tidak berhenti pada kuantitas jumlah, namun secara terpisah harus dilakukan investigasi khusus per artikel (bisa dilakukan sampling) untuk menilai (bisa dilakukan grading) per artikel sesuai bidang keilmuan. Penilaiannya pun bisa menyeluruh dari proses riset (hulu) hingga luaran (hilir). Baru sampai kita pada kesimpulan “Oh ternyata memang mereka tidak jujur” atau “oh bukan ternyata mereka hanya terdesak, oh mereka tidak tahu”

      Sebagai tambahan, informasi dan diskusi kita akan saya tambahkan di dalam artikel ini sebagai “update” untuk memperkaya diskusi tentang topik jurnal predator.

      Salam hangat,

      Ilham

  3. Nambah point lagi deh, (4) berarti.

    Retraction Scientometrics tidak vacum, bahkan kontroversial. Jurnal yg sudah dipublish yang pastinya sudah melalui proses review, direview ulang karena complaint sebuah publisher besar Frontiers. Bahkan reviewer board Scientometrics. sendiri mengkritik keras alasan retraction tersebut (Lihat: https://link.springer.com/article/10.1007/s11192-022-04565-6) dimana disampaikan misalnya:

    “The retraction note does not demonstrate the alleged unreliability of the paper by Macháček and Srholec and therefore does not provide a sound justification for the retraction.”

  4. Terima kasih Mas Ilham sudah mengangkat tema ini lagi. Salut juga untuk jurnalis Tempo dalam menginvestigasi perkara ini.

    Komentar pendek saya begini:

    1. Terlepas dari kontroversi paper QSS, ada kecenderungan bahwa penulis-penulis asing yang menulis tentang tema sejenis dan sekaligus menganalisis negara-negara yang terlibat, mengeneralisasi dan sering “overclaim“. Salah satu contoh dari saya adalah Fry etal (2023), yang kemudian saya dan rekan tulis post publication review-nya di RINarxiv. Dalam kasus QSS ini juga mirip-mirip saja. Mestinya mereka hanya memperlihatkan data dan apa saja yang dapat ditarik dari data itu, misal: menghubungkan metadata penulis, lembaga dll. Statistika dasar saja. Bukan menghubungkan atau bahkan mencari penyebabnya.
    2. Berkaitan dengan unsur politik dalam publikasi ilmiah, seperti yang ditekankan oleh penulis dalam blogpost-nya, adalah hal yang jamak terjadi, tapi mungkin sedikit saja yang terungkap. Karena itu, saya sering mengingatkan para peneliti agar bersikap “biasa saja” jangan terlalu gegap gempita, ketika makalahnya terbit, di Nature sekalipun. Biasa saja, karena pada dasarnya, konflik kepentingan di antara jurnal dan di antara penerbit akan selalu ada. Kembali ke makalah QSS ini, Ludo Waltman sebagai orang yang dianggap menjadi penolong oleh Martin Shrolec, juga bukan tidak mungkin punya konflik kepentingan, yaitu untuk menaikkan visibilitas dari jurnal QSS yang baru berdiri empat tahun. FYI QSS ini bereputasi rebelious, karena merupakan wadah exodus banyak peneliti yang sebelumnya menjadi editor atau mitra bestari jurnal-jurnal scientometrics, termasuk Informetrics dan Scientometrics.
    3. Kasus makalah ini sekaligus membuktikan bias dari para penerbit (pemain) besar terhadap karya-karya ber-genre Library and Information Science (LIS) atau scientometrics. Kalau Frontiers (contoh saja) tidak bias, maka mestinya mereka akan bereaksi dan meminta suatu makalah ditarik kalau menggugat reputasi mereka. Setidaknya ada enam makalah yang melakukan hal itu (file RIS di sini)

    Dari saya itu saja. Terima kasih juga untuk Pak Arief yang telah menghangatkan diskusi ini dan diskusi lainnya yang sejenis.

    Salam,

    Erwin

  5. Terima kasih Mas Ilham sudah mengangkat tema ini lagi. Salut juga untuk jurnalis Tempo dalam menginvestigasi perkara ini.

    Komentar pendek saya begini:

    1. Terlepas dari kontroversi paper QSS, ada kecenderungan bahwa penulis-penulis asing yang menulis tentang tema sejenis dan sekaligus menganalisis negara-negara yang terlibat, mengeneralisasi dan sering “overclaim“. Salah satu contoh dari saya adalah Fry etal (2023), yang kemudian saya dan rekan tulis post publication review-nya di RINarxiv. Dalam kasus QSS ini juga mirip-mirip saja. Mestinya mereka hanya memperlihatkan data dan apa saja yang dapat ditarik dari data itu, misal: menghubungkan metadata penulis, lembaga dll. Statistika dasar saja. Bukan menghubungkan atau bahkan mencari penyebabnya.
    2. Berkaitan dengan unsur politik dalam publikasi ilmiah, seperti yang ditekankan oleh penulis dalam blogpost-nya, adalah hal yang jamak terjadi, tapi mungkin sedikit saja yang terungkap. Karena itu, saya sering mengingatkan para peneliti agar bersikap “biasa saja” jangan terlalu gegap gempita, ketika makalahnya terbit, di Nature sekalipun. Biasa saja, karena pada dasarnya, konflik kepentingan di antara jurnal dan di antara penerbit akan selalu ada. Kembali ke makalah QSS ini, Ludo Waltman sebagai orang yang dianggap menjadi penolong oleh Martin Shrolec, juga bukan tidak mungkin punya konflik kepentingan, yaitu untuk menaikkan visibilitas dari jurnal QSS yang baru berdiri empat tahun. FYI QSS ini bereputasi rebelious, karena merupakan wadah exodus banyak peneliti yang sebelumnya menjadi editor atau mitra bestari jurnal-jurnal scientometrics, termasuk Informetrics dan Scientometrics.
    3. Kasus makalah ini sekaligus membuktikan bias dari para penerbit (pemain) besar terhadap karya-karya ber-genre Library and Information Science (LIS) atau scientometrics. Kalau Frontiers (contoh saja) tidak bias, maka mestinya mereka akan bereaksi dan meminta suatu makalah ditarik kalau menggugat reputasi mereka. Setidaknya ada enam makalah yang melakukan hal itu (file RIS di sini)

    Dari saya itu saja. Terima kasih juga untuk Pak Arief yang telah menghangatkan diskusi ini dan diskusi lainnya yang sejenis.

    Salam,

    Erwin

Leave a reply to Dasapta Erwin Irawan Cancel reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.