Gerakan sains terbuka telah mendorong berbagai reformasi metodologis untuk meningkatkan transparansi dan keandalan penelitian. Salah satu praktik yang paling menonjol adalah preregistrasi (preregistration) riset, yaitu dokumentasi hipotesis, metode, dan rencana analisis sebelum data dikumpulkan.
Praktik ini dipromosikan pertama-tama oleh Brian Nosek (Center for Open Science/COS) sebagai cara untuk mencegah manipulasi analitik seperti p-hacking dan HARKing, serta untuk meningkatkan kepercayaan publik terhadap sains.
Namun, sebuah artikel filosofis yang terbit di jurnal SYNTHESE berjudul “Preregistration does not improve the transparent evaluation of severity in Popper’s philosophy of science or when deviations are allowed“ mengajukan kritik mendasar terhadap praktik yang makin marak dalam sains terbuka (open science). Kritik mendasar Mark Rubin bahwa preregistrasi tidak selalu meningkatkan kekuatan inferensi ilmiah.
Argumen ini penting untuk dipahami, tetapi juga memerlukan evaluasi kritis agar tidak disalahartikan sebagai penolakan terhadap transparansi ilmiah, khususnya praktik sains terbuka. Maka disini saya akan bahas argumen Mark Rubin dan kemudian mencoba memberikan kritisi.
Artikel Rubin tersebut berangkat dari konsep severity, yaitu sejauh mana suatu uji ilmiah mampu mendeteksi kesalahan hipotesis. Rubin membandingkan dua tradisi filsafat sains yang berbeda. Dalam pendekatan teori-sentris yang diasosiasikan dengan Karl Popper, kekuatan uji ditentukan oleh ketatnya pengujian teori terhadap alternatif dan oleh kritik kolektif komunitas ilmiah. Dalam kerangka ini, bagaimana hipotesis ditemukan atau analisis dilakukan tidak memengaruhi validitas uji selama hubungan logis antara teori dan bukti jelas.
Dalam pendekatan teori-sentris yang diasosiasikan dengan Karl Popper, kekuatan uji ditentukan oleh ketatnya pengujian teori terhadap alternatif dan oleh kritik kolektif komunitas ilmiah. Dalam kerangka ini, bagaimana hipotesis ditemukan atau analisis dilakukan tidak memengaruhi validitas uji selama hubungan logis antara teori dan bukti jelas.
Sebaliknya, pendekatan error-statistik yang dikembangkan oleh Deborah Mayo menilai kekuatan uji berdasarkan probabilitas kesalahan dalam prosedur eksperimen. Praktik seperti p-hacking dapat meningkatkan Type I error rate, sehingga menurunkan kemampuan uji untuk mendeteksi hipotesis yang salah. Dalam kerangka ini, preregistrasi berfungsi sebagai alat untuk mengungkap rencana analisis dan mendeteksi bias seleksi.
Pendekatan error-statistik yang dikembangkan oleh Deborah Mayo menilai kekuatan uji berdasarkan probabilitas kesalahan dalam prosedur eksperimen. Praktik seperti p-hacking dapat meningkatkan Type I error rate, sehingga menurunkan kemampuan uji untuk mendeteksi hipotesis yang salah.
Berdasarkan perbedaan ini, Rubin menyimpulkan bahwa preregistrasi hanya meningkatkan transparansi dalam kerangka error-statistik, dan bahkan di sana pun hanya jika peneliti mengikuti rencana awal secara ketat. Jika preregistrasi diperlakukan sebagai “rencana, bukan penjara” dan memungkinkan penyesuaian analitik, maka muncul forking paths, yaitu banyak jalur analisis yang mungkin diambil tergantung pada karakteristik data. Dalam pengulangan hipotetis, jumlah jalur ini tidak dapat diprediksi, sehingga error rate yang sebenarnya tidak dapat dihitung. Akibatnya, kekuatan uji tidak dapat ditentukan.
Argumen dasar Rubin dalam artikelnya yang terbit 21 Agustus 2025 ini menantang narasi populer bahwa preregistrasi adalah solusi universal terhadap krisis replikasi. Ia menekankan bahwa nilai preregistrasi bergantung pada kerangka epistemologis dan tingkat kepatuhan terhadap rencana awal.
Saya membedah beberapa hal sebagai catatan.
Pertama, artikel Rubin membangun argumennya pada pemisahan tegas antara pendekatan Popperian dan Mayoian. Dalam praktik ilmiah kontemporer, pemisahan ini semakin jarang muncul dalam bentuk murni. Banyak bidang penelitian justru menggabungkan pengujian teori dengan kontrol kesalahan statistik sebagai bagian dari desain inferensial yang terpadu. Dalam psikologi sosial, epidemiologi, dan kesehatan masyarakat, misalnya, pengujian hipotesis teoretis hampir selalu dilakukan melalui prosedur statistik yang dirancang untuk mengendalikan kesalahan inferensi.
Dalam metodologi ilmiah modern, pengujian teori tidak lagi dipahami sebagai proses logis murni yang terpisah dari evaluasi probabilistik. Sebaliknya, teori diuji melalui model statistik yang menghubungkan prediksi teoretis dengan data empiris. Pendekatan ini dikenal sebagai model-based inference, di mana teori, desain penelitian, dan statistik membentuk satu kerangka terpadu. Dengan demikian, kontrol error statistik bukanlah alternatif terhadap pengujian teori, melainkan mekanisme operasional untuk mengujinya.
Kedua, Sebagai tambahan dari perspektif filsafat sains, integrasi ini juga didukung oleh perkembangan pasca-Popper. Lakatos menunjukkan bahwa pengujian teori berlangsung dalam kerangka program riset yang menggabungkan hipotesis inti, asumsi tambahan, dan teknik metodologis, termasuk statistik. Dalam kerangka ini, metode statistik bukan sekadar alat teknis, tetapi bagian dari heuristik ilmiah yang memungkinkan evaluasi progresif atau degeneratif suatu teori (Lakatos). Pendekatan ini mengaburkan batas tegas antara pengujian teori dan kontrol kesalahan.
Lebih jauh, literatur tentang krisis replikasi menunjukkan bahwa kegagalan mengendalikan error statistik dapat merusak pengujian teori itu sendiri. Tingkat false positive yang tinggi menyebabkan teori tampak didukung oleh bukti yang sebenarnya tidak reliabel. Hal ini menunjukkan bahwa kontrol error bukan sekadar isu metodologis, tetapi prasyarat untuk evaluasi teori yang valid. Dengan kata lain, tanpa mekanisme seperti preregistrasi dan koreksi multipel, pengujian teori berisiko menghasilkan dukungan empiris yang semu.
Dalam konteks ini, preregistrasi dapat dipahami sebagai jembatan antara pengujian teori dan kontrol kesalahan. Dengan mendokumentasikan prediksi teoretis sebelum analisis, preregistrasi membantu membedakan antara uji konfirmatori dan eksploratori, sehingga meningkatkan kejelasan inferensi. Praktik ini tidak hanya mengontrol bias seleksi, tetapi juga memperkuat hubungan antara teori dan bukti dengan memastikan bahwa prediksi diuji secara prospektif.
Sehingga dari kritik pertama dan kedua, saya dapat menyimpulkan bahwa preregistrasi tidak relevan dalam pendekatan teori-sentris yang mengabaikan fakta bahwa pengujian teori modern hampir selalu melibatkan inferensi probabilistik. Bahkan dalam kerangka falsifikasionis, evaluasi bukti empiris bergantung pada reliabilitas metode pengukuran dan analisis statistik.
Ketiga, argumen Rubin bahwa objektivitas ilmiah dapat dijamin melalui kritik kolektif komunitas ilmiah merupakan sebuah konsep ideal normatif yang kuat dalam tradisi falsifikasionisme. Dalam kerangka ini, sains dipahami sebagai proses sosial di mana klaim pengetahuan diuji melalui perdebatan terbuka, replikasi, dan upaya sistematis untuk menyangkal teori. Objektivitas tidak bergantung pada netralitas individu, melainkan pada dinamika kritik timbal balik di antara para ilmuwan.
Namun, dalam perkembangannya, praktik ilmiah menunjukkan bahwa kritik kolektif hanya dapat berfungsi secara efektif jika didukung oleh transparansi metodologis yang memadai. Tanpa akses terhadap informasi lengkap tentang desain penelitian, rencana analisis, dan perubahan metodologis selama proses riset, komunitas ilmiah menghadapi keterbatasan serius dalam menilai validitas inferensi. Mereka tidak dapat membedakan secara jelas antara hipotesis yang dirumuskan sebelum pengumpulan data dan hipotesis yang dibentuk setelah melihat pola dalam data, padahal perbedaan ini krusial bagi status inferensial suatu temuan. Asimetri informasi ini menciptakan hambatan struktural terhadap kritik efektif.
Preregistrasi sebagai bentuk transparansi ini tidak menggantikan kritik kolektif, tetapi memperkuatnya dengan menyediakan basis informasi yang diperlukan untuk evaluasi yang bermakna. Sehingga objektivitas ilmiah merupakan hasil interaksi antara norma kritik terorganisir dan infrastruktur yang mendukung akses informasi. Sehingga kritik kolektif dan transparansi prosedural bukanlah mekanisme yang saling menggantikan, melainkan saling bergantung dalam menjaga integritas dan akuntabilitas sains di hadapan komunitas ilmiah dan publik yang lebih luas.
Keempat, Rubin dalam artikelnya menyoroti bahwa fleksibilitas dalam preregistrasi menciptakan forking paths dan membuat error rate tidak dapat dihitung. Argumen ini valid dalam kerangka error-statistik yang ketat. Namun, ia mengabaikan praktik metodologis seperti analisis sensitivitas, pelaporan transparan terhadap keputusan analitik, dan triangulasi metode. Fleksibilitas bukanlah sumber bias, melainkan respons terhadap kompleksitas data dan ketidakpastian model. Menganggap setiap deviasi dari rencana awal sebagai ancaman terhadap validitas inferensi berisiko mendorong rigiditas metodologis. Penelitian yang terlalu kaku dapat gagal menangkap fenomena kompleks atau menghasilkan model yang tidak sesuai dengan data. Oleh karena itu, tantangan metodologis bukanlah menghapus fleksibilitas, tetapi memastikan bahwa fleksibilitas tersebut dilaporkan dan dievaluasi secara transparan.
Kelima dan terakhir, artikel tersebut berfokus pada evaluasi inferensi statistik dan filosofis, tetapi kurang memperhatikan fungsi sosial dan institusional preregistrasi. Praktik ini tidak hanya bertujuan mengontrol error rate, tetapi juga mengurangi insentif pelaporan selektif, meningkatkan akuntabilitas, dan membangun kepercayaan publik terhadap sains. Dalam konteks meningkatnya misinformasi dan skeptisisme terhadap sains, dimensi normatif ini memiliki nilai yang tidak dapat direduksi menjadi perhitungan probabilitas kesalahan. Bahkan jika preregistrasi tidak selalu meningkatkan severity dalam pengertian filosofis tertentu, ia tetap berkontribusi pada integritas sistem ilmiah secara lebih luas.
Apa manfaat artikel Rubin bagi kritik metodologis?
Kritik dan diskursus pada praktik preregistrasi dalam sains terbuka memberikan ruang dialektika yang menarik. Artikel yang mengkritik preregistrasi memberikan kontribusi penting dengan menunjukkan bahwa tidak ada praktik metodologis yang secara universal menjamin kekuatan inferensi ilmiah. Kondisi ini mengingatkan bahwa nilai preregistrasi bersifat kondisional dan bergantung pada kerangka epistemologis serta kepatuhan terhadap protokol.
Namun, lima kritik saya terhadap artikel tersebut dapat dimaknai dan menunjukkan bahwa peran preregistrasi tidak dapat dinilai semata-mata melalui lensa filosofi sains tertentu atau perhitungan error rate. Dalam praktik ilmiah nyata terkini, keandalan pengetahuan lahir dari kombinasi transparansi prosedural, kritik kolektif, fleksibilitas metodologis, dan akuntabilitas institusional.
Preregistrasi tentu saja bukanlah obat mujarab, tetapi juga bukan praktik imajiner, karena instrumen ini dapat digunakan sebagai awal reflektif dan kontekstual bagi komunitas ilmu pengetahuan dalam ekosistem sains terbuka. Sehingga integritas ilmiah dapat dibentuk tanpa mengorbankan kemampuan sains untuk beradaptasi dengan kompleksitas dunia nyata saat ini.
ScienceWatchdog.id 