Baru-baru ini, saya dan rekan saya menulis sebuah artikel yang terbit di The Conversation Indonesia (TCID), yang mengulas tentang temuan utama project SCORE. Dalam project ini, saya juga ikut terlibat sebagai analis dalam salah satu studi tentang keandalan analisis (robustness).
Di tulisan ini, kami menyajikan tiga temuan utama: pertama, sebagian besar temuan/klaim dari riset-riset ilmu sosial dan perilaku tidak bisa direka ulang (reproducible), karena datanya tidak tersedia. Kedua, klaim-klaim ini menyusut ukuran efeknya ketika dicoba ulang (replicable) dengan mengambil data baru. Terakhir, klaim-klaim ini tidak lagi dapat dipertahankan ketika datanya dianalisis kembali oleh analis yang berbeda (robustness), dengan metode yang berbeda tetapi tetap sah secara metodologi.
Setelah artikel ini terbit, ada berbagai reaksi yang menarik di akun media sosial TCID. Beberapa di antaranya keliru secara faktual, tetapi ini mungkin mengindikasikan persoalan yang lebih mendalam daripada sekadar kekurangan pengetahuan/wawasan, atau kealpaan membaca informasi secara utuh sebelum berkomentar. Tentu saja, ketika menulis tulisan ini, saya menyadari bahwa saya tidak punya kendali atas persepsi atau pemahaman audiens ketika membaca karya saya.
Di tulisan ini, saya akan mengulas kekeliruan faktual dari respon-respon ini. Selain itu, saya juga menawarkan semacam takeaway lesson – yang akan selalu saya bawa ketika meneliti dan mengampu mata kuliah metodologi.
Kuantitatif vs. kualitatif
Mayoritas komentar di carousel konten instagram TCID mencerminkan kebingungan bahkan skeptisisme atas asumsi-asumsi penelitian kuantitatif. Contohnya seperti di bawah ini:
Padahal, di artikel dan carousel instagram, tidak ada satupun pernyataan yang “memaksa” pembaca menerima asumsi dan logika penelitian kuantitatif. Kami juga tidak pernah dan tidak punya intensi membandingkan klaim ilmiah dari paradigma kuantitatif dan kualitatif.
Di artikel, kami menuliskan secara eksplisit bahwa “klaim” yang diperiksa di project SCORE ini adalah klaim asosiatif dan kausalitas (e.g., “meyakini bahwa kecerdasan itu bisa dilatih dan berubah menyebabkan kenaikan prestasi akademik siswa”) yang umum ditemui di riset-riset ilmu sosial dan perilaku dengan paradigma kuantitatif.
Saya selalu membayangkan proses meneliti mirip seperti halnya proses memasak. Ketika memasak, biasanya saya akan menentukan dulu saya masak apa hari itu, mendaftar bahan-bahan yang harus dibeli di supermarket, baru nanti menentukan alat masak apa yang digunakan.
Proses penelitian pun begitu. Sebelum memilih menggunakan metode apa, peneliti seharusnya menentukan fenomena apa yang ingin diteliti. Apa pertanyaan penelitian yang ingin dijawab melalui proses penelitian. Asumsi apa yang akan digunakan untuk menginterpretasi data. Baru kemudian nanti tentukan metodenya, yang merupakan alat untuk menjawab pertanyaan penelitian.
Oleh karena itu, tidak logis apabila saya sudah tentukan saya mau pakai air fryer, padahal saya ingin masak rawon hari itu.
Ya, bisa aja, sih, seseorang masak rawon dengan air fryer, tetapi persoalannya apakah air fryer adalah alat yang lazim, tepat, dan efisien digunakan untuk memasak rawon?
Poinnya, menyimpulkan bahwa pendekatan kuantitatif itu lebih buruk atau lebih baik dari kualitatif adalah sesuatu yang idiosyncratic. Tentu tidak logis kalau kita menyatakan cobek itu lebih baik atau lebih buruk daripada air fryer, padahal keduanya adalah alat masak yang digunakan untuk tujuan yang berbeda.
Pertanyaan yang tepat adalah: apakah cobek adalah alat yang tepat untuk menggoreng? Apakah air fryer adalah alat yang tepat untuk menghaluskan bumbu?
Begitu pula dengan penelitian ilmiah: tepatkah ketika pendekatan kualitatif digunakan untuk menguji hipotesis kausalitas? Bisakah pendekatan kuantitatif digunakan untuk menjelaskan dinamika psikologis penyintas kekerasan seksual?
Penelitian kuantitatif ≠ positivisme
Kekeliruan faktual yang lain, yang menurut saya menarik adalah anggapan bahwa penelitian kuantitatif modern menggunakan positivisme sebagai landasan filosofis. Contohnya:
Di komentar ini, ybs. sudah secara spesifik menyebutkan positivisme logis sebagai fondasi penelitian kuantitatif modern. Yang ybs. bayangkan, peneliti kuantitatif melakukan proses verifikasi seperti anjuran positivisme logis (yang memang populer diajarkan di kelompok studi Vienna), atau bahkan positivisme tradisional.
Padahal, premis utama verifikasi (i.e., “suatu pernyataan hanya bermakna ketika dapat ditemukan eksistensinya melalui pengamatan dan pengalaman”), seperti yang dianjurkan positivisme logis, sudah lama sekali ditinggalkan. Penelitian kuantitatif modern menggunakan logika falsifikasi, yang akan saya jelaskan lebih detail asumsi-asumsinya di bagian berikutnya.
Dalam logika falsifikasi, suatu pernyataan dianggap ilmiah – dan karena itu bermakna – ketika secara prinsip dapat diuji dan berpotensi digugurkan oleh bukti empiris. Oleh karena itu, pekerjaan utama ilmuwan kuantitatif adalah mencari bukti yang menggugurkan, bukan yang mendukung atau mengonfirmasi hipotesis.
Lebih lanjut, pendekatan falsifikasi ini memberikan jawaban atas problem demarkasi (i.e., “apa bedanya sains dengan yang bukan sains?”). Popper punya asumsi yang cukup bold dalam hal ini: dugaan saintifik harus selalu bisa diuji/dibuktikan salah. Kalau tidak bisa difalsifikasi, maka pertanyaan tersebut adalah metafisika – sesuatu yang berdiri di luar kewenangan sains.
Perbedaan lainnya, positivisme logis memiliki doktrin yang disebut Protokollsätze, yang intinya, mengasumsikan bahwa setiap pengalaman sensori manusia adalah ultimate ground atas pengetahuan ilmiah yang harus diinterpretasi secara telanjang, apa adanya. Artinya, pengamatan harus bebas dari pra-anggapan apapun, termasuk teori dan hipotesis.
Anggapan ini, sayang sekali, sudah lama sekali ditinggalkan.
Peneliti kuantitatif selalu berangkat dari hipotesis, yang „diturunkan“ dari teori. Pengumpulan, analisis, dan interpretasi terhadap data selalu dilakukan dalam kerangka teori. Artinya, pengamatan yang dilakukan peneliti sifatnya theory-laden dan tidak pernah netral seperti yang dibayangkan oleh positivisme logis.
Logika hypothetico-deductive Popperian
Prinsip dasar yang diajarkan oleh Popper adalah pengujian hipotesis dengan logika deduktif. Artinya, peneliti harus mendeklarasikan premis umum yang akan diuji (i.e., hipotesis) kemudian menyandingkannya dengan data empiris. Hipotesis akan “bertahan” (corroborated) kalau data empiris tidak berhasil menggugurkannya.
Yang perlu digaris bawahi, hipotesis yang “bertahan” tidak serta-merta dapat diterima sebagai kebenaran. Dalam tradisi Popperian, yang kemudian dielaborasi oleh Deborah Mayo, hipotesis harus melalui “pengujian yang ketat” (severe testing): “the test is severe if the predicted outcome is likely given the theory and unlikely given the rest of background knowledge.”
Mari kita bayangkan seorang peneliti yang memiliki prediksi bahwa program unconditional cash transfer bisa mengurangi angka kemiskinan. Prediksi ini harus diuji sedemikian rupa, sehingga peneliti yakin bahwa kalau ada penurunan angka kemiskinan, maka penyebabnya adalah program UCT (sesuai prediksi teori), bukan berbagai kemungkinan lainnya (misalnya, angka kemiskinan turun karena definisinya diubah oleh BPS).
Konsekuensinya, penelitian tidak cukup hanya dilakukan sekali saja. Sekali “bertahan” dari suatu “pengujian yang ketat” tidak cukup membuat suatu teori bisa diterima sebagai kebenaran.
Lalu, bagaimana dengan “konteks sosial”? Haruskah klaim di ilmu-ilmu sosial selalu bertahan di konteks sosial yang berbeda?
Benarkah fenomena sosial, yang diteliti di ilmu-ilmu sosial, pasti selalu bergantung pada “konteks sosial” tempatnya beroperasi, sehingga pengujian ulang tidak diperlukan?
Jawaban saya: ini keliru secara faktual. Kenyataannya, alasan ini sering digunakan untuk membenarkan kurang andalnya klaim-klaim di ilmu sosial.
Di literatur, hal ini diperdebatkan panjang lebar (misalnya, di sini, ini, ini, dan ini). Konsensusnya, kalau seandainya klaim ilmiah bergantung pada suatu “konteks sosial,” maka konteks ini harus dispesifikasikan sebagai boundary condition dalam hipotesis/teori yang diuji.
Konkritnya, kalau peneliti memprediksi bahwa unconditional cash transfer hanya bisa menurunkan angka kemiskinan ketika labor market lemah dan tingkat baseline consumption rendah, maka kedua boundary condition ini harus dispesifikasi secara gamblang dalam hipotesis sebagai variabel moderator. Ini adalah prosedur standar dari logika hypothetico-deductive Popperian.
Statistik dan probabilitas
Meskipun logika penelitian kuantitatif modern dibangun dalam kerangka hypothetico-deductive Popperian (atau setidaknya begitulah yang diklaim peneliti kuantitatif), pada praktiknya, peneliti mengkombinasikan berbagai pendekatan filosofis sekaligus secara pragmatis.
Peneliti kuantitatif menggunakan statistik sebagai alat bantu untuk membaca dan menginterpretasi data. Fondasi statistik adalah probabilitas, tetapi Popper tidak peduli pada probabilitas. Satu saja bukti yang menggugurkan hipotesis ditemukan, maka hipotesis akan terfalsifikasi seluruhnya.
Kebanyakan peneliti kuantitatif menguji H0 (i.e., “tidak ada hubungan,” “tidak ada efek,” dst), lalu mengumpulkan data untuk “menggugurkan/menolak” H0 ini. Parameternya adalah nilai p (p value). Kalau nilai p di bawah batas tertentu (e.g., α < 0.05), maka peneliti biasanya menyatakan “punya bukti” untuk menggugurkan H0. Tidak hanya itu, nilai p < 0.05 juga sering digunakan sebagai landasan “menerima“ H1 (e.g., “ada hubungan,” “ada efek,” dst.)
Praktik di atas, meskipun umum dilakukan, sebenarnya mencampuradukkan dua filosofi inferensi yang bertolak belakang (Fisher vs. Neyman-Pearson, lengkapnya baca di sini). Fisher mengajukan nilai p, tetapi tidak pernah menganjurkan p harus dibandingkan dengan batas/threshold tertentu. Menurut Fisher, p menunjukkan strength of evidence atas H0. Makin kecil nilai p, maka H0 semakin unlikely. Tetapi, Fisher tidak mengenal H1 – ia tidak pernah menganjurkan peneliti dapat “menerima” H1 ketika nilai p di bawah batas tertentu.
Sebaliknya, Neyman-Pearson menggugat asumsi Fisher yang melekatkan strength of evidence pada satu nilai p. Secara matematis, selain nilai p, tes statistik harus mempertimbangkan probabilitas kesalahan inferensi: kesalahan tipe 1 (α, e.g., UCT diklaim menurunkan kemiskinan, padahal kenyataannya tidak) dan kesalahan tipe 2 (β, e.g., UCT disimpulkan gagal menurunkan kemiskinan, padahal kenyataannya bisa). Menurut Neyman-Pearson, H0 dan H1 harus dideklarasikan bersama-sama. Ketika nilai p < α, peneliti tidak sedang “membuktikan” H1 — melainkan mengambil keputusan untuk bertindak seolah-olah H1 benar (“act as if H1 is true”).
Keputusan ini bukan klaim bahwa H1 “benar”, melainkan tentang konsistensi prosedur: jika prosedur yang sama diterapkan berulang kali pada populasi yang sama, maka dalam jangka panjang, kesalahan tipe 1 tidak akan melebihi α yang telah ditetapkan.
Metode hanya alat, jangan sampai mendikte sudut pandang
Ketika membaca komentar ini, saya kemudian berusaha mengingat kembali apa yang telah saya pelajari selama menempuh pendidikan tinggi. Saya sangat beruntung karena memiliki pengalaman melakukan penelitian dengan pendekatan kualitatif, meskipun saat ini, training dan pengalaman saya jauh lebih matang di pendekatan kuantitatif. Yang pertama, penelitian skripsi saya waktu S1 dulu. Kedua, penelitian mandiri yang saya lakukan ketika mengawali karir sebagai dosen.
Saya dibesarkan secara akademik di lingkungan yang punya apresiasi yang setara pada berbagai paradigma penelitian yang berbeda. Guru-guru saya selalu menekankan bahwa mengartikulasikan secara jelas barang apa (i.e., “subject matter”) yang akan diteliti, pertanyaan penelitian apa yang ingin dijawab, teori/hipotesis/prediksi apa yang akan diuji, asumsi-asumsi apa yang akan digunakan, jauh lebih penting daripada metode apa yang digunakan.
Doktorvater saya malah berkali-kali menegur saya. Beliau bilang, “Amelia, a good theory should precede a robust methodology.”
Sekali lagi, metode hanya alat. Tetapi anehnya, metode seolah-olah mendikte bagaimana cara kita melihat dunia. Kalau teori dalam ilmu-ilmu sosial dapat dibangun dengan perspektif interpretif, bukan berarti logika kuantitatif itu sesat dan tidak sah. Dua paradigma ini hanyalah dua cara yang berbeda, yang digunakan untuk menjawab pertanyaan penelitian yang berbeda pula.
Kalau pendapat ini muncul dari orang awam, saya tidak akan khawatir sampai harus menulis tulisan ini. Tetapi persoalannya, pendapat ini muncul dari kolega sesama ilmuwan, yang seharusnya sudah khatam dasar metodologi. Saya jadi was-was, jangan-jangan ada yang salah dengan cara kita belajar dan mengajarkan dasar metodologi dan filsafat ilmu pengetahuan di perguruan tinggi.
Membandingkan pendekatan interpretif dengan kuantitatif untuk menentukan mana yang “lebih benar” adalah kekeliruan fatal. Dalam filsafat ilmu, dua paradigma yang menggunakan terminologi, asumsi, dan kriteria kebenaran yang berbeda disebut incommensurable – tidak dapat dibandingkan secara langsung karena tidak ada “hakim netral” di antara keduanya. Pertanyaan yang tepat bukan mana yang lebih valid, melainkan paradigma mana yang paling sesuai untuk menjawab pertanyaan penelitian tertentu.
Jadi, masih logiskah membandingkan air fryer dengan cobek?
