Pernah denger gak (karena gossip selalu dimulai dengan pertanyaan epic ini!), peristiwa besar yang terjadi di tahun 2011 yang mengguncang dunia penelitian dan menjadikan penelitian-penelitian psikologi langsung diragukan keabsahannya???

Yup, that one: The infamous Professor Diederik Stapel! Beliau adalah profesor psikologi yang pada tahun 2011 sedang menjabat sebagai Rektor dari Universitas Tilburg di Belanda dan saat itu Beliau tertangkap karena melalukan pemalsuan data! Diadukan oleh seorang whistleblower, salah satu data penelitian Prof. Stapel ini adalah buatannya sendiri atau yang biasa disebut fabrication atau memanipulasi data. Perbuatan ini dianggap sebagai dosa besar dalam dunia penelitian dan hukumannya adalah pemberhentian karir, yang artinya sebagai peneliti, Beliau tidak akan bisa berkarir di universitas manapun! Setelah terbukti bersalah, Beliau tidak hanya diberhentikan, namun 55 publikasi yang menggunakan data palsu tersebut dicabut dari berbagai jurnal. Hal ini tidak hanya berimbas pada karir Prof. Stapel saja, tapi sejumlah mahasiswa S3 yang menggunakan data tersebut harus mengulang kembali penelitiannya, bahkan tidak sedikit dari mereka yang akhirnya berhenti. (Sewaktu saya masih bersekolah disana, dia masih menjabat sebagai rektor. Untungnya, ijazah saya bukan ditanda tangani oleh Beliau, kalau tidak bisa dicabut juga! hehehe..). Sejak saat itu, penelitian psikologi dijadikan sorotan karena ketidakpercayaan masyarakat terhadap hasil yang dilaporkan oleh penelitian-penelitian psikologi di dunia. Mulai berjatuhan (baca: ditangkap) peneliti-peneliti dari berbagai universitas karena dibuktikan telah melakukan kecurangan. Tidak hanya bidang psikologi, namun bidang kedokteran pun ikut menjadi sorotan.

Bentuk dari kecurangan penelitian (Research Misconduct) ini tidak hanya pemalsuan data saja. Hal-hal kecil seperti lupa mencatumkan sumber referensi pun sudah bisa dianggap sebagai plagiarism dan membuat karir Anda sebagai akademia hancur lebur! Selain fabrication (i.e. memalsukan data ataupun hasil penelitian), plagiarism (termasuk didalamnya self-plagiarism), masih banyak bentuk dari kecurangan-kecurangan penelitian: P-hacking yaitu dengan sengaja melaporkan p-value yang salah; cherry picking yaitu memilah-milih data yang bisa mendungkung hipotesis; dan yang paling sering terjadi dikalangan peneliti adalah…..HARKing (Hypothesizing After the Results are Known) yaitu mengubah atau membuat hipotesis (ataupun alur cerita di bab latar belakang) setelah hasil penelitian diketahui. Nah bagaimana cara mengontrol hal ini?

Beberapa tahun pertama sejak kejadian tersebut, dunia penelitian terasa sangat kelam, setiap kali membaca penelitian di jurnal, selalu muncul pertanyaan dalam benak: yang dilaporkan hasil yang sebenarnya bukan, ya? Sejak itu mulai banyak gerakan-gerakan menyerukan transparansi penelitian atau yang biasa disebut open science. Gerakan ini menyerukan bahwa peneliti harus tansparan terhadap penelitian dan pelaporan hasil penelitiannya. Dalam berbagai conference psikologi mulai banyak dibahas mengenai research integrity dan juga dibahas secara detil bagaimana langkah-langkah yang harus dilakukan para peneliti untuk meningkatkan transparansi penelitian. Beberapa langkah yang disarankan untuk dilakukan diantaranya adalah sebagai berikut:

 

Open access dan data sharing

Untuk menghindari pemalsuan data maupun kesalahan dalam melaporkan hasil penelitian, para peneliti disarankan untuk menyediakan data, skrip analisis (e.g., syntax dari SPSS, atau kode skrip Rstudio), dan hasil penelitiannya agar dapat diakses secara online dan bebas dari biaya. Tujuannya adalah orang lain dapat memeriksa kebenaran data dan pelaporan hasil penelitian kita. Saat ini tidak sedikit jurnal dengan impact factor yang tinggi memiliki syarat publikasi yaitu dengan open access sehingga para reviewer dapat memeriksa kembali kebenaran dari hasil penelitian kita. Sebagai manusia, tanpa sengaja kita sering kali salah dalam menuliskan angka, titik dan koma, maupun pembulatan nilai desimal.

Hal ini bahkan disampaikan secara eksplisit dalam laman journal of American Psychological Association (APA), bahwa untuk dapat mempublikasikan penelitian dalam jurnal APA ini, penulis harus memenuhi beberapa syarat kode etik, salah satunya adalah data sharing, “[a]fter research results are published, psychologists do not withhold the data on which their conclusions are based from other competent professionals who seek to verify the substantive claims through reanalysis and who intend to use such data only for that purpose.”

Namun demikian, beberapa penelitian menunjukan bahwa masih banyak peneliti yang menolak untuk membagi datanya (Vanpaemel et al., 2015; Wicherts et al., 2006). Yang dilakukan Vanpaemel et al. (2015) dan Wicherts et al. (2015) adalah meminta data mentah (raw data) dari sejumlah peneliti yang telah mempublikasikan penelitiannya di salah satu dari empat jurnal APA. Respon positif (i.e., men-share datanya) didapatkan hanya sebanyak 38 % (Vanpaemel et al., 2015) dan 27% (Wicherts et al., 2006). Kesimpulannya adalah sebagian besar peneliti masih melanggar kode etik mengenai data sharing. Pertanyaan yang kemudian muncul adalah: jika kita memang jujur dalam melakukan dan melaporkan hasil penelitian kita, mengapa kita harus takut dan ragu dalam berbagi data?

Berikut adalah gambar salah satu bentuk open access yang saya lakukan di Open Science Framework (OSF):

 

Pre-registration

Pre-registrasi adalah salah satu cara untuk menghindari HARKing. HARKing adalah ketika peneliti sudah memiliki hipotesis dan rencana awal mengenai bagaimana penelitian akan dilakukan, namun setelah mendapatkan hasil, peneliti mengubahnya demi menyesuaikan dengan hasil penelitian. Memang harus diakui bahwa sebagian besar jurnal hanya akan mempublikasikan penelitian yang memiliki hasil yang signifikan dalam mendukung hipotesis peneliti. Hal inilah membuat para peneliti untuk melakukan HARKing.

Pre-registrasi dapat dilakukan dalam beberapa website, salah satu laman yang saya gunakan untuk pre-registrasi adalah Open Science Framework (OSF, https://osf.io/). Pre-registrasi harus dilakukan sebelum pengembilan data. Biasanya dalam pre-registrasi peneliti menuliskan latar belakang alur berpikir, hipotesis, rencana pengambilan data (jumlah partisipan, prosedur, etc.), dan rencana analisis (apakah akan menggunakan ANOVA, regresi, etc.). Pada dasarnya, saat ini masih didiskusikan hal-hal apa saja yang harus peneliti tuliskan dalam pre-registrasi. Dalam OSF, peneliti bisa melakukan beberapa pilihan, melaporkannya secara bebas maupun pilihan dengan mengisi formulir. Seperti yang dianjurkan oleh APA, sebaiknya pre-registrasi berisi: “Researchers either have the option or are required to submit their research rationale, hypotheses, design and analytic strategy to the journal for peer review before beginning the study.”

ini adalah Pre-registrasi saya di OSF:

Sedikit bercerita mengenai pengalaman melakukan pre-registrasi. Saya mulai membiasakan diri untuk melakukan pre-registrasi sebelum penelitian dilakukan. Selain membuat saya dan co-authors memiliki catatan tertulis mengenai rencana penelitian, ternyata pre-registrasi juga menyelamatkan kami dari kritik reviewer. Seperti yang kalian tahu, ketika kita memiliki ide penelitian, ide tersebut mucul dari perspektif tertentu yang terkadang berbeda dari orang lain. Nah, saat manuscript kami sedang dalam proses review, salah satu reviewer meminta kami untuk mengubah bagian latar belakang sesuai dengan alur berpikir reviewer tersebut. Bukan berarti kami tidak setuju dengan pandangan Beliau, namun kami sudah mem-pre-registrasi-kan alur berpikir dan rencana kami di awal penelitian. Kami pun menolak untuk mengubah total latar belakang dan hipotesis kami dengan alasan pre-registrasi. Walaupun demikian, untuk menghormati perspektif Beliau, kami tetap melakukan penyesuaian sesuai yang diminta tanpa mengubah pola alur berpikir dan hipotesis kami. Tentu saja reviewer tersebut menerima penjelasan kami, dan akhirnya manuscript tersebut berhasil lolos untuk dipublikasi. Yeay!

 

Replication

Tidak hanya di Psikologi, di dalam semua jenis penelitian, satu penelitian saja biasanya tidak cukup untuk membuktikan suatu fenomena atau membuktikan sebuah teori. Idealnya peneliti harus melakukan penelitian yang sama beberapa kali untuk membuktikan keabsahan hasil. Salah satu caranya adalah melakukan replikasi penelitian. Menurut Schmidt (2009), replikasi penelitian terbagi dalam dua jenis, yang pertama adalah replikasi secara langsung (direct replication) dimana seluruh prosedur yang dilaporkan dalam bagian Method section di penelitian sebelumnya benar-benar diduplikasi; yang kedua adalah replikasi secara konseptual (conceptual replication) dimana hipotesis diuji kembali tanpa menggunakan prosedur yang sama seperti penelitian sebelumnya. Idealnya, suatu hasil penelitian akan diakui keabsahannya jika hasil dari penelitian replikasi mendukung penelitian sebelumnya, dalam arti kata lain: hasil penelitian yang dilaporkan bukan hanya hasil yang kebetulan saja, tetapi jika diuji berkali-kali hasilnya akan tetap sama.

Namun demikian, walaupun pengujian kembali hasil penelitian adalah hal yang penting, penelitian dalam bidang psikologi yang melakukan replikasi masih terhitung sangat minim (Makel, Plucker, & Hegarty, 2012). Dari beberapa penelitian replikasi yang dilakukan, hasilnya sering kali berbeda dengan hasil penelitian sebelumnya. Menurut Open Science Collaboration (2015), dalam studi mereka tentang Reproducibility Project: Psychology, dilaporkan hanya 39% dari 100 penelitian replikasi yang berhasil menemukan hasil yang sama dengan penelitian yang direplikasi.

Untuk mengajak para peneliti melakukan replikasi penelitian, Association Psychological Science (APS) mulai tahun 2017 membuka jurnal khusus untuk studi replikasi dari penelitian apapun yang pernah dipublikasikan di jurnal APS ini. Silahkan bagi para peneliti psikologi yang tertarik!

APS mengajak peneliti untuk melakukan penelitian replikasi:

Nah, yang sudah saya jabarkan di atas hanyalah beberapa cara untuk belajar menjadi peneliti yang jujur dan transparan. Masih ada beberapa cara lain yang dapat dilakukan untuk tujuan transparansi, yang terpenting adalah kita harus melaporkan dengan jujur apapun yang kita lakukan di dalam penelitian kita, mulai dari hal kecil seperti membuang outliers, urutan kuesioner yang diberikan pada partisipan, reliabilitas, hingga analisis apa saja yang dilakukan.

Sudah kah saya melakukan hal-hal diatas? Sejauh ini saya sudah melakukan pre-registrasi dan open access, termasuk data sharing. Jujur saja, saya belum pernah melakukan penelitian replikasi, mungkin saya akan coba untuk melakukannya di masa mendatang! Saya akan sharing dalam tulisan saya yang lain mengenai pengalaman dan cara-cara untuk melakukan open access dan pre-registration. Ayo, kita sama-sama belajar menjadi peneliti yang jujur! Jangan semata-mata hanya untuk memenuhi KPI, kita bisa terjerembab ke dalam lingkaran setan seperti Prof. Stapel!

Referensi

Makel, M.C., Plucker, J.A., & Hegarty, B. (2012). Replications in Psychology Research: How Often Do They Really Occur? Perspectives on Psychological Science, 7(6), 537-542. Doi: 10.1177/1745691612460688

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. Doi: 10.1126/science.aac4716

Schmidt S. (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences. Review of General Psychology, 13, 90–100. Doi:10.1037/a0015108

Vanpamel, W., Vermorgen, M., Deriemaecker, L., & Storms, G. (2015). Are we wasting a good crisis? The availability of psychological research data after the storm. Collabra, 1(1), 1-5. Doi: 10.1525/collabra.13

Wicherts, J. M., Borsboom, D., Kats, J., & Molenaar, D. (2006). The poor availability of psychological research data for reanalysis. American Psychologist, 61(7), 726-728. Doi: 10.1037/0003-066X.61.7.726

feature image: https://en.wikipedia.org/wiki/File:Open_Access_PLoS.svg#file