Mendefinisikan Kualitas Artikel Ilmiah

Untuk menilai kualitas sebuah artikel ilmiah, ada 3 dimensi yang perlu dipertimbangkan:

1) Dimensi Ontologis: Kualitas Peer-review (Kualitatif)

Menurut Deklarasi San Francisco butir 15:

“When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.”

“Ketika terlibat dalam komite yang memutuskan tentang pendanaan, perekrutan, peningkatan jabatan, buat penilaian berdasarkan konten ilmiah bukan metrik publikasi.”

2) Dimensi Metodologis-Praktis:

Apabila menggunakan metriks, maka kualitas artikel ilmiah dapat disimpulkan melalui sintesis 3 macam metriks, yakni:

a) Journal-level: Impact Factor, Eigenfactor, SJR, SNIP, CiteScore, h5 Index, Immediacy Index. Ditambah SINTA level (untuk skala nasional)

Kondisi Scimagojr saat ini:

Kuartil (Q) dari ScimagoJR.com dalam hal ini adalah journal level metric, bukan article level metric. Bagi metricians yang menganut bahwa Q merepresentasikan “dampak” sebuah jurnal, wajar sekali bahwa Q tetap berlanjut meski jurnal tidak berlanjut (discontinued) dari Scopus. Analoginya, misalnya, “dampak” sebuah lagu/musik masih berlanjut dan masih dapat di-count meskipun era pertunjukannya sudah berlalu. Hal ini perlu kita pahami secara baik jika hendak menjadikan metrik tingkat jurnal sebagai pengukur kualitas artikel.

Kondisi Web of Science & SINTA saat ini:

ESCI (Emerging Sources Citation Index) & CPCI (Conference Proceedings Citation Index) masuk koleksi core dari Web of Science. Kendati demikian, kinerja yang terindeks ESCI dan CPCI (WoS core collections) belum/tidak di-count (diboboti dengan weight tersendiri) di SINTA.  Tambahan informasi: “Jurnal yang diindeks dalam ESCI tidak akan menerima Faktor Dampak (Impact Factor). Namun, kutipan/sitasi dari ESCI akan dimasukkan dalam jumlah kutipan untuk Laporan Kutipan Jurnal. Dengan demikian, kutipan yang berasal dari ESCI akan berkontribusi pada Faktor Dampak jurnal lainnya. Jika jurnal Anda diindeks dalam ESCI, jurnal itu akan dapat ditemukan di Web of Science dengan jumlah kutipan penuh, informasi penulis dan pengayaan lainnya. Artikel dalam jurnal yang diindeks ESCI akan dimasukkan dalam perhitungan indeks-h penulis. Artikel-artikel itu juga akan diolah dalam analisis yang dilakukan pada data Web of Science atau produk terkait, seperti InCites.”

Sumber gambar: https://xula.libguides.com/c.php?g=850915&p=6096080

Jurnal terindeks Web of Science/Thomson Reuters biasanya terindeks Scopus juga. Ada beberapa perkecualian, seperti: https://www.scirp.org/News/NewsContent.aspx?NewsID=2108

b) Article-level: Altmetrics dan ALM (article-level metrics).

Apa yang diukur Altmetrics?

“They can include (but are not limited to) peer reviews, citations on Wikipedia and in public policy documents, discussions on research blogs, media coverage, bookmarks on reference managers like Mendeley, and mentions on social networks such as Twitter. ”

(Altmetrics dapat memasukkan (tetapi tidak terbatas pada) tinjauan sejawat, kutipan di Wikipedia dan dalam dokumen kebijakan publik, diskusi di blog penelitian, liputan media, bookmark pada pengelola referensi seperti Mendeley, dan kicauan/status/post di jejaring sosial seperti Twitter.)

c) Author-level: h-index author, g-index author

3) Dimensi Aksiologis-Etis: Reprodusibilitas:

“Reproducibility is a fundamental principle of sound scientific methodology. Studies with results that cannot be reproduced by the scientific community are not possible to independently validate and may thus be flawed”

“The editors of Nature and the Nature life sciences research journals have also taken substantive steps to put our own houses in order, in improving the transparency and robustness of what we publish. Journals, research laboratories and institutions and funders all have an interest in tackling issues of irreproducibility.”

“There is great concern that results published in a large fraction of biomedical papers may not be reproducible…. I emphasise the importance of judging the quality of the science itself as opposed to using surrogate metrics.”

Premis yang perlu kita refleksikan bersama adalah:

1) Dimensi ontologis: Penilaian secara kualitatif tidak selalu dapat di-proxy-kan ke metrics.

2) Dimensi metodologis-praktis: Penggunaan metrics perlu dilakukan dengan rumusan yang menangkap kompleksitas sekaligus tiga tingkat (journal, article, author).

3) Dimensi aksiologis-etis: Bagaimana menyikapi temuan studi akhir-akhir ini bahwa reprodusibilitas tidak sama dengan kebenaran ilmiah? “Reproducible scientific results are not always true and true scientific results are not always reproducible”.

Apabila algoritma sintesis ketiga dimensi ini berhasil dirumuskan, maka SINTA akan menjadi yang terdepan di dunia evaluasi kinerja riset.

Artikel ini merupakan draf pertama dari usulan saya dalam Pertemuan Kajian Teoretis Penyusunan Kebijakan Publikasi Ilmiah, pada 11 September 2019, di Jakarta, dengan undangan terlampir di bawah ini.

Penulis: Dr. Juneman Abraham, S.Psi.