Mengapa kita tidak boleh langsung percaya pada siapapun yang berargumen dengan 'paper ilmiah'?

Belakangan, banyak kita jumpai paper atau jurnal ilmiah digunakan untuk mendukung suatu argumen di medsos ("Saya punya metode baru untuk menyembuhkan covid lho. Gak percaya? nih ada jurnalnya"). Benarkah demikian?

Pesan singkat: Berhati-hatilah dengan mereka yang menggunakan jurnal untuk mendukung argumen. Berikut uraiannya:

"In God we trust. All the others must bring data"

1. Baca dengan teliti jurnal tersebut dari awal sampai akhir dan pastikan Anda memahami konten dan konteksnya. Banyak lo yang ngasih jurnal dengan judul mentereng berikut posting panjang tentang argumennya, dan ternyata isi jurnalnya ternyata BERKEBALIKAN dari yang disampaikan. Ada? banyak. Ngutip jurnal di medsos bisa dipake buat kelihatan jadi ahlinya ahli
2. Ada berbagai macam publikasi ilmiah. Periksa dulu apakah publikasi tersebut adalah paper untuk conference, jurnal preprint, jurnal ilmiah tanpa indeks, jurnal ilmiah terindeks, jurnal dengan peer review, atau bahkan jurnal komunitas (more on this later)
3. Tidak semua jurnal bermutu. banyak jurnal yang sifatnya predator. Semua artikel akan dipublikasi begitu saja tanpa cek. Yang penting penulis bayar. Semua senang (kecuali para ilmuan beneran)
4. Jurnal ilmiah yang terindeks pun memiliki berbagai tingkatan. Sebuah jurnal bermutu akan memiliki audiens yang sangat luas untuk para ahli di bidangnya (siapa yang tidak kenal Nature ?). Semakin banyak ahli yang membaca, meneliti dan mereproduksi suatu metode yang disampaikan di jurnal, maka dapat dikatakan metode (baru) yang disampaikan tersebut lolos uji. INDEKS pada sebuah jurnal mewakili nilai ini.
5. Ada jurnal yang sifatnya untuk mewadahi penelitian yang dilakukan oleh satu komunitas atau profesi tertentu. Ini adalah yang paling sering kita jumpai pada kasus pseudoscience. Datanya 'wah', metodenya menarik, kesimpulannya apalagi. Bahkan jurnalnya mengklaim Peer Review! Tetapi setelah kita teliti, metodenya tidak bisa direproduksi oleh peneliti di luar komunitasnya sehingga kebenarannya tidak bisa diverifikasi (misalnya, melalui ' anecdotal evidences '). Paper di satu jurnal itu ditulis untuk menguatkan argumen komunitasnya dengan mensitasi paper-paper serupa. Journal of Chiropractic Medicine adalah satu contoh menarik (for a start, cek the Wikipedia article on Chiropractic ).
6. Tidak semua paper pada jurnal bebas kepentingan. Kita dapat jumpai paper yang digunakan untuk mendukung pihak tertentu dalam sebuah sengketa, atau untuk menjual produk tertentu. Meskipun menyakitkan untuk menyatakan ini, tetapi ada juga peneliti yang dibayar untuk mempublikasi sesuatu yang sesuai dengan produk perusahaan X. This is Snake Oil Marketing 101.
7. Juga barangkali sulit dipahami, tetapi jurnal bukan kata final dalam sains. Jurnal menggambarkan proses kreatif penemuan ilmiah yang terus berubah, sehingga kita dapat jumpai banyak paper yang telah dipublikasi (bahkan di jurnal peer-reviewed) kemudian ditarik (redacted) karena ternyata melanggar prinsip-prinsip ilmiah, misalnya metode yang tidak dapat direproduksi (diulang oleh peneliti lain), data yang bermasalah, percobaan yang tertutup, pelanggaran etika riset, dan lain sebagainya. Buktinya, redaction dua jurnal yang populer belakangan ini: Khasiat Ivermectin dan Jurnal masker berbahaya untuk anak
8. Bahkan proses peer-review pun ada tingkatannya. Reviewer mungkin akan berbaik hati pada peneliti yang berasal dari kampus yang sama, atau paper koleganya. Mangkanya, di dunia penelitian dikenal istilah double-blind peer review, untuk memastikan reviewer dan yang direview tidak saling kenal

Tujuan utama jurnal adalah menguji kebaruan dalam sains, bukan sekedar untuk publikasi hal baru. Oleh karena itu, metode, data dan hasil penelitian pada jurnal perlu disampaikan sedemikian rupa agar peneliti lain dapat mereproduksi kebaruan tersebut sebelum menjadi suatu ilmu yang established. Pseudoscience banyak mengambil ranah abu-abu ini dan menjualnya kepada masyarakat yang awam dengan proses ilmiah melalui serangkaian kata-kata berbau ilmiah (You won't believe how many pseudosciences you are practicing at the moment)

Pun demikian, proses publikasi sebuah jurnal bisa memakan waktu yang sangat lama (bahkan bertahun-tahun), karena berbagai pengujian perlu dilakukan pada metode yang disampaikan. Paham kan kenapa saya selalu koreksi plagiasi di Skripsi kalian? Sarjana harus punya kemampuan berpikir kritis dan ilmiah, wong yang bergelar profesor aja bisa kemakan hoaks kok . That being said, lebih hati-hati lagi dengan sosial media. Begitu banyak klaim palsu dari mereka yang mengaku peneliti beneran, tetapi ternyata memposting sesuatu yang bukan di bidang keahliannya. Juga, pastikan orang yang mempostingnya benar-benar memiliki keahlian yang teruji. Pada bidang kesehatan, misalnya, dikenal Board Certification. Hanya karena yang posting dokter, belum tentu informasinya bebas hoak.

Karenanya, hati-hatilah dengan mereka yang membawa jurnal pada sebuah argumen di medsos. Proses verifikasi jurnal cukup panjang dan memerlukan keilmuan khusus untuk membandingkan satu paper dengan paper lain, atau paper dengan teksbook, antara satu teori dengan teori lain. Jurnal ilmiah tidak seharusnya menjadi konsumsi awam. Selalu konsultasikan dengan ahli, dan selalu bandingkan second opinion. Hati-hatilah dengan Confirmation Bias: cenderung membenarkan suatu pendapat ketika pendapat tersebut sesuai dengan kepercayaannya selama ini, atau pendapat kelompoknya:

Physicist Richard Feynman once said, “The first principle is that you must not fool yourself, and you are the easiest person to fool.” One way we fool ourselves is by imagining we know more than we do; we think we are experts. (from Hidden Brain )

Terakhir, Anda tidak harus percaya dengan tulisan ini. Be critical. Be VERY critical.

Trust, but verify