Nilai p memberi tahu Anda apakah perbedaan antara dua kelompok kemungkinan besar nyata dan bukan gangguan acak. Ia tidak mengatakan apa pun tentang seberapa besar perbedaannya. Ukuran efek - yang paling umum adalah Cohen's d - mengisi kesenjangan tersebut dengan menempatkan ukuran perbedaan pada skala yang terstandarisasi dan dapat dibandingkan. Panduan ini menjelaskan cara penghitungan d Cohen, alasan deviasi standar dikumpulkan, dan kapan harus mencapai g Hedges. Interval kepercayaan merupakan perkiraan. Label gaya Cohen adalah konvensi referensi kasar, bukan standar universal yang penting secara praktis. Hasil mengasumsikan pengamatan independen, standar deviasi sampel, skala yang sebanding, dan perkiraan hasil yang berkelanjutan; data berpasangan, varians yang sangat tidak setara, hasil yang miring, atau data ordinal memerlukan metode yang sesuai dengan desain tersebut. Metode ini mengikuti Cohen (1988) dan Hedges dan Olkin (1985).
D Cohen vs. nilai p
Nilai p menjawab "mungkinkah perbedaan ini terjadi secara kebetulan?" — ini adalah pernyataan tentang signifikansi statistik, dan sangat bergantung pada ukuran sampel. Dengan sampel yang cukup besar, bahkan perbedaan yang kecil dan praktis tidak berarti dapat menghasilkan nilai p yang kecil. Cohen's d menjawab pertanyaan yang berbeda: "seberapa besar perbedaan ini, sehingga tidak bergantung pada berapa banyak orang yang terlibat dalam penelitian ini?" A d sebesar 0,1 tetap d sebesar 0,1 apakah penelitian tersebut memiliki 20 peserta atau 20.000. Melaporkan keduanya secara bersamaan — signifikansi statistik dan ukuran dampak — memberikan gambaran lengkap: apakah dampaknya nyata, dan apakah itu penting?
Mengapa menyatukan standar deviasi
Cohen's d membakukan perbedaan rata-rata mentah dengan membaginya dengan deviasi standar, sehingga hasilnya dinyatakan dalam "berapa banyak deviasi standar yang terpisah" dan bukan dalam satuan aslinya (poin, dolar, milidetik). Karena dua kelompok independen dapat mempunyai standar deviasi yang berbeda, Cohen's d menggunakan standar deviasi gabungan — rata-rata tertimbang dari penyebaran kedua kelompok, dengan kontribusi masing-masing kelompok ditimbang berdasarkan ukuran sampelnya (khususnya, n − 1, derajat kebebasannya). Hal ini mengasumsikan variabilitas mendasar kedua kelompok cukup mirip; jika penyebaran suatu kelompok jauh lebih besar dibandingkan kelompok lainnya, beberapa peneliti lebih memilih delta Glass, yang hanya membagi deviasi standar kelompok kontrol saja, bukan angka gabungan.
Kapan menggunakan Hedges' g dan bukannya d
Cohen's d memiliki bias sampel yang kecil — ia cenderung sedikit melebih-lebihkan ukuran efek populasi sebenarnya ketika sampelnya kecil. Hedges' g menerapkan faktor koreksi, selalu sedikit kurang dari 1, yang menyusutkan d menuju nol sebagai kompensasinya. Koreksi terbesar terjadi pada sampel kecil dan menyusut menuju nol seiring dengan bertambahnya ukuran sampel gabungan melewati sekitar 50, yang mana titik d dan g hampir identik. Sebagai aturan praktis: laporkan Hedges' g alih-alih, atau bersamaan dengan, Cohen's d setiap kali salah satu kelompok memiliki kurang dari sekitar 20 observasi, hal ini biasa terjadi dalam studi percontohan dan uji klinis skala kecil.