P-Hacking
পি-হ্যাকিং
একটা 'উল্লেখযোগ্য' (p < 0.05) ফলাফল না পাওয়া পর্যন্ত বারবার বিশ্লেষণ পরিবর্তন করা (ভিন্ন metric, ভিন্ন subgroup, ভিন্ন cutoff) — একটা false positive-কে আসল আবিষ্কার হিসেবে হাজির করার সবচেয়ে সাধারণ (প্রায়ই অনিচ্ছাকৃত) উপায়।
also: Data Dredging, Garden of Forking Paths
p < 0.05 মানে “যদি কোনো real effect না থাকে, তাহলেও এইরকম
ফলাফল দেখার সম্ভাবনা ৫%।” বহু বিশ্লেষণ চালিয়ে যেকোনো একটাতে
এই threshold পার হলেই সেটা রিপোর্ট করলে, প্রকৃত false-positive
rate ৫%-এর অনেক বেশি হয়ে যায় — কারণ আপনি কার্যত বহুবার “লটারি”
খেলেছেন, একবার নয়।
প্রতিষেধক: hypothesis ও বিশ্লেষণ পদ্ধতি data দেখার আগেই pre-register করা, multiple-comparison correction (Bonferroni ইত্যাদি) প্রয়োগ করা, আর confirmatory (hypothesis-testing) বনাম exploratory (hypothesis-generating) বিশ্লেষণ স্পষ্টভাবে আলাদা করে রিপোর্ট করা।