سوگیریِ انتشار ادبیاتِ قابلمشاهده را به نمونهای انتخابشده تبدیل میکند: یافتهٔ مثبت، تازه و معنادارِ آماری احتمالِ بیشتری دارد واردِ سابقه شود تا نتیجهٔ صفر یا نامرتب.
1مسئلهای که حل میکند
حتی اگر تکتکِ پژوهشها صادقانه اجرا شوند، انتخاب در دیدهشدن میتواند اثرِ ضعیف یا صفر را قوی جلوه دهد. واحدِ معرفتی فقط مقالهٔ چاپشده نیست، بلکه فرایندی است که تعیین میکند کدام مطالعهٔ کاملشده قابلمشاهده شود. کشوی فایل، انتخابِ پیامد و انگیزهٔ مجله نرخِ تکرار و اندازهٔ اثر را منحرف میکنند.
2ایدهٔ اصلی
نتایجِ صفر کمتر نوشته میشوند و کمتر پذیرفته میشوند، پس ادبیاتِ منتشرشده بهطور نظاممند یافتههای مثبت را بیش از حد بازمینمایاند.
3خاستگاه و زمینه
رابرت روزنتال اصطلاحِ کلاسیکِ «مسئلهٔ کشوی فایل» را مشهور کرد، هرچند نگرانی قدیمیتر است. فراتحقیق امروز با گزارشِ ثبتشده، ثبتِ کارآزمایی، نمودارِ قیفی، مدلِ انتخاب و ابزارهای دیگر آن را بررسی میکند.
4مثالِ کلاسیک
بیست پژوهش انجام میشود، دو تا معنادار میشود، دو تا منتشر میشود. ادبیات نرخِ موفقیتِ صد درصدی نشان میدهد.
5اعتراضها و پاسخها
اعتراض. پیشثبت و رجیستریِ جدید مشکل را تا حد زیادی حل کردهاند.
پاسخ. جایی که پوشش و تبعیت قوی باشد کاهش میدهند، اما انتخابِ تحلیل، تغییرِ پیامد، عدمِ انتشار و ادبیاتِ قدیمی باقی است. گزارشِ ثبتشده انگیزه را پیش از دانستنِ نتیجه هدف میگیرد.
اعتراض. عدمِ تقارنِ قیف سوگیری را تشخیص میدهد، پس اصلاح ساده است.
پاسخ. عدمِ تقارن علتهای مختلف دارد و توانِ کمی دارد؛ اصلاحهای آماری به فرضِ انتخاب وابستهاند. ابزارِ تشخیص و حساسیتاند، نه بازیابیِ جادوییِ مطالعاتِ گمشده.
6با اینها اشتباه نگیرید
سوگیریِ انتشار و p-hacking
انتشار تعیین میکند کدام نتیجه دیده شود؛ p-hacking تحلیل را برای نتیجهٔ مطلوب تغییر میدهد. میتوانند همدیگر را تقویت کنند.
سوگیریِ انتشار و سوگیریِ بقا
انتشار نوعی انتخابِ خاص در ارتباطِ علمی است؛ بقا مفهومِ گستردهترِ تحلیلِ فقط واحدهای باقیمانده است.
7خطاهای رایج
- دیدنِ سازگاریِ مقالههای منتشرشده بدون پرسش از تعدادِ نتایجِ صفرِ ناپدیدشده.
- فرضِ اینکه فراتحلیل چون مقالههای زیادی را جمع کرده خودکار بیسوگیری است.
8در کارِ شما
هر مرور ادبیات نمونهای سوگیرانه است مگر آنکه فعالانه در «کشوی بایگانی» جسته باشید. با جملهٔ «شواهد بهطور یکسان نشان میدهد» با همان بدگمانیای برخورد کنید که سزاوارش است.
9خودآزمایی
بیست تیم اثر را میآزمایند؛ دو تیم p<0.05 میگیرند و چاپ میکنند و هجده نتیجهٔ صفر ناپدید میشود. ادبیاتِ چاپشده چه تصورِ کاذبی میسازد؟
نمایش پاسخ
نرخِ موفقیتِ مشاهدهشدهٔ ۱۰۰٪ و شاهدِ اغراقشده برای اثر، در حالی که همین الگو میتواند فقط از شانس و انتخابِ انتشار بیاید.