Publication bias makes the visible literature a selected sample: positive, novel, and statistically significant findings are more likely to enter the record than null or messy results.
1The problem it solves
Even if every individual study is honestly run, selective visibility can make a weak or nonexistent effect look robust. The epistemic unit is therefore not just the published paper but the process deciding which completed studies become observable. File drawers, selective outcomes, and journal incentives distort apparent replication rates and effect sizes.
2The idea
Null results are less likely to be written up and less likely to be accepted, so the published literature systematically over-represents positive findings.
3Origin & context
Robert Rosenthal’s “file drawer problem” gave the classic label, though concerns about selective publication are older. Meta-research now studies publication bias with registered reports, trial registries, funnel plots, selection models, and other tools.
4Canonical example
Twenty studies run, two reach significance, two get published. The literature shows a 100% success rate.
5Objections & replies
Objection. Modern preregistration and registries have largely solved the problem.
Reply. They reduce it where compliance and coverage are strong, but selective analysis, outcome switching, nonpublication, and older literatures remain. Registered reports attack the incentive more directly by reviewing before results are known.
Objection. Funnel-plot symmetry can detect publication bias, so adjustment is straightforward.
Reply. Funnel asymmetry has multiple causes and low power; statistical corrections rely on assumptions about selection. They are diagnostics and sensitivity tools, not magical recovery of missing studies.
6Don't confuse it with
Publication bias vs. p-hacking
Publication bias selects which results become visible; p-hacking changes the analysis to obtain favorable results. They can reinforce each other.
Publication bias vs. survivorship bias
Publication bias is a domain-specific selection process in research communication; survivorship bias is the broader error of analyzing only units that remain observable.
7Common mistakes
- Interpreting consistency among published studies without asking how many null studies were never seen.
- Treating a meta-analysis as automatically unbiased merely because it combines many papers.
8In your work
Any literature review is a biased sample unless you have actively searched the file drawer. Treat “the evidence consistently shows” with the suspicion it has earned.
9Check yourself
Twenty teams test an effect; two get p<0.05 and publish, eighteen null studies disappear. What does the published literature falsely suggest?
Show answer
A 100% visible success rate and inflated evidence for the effect, even though the pattern is exactly what chance could generate under selective publication.
سوگیریِ انتشار ادبیاتِ قابلمشاهده را به نمونهای انتخابشده تبدیل میکند: یافتهٔ مثبت، تازه و معنادارِ آماری احتمالِ بیشتری دارد واردِ سابقه شود تا نتیجهٔ صفر یا نامرتب.
1مسئلهای که حل میکند
حتی اگر تکتکِ پژوهشها صادقانه اجرا شوند، انتخاب در دیدهشدن میتواند اثرِ ضعیف یا صفر را قوی جلوه دهد. واحدِ معرفتی فقط مقالهٔ چاپشده نیست، بلکه فرایندی است که تعیین میکند کدام مطالعهٔ کاملشده قابلمشاهده شود. کشوی فایل، انتخابِ پیامد و انگیزهٔ مجله نرخِ تکرار و اندازهٔ اثر را منحرف میکنند.
2ایدهٔ اصلی
نتایجِ صفر کمتر نوشته میشوند و کمتر پذیرفته میشوند، پس ادبیاتِ منتشرشده بهطور نظاممند یافتههای مثبت را بیش از حد بازمینمایاند.
3خاستگاه و زمینه
رابرت روزنتال اصطلاحِ کلاسیکِ «مسئلهٔ کشوی فایل» را مشهور کرد، هرچند نگرانی قدیمیتر است. فراتحقیق امروز با گزارشِ ثبتشده، ثبتِ کارآزمایی، نمودارِ قیفی، مدلِ انتخاب و ابزارهای دیگر آن را بررسی میکند.
4مثالِ کلاسیک
بیست پژوهش انجام میشود، دو تا معنادار میشود، دو تا منتشر میشود. ادبیات نرخِ موفقیتِ صد درصدی نشان میدهد.
5اعتراضها و پاسخها
اعتراض. پیشثبت و رجیستریِ جدید مشکل را تا حد زیادی حل کردهاند.
پاسخ. جایی که پوشش و تبعیت قوی باشد کاهش میدهند، اما انتخابِ تحلیل، تغییرِ پیامد، عدمِ انتشار و ادبیاتِ قدیمی باقی است. گزارشِ ثبتشده انگیزه را پیش از دانستنِ نتیجه هدف میگیرد.
اعتراض. عدمِ تقارنِ قیف سوگیری را تشخیص میدهد، پس اصلاح ساده است.
پاسخ. عدمِ تقارن علتهای مختلف دارد و توانِ کمی دارد؛ اصلاحهای آماری به فرضِ انتخاب وابستهاند. ابزارِ تشخیص و حساسیتاند، نه بازیابیِ جادوییِ مطالعاتِ گمشده.
6با اینها اشتباه نگیرید
سوگیریِ انتشار و p-hacking
انتشار تعیین میکند کدام نتیجه دیده شود؛ p-hacking تحلیل را برای نتیجهٔ مطلوب تغییر میدهد. میتوانند همدیگر را تقویت کنند.
سوگیریِ انتشار و سوگیریِ بقا
انتشار نوعی انتخابِ خاص در ارتباطِ علمی است؛ بقا مفهومِ گستردهترِ تحلیلِ فقط واحدهای باقیمانده است.
7خطاهای رایج
- دیدنِ سازگاریِ مقالههای منتشرشده بدون پرسش از تعدادِ نتایجِ صفرِ ناپدیدشده.
- فرضِ اینکه فراتحلیل چون مقالههای زیادی را جمع کرده خودکار بیسوگیری است.
8در کارِ شما
هر مرور ادبیات نمونهای سوگیرانه است مگر آنکه فعالانه در «کشوی بایگانی» جسته باشید. با جملهٔ «شواهد بهطور یکسان نشان میدهد» با همان بدگمانیای برخورد کنید که سزاوارش است.
9خودآزمایی
بیست تیم اثر را میآزمایند؛ دو تیم p<0.05 میگیرند و چاپ میکنند و هجده نتیجهٔ صفر ناپدید میشود. ادبیاتِ چاپشده چه تصورِ کاذبی میسازد؟
نمایش پاسخ
نرخِ موفقیتِ مشاهدهشدهٔ ۱۰۰٪ و شاهدِ اغراقشده برای اثر، در حالی که همین الگو میتواند فقط از شانس و انتخابِ انتشار بیاید.