«باغِ مسیرهای منشعب» نشان میدهد مجموعهای از انتخابهای وابسته به داده که هر کدام جداگانه قابلدفاعاند میتوانند بدون هیچ p-hacking عمدی نرخِ مثبتِ کاذب را بالا ببرند.
1مسئلهای که حل میکند
مقدارِ p کلاسیک فرض میکند قاعدهٔ تحلیل مستقل از دادهٔ مشاهدهشده از قبل ثابت بوده است. در عمل پژوهشگر حذف، تبدیل، پیامد، تعامل، کنترل و توقف را با دیدنِ الگوها انتخاب میکند. مسیرِ نهایی شاید معقول باشد، اما مجموعهٔ مسیرهای خلافواقعی یعنی نرخِ اسمی دیگر روشِ واقعی را توصیف نمیکند.
2ایدهٔ اصلی
حتی بدون قصدِ تقلب، تحلیلگران انتخابهایی قابل دفاع میکنند که به ظاهرِ اتفاقیِ داده وابسته است. پس آزمون هرگز واقعاً از پیش تعیین نشده بود و نرخِ مثبتِ کاذب بسیار بالاتر از نرخِ اسمی است.
3خاستگاه و زمینه
اندرو گلمان و اریک لوکن اصطلاحِ «باغِ مسیرهای منشعب» را برای جداکردنِ آزادیِ تحلیلی از دستکاریِ عمدیِ آزمونها مشهور کردند. استدلالی ساختاری به سودِ پیشثبت، تحلیلِ چندجهانی و شفافیت است.
4مثالِ کلاسیک
اگر داده جور دیگری بود، پرتهای دیگری را کنار میگذاشتید. همین خلافِ واقع برای شکستنِ آزمون کافی است.
5اعتراضها و پاسخها
اعتراض. اگر هر انتخاب علمی معقول است، چرا باید تحلیل جریمه شود؟
پاسخ. معقولبودنِ هر شاخه توزیعِ نمونهگیریِ اعلامشده را برنمیگرداند وقتی انتخابِ شاخه به داده وابسته است. روشِ استنتاج شامل قاعدهٔ انتخاب هم هست، نه فقط رگرسیونِ نهایی.
اعتراض. پیشثبت برای علمِ اکتشافی بیشازحد سخت است.
پاسخ. اکتشاف ارزشمند است؛ راهحل برچسبگذاری و جداسازی است. آزادانه کشف کنید، اما فرضیهٔ حاصل را تولیدشده بدانید نه تأییدشده، یا روی دادهٔ تازه اعتبارسنجی کنید.
6با اینها اشتباه نگیرید
مسیرهای منشعب و p-hacking
p-hacking معمولاً جستوجوی هدفمند برای معناداری است؛ مسیرهای منشعب میتواند کاملاً با حسننیت از تصمیمهای پاسخگو به داده ایجاد شود.
چندآزمونی و مسیرهای منشعب
اصلاحِ چندآزمونی خانوادهٔ آزمونهای صریح را میگیرد؛ مسیرهای منشعب آزمونهای ضمنیای را هم شامل میشود که اصلاً اجرا نشدند چون انتخابها به مشاهدهٔ قبلی وابسته بودند.
7خطاهای رایج
- دفاع با «فقط یک مدلِ نهایی اجرا کردیم» وقتی مدلهای جایگزین بهصورتِ ضمنی در دسترس بودند.
- فهمِ پیشثبت بهعنوان ممنوعیتِ اکتشاف بهجای راهی برای جداکردنِ اکتشاف و تأیید.
8در کارِ شما
استدلالی برای ثبتِ پیشاپیشِ طرح، حتی وقتی قصدِ تقلب ندارید. حسنِ نیت دفاع نیست، چون این سازوکار نیازی به سوءنیت ندارد.
9خودآزمایی
اگر پیامد کجتر بود آن را لگاریتمی میکردید، اما چون نبود تحلیلِ خام را گزارش کردید. چرا همین تصمیمِ اجرانشده هم ممکن است استنتاج را متاثر کند؟
نمایش پاسخ
چون قاعدهٔ تحلیل به دادهٔ مشاهدهشده وابسته بود. شاخهٔ خلافواقعی بخشی از روش است و مقدارِ p برای تحلیلِ خامِ ازپیشثابت کلِ فرایندِ انتخاب را توصیف نمیکند.