کالیبراسیون میپرسد آیا رویدادهایی که به آنها احتمالِ p میدهید در مجموعهای از پیشبینیهای مشابه تقریباً p درصدِ مواقع رخ میدهند.
1مسئلهای که حل میکند
در غیر این صورت اطمینان سخت قابلحسابرسی است. کالیبراسیون احتمالِ ذهنی را به کارنامه تبدیل میکند: از پیشبینیهای ۷۰٪ تقریباً هفتدهم باید درست شوند. به این ترتیب بیشاطمینانی و کماطمینانی اندازهگیری و آموزشپذیر میشوند، نه برچسبِ شخصیتی.
2ایدهٔ اصلی
پیشبینیکنندهٔ کالیبره کسی است که پیشبینیهای ۷۰ درصدیاش حدود ۷۰ درصد مواقع درست از آب درمیآید. کالیبراسیون قابل اندازهگیری است — نمرهٔ برایر و نمرهٔ لگاریتمی هر دو این کار را میکنند — و آموختنی است، و همین یافته است که این موضوع را از تزئین به کاربرد بدل میکند.
توجه کنید که کالیبراسیون با دقت یکی نیست. میتوانید با گفتنِ «۵۰ درصد» به همهچیز کاملاً کالیبره باشید. آنچه میخواهید کالیبراسیون بهعلاوهٔ تفکیکپذیری است: پیشبینیهای قاطعی که درست درمیآیند.
3خاستگاه و زمینه
امتیازِ بریر که گلن بریر معرفی کرد پیشبینیِ احتمالی را با خطای مربعی میسنجد؛ پژوهشِ پیشبینی با نامِ فیلیپ تتلاک آموزشِ کالیبراسیون و امتیازدهی را مشهور کرده است. کالیبراسیون فقط یک بُعدِ کیفیتِ پیشبینی است و معمولاً در کنار تفکیک یا قدرتِ تمایز سنجیده میشود.
4مثالِ کلاسیک
پیشبینیکنندهای که ۹۰ درصد میگوید و ۶۰ درصد مواقع درست است، به اندازهای قابل اندازهگیری و قابل اصلاح، بیشاطمینان است.
5اعتراضها و پاسخها
اعتراض. پیشبینیکننده میتواند با گفتنِ همیشگیِ نرخِ پایه — مثلاً ۵۰٪ برای همهچیز — کاملاً کالیبره اما بیفایده باشد.
پاسخ. دقیقاً. کالیبراسیون برای پیشبینیِ احتمالیِ خوب لازم است اما کافی نیست. تفکیک مهم است: پیشبینیکنندهٔ خوب مواردِ آسان و سخت را جدا و وقتی شاهد ایجاب میکند احتمال را از نرخِ پایه دور میکند.
اعتراض. نمونهٔ کوچک کژکالیبراسیونِ ظاهری را پرنویز میکند؛ چند پیشبینیِ ۹۰٪ میتواند اتفاقاً همه شکست بخورد یا همه درست شود.
پاسخ. کالیبراسیون باید روی تعدادِ کافی از پیشبینیهای قابلمقایسه و با عدمِقطعیت دربارهٔ منحنیِ کالیبراسیون سنجیده شود. شگفتیِ منفرد اثباتِ کژکالیبراسیون نیست؛ انحرافِ نظاممند در کارنامه هست.
6با اینها اشتباه نگیرید
کالیبراسیون و دقت
دقت میپرسد نتیجهٔ منفرد درست بود یا نه؛ کالیبراسیون میپرسد سطوحِ احتمالِ اعلامشده با فراوانیِ بلندمدت میخوانند یا نه. پیشبینیِ ۶۰٪ میتواند خوب کالیبره باشد حتی اگر همین مورد شکست بخورد.
کالیبراسیون و تفکیک
پیشبینیکنندهٔ کالیبره میتواند بیش از حد محتاط و کماطلاع باشد. تفکیک میسنجد آیا پیشبینیها واقعاً مواردِ پرخطر را از کمخطر جدا میکنند.
7خطاهای رایج
- «غلط» نامیدنِ پیشبینیِ احتمالی فقط چون نتیجهٔ کماحتمال رخ داد.
- ادعای کالیبراسیون با چند پیشبینی بدون مشاهداتِ کافی در سطوحِ احتمالِ مشابه.
8در کارِ شما
پرثمرترین عادتِ در دسترس: هفتهای سه تا پنج پیشبینی با احتمالِ صریح و تاریخِ تعیینِ نتیجه ثبت کنید و فصلی نمره بدهید. هیچ چیز دیگری در این نقشه به این اطمینان داوریِ شما را بهتر نمیکند.
9خودآزمایی
از ۱۰۰ پیشبینیِ برچسبخورده با ۸۰٪، فقط ۵۵ مورد درست میشوند. تشخیصِ اصلی چیست؟
نمایش پاسخ
بیشاطمینانیِ نظاممند در آن سطح: رویدادهای ۸۰٪ فقط حدود ۵۵٪ رخ دادهاند. هنوز ترکیبِ نمونه و قدرتِ تفکیک را بررسی میکنید، اما شکافِ کالیبراسیون مستقیم اندازهگیری میشود.