A non-expert should judge experts indirectly—by argument quality, peer agreement, independent credentials, incentives, and track record—rather than pretending to re-do the expert analysis.
1The problem it solves
Modern knowledge is specialized. On most technical questions, a novice cannot directly evaluate the core evidence without becoming an expert. Social epistemology therefore needs second-order criteria for deciding whom to trust when qualified people disagree or when credentials alone are not enough.
2The idea
Goldman's question: when two experts disagree and you cannot assess the substance, what can a novice legitimately go on? He gives five criteria.
The quality of the arguments each presents. The agreement of other experts. Independent evidence that each is genuinely expert. Interests and biases that might distort them. And their track record of past claims that later resolved.
The last is by far the hardest to fake and by far the least often checked.
3Origin & context
Alvin Goldman’s work on expertise gives a prominent framework for novice assessment. The syllabus highlights five practical criteria: quality of arguments accessible to the novice, agreement among other experts, independent evidence of expertise, interests and biases, and track record.
4Canonical example
Two economists disagree about a policy. You cannot referee the models — but you can check whether either has ever made a dated, checkable prediction.
5Objections & replies
Objection. A novice often cannot judge argument quality without already knowing the field, so the criteria seem circular.
Reply. The criteria are deliberately redundant. When direct argument assessment is weak, the novice can rely more on peer recognition, externally verifiable accomplishments, forecast record, and conflict-of-interest structure. No single proxy is sufficient.
Objection. Consensus can be socially produced by shared training, incentives, or one common source, so expert agreement may be fake independence.
Reply. Correct. Agreement is evidential only after tracing dependence. A hundred experts citing the same dataset or model family do not provide a hundred independent confirmations. Genealogy and diversity of methods matter.
6Don't confuse it with
Expertise and authority
Expertise is domain-specific competence or reliable performance. Authority can be institutional power to decide. An authority outside the relevant domain may have little epistemic weight.
Credentials and track record
Credentials are ex ante evidence of training; track record is outcome evidence. Each can fail independently, and neither should be treated as a magic stamp.
7Common mistakes
- Evaluating an expert mainly by rhetorical fluency or confidence.
- Counting agreement without checking whether experts share the same upstream source, method, or incentive.
8In your work
Directly usable, today. Also note the second criterion is the one most vulnerable to information cascades, so apparent consensus needs its independence checked before it counts.
9Check yourself
Two PhDs disagree on a specialized issue you cannot technically referee. One publishes transparent forecasts with a good dated record; the other has a stronger title but no checkable history. Which Goldman-style evidence favors the first?
Show answer
Track record and independently assessable performance. Titles still matter as evidence of training, but when direct evaluation is unavailable a public record of successful, checkable judgments is powerful second-order evidence.
غیرمتخصص باید متخصصان را غیرمستقیم داوری کند — با کیفیتِ استدلال، توافقِ همتایان، نشانههای مستقلِ تخصص، انگیزهها و کارنامه — نه با وانمودکردن به اینکه خودش تحلیلِ تخصصی را از نو انجام میدهد.
1مسئلهای که حل میکند
دانشِ مدرن تخصصی است. در بیشترِ مسائلِ فنی، تازهکار نمیتواند شاهدِ اصلی را مستقیماً ارزیابی کند مگر اینکه خودش متخصص شود. معرفتشناسیِ اجتماعی بنابراین به معیارهای مرتبهٔ دوم نیاز دارد تا هنگامِ اختلافِ متخصصان یا ناکافیبودنِ مدرک بدانیم به چه کسی اعتماد کنیم.
2ایدهٔ اصلی
پرسشِ گلدمن: وقتی دو متخصص اختلاف دارند و شما نمیتوانید محتوا را بسنجید، غیرمتخصص بهدرستی بر چه چیزی میتواند تکیه کند؟ او پنج معیار میدهد.
کیفیتِ استدلالهایی که هر یک ارائه میکند. توافقِ سایر متخصصان. شواهدِ مستقل بر اینکه هر یک واقعاً متخصص است. منافع و سوگیریهایی که ممکن است آنان را منحرف کند. و کارنامهٔ ادعاهای گذشتهشان که بعداً معلوم شد درست یا غلط بودند.
آخری بسیار سختتر از بقیه جعلشدنی است و بسیار کمتر از بقیه بررسی میشود.
3خاستگاه و زمینه
کارِ آلوین گلدمن دربارهٔ تخصص چارچوبِ مهمی برای ارزیابیِ متخصص توسط تازهکار میدهد. برنامهٔ شما پنج معیارِ عملی را برجسته میکند: کیفیتِ استدلالِ قابلدسترسی، توافقِ دیگر متخصصان، شاهدِ مستقلِ تخصص، منافع و سوگیریها، و کارنامه.
4مثالِ کلاسیک
دو اقتصاددان دربارهٔ سیاستی اختلاف دارند. نمیتوانید میان مدلها داوری کنید — اما میتوانید ببینید آیا هیچیک تا کنون پیشبینیِ تاریخدار و قابل بررسی کرده است یا نه.
5اعتراضها و پاسخها
اعتراض. تازهکار اغلب بدون دانشِ رشته نمیتواند کیفیتِ استدلال را بسنجد؛ پس معیارها دوریاند.
پاسخ. معیارها عمداً افزونهاند. وقتی ارزیابیِ مستقیم ضعیف است، تازهکار میتواند بیشتر به شناساییِ همتایان، دستاوردِ قابلراستیآزمایی، کارنامهٔ پیشبینی و ساختارِ تعارضِ منافع تکیه کند. هیچ نمایندهٔ واحدی کافی نیست.
اعتراض. اجماع میتواند محصولِ آموزشِ مشترک، انگیزه یا یک منبعِ واحد باشد؛ پس توافقِ متخصصان ممکن است استقلالِ جعلی باشد.
پاسخ. درست است. توافق فقط پس از ردیابیِ وابستگی ارزشِ شاهدی دارد. صد متخصص که همان داده یا خانوادهٔ مدل را تکرار میکنند صد تأییدِ مستقل نمیسازند. تبارِ منبع و تنوعِ روش مهم است.
6با اینها اشتباه نگیرید
تخصص و اقتدار
تخصص شایستگی یا عملکردِ قابلاعتماد در یک حوزه است. اقتدار میتواند قدرتِ نهادی برای تصمیم باشد. مقامِ خارج از حوزه وزنِ معرفتیِ کمی دارد.
مدرک و کارنامه
مدرک شاهدِ پیشینیِ آموزش است؛ کارنامه شاهدِ پیامدی است. هر یک میتواند مستقل از دیگری شکست بخورد و هیچکدام مهرِ جادویی نیست.
7خطاهای رایج
- داوریِ متخصص عمدتاً با روانیِ سخن یا اعتمادبهنفس.
- شمردنِ توافق بدون بررسیِ اینکه متخصصان یک منبع، روش یا انگیزهٔ بالادستیِ مشترک دارند یا نه.
8در کارِ شما
همین امروز قابل استفاده است. توجه کنید معیارِ دوم بیش از همه در برابر آبشارهای اطلاعاتی آسیبپذیر است، پس پیش از آنکه اجماعِ ظاهری بهحساب بیاید باید استقلالش بررسی شود.
9خودآزمایی
دو دارندهٔ دکترا در موضوعی تخصصی اختلاف دارند و شما توانِ داوریِ فنی ندارید. یکی پیشبینیهای شفاف با کارنامهٔ تاریخدار دارد؛ دیگری عنوانِ قویتر اما سابقهٔ قابلبررسی ندارد. کدام شاهدِ گلدمنی به نفع اولی است؟
نمایش پاسخ
کارنامه و عملکردِ مستقلِ قابلسنجش. عنوان هنوز شاهدی از آموزش است، اما وقتی ارزیابیِ مستقیم ممکن نیست سابقهٔ عمومیِ داوریهای موفق و قابلبررسی شاهدِ مرتبهٔ دومِ نیرومندی است.