# Content > [!warning] 장기적 예측은 전문가와 통계적 방법 양 측에서 절대적으로 실패했다. > [!tip] 강한 확신을 정확성으로 해석하면 안 된다. 오히려 낮은 확신이 더 유익할 수 있다. "우리는 지식의 한계 예상 수확 체감 지점에 순식간에 도달한다." - 테틀록 > [!info] 적절한 평가절차 > 1. 필요한 특성을 최대 6개 까지 산출한다(신뢰성, 전문성 등등...) > - 각 특성은 서로 별개여야 한다. > - 몇 가지 사실적 질문을 던져 그 특성에 대한 평가가 가능해야 한다. > 2. 특성의 목록과 범위를 작성한다. ex) 1~5 > 3. 심사관이 '부러진 다리'이론을 이용하지 않도록, 최종적인 결정 권한이 없어야 한다. 공식을 적용할 수 있는 경우 객관이 직관을 능가한다. - 임상 예측 대 통계 예측: 이론 분석과 증거 검토[^1]를 참조할 때 전문가 집단의 예측은 통계적 방법에 의한 예측보다 크게 정확도가 떨어졌으며, 오히려 그보다 못한 아마추어 집단의 예측이 그보다 높은 정확도를 보인다. - 전문가의 직관이 가치를 발휘한 예시에서 역시 위의 적절한 평가절차로 객관적 지표를 산출한 뒤에야 효과가 있는 것으로 나타난다. 본서에서는 개별 특성 중 하나로 '눈을 감은' 직관적 평가를 추가했으며, 다른 특성과 똑같은 비중을 두었다. 견해의 유용성은 전문성 그 자체보다 선험적 요인을 적용할 수 있는 환경인지의 여부가 더 높은 우선 순위를 가진다. 타당성이 낮거나 장기적 예측인 경우 오히려 기존의 정보를 확대 해석하여 가중치를 잘못 부여할 가능성이 훨씬 높다. **예측해야 할 범위와 기간을 축소하라.** 전문가의 예측을 신용할 수 있는 경우와 범위는 [[진짜 전문가와 재인 기반 결정]]에서 추가적으로 논하겠다. - - - ## Reference - [[스토리 수집하기]] - [[요구사항 그물질하기]] - [[가치높은 일만 하기]] - 생각에 관한 생각 - [[@FIREFIGHTING BY KNOWLEDGE WORKERS]] - 부적절한 선형 모형이 결정에 기여하는 강력한 장점[^2] - - - [^1]: Clinical vs. Statistical Prediction: A Theoretical Analysis and a Review of the Evidence [^2]:The Robust Beauty of Improper Linear Models in decision Making