유의확률 만으로 결론을 내는 것은?
통계적 가설검정에서 판정 기준으로 p-value를 사용했습니다. p-value를 이용한 판정은 그동안 많은 연구자들에게 자신의 주장을 지지하는 중요한 수단으로 유용하게 사용하여 p-value 지상주의란 단어까지 등장했습니다. 여기서 가설검정 과정을 다시 한번 생각해 봅시다.
- 실험을 위한 가설을 설정
- 가설을 증명하기 위해 모집단으로부터 표본 추출
- 표본으로부터 영가설이 참이라는 가정하에 검정통계량 계산
- 검정통계량으로 부터 p-value 도출
- 유의수준과 p-value를 비교하여 영가설이 참이라는 가정 채택/기각 여부 결정
- 결론 기술
대부분 3. 이후 과정에 관심을 두고 있지만, 과정 2. 를 먼저 생각해보면 다양한 표본 추출이 가능하지만 이 중 단 하나의 표본(크기는 n)이 무작위로 선택된 것이고 결국 3. 이후 과정은 이번에 추출한 표본으로 부터 관찰한 검정통계량이 영가설이 참이라는 가정에서 충분히 발생할 수 있는 일인지를 판정할 뿐입니다. 이와 같은 상황에서 미국 통계학회(ASA, American Statistical Association)는 2016년 p-value 의 의의와 재현성에 대한 성명을 발표했습니다. 해당 성명은 다음의 6가지 원칙을 담고 있습니다.
- P-value는 특정 통계 모형과 얼마나 호환되는지를 나타낼 수 있습니다.
- P-value는 연구에 사용한 가설이 참일 확률 혹은 무작위로 우연히 생성된 확률을 나타내지 않습니다(척도가 아닙니다).
- 과학적 결론, 사업 또는 정책 결정이 특정 임계값을 벗어나는지에 의해서만 내려져서는 안 됩니다.
- 적절한 추론을 위해 충분한 리포트와 투명성이 필요합니다.
- p-value 또는 통계적 유의성은 효과의 크기나 결과의 중요성을 측정하지 않습니다.
- p-value 자체로 어떤 모델 또는 가설에 대한 증거로써 좋은 척도를 제공하지 않습니다.
이 원칙은 연구자들이 단순히 p-value만으로 과학적 결론을 내리지 말고,전체 과정에 대해 충분히 살피고 모든 과정을 투명하게 나타낼 것을 권고했습니다.