통계적으로 유의미하다는 뜻이 무슨 뜻인가요? (통계학 관련 지식 공부)

안녕하세요.

'통계적으로 유의미하다'는 말은... 음 원래 이해하기가 어렵습니다 ㅎㅎ  실제로 통계 전공자분들도 이 개념에 대해서 완벽하게 설명하지 못하는 경우가 많더라구요.  사실 이 개념을 이해하기 위해서는 귀무가설이 무엇인지, 중심극한정리가 무엇인지... 등등 사전에 알아야 하는 배경지식이 많거든요 ㅠㅜ  짧은 시간 내에 이해하기 어려운 개념이라서, 너무 조급해하지 않으셔도 될 것 같아요.

통계에 대한 기본 개념을 잡는 가장 좋은 방법은, 대학교 통계학 개론 강의/책을 기반으로 공부하는 거라고 생각합니다.  최근에는 유튜브에도 관련 개념들을 설명한 좋은 강의들이 많아지고 있는데 아래 링크를 참고해보시면 도움이 될 것 같습니다.

https://www.youtube.com/watch?v=5Xke4ao1g9E

https://www.youtube.com/watch?v=k1-GLghpt_o

여기서 모두 설명드리기에는 내용이 너무 길어서, 제가 간단히 개념만 설명드리면...

A도시의 고등학생과 B도시의 고등학생의 키를 비교한다고 가정해 보겠습니다.  만약 우리가 A도시에 있는 고등학생 전체 키를 다 조사하고, B도시에 있는 고등학생 전체 키를 다 조사해서 평균을 비교한 결과 A 도시의 고등학생 키가 더 크다는 걸 확인했다면, 이건 통계적 검정이 아니라 그냥 전수조사 결과가 됩니다.  (이 경우에는 유의수준 이런 거 다 필요없이 그냥 A 도시 고등학생의 키가 더 크다... 로 끝.)  하지만 현실에서는 A도시와 B도시 고등학생의 키를 전수조사하는 게 사실상 불가능한 경우가 많죠. (가능하다고 하더라도 너무나 비효율적...) 그래서 보통은 A도시 고등학생 일부와 B도시 고등학생 일부만 추출해서 표본조사를 하게 됩니다.  그런데 표본조사를 했더니 A도시 고등학생의 키가 크게 나타났다면, 이걸 전수조사 결과인 것처럼 확대해서 해석해도 될까요? (우연히 A도시에서는 키 큰 학생들이 더 많이 표본에 들어갔을 수도 있잖아요?)  이런 경우 표본을 바탕으로 전체 모집단의 결과를 어떻게 추정하느냐... 하는 것이 통계적 가설검정입니다.

일단 위와 같은 케이스에서의 표본조사는 'A도시의 고등학생과 B도시의 고등학생 간 키 차이가 없다' 라는 가설에서 출발합니다. (이걸 귀무가설 또는 영가설이라고 합니다)  왜 이런 이상한 가설을 세우냐면... '키 차이가 있다'는 가설을 통계학적으로 검정할 수 있는 방법이 없기 때문입니다.  그래서 거꾸로 '키 차이가 없다' 라는 가설을 세워서 이를 검증한 다음, 이 가설이 지지되지 않으면 '반대로 키 차이가 있구나' 라는 판단을 하게 되는 것이죠. 

키 차이가 없다는 걸 어떻게 검증할까요?  A도시의 고등학생 1000명을 임의로 추출해서 키를 쟀더니 170cm, B도시의 고등학생 1000명을 임의로 추출해서 키를 쟀더니 168cm가 나왔다고 가정합시다.  이건 차이가 있는 걸까요, 없는 걸까요?  여기서의 170과 168이라는 키는 전수조사가 아니라 표본조사이기 때문에, 우리는 실제 A도시와 B도시 고등학생들의 키를 알 수는 없습니다.  여기서 통계학이 확인하는 것은 "만약 A도시와 B도시의 고등학생들의 키가 같다고 가정했을 때, 2cm 정도의 차이(그리고 얼마인지 모를 표준편차)가 나올 나올 확률이 어느 정도인가?" 라는 부분입니다.  (이게 p값을 의미합니다.)  복잡한 계산 과정은 생략하고...  만약 A도시와 B도시의 고등학생들의 키가 같다면, 170과 168이라는 결과가 나오는 건 그닥 극단적이지 않아 보이죠?  이 경우 p값이 0.80 정도라고 가정하겠습니다.  (=두 도시 고등학생들의 키가 같다고 가정하면, 이 정도의 결과가 나올 확률은 80% 정도는 된다...)

표본조사 결과 A도시 고등학생들의 키는 170, B도시 고등학생들의 키는 160이 나왔다면 어떨까요?  실제로는 A도시와 B도시의 고등학생 간 키 차이가 없는데, 정말 우연하게도 A도시에서는 키 큰 학생들만 표본에 포함되고 B 도시에서는 키 작은 학생들만 표본에 포함되어서 이 결과가 나왔을 수도 있습니다.  아니면 A 도시 학생들이 실제로 키가 더 클 수도 있구요.  만약 A도시와 B도시의 고등학생들의 키가 같은데, 하필 표본 추출과정에서 한쪽은 키가 크고 한쪽은 키가 작은 학생들만 선별되어서 저런 결과가 나올 확률은 얼마나 될까요?  마찬가지로 이게 p값이라고 보면 됩니다.  만약 여기서 p값이 0.01 이 나온다면, (A도시와 B도시의 고등학생 키가 같은데) 우연히 표본이 저렇게 추출되면서 10cm의 결과 차이가 나오게 될 확률이 1%라는 의미입니다.  이정도 되면 키가 같은데 우연히 저렇게 나왔다는 것보다는, 애초에 키 차이가 있었다고 보는 게 더 합리적이지 않을까요?  (그래서 보통 5%를 임계점으로 잡고, 유의확률 95%를 기준으로 영가설을 채택할지 말지를 판단합니다)

... 써놓고 보니 과연 이게 쉽게 설명한 건가 싶긴 하지만, 말씀드린 것처럼 애초에 어려운 개념이라 ㅠㅜ 이 부분은 통계학 개론 교재를 보면서 찬찬히 복습하시길 권합니다.  물론 p값이 절대적인 결과 판단의 기준이 되는 건 위험할 수도 있고, 실제 학계에서는 p값 무용론에 대한 주장도 강하게 제기되고 있으니...  p값 이외의 다양한 요소들을 종합적으로 고려해서 판단할 필요가 있다는 점도 꼭 기억해 주세요.

와 저만 어려운게 아니었군요 ㅎㅎ 네 알겠습니다 답변 감사드립니다~