3줄 요약
무작위 통제 실험으로 편향을 줄여 실험군과 대조군에서 처치의 효과를 측정할 수 있음
그러나 표본의 수가 적으면 우연(혹은 편향)이 개입할 확률이 높음
그러므로 두 집단의 추정값(평균)의 차이가 있는지 통계적 방법으로 검증해야함
1. 독립성의 가정과 무작위 실험
1.1. 독립성의 가정
실험을 시작하기 전에 실험군과 대조군이 비슷한 조건을 가지고 있어야 한다는 것을 의미합니다. 이를 통해 어떤 차이가 발생했을 때, 그 차이가 우리가 적용한 처치 때문인지 확신할 수 있습니다 이것을 우리는 독립성의 가정이라고 부르며 이를 확보하기 위해 우리는 RCT(Randomized Control Trial: 무작위 통제 실험)를 사용합니다.
우리는 할인을 N월 1일부터 진행할 예정이다. 그렇다면 두 집단의 N월 1일 이전의 추정값은 동일해야한다(= "이는 편향이 없다" 로 해석할 수 있음). 이후 할인이 발생했을때의 추정값 변화량을 우리는 처치로 인한 효과 즉, 인과추정량이라고 할 수 있다.
예시
A = (N월 1일 이후로) 실제 할인(처치)을 받을 집단
B = (N월 1일 이후로) 실제 할인(처치)을 받지 않을 집단
즉, 독립성이 확보되었다면 A와 B의 주문수는 (N-1)월 31일에는 동일해야함
1.2. RCT(Randomized Control Trial: 무작위 통제 실험)
RCT는 실험군과 비교군을 무작위로 추출하여 편향을 제거할 수 있습니다. 다만 표본의 수가 소규모일 경우 무작위로 추출하여도 그룹간의 오차가 클 수 있습니다
(예를 들어, 10명의 학생만을 대상으로 실험을 하면 우연히 성적이 좋은 학생이 한 그룹에 몰릴 수 있습니다. 이런 경우, 결과가 왜곡될 수 있습니다 ).
또한 RCT를 사용할 수 없는 실험도 많이 있습니다. 우리가 실험 대상으로 선정하더라도 그 대상이 비용 혹은 윤리적인 문제로 실험을 받아들이지 않는 경우가 있기 때문이죠
2. 표본의 수와 부정확성
표본의 수가 적을때는 우연이 개입할 확률이 높아지는데 우연이 개입했을 경우에는 데이터가 부정확(= 불확실)할 수 있습니다. ( 이는 표본의 수가 적어 몇몇 이상한 결과 때문에 우리의 결론이 왜곡될 수 있음을 의미합니다. )물론 표본의 수가 충분히 많아진다면 이러한 불확실성을 잡을 수 있습니다. 그러나 이것에 대해서는 어떻게 확신할 수 있을까요? 그래서 저희는 표준오차와 신뢰구간을 활용합니다.
표준오차는
- 표준오차는 표본의 표준편차와 데이터수를 나눠준 값으로 표본에서 얻은 평균이 얼마나 정확한지를 보여주는 수치
- 표준오차가 작으면 작을수록, 우리의 평균 추정치가 더 정확하다는 것을 의미합니다.
신뢰구간은
- 표준오차를 사용해 실험의 95%에서 실제 평균을 포함하는 구간을 만드는 것
- 데이터의 분포가 정규분포가 아니라 베르누이 분포( 혹은 이항분포)를 따르더라도 계산 가능
- 이는 데이터의 평균은 언제나 정규분포를 따르기 때문
이렇게 계산된 서로 다른 집단(실험군,대조군)의 추정값을 신뢰구간을 통해 비교할 수 있는데 두 집단의 추정값에 대한 신뢰구간이 서로 겹친다면 추정값에 차이가 있더라도 이는 통계학적으로 유의한 차이라고 보기 어려움
3. 가설 검정
"두 그룹간의 평균 차이가 0(혹은 특정값)과 통계적으로 유의한 차이가 있는가"에 대한 질문에 대한 대답을 가설 검정을 통해 할 수 있습니다.
- 귀무가설: 할인을 받은 그룹과 할인을 받지 않은 그룹의 주문수에는 차이가 없다.
- 대립가설: 할인을 받은 그룹과 할인을 받지 않은 그룹의 주문수에는 차이가 있다.
할인을 받은 그룹과 할인을 받지 않은 그룹에 대한 평균과 표준오차를 각각 계산합니다. 이 후 두 분포의 평균 차이와 표준오차 차이로 신뢰구간에 0이 포함하지 않는다면 두 그룹의 값에는 차이가 있다고 할 수 있습니다.
3.1. 검정통계량
두 분포의 평균 차이와 표준오차의 차이를 표준정규분포로 변환하여 극단적인 t-통계량이 나오면 귀무가설을 기각할 수 있음을 의미함
3.2. p-value
계산된 추정값이 관측될 확률을 계산하는 방법으로 귀무가설이 참일 경우를 가정하여 극단적인 데이터가 나타날 확률을 의미합니다. 즉, 귀무가설을 참으로 가정하여 할인을 받은 그룹과 할인을 받지 않은 그룹의 주문수에는 차이가 없을때의 관측된 값이 나올 확률을 의미합니다.
- 할인을 받은 그룹의 주문수에 대한 p-value: 0.02
- 할인을 받지 않은 그룹에 대한 p-value: 0.34
이라고 할때 할인을 받은 그룹은 귀무가설이 거짓이 되고 할인을 받지 않은 그룹은 귀무가설이 참으로 판별됨
3.3. 검정력
신뢰구간은 표본집단의 값을 이용해 모집단의 값(실제값)이 있을 것이라고 추정되는 범위를 계산하는 것이며 검정력은 어떤 효과가 실제로 존재할때 그 효과를 실제로 발견할 수 있는 능력을 의미합니다. 예를 들어 " 할인을 받은 그룹(A)이 할인을 받지 않은 그룹(B) 보다 주문수가 많다 " 라고 주장할때 실제 그 주장을 통계적으로 발견할 수 있는 확률을 검정력이라고 할 수 있습니다. 이때 검정력이 높다면 A그룹 보다 B그룹의 주문수가 많다는 것을 증명할 확률이 높다고 할 수 있습니다. 검정력을 높이기 위해서는 많은 표본이 필요합니다. 그 이유는 표본이 증가하면 신뢰구간이 좁아져 정확한 실제 값을 추정할 확률이 높아지고 그만큼 실제 효과를 발견할 확률이 높아집니다.
결론
즉, 우리는 본격적인 처치 이전에 실험군과 대조군에 차이가 없는 상태로 만들어야한다. 또한 처치 이후의 실험 결과를 측정하기 위해 신뢰구간을 사용할 것이며 검정력을 활용해 필요한 최소한의 표본 크기를 계산할 수 있다.
