일반화의 오류에 대한 통계학적 고찰
--------------------------
성급한 일반화(性急한 一般化, 영어: hasty generalization) 또는 부당한 일반화의 오류(不當한 一般化의 誤謬)란 몇 개의 사례나 경험으로 전체 또는 전체의 속성을 단정짓고 판단하는 데서 발생하는 오류이다.
이 말이 처음으로 등장한 것은 미국 철학자, 국어학자 어빙 코피(Irving Copi, 1917~2002)의 1961년 책 논리학 입문(Introduction to Logic)에서이다.
예시) 서울의 모 대학에 가서 어떤 학생을 만났더니 그 학생이 영어를 너무 잘하는 것입니다. 또 다른 학생을 만났는데 그 학생도 영어를 너무 잘하는 것입니다.
그리고, 세번째 학생을 만났는데 이학생도 영어를 잘하는 것입니다.
나는 그 학교 학생 모두가(거의가) 영어를 잘 한다고 판단해 버리면서 그 대학 학생들은 모두가(거의가) 영어를 잘한다고 결론을 내립니다. 이게 바로 성급한 일반화의 오류입니다.
---------------------------
우리는 어떤 경우를 반복해서 보거나 겪은 후에 그것이 대부분 그럴것이다라고 생각한다.
그리고, 이러한 우리들의 추측은 바로 '성급한 일반화의 오류'라는 공격을 받기 십상이다.
이런 성급한 일반화의 오류(이하, 일반화의 오류)는 사회학이나, 아젠다, 프로파간다에서
아주 중요한 이슈를 생산하는데, 이는 이를 이용하려는 부류나 이에 반대하는 부류의 논리적 논쟁에서 아주 유용하게 써먹을 수 있기 때문이다.
그런데, 어느 순간 나는 이 '일반화의 오류'가 정말 맞는 말인가 하는 의문이 들기 시작했다.
그래서, 많은 자료를 직접 찾아 보았는데, 이 '일반화의 오류'에 대해 재대로 통계학적, 확률적인 수학적 모델을 찾아보기 어려웠다. 결국 내가 직접 계산해 보기로 했다.
위에 예시로 든 경우와 비슷한 모델을 만들어서 보기로 하자.
어떤 바구니에 1000개의 빨간공과 파란공이 들어있는데,임의적으로 공 세개를 뽑는다고 가정한다.
섞여있는 비율은 순차적으로
빨간공:파란공 - 1000:0, 900:100, 800:200, ........ , 200:800, 100:900, 0:1000 이다.
만약 내가 눈을 가리고 공 세개를 뽑는데, 그 세개의 공이 모두 빨간공일 확률은 어떻게 될까.
(이 계산은 고3수학때 지겹도록 풀어본 정석수학에 나와 있는 방법으로 계산한다.)
확률 = 사건이 일어날 경우의 수 / 전체 경우의 수
빨간공의수 Combination 3 / 1000 C 3
이 계산을 하면 각 비율별로 다음과 같은 확률을 얻는다.
빨간공:파란공 확률
1000:0 100%
900:100 72.9%
800:200 51.2%
700:300 34.3%
600:400 21.6%
500:500 12.5%
400:600 6.4%
300:700 2.7%
200:800 0.8%
100:900 0.1%
0:1000 0%
위에 나타난 결과를 해석하면 이렇다.
만약 통에 전부 빨간공이면 나는 100%의 확률로 빨간공 세개를 뽑을 수 있다.
통에 900개가 빨간공, 100개가 파란공일 경우, 내가 빨간공 세개를 뽑을 확률은 72.9% 이다.
만약 빨간공 파란공이 반반 섞여 있다면, 내가 빨간공 세개를 뽑을 확률은 12.5%이다.
그리고, 빨간공이 100개, 파란공이 900개인 경우, 내가 빨간공 세개를 뽑을 확률은 0.1%이다.
그리고, 또한 반대방향의 확률적 계산도 가능한데,
만약 내가 임의적으로 세개의 공을 뽑았는데, 그 세개가 모두 빨간공일 경우,
그 통안에 빨간공, 파란공의 분포별 확률은 어떻게 될까?
이 확률은 구하는 방법은 각 학자별로 조금 다를 수도 있겠지만,
나는 각각의 경우의 확률을 모두 합산하여 전체의 수를 구한후에, 그 값을 분모로 하는 확률을 구하여 누적하는 방법으로 구하였다.
(만약, 다른 통계적 기법이 있다면 소개해 주면, 다시 계산해 볼 수 있을 것 같다..)
그렇게 구한 값은 다음과 같다... 이는 1000행에 다다르니 주요한 몇 개의 값만 나열하겠다.
빨간공:파란공 개별확률 누적확률
1000:0 0.40% 0.40%
999:1 0.40% 0.80%
:
900:100 0.29% 34.7%
:
842:158 0.24% 49.99%
:
750:250 0.17% 68.55%
:
500:500 0.05% 93.81%
:
250:750 0.01% 99.62%
:
100:900 0.00% 99.9%
:
3:997 0.0000000024% 100%
위의 데이타가 의미하는 바는 다음과 같다.
만약 내가 임의적으로 세개의 공을 뽑았는데, 그 세개가 모두 빨간공일 경우,
그 모집단의
90%이상이 빨간공일 확률은 34.7%, (100%-90%구간이 그럴 확률)
85%이상이 빨간공일 확률은 50%, (100%-85%구간이 그럴 확률)
75%이상이 빨간공일 확률은 69%, (100%-75%구간이 그럴 확률)
50%이상이 빨간공일 확률은 94%, (100%-50%구간이 그럴 확률)
25%이상이 빨간공일 확률은 99.6% (100%-25%구간이 그럴 확률)
그리고, 내가 뽑은 그 세개만 빨간공이고 나머지가 모두 파란공일 확률은 0.0000000024% 이다.
--------------------------------------
위의 데이타를 이해한 사람은 앞으로 내가 주장할 내용이 어느정도 짐작이 갈 것이다.
우리가 어떤 경우를 연속적으로 맞닦뜨린 경우에
만약, 그 사건이 무작위적으로 일어났고, 똑같은 경향을 보였다면 우리가 흔히 행할 수 있는
'일반화의 오류'는 사실 오류가 아니라 매우 확률적으로 높은 확률의 경향성이라는 것이다.
특히, 연속된 세번의 경향성이 가르키는 통계학적 지표는
그 모집단의 약 85%이상이 그럴 확률이 절반이 되며,
3/4 이상이 그럴 확률은 69%에 다다른다.
그리고, 그 모집단의 최소 절반이상이 그럴 확률은 94%이다.
물론, 위의 계산은 연속된 세번의 사건을 계산한 것이다.
(두개는 빨간공, 한개는 파란공이라면, 또 전혀 다른 결과가 도출 될 것이다.)
하지만, 연속된 세번의 사건이 발생할 경우, 그 모집단이 100, 1000, 10000, 심지어 백만이 되더라도,
이 통계적 확률의 차이는 그리 크지 않다.
그리고, 연속된 사건이 네번이 되면 물론 더욱더 높은 확률로 그 모집단의 경향성이 설명된다.
1961년에 등장한 후, 많은 이들이 전혀 의심하지 않고,
사용해 왔던 "성급한 일반화의 오류"는 사실 오류가 아니었던 것이다.
-------------------------------------
<추가>
모집단이 작아서 그럴 것이라는 반박이 있어서 모집단을 다르게 했을때 계산값을 추가한다.
아래의 데이타는 세개의 공을 뽑았는데, 그 공이 모두 빨간색이 될 수 있는 확률이
대략 50% 정도의 구간인 8:2의 비율구간의 확률이다.
모집단의 크기 모집단의 비율 모두빨간공이 나올 확률
(빨간공:파란공)
10 8:2 46.6666667%
100 80:20 50.8101422%
1,000 800:200 51.1615423%
10,000 8,000:2,000 51.1961594%
100,000 80,000:20,000 51.1996160%
1,000,000 800,000:200,000 51.1999616%
10,000,000 8,000,000:2,000,000 51.1999962%
100,000,000 80,000,000:20,000,000 51.1999996%
모집단이 커질수록 확률은 오히려 미세하게 증가하는 것을 볼 수 있다.