신간 산책

등록일 | 2020.07.28 조회수 | 612

[자연과학MD 추천 신간] 수학의 위기를 불러온 역사상 가장 흥미로웠던 분쟁

‘집합’은 수학의 기초로 여기는 분야이다. 집합론의 역사에서 굉장히 흥미로운 분쟁이 있었는데 수학 기초를 세우는 과정에서 발생한 이념의 대충돌, 그 중심에 있는 것이 바로 ‘선택공리’의 분쟁이다.
 
선택공리에 대해 이야기하려면 부득이하게도 ‘수학의 제3차 위기’에 대해 말해야 한다. 즉, 그 유명한 ‘러셀의 역설’이 불러일으킨 위기이다.
 
19세기 후반 무렵, 수학자들은 수학 이론의 기초가 완전하지 않다는 생각을 하기 시작했다. 유클리드 기하와 같이 그 기초를 완전히 새롭게 수립해야 할 필요성을 느꼈다. 유클리드는 5가지 간단한 공리를 통해 기하 정리와 결론을 도출했다. 그래서 수학자들은 대수학에 대해서도 이런 공리 체계를 수립하기 원했다. 더 중요한 것은 논리추리의 규칙 체계를 만드는 것이었다.
 
그리고 마침 칸토어가 무한집합에 대해 많은 연구를 하여 집합개념으로 수학 기초를 세우는 것이 어쩌면 적합할 수 있다는 것을 발견했다. 집합개념은 확실히 간단하고 평범하다. 그뿐만 아니라 모든 수학적 연구 대상은 모두 집합의 표현을 이용할 수 있다. 그래서 사람들은 집합론으로 일련의 기초를 세우고자 했다.

초기에 수학자들은 자신만만했다. 1900년 힐베르트는 어느 유명한 강연에서 20세기의 중요한 수학 문제 23개를 발표했다. 처음 2가지는 모두 집합과 관련된 것이었다. 첫 번째는 바로 ‘연속체 가설’이고 두 번째는 ‘산술 공리’에 대한 증명이다. 두 문제는 모두 수학 기초를 세우기 위해 나온 것이라고 할 수 있다. 힐베르트는 첫 번째 문제는 해결되었고 집합론은 어떤 결함도 없다고 여겼다. 두 번째 문제도 해결했고 수학의 기초도 매우 견고했지만 아쉬운 것은 이 2가지 문제의 이후 발전은 모두 수학자의 기대와는 상반된 결과에 이른다.

선택공리는 비슷한 표현 형식이 많은데 그중에서도 비교적 간단한 표현은 ‘임의의 원소를 가지는 공집합이 아닌 집합에 대해서 각 집합에서 원소를 하나씩 추출하여 새로운 집합을 항상 만들 수 있다’는 것이다.

러셀은 ‘선택공리’에 대해 비유적인 표현으로 설명한 적이 있다. 즉, 무수히 많은 신발에서 한 짝의 신발을 선택할 수 있다. 그러나 무수히 많은 양말에서 한 짝의 양말을 선택할 수 없다.

먼저 전형적인 IQ 테스트 문제를 하나 보자.

100명의 사형수와 관련 있다. 어느 날, 교도소장은 100명의 사형수에게 한 방향을 향해 줄을 서도록 했다. 모든 사람은 앞사람의 뒤통수를 보고 있다. 그런 다음 교도소장은 사형수 한 명 한 명에게 검정 또는 흰색의 모자를 준다. 각자는 자신이 쓰고 있는 모자의 색을 볼 수 없다. 하지만 자신보다 앞에 있는 모든 사람의 모자 색을 볼 수 있다. 대열의 맨 끝 사람은 앞 99명의 모자를 볼 수 있다. 잠시 후 ‘게임’을 시작하려고 한다. 맨 끝에서부터 맨 앞까지의 죄수 번호를 1~100으로 붙인다. ‘100번’인 맨 앞의 죄수는 다른 사람의 모자를 하나도 볼 수 없다.
 
교도소장은 1번 죄수부터 그들 각자가 쓰고 있는 모자 색을 한 번 묻는다. 만약 답이 맞으면 바로 석방, 답이 틀리면 사형집행을 한다. 교도소장은 모든 죄수가 이 게임을 시작하기 전에 전략을 상의하도록 허락한다. 문제는 죄수들이 어떤 전략을 취해야 모든 사람이 살아남느냐 하는 것이다.
 
99명을 살릴 수 있는 확실한 전략은 있다. 하지만 1명은 운에 따라야 한다. 이 방법은 흰색과 검은색 모자 수량의 홀수 또는 짝수 성질을 이용하는 것이다. 1번 죄수의 모자 색을 볼 수 있는 사람은 없기 때문에 1번은 자신의 목숨을 보존할 확실한 방법이 없다. 하지만 그는 다른 사람의 모자 색을 모두 볼 수 있기 때문에 자신의 답을 다른 사람에게 전달하여 그들에게 행복을 가져다줄 수 있다. 방법은 1번 죄수가 자신이 본 모자의 수량―홀수는 ‘검정’이라고 대답하고, 짝수가 ‘흰색’이라고 대답한다―을 관찰하는 것이다. 이런 식으로 2번 죄수는 자신이 본 검정 모자의 홀짝 성질에 근거하여 다시 1번 죄수의 회답에 부합하게, 순리대로 자신의 머리에 쓴 모자의 색을 추측할 수 있다. 이후 모든 사람은 유사한 방법으로 자기의 모자 색을 추측할 수 있고 문제는 해결된다.
 
이제 이 문제를 조금 수정해보자. 100명의 죄수가 아니라, 무한히 많은 죄수로 같은 방식을 취하면 어떤 전략이 가장 좋을까?

무한히 많은 죄수가 모자 색을 추측하는 게임을 하고 있다.

흰 모자를 0, 검은 모자를 1로 나타내자. 무수히 많은 죄수들에게 모자를 씌우고 나면 0과 1로 구성된 무한수열이 하나 얻어진다. 또한 무한히 많은 종류의 수열이 있지만, 무한히 많은 죄수들은 결코 무서워하지 않을 것이다. 이어 ‘선택공리’가 출현한다. 선택공리는 우리에게 무한히 많은 공집합이 아닌 집합에 대해, 가운데에서 원소 하나를 고를 수 있다는 것을 알려준다. 죄수들은 각 수열에서 하나의 수열을 고르면 되는데 각 수열의 대표 숫자를 이후에 ‘사전’에 쓰거나 ‘통째로 외워버릴’ 수 있다.
 
각 죄수는 모두 이 대표 수열의 순서에 따라 자신의 모자 색을 추측할 수 있다. 이 대표 수열은 어떤 사람부터 시작하기 때문에, 죄수들이 보는 수열과 같은 것이다. 그래서

유한히 많은 죄수가 희생된 후, 뒤에 무한히 많은 죄수들은 모두 자신의 모자 색을 추측할 수 있었다.

위의 예는 만약 선택공리를 수용하면, 직관에 위배되는 결과를 도출할 수 있다는 것을 알려준다.
 
제3차 수학 위기의 결론은 도대체 어떻게 났을까? 간단히 말하면, 시작하자마자 수학자는 완전한 수학 기초를 세우기 위한 시도를 했다. 그러나 완전하지 않은 집합론의 이런 점을 발견한 이후 수학계는 분열되었다. 수학계는 3가지 큰 흐름―논리주의, 형식주의와 직관주의, 더 많은 파별―으로 나누어졌다. 그러나 수학자 파별은 정치가들과 같은 분쟁이 아니다. 대다수 수학자는 구체적으로 수학 문제를 해결하기 위해 전심을 다할 뿐이었고, 수학 분파의 우세는 좋든 안 좋든 여전히 논리학자와 철학자에게 전해졌다.

호기심 많은 당신, 수학의 재미를 알게 된다!

위의 예처럼, 재미있는 수학의 세계가 있음에도 불구하고, 우리 사회에서는 특정 소수를 제외하고는 ‘수학’이라는 단어를 재미있고 즐거운 마음으로 마주할 수 있는 사람이 극히 드물다.

이에, '수학이 세상에서 가장 재미있는 놀이’라고 주장하는 저자가 수학의 재미를 모른 채 인생을 사는 많은 사람에게, 학교에서는 가르쳐주지 않는 신기하고 흥미로운 이야기들로 호기심을 채워주는 책을 냈다. <이토록 재미있는 수학이라니>(리여우화/ 미디어숲/ 2020년).

수학 애호가 뿐만 아니라, 수학의 재미에 빠져보고자 한다면, 올 여름 이 책에 도전해보자!

- 글 : 김하연 인터파크도서 자연과학MD(wintersea@interpark.com)



[ⓒ 인터파크도서 북DB www.bookdb.co.kr, 무단 전재 및 재배포 금지]

인터파크도서 북DB

인터파크도서에서 운영하는 북디비(BOOKDB)는 국내외 작가, 출판사 DB를 총망라한 도서 정보 사이트로, 작가 랭킹 서비스로 새로운 도서 선택 기준을 제시하고 있습니다. 또한 작가 인터뷰, 연재, 리뷰, 만남 등 다양한 콘텐츠를 제공하고 있습니다.

[역사MD 추천 신간] 이것만 있으면 어디서든 세계사 아는 척할 수 있다 2020.07.28
[카드뉴스] 방탄소년단의 노랫말을 즐기는 가장 예술적인 방법 2020.07.24
댓글 주제와 무관한 댓글은 임의로 삭제될 수 있습니다.

0 / 300자