‘아마추어이면서 전문가를 가지고 논 사람’, ‘그의 업적에 대해서는 별로 아는 것이 없는 일반인들조차도 주저 없이 최고의 수학자로 꼽을 수 있는 사람’, ‘수많은 수학 천재들에게 좌절의 아픔을 맛보게 한 사람’, ‘쓸모없는 일에 많은 사람들의 정력을 낭비하게 한 사람’은 과연 누굴까?

피에르 드 페르마(1601~1665)는 1601년 프랑스 서부의 보몽 드 로마뉴에서 가죽 상인의 아들로 태어나, 30세 때 지방의회의 의원직을 얻어 가족들의 희망대로 공무원 생활을 하였다. 페르마가 살았던 17세기 프랑스는 소설 삼총사에서도 알 수 있듯이 정치적으로 매우 혼란스러운 시기였기 때문에 페르마는 정치적 음모에 휘말리지 않기 위해 매우 청렴하고 성실하게 공무를 수행했다고 전해진다. 즉 페르마는 정치적 야심을 포기하고 자신의 열정을 혼자서 취미 생활하는데 모두 쏟아 부었다. 그의 취미는 다름 아닌 수학 연구였다.

오늘날 관점으로 본다면 이해하기 어렵겠지만 당시 수학은 별 볼일 없는 과목이었다. 갈릴레이조차 수학교수의 박봉으로 생활이 어려워 개인 과외를 해야 했을 정도였다. 이러한 수학의 암흑기에 페르마는 정식 수학 교육을 받지도 못했으며, 그에게 유일한 스승은 오로지 디오판투스의 <아리스메티카(Arithmetica)>라는 수학책이 전부였던 것이다.

또한 파스칼과 메르센 신부를 제외하고는 당시 유명한 수학자들과 특별한 교류도 없었지만 페르마는 수학사에 탁월한 업적을 남겼다. 페르마는 자신의 업적을 출판하는 것을 별로 좋아하지 않아 그의 아들이 사후에 자료를 모아 세상에 내놓게 된다. 이는 자신의 책을 보고 쏟아질 많은 수학자들의 질문을 받는 것이 귀찮았기 때문이라고 한다. 즉 페르마는 오로지 즐거워서 수학을 공부했을 뿐 명예를 얻는 것에는 큰 관심이 없었다. 하지만 페르마는 수학을 전공한 수학자들보다 더 많은 업적을 남기며 ‘아마추어 수학의 왕자’라는 칭호를 얻게 된다.

페르마의 업적은 미적분학에서부터 확률론과 해석기하학, 정수론에 이르기까지 다방면에 걸쳐 있다. 흔히 미분법은 뉴턴, 적분법은 라이프니츠가 창시했다고 알려져 있지만 페르마는 이들보다 앞서 이미 미적분에 대한 개념을 가지고 있었다. 물론 미분법의 개념이 고대 그리스에서 이미 시작되기는 했지만 곡선에 접선을 그리는 문제와 함수의 극대 극소값을 구하는 방법에 대한 페르마의 연구가 바로 뉴턴의 미분법으로 이어진 것이다. 즉 페르마는 lim(E→0){f(x+E)-f(x)}/E라는 식을 통해 극대와 극소값을 구하는 방법을 논하고 있는데, 이는 오늘날 고등학교 수학시간에 배우는 미분법과 그 원리가 같다. 사실 뉴턴도 자신의 논문에서 페르마의 연구에서 착상을 얻어 미분법을 완성했다고 분명히 밝혔지만, 뉴턴의 명성에 가려 이러한 사실은 잘 알려지지 않고 있는 것이다.

오늘날 직교좌표계가 데카르트 좌표계로 불리기도 하는 것은 데카르트가 해석기하학을 발명해 냈다고 알려져 있기 때문이다. 해석기하학은 기하학에 대수학을 접목시킨(또는 대수학에 기하학을 접목시켰다고 생각해도 된다) 획기적인 방법으로 이를 통해 수학은 또 한 단계 발전할 수 있는 발판을 마련하게 되었다. 즉 유클리드 이후 별다른 발전이 없었던 기하학이 새롭게 도약할 수 있었던 것은 바로 좌표계를 도입한 해석기하학의 등장 덕분이었던 것이다. 하지만 페르마의 원고에 따르면 그는 데카르트보다 먼저 해석기하학을 발명했으며, 페르마의 좌표계가 데카르트의 것보다 훨씬 오늘날의 좌표계에 가까운 것이었다는 것을 알 수 있다.
 
수학의 한 분야인 확률론은 페르마가 파스칼과 함께 편지를 주고받으며 탄생시켰다고 한다. 17세기 유럽에는 주사위 놀이를 사교 문화의 하나로 즐기는 사람이 많았다. 그중 한 사람이었던 슈발리에 드 메레라는 도박사가 친구였던 파스칼에게 주사위 도박에 관한 질문을 했다. 즉 주사위 도박을 하다가 중단했을 때 상금은 어떻게 배분하는 것이 옳은가에 대한 질문이었다. 이 질문에 대한 답을 구하기 위해 파스칼은 친구인 페르마에게 편지를 썼고 서로 만나지도 않았지만 두 사람은 편지를 통해 현대 수학의 큰 축인 확률론을 탄생시키게 되었다.

이러한 업적만 해도 놀라운데, 페르마를 정말 유명하게 만든 것은 ‘페르마의 마지막 정리’로 알려진 실용적인 측면이라고는 찾기 어려운 정수론에 관한 연구였다. 페르마의 마지막 정리는 ‘2보다 큰 정수 n에 대하여 x^n+y^n=z^n을 만족하는 양의 정수 x, y, z는 존재하지 않는다.’라는 것이다. 이 정리에 대하여 페르마는 ‘나는 놀라운 방법으로 이 정리를 증명하였지만, 여백이 부족하여 증명은 생략한다.’라고 <아리스메티카> 여백에 낙서처럼 메모를 남겼다. 페르마의 정리들은 이런 식으로 책의 여백에 대충 적혀져 있는 경우가 많았는데, 대부분 증명은 빠져 있었다. 이후 페르마의 정리들은 모두 증명이 되었고, 마지막으로 남았던 것이 바로 페르마의 마지막 정리 또는 페르마의 대정리였던 것이다.

스위스의 수학자 오일러는 n이 3인 경우와 4인 경우에 대해 증명하는 데 성공했지만 일반적인 증명에는 실패했다. 200년 동안 겨우 몇 가지 경우를 제외하고는 증명에 전혀 진전이 없자 19세기 초 프랑스 과학아카데미는 페르마의 마지막 정리를 푸는 사람에게 3,000프랑의 상금과 메달을 수여하겠다고 했다. 이에 당시 최고의 수학자였던 독일의 가우스에게 사람들이 이 문제에 도전해 볼 것을 권유했지만 그는 이 문제를 풀 수 없는 문제로 단정하고 도전하지 않았다. 재미있는 것은 가우스는 이 정리를 풀 수 없다고 생각했지만 결국 가우스의 복소수에 대한 연구가 풀이의 출발점이 되었다는 것이다.

컴퓨터가 등장하면서 페르마의 마지막 정리가 옳다는 것은 점점 더 명확해졌지만 누구도 모든 자연수에 대해 증명해 내지는 못했다. 모두가 포기하고 영원한 수수께끼로 남을 즈음 페르마의 마지막 정리는 1997년 영국의 수학자 앤드류 와일즈(1953~)에 의해 풀리게 된다. 와일즈는 10살 때 페르마의 마지막 정리를 접하고 이를 풀어야 하겠다는 결심을 했다고 한다. 이렇게 하여 와일즈는 20세기 초 독일의 볼프스켈이 내건 10만 마르크 상금의 주인공이 되었다. 와일즈가 증명할 수 있었던 것은 그의 꾸준한 노력과 천재성도 있었지만 페르마 이후 수학의 많은 발전이 있었기 때문이었다. 이런 이유로 많은 사람들은 정말로 페르마가 마지막 정리를 증명했는지 의심하기도 한다. 페르마의 마지막 정리는 풀렸지만 페르마가 증명했는지는 영원히 미스터리로 남을 것이다. 

글 : 최원석 과학칼럼니스트