이탈리아 과학자의 소치 올림픽 여자 피겨 스케이팅 결과의 통계학적 분석
유럽 원자핵 공동 연구소(CERN)의 Tiziano Virgili 박사가 소치 올림픽 여자 피겨 스케이팅 결과를 통계학적으로 분석한 PDF 자료가 Golden Yuna에 포스트되었습니다.
<사진> 지난해 10월 CERN 오픈데이(CERN Openday for general public) 당시의 Virgili 씨
실제 통계적 분석은 인종차별이나 성차별처럼 고의성을 입증하기 힘든 범죄에서 통계적 패턴이 나타나면 혐의를 인정하는 방식으로 재판에도 이용되기도 하는 도구이므로 유의미한 자료로 볼 수 있습니다.
편파판정도 심판들의 익명성 보장 때문에 고의성을 밝히기 어렵지만 통계적인 패턴이 존재한다는 학술적 근거자료가 있다면 편파판정의 존재를 주장하는데 강력한 무기가 될 수 있을 것입니다. 따라서 빙상연맹이 편파판정을 제소할 때 증거자료의 일부분으로 활용했으면 좋겠습니다. 물론 원저자의 동의를 구해야하겠지만 이분의 페북등을 볼 때 흔쾌히 도와주실 분 같네요.
내용도 고등학교 정도의 통계적 지식이 있고 보통의 그래프만 볼 줄 알면 이해할 수 있는 정도의 수준이라 소개해 봅니다.
Sochi Ladies Figure Skating: a statistical analysis of the results
By Tiziano Virgili (이탈리아 국립 원자물리학 연구소 & 살레르노 대학교 물리학과)
목차:
- 서론
- Technical Score (기술점수)
- Components Score (PCS)
- An Exercise (실습)
- Conclusions (결론)
서론
소치 올림픽이 끝난 이후로, 여자 피겨 스케이팅 결과에 대한 거센 논란이 전개되어왔다.
주요 쟁점은 우승자인 러시아의 소트니코바의, 세계최고기록과 1점 차이도 나지 않는, 엄청난 점수이다.
카타리나 비트와 커트 브라우닝 같은 독보적인 스케이터들을 포함해, 많은 해설자들이 이 결과를 스캔들이라고 주장한 반면, 다른 일부는 최소한 기술점수는 타당했다고 옹호했다.
내가 놀랐던 점은 이탈리아 해설자들이, 3개의 중요한 예외들만 빼고, 거의 모든 점수들을 맞췄다는 것이다: 2명의 러시아 선수와 한국 스케이터의 점수만 이탈리아 해설진의 예상이 적중하지 않았다. 이게 그저 우연이었을까?
2명의 심판의 자격이 그들 임무의 중요성에 비추어 볼 때 실제로 적합하지 않았다는 언론 보도들이 나오면서, 논란이 증폭되었다.
확실히, 나는 이 판정 결과에 대해 논평할 만한 전문적인 자격을 갖추고 있지 않다.(그러나 상당한 전문지식을 갖춘 피겨팬이신가 봄)
그러나 물리학자로서 내가 데이터 분석을 수행하는 데 익숙하기 때문에, 편견 없이 점수들을 살펴보면서 간단한 표준 통계학적 분석 수단들을 사용하려고 노력했다. 그 분석 결과들이 다음의 페이지들에서 제시될 것이다.
( 총점 = 기술점수 + PCS:일명 예술점수 입니다. )
1: 기술점수
기술점수부터 그 산정방식을 간략히 설명해 보자면 각 선수들은 점프나 스핀같은 수행요소들을 표현한다. 기술심판들이 이 수행요소들의 정확성(회전수 부족이나 롱엣지 즉 잘못된 스케이트 날 사용 등등의 실수를 점검)을 평가해서 등급을 산정하고 기초점을 부여한다.
그리고 수행등급 즉 GOE(Grade Of Execution)가 있다. 9명의 심판들이 각 수행요소들의 무결점성과 아름다움에 따라 -3 에서 +3 사이에서 수행등급 점수를 부여한다. 이들은 최고점과 최저점을 제외한 평균에다 요소별 환산펙터(예를들면 트리플 점프는 0.7 인데 반해 트리플 악셀이나 쿼드점프는 1.0으로 벤쿠버때까지 없었는데 아사다의 트리플 악셀에 가중치를 더 주기위해 도입됨)를 곱해서 기초점에 더해진다.
다음에 나올 내용에서는, 공식적인 기초점들이 고려될 것이다.
다수의 해설자들에 의하면, 소트니코바가 수행한 일부 요소들이 과대평가된 반면, 김연아가 수행한 일부 요소들은 과소평가되었다.
나는 이 논쟁에는 끼어들지 않을 것이며, (타당성이나 객관성은 고려하지 않고) 기술점수가 잘 나왔다고 일단 가정한다(*).
(*) 많은 해설자들에 따르면, 테크니컬 패널이 거의 모든 스케이터들에게 상당히 관대했다.
만약 이것이 사실이라면, 확실히 이것은 "덜 클린한" 스케이터들에게 유리하다.
(NOTE: 거의 모든 선수들의 기술 판정을 관대하게 하면 소트니코바 같은 미흡한 기술을 구사하는 선수에게는 유리한 반면 가장 완벽한 기술을 구사하는 김연아에게 불리하게 됨)
편향(편파판정)의 가능성을 확인하기 위해, 우리는 각 심판의 점수들을 집계해볼 수 있다.
서로 다른 점수값들이 평균값을 주변에서 뾰족한 봉우리 모양을 형성한다.
붉은색 바(bar)로 표시된 RMS (표준편차) 는 분산의 폭을 가리킨다.
표준편차가 클수록 분산의 폭이 더 넓다는 뜻으로, 즉 심판들의 평가가 덜 고르고 불안정함 즉 편파적이었음을 뜻한다.
그러면, 상위 6명의 스케이터들의 프리 프로그램 점수의 분산을 한 번 살펴보자:
각각의 히스토그램에 9명의 심판들에 대응하는 9개의 엔트리가 존재한다.
여기에서 문제가 되는 변수는 표준편차 즉 RMS로, 점수들의 고른 안정성 또는 불안정성을 가르킨다.
2개의 붉은색 원으로 표시한 RMS 수치들은 다른 값들보다 명백하게 더 크다(두 러시아 선수인 소트니코바와 리프니츠카야를 말함).
실제로, 이 2개의 RMS 수치들이 24명의 여자 프리 스케이팅 출전 스케이터들의 전체 표본 중에서 가장 크다.
즉 특정 심판들이 과도한 점수를 준 경향이 가장 크다는 말이다.
이게 통계학적으로 충분히 나올 수 있는 변이일 수 있을까?(없다는 말)
또다른 방향에서 이것들을 한 번 보자.
스케이터의 각 수행요소에 대해 9명의 심판 전원의 점수들을 포함한 평균을 고려에 넣어서 각각의 심판이 평균보다 높은 점수를 준 횟수 N을 계산해보자.
프리 프로그램에는 12개의 수행요소가 존재하므로, 이 숫자 N은 0부터 12까지 사이에서만 나올 수 있다.
한쪽으로 치우치지 않은[편파적이지 않은] 점수들의 경우, 각 심판은 때로는 평균보다 높은 점수를 주기도 하고 때로는 평균보다 낮은 점수를 주기도 하고, 가능성은 덜하지만 평균치의 점수를 주는 경우도 있을 것이다.
(NOTE: 한 심판이 준 모든 점수가 각각 평균보다 일방적으로 높거나 낮다면 공정하게 채점했다고 보기 어렵다.)
따라서 N의 분산이 0부터 12 사이의 중간 부근에서 뾰족한 봉우리를 형성하는 그래프가 나올 것이라고 우리는 기대한다.
(실제로는, "평균보다 크거나 같은"이 아니라 "평균보다 큰"이라는 조건 때문에 6보다 약간 아래쪽으로 나와야 한다.)
자, 이제 모든 스케이터들과 모든 심판들을 고려에 포함시킨 N의 분산을 확인해보자.
소트니코바의 분포는 같은 도표에 붉은색으로 표시했다.
분포의 범위가 맨끝쪽에 위치해 있는데, 12개의 수행요소들 중 7개보다 많은 요소에서 평균보다 높은 점수를 준 심판이 4명이고 10개보다 많은 요소에서 평균보다 높은 점수를 준 심판이 2명이다.
이것은 어떤 통계학적 변이[분포]에서 봐도 확실히 정도를 벗어나 있다.
우리는 소트니코바가 편중된 점수[편애]를 받은 유일한 스케이터였다고 주장하고 있는 것이 아니라, 그녀가 확실히 최대의 편향된[치우친] 점수를 받았다고 주장하고 있는 것이다.
나머지 심판들은 왼쪽으로, 낮은 수치들에, 치우쳐져 있다.
원칙적으로, 이것은 일군의 심판들이 해당 스케이터를 낮게[짜게] 평가하고 있다는 정반대의 해석 또한 가능하다.
그리고 나머지 심판들은 오른쪽으로 "푸쉬"되어 있다. (중간이 없이 양극단으로 나뉨)
비교를 위해, 두 번째 스케이터(김연아)의 N값의 분포를 여기에서 우리가 초록색으로 표시해 리포트한다.
예상한대로, 표준편차가 훨씬 더 낮고 (김연아 2.6 vs. 소트니코바 4),전체 분포의 표준편차(2.4)에 가깝다.
그리고 쇼트프로그램에 대해서도 이와 같은 분석을 해보면 프리에서 소트니코바의 편향이 훨씬 더 크다는 것을 알 수 있다.
2: PCS(프로그램 구성점수, 일명 예술점수)
PCS는 연기의 예술적 표현력을 말하며, 안무나 곡해석력 같은 5가지 항목들로 평가된다.
심판들은 각 항목에 0점에서 (완벽함을 의미하는)10점 사이의 점수를 부여하며 이들을 평균한 5가지 항목의 점수를 합산한다.
그리고 여기에 쇼트는 0.8 프리는 1.6을 곱한다(남자경기와 경기시간 차이를 고려함).
PCS는 매우 주관적으로 보일 수 있지만 실제 수행등급 즉 GOE보다는 덜 주관적이다.
왜냐면 GOE는 경기마다 편차가 클 수 있지만 PCS는 변동이 적다.
뛰어난 피아니스트가 연주 중 실수를 한다고 하더라도 그의 곡해석력은 여전이 뛰어나기 때문이다.
PCS를 각 심판 별로 집계하자 (9명 심판 각자가 선수에게 준 총 PCS를 구함). 상위 6명의 분포도들이 여기 있다.
여기에서 상황은 더욱 더 의심스럽게 보인다.
표준편차가 커 보이며 심판들로부터 나온 점수들에 편차가 크다.
어쩌면 혹시 이례적인[변칙적인] 최대값들(= 그래프의 뾰족한 봉우리들이 솟은 형태가 비정상적) 인지도 모르겠다.
(NOTE: 중간 부분이 가장 높게 솟고 양쪽으로 가면서 감소하는 일반적인 분포도의 형태를 따르고 있지 않음)
이 경우에는, 평가항목의 숫자가 적기 때문에 (5개), 앞서 한 방식은 도움이 되지 않을 것이다.
더 나은 이해를 위해, 우리는 PCS의 중요한 면을 이용할 수 있다: (PCS 점수들은) 시합 별로 크게 변동하지 않고 상당히 "안정적"이어야 한다는 것 (앞에서도 말했듯이, 훌륭한 피아니스트는 우연찮게 기술적인 실수를 하나 할 수는 있어도 그럼에도 여전히 그는 훌륭한 피아니스트라고 인정될 것이다).
각 스케이터가 따라서 가장 최근에 출전한 국제대회들의 PCS 평균과 올림픽 PCS를 비교해보자.
이 목적을 위해, 나는 각 스케이터가 지난 1년 이내에 출전한 2013 세계선수권대회와 그랑프리 시리즈 등등 모든 대회를 고려했다.
다음 도표에서, 여러분은 2014 올림픽과 (올림픽 전 1년 간의) 다른 국제대회들에서 쇼트 프로그램과 프리 프로그램 모두에 대한 평균 사이의 점수차를 볼 수 있다.
쇼트 프로그램 PCS을 보면 소트니코바 >> 리프니츠카야 > 코스트너 순으로 가장 많이 상승했다.
소트니코바는 5.8로 평균에서 아주 멀리 혼자 뚝 떨어져 있고 김연아는 평균과 비슷하다.
프리 프로그램에서도 상황은 비슷하다.
프리 프로그램 PCS: 소트니코바 >>> 리프니츠카야 > 그레이시 골드 순으로 가장 많이 상승했고 김연아는 오히려 평균보다 낮다.
여러분을 RMS 유닛을 사용해서 평균으로부터의 거리를 다시 비교할 수 있다.
요약하면, 이 PCS 분석은 각각 1.6유닛(쇼트 프로그램)과 4유닛(프리 프로그램)의 평균 이동을 보여준다.
대부분의 스케이터들이 1 RMS 이내의 (점수)차를 보여준다.(즉, 평균으로부터의 거리가 1 RMS보다 작다).
다시 말해서, 올림픽 PCS 점수와 올림픽 전 다른 대회들의 평균 사이의 차이가 정상적인 통계학적인 변이[분포]에서 벗어나지 않는다는 뜻이며, 전체에 걸쳐 따진 점수 변동도 마찬가지이다.
이런 전체적으로 오르락 내리락 하는 식의 변동은 확실히 특정 구성의 심판들에 따라 달라지며, 정상이라고 여겨질 수 있다.
그러나 소수의 스케이터들은 커다란 차이를 보이는데, 특히 소트니코바의 점수 변동의 차이는 쇼트와 프로그램 양쪽 모두에서 2 RMS보다 크다.
통계학적인 관점에서, 이것이 단순히 통계학적으로 발견될 수 있는 자연스러운 변이일 가능성은 거의 제로이다.
따라서 "기적"을(*) 믿지 않는다면, 우리는 PCS에서 강력한 편향[편파판정]이 있었다고 결론내릴 수밖에 없다.
(*) 이 말(기적)은 "평범한" 피아니스트가 갑자기 "천재"가 되는 경우와 맞먹는다.
3: Exercise
이부분은 편파성을 보정한 점수를 산정해 보기 위해 올림픽을 포함한 지난 1년간 대회에서의 점수를 평균한 결과인데 올림픽에 50%의 가중치를 줘서 최대한 보수적인 계산을 했는데도 환산된 점수를 보면 다른 선수들의 순위는 변동이 거의 없는데 반해 김연아와 소트니코바의 순위가 바뀌게 된다는 결과로써 편파판정을 방증하는 간단한 내용이라 생략합니다.
결론
소치 여자 피겨 스케이팅 결과에 대한 이 통계학적 분석을 통해 기술점수와 PCS 양쪽 모두에서 체계적인 편향[편파판정]이 존재했다는 것을 보여주었다.
가장 큰 편향이 쇼트와 프리 두 경우 모두에서 1위 스케이터인 소트니코바에게 주어졌으며, 이것이 아마 그 경기가 끝난 뒤 이어져 온 논란을 설명해주는지도 모른다.
앞서의 분석을 토대로, 소치 올림픽의 공식 점수들을 정정하기 위한 exercise가 수행되었으며, 결과는 분석과 일치한다.
소치 올림픽 여자 프리 스케이팅 경기 직후 Virgili 박사의 페이스북 메세지:
진짜 올림픽 스캔들,러시아 선수에게 금메달을 주다.
....
진짜 순위: 1) 김연아 2) 카롤리나 코스트너 3) 러시아 소녀
피겨 스케이팅 심판들에 관한 흥미로운 두 편의 기사.
(이탈리아의) Angelo Napoli가 잘 말한 것처럼, 슬프게도, 항상 돈이 이긴다...
위에 나온 주소는 아래의 편파판정에 대한 조사를 청원하자는 서명운동 사이트인데 Virgili 박사도 동참하셨나보네요.
아래는 판정에 대해 반박하고 편파판정임을 호소하기 위해 팬들이 제작한 자료 영상입니다.
위 분석자료와 함께 역시 제소 시 근거 자료로 활용됐으면 좋겠네요.
영문으로 돼있어 감상하시기 어렵더라도 플레이 하면 우측 상단에 나오는 좋아요(엄지를 위로 치켜세운 손)를 클릭하셔서 보다 많은 외국인들이 볼 수 있도록 해주세요.
