1. 먼저 엔젤하이로 위키 → 리그베다 위키 성장 과정부터 보면
옛날 엔하위키 시절 존나 펑펑 터지던건 다들 기억하시련지 모르겠네요.
사람 조금만 들어오면 펑펑 터지기 일쑤였고, 덕분에 본관은 접속조차 안 되는 시간대가 있었을 정도죠.
크롤링이 막힌건 그 시기의 터짐이 사실 근본적인 원인이긴 합니다.
그래서 그 시기에 미러의 존재는 그 트래픽을 분산해주는 사이트, 본관이 터졌을때도 컨텐츠에 접근은 할 수 있게끔 해주는 도구였습니다.
덤으로, 검색 엔진에 크롤링이 안 되는 엔하위키 본관을 대신해, 크롤링으로 접근이 가능하게 해 컨텐츠의 접근을 용이하게 했고, "엔하위키"라는 이름을 알리기 시작했던게 엔하위키의 폭발적인 성장을 가져온 계기였다는건 부정할 수는 없죠.
때문에 애초에 태생부터 미러에 PV가 더 몰릴 수 밖에 없었습니다.
트래픽을 우려해 검색엔진에 막아둔 본관과는 달리, 미러는 검색엔진에서 노출이 잘 되었으며, 때문에 미러는 엔하위키라 오해받는 것을 피하기 위해 위에 대문짝하게 "미러란?"을 추가하곤 했습니다.
글쎄요. 제가 보기에 미러는 지금의 리그베다 위키가 이 정도로 클 수 있던 원동력이고, 그래서 그걸 "적"이라 표현하는 것도 사실은 웃기다고 생각합니다.
2. 그렇다면 지금은 리그베다 서버가 괜찮아졌으니 미러가 필요 없다?
일단 검색 엔진 노출부터가 다릅니다.
검색 엔진 로봇은 크롤링 봇입니다. 엔하위키 미러가 하는 미러링 역시 크롤링에 기반한 서비스이듯, 검색 엔진도 그런 기계적인 방법을 통해 페이지를 수집하고 검색 결과에 노출시켜 줍니다.
문제는 불과 얼마전까지만 해도 robots.txt의 Validation, 그러니까 문법 검사를 돌려보면 크롤링 봇은 Disallow: /만 읽었다고 떴습니다. 그러니까 크롤링이 막혀있었다는 것이죠.
심지어는 어떻게 어떻게 비표준 Allow/Disallow 규칙을 읽었다고 하더라도, 288초당 하나의 글을 읽을 수 있게 열어놔서 사실상 쓸모가 없었다(300개/일 = 30만개 문서 다 읽는데 3년)는 것이죠.
뭐, 검색엔진 문제는 차치하고 넘어간다 칩시다.
그렇다면 유료 솔루션을 도입한 지금 서버가 큰 지금엔 미러가 필요 없지 않냐고 하시는데, 결론부터 말하자면 굳이 유료 솔루션을 쓸 필요가 없습니다.
엔하위키 미러가 PV, 그것도 1300만 PV씩이나 도둑질하는 것마냥 썼던 속살글의 현실과는 달리 페이지뷰계에서 꽤 신뢰성 있다고 보는 SimillarWeb의 통계에 따르면,
1300만 PV가 어디서 나온 수친지도 사실 애매합니다만(이걸 속된말로 뻥카라고 하죠) 지금의 PV 격차 수준은 꽤 많이 줄어든 편입니다.
오히려 저만큼의 PV를 받아내는 미러가 있기 때문에 지금 리그베다 위키가 쾌적하게 돌아가는거 아닐까 싶은데요.
문제는 140만 PV 정도로는 유료 솔루션을 쓸 필요가 없단겁니다. 왜 이거에 돈을 내고서 운영비가 모자르다 하는지 전 잘 모르겠네요.
무료로 제공 받는게 그렇게 기능이 부족하지 않습니다. 주당 1번씩 긁고(결국 크롤링인데요), 100MB까지 지원한다는 점(HTML 캐싱 자체는 그렇게 안 듭니다)만 봐도요.
아참, 공교롭게도 리그베다 위키는 클라우드 플레어를 썼군요. rigvedawiki.net의 DNS를 조회하면 rigvedawiki.net [104.20.13.232]로 조회가 되는데, 104.20.13.232의 IP 할당지를 찾아보면
https://db-ip.com/104.20.13.232 클라우드 플레어 서비스입니다.
트래픽 방지를 위해 돈내고 쓰는 크롤링 사이트는 잘만 쓰고, 말 안해도 잘 굴러가는 미러는 돈을 버니까 싫다?
검색엔진 노출은 그렇게 거부해왔으면서 광고 수익원인 PV가 가는건 싫고, 사이트가 터지는 건 싫어서 돈을 쓴다?
제 머리로는 도저히 이해할 수가 없네요.
3. 서버 운영비가 정말 비싼가?
아뇨. 다만 모니위키 자체가 파일DB 기반이다보니 무거운건 있습니다. SSD 가격 정도는 들겠습니다만, 이외의 사항에 관해서는 미디어위키보다도 서버 사이드 스크립트가 간결하기 때문에 CPU 점유율도 낮아서 딱히 서버 비용이 높아보이지는 않습니다.
게다가 130만 PV라면, 회선 비용도 그렇게 비싸지 않습니다. 애초에 회선 비용이라는게 트래픽, 그러니까 PV에 비례하는 것인데, PV가 저 정도 나오고서 서버 운영비가 비싸다는 건 글쎄요.
그러면 1300만 PV라 주장하는 미러는 도대체 그 트래픽과 비용을 어떻게 감당하는지 저는 좀 궁금하네요. 그런 솔루션이 있는가.
게다가 쓸모 없이 빠져나가는 돈이 제 눈에는 좀 많아보입니다.
운영비가 빠듯하다면서, 무료로도 충분한 CloudFlare 유료 솔루션은 적용하지 않나(그것도 자신들의 조항을 위반하면서까지),
사람이 많이 안 온다고 징징대면서 트래픽 증설에는 또 과감한 투자를 했다고 홍보하지 않나...
4. 미러에 대한 방지 약관이 정말 옳은가?
결론부터 얘기하자면 오류 투성이입니다.
먼저 기계 수집을 막기 위해 각 페이지 밑에 붙인 CCL에 부가 조항을 달아놓았습니다만, CCL에 부가 조항을 붙이는건 원칙적으로 불가능합니다. 링크를 타고 들어가면 "추가 제한 금지"가 떡하니 적혀있습니다.
심지어 대놓고 법적 조치와 기술적 조치를 부가해서는 안된다고 적혀있습니다.
게다가 "상업적인 용도 또는 대량 저장, 재가공 등의 자료 수집 목적으로 사용될 수 없습니다." "소프트웨어 혹은 기계적인 방법을 통하여 수집될 수 없습니다."라고 적혀있는데요.
먼저 앞의 문장은 아까 말한 유료 솔루션의 적용조차 자신들이 어기고 있는 것은 물론이고요(저 조항에 의하면 검색 엔진 봇도 못 돌림).
뒷 문장도 문제가 심각한데 사람들이 리그베다 위키를 볼 때 쓰는 웹 브라우저조차도 소프트웨어입니다. 곧 웹 브라우저에서 접근하는 것도 불가능합니다.
저 조항은 사실상 저희가 하드웨어 수준인 데이터링크 Ethernet단에서 패킷을 받아 MTU에 맞춰 합치고 포장된 IP, TCP, HTTP 패킷을 까서 봐야한다는 소리 수준의 조항입니다.
게다가 무리하게 저작권 조항을 추가한 것도 저는 좀 말이 안 된다고 생각하는게, 원래 공모전 등에서도 저작권을 받는거 자체가 굉장히 까다로운 일입니다.
이거 잘못했다가 공정위한테 걸린 곳도 있고요. 저작권 전부가 아니라 일부 권한을 위임하는 것조차도 원 저작자의 명확한 동의(보통 계약서의 형태로 이루어집니다)가 있지 않으면, 약관 어딘가에 있는 것만으로 적용할 수 있는 물건은 아닙니다.
뭐 이거 미러를 막기 위해 IP를 블럭했고 그걸 뚫었으니 불법이다 할 수 있는데요.
IP 자체는 인터네트워킹 시에 호스트를 찾는 경로를 알려주는 것이고, IP의 할당은 개별 IP 단위가 아니라 네트워크 블럭 단위로만 이루어집니다.
그 큰 블럭이 어느 한 단체인 경우(가령 MIT라거나)가 아닌 이상, 대부분 인터넷 서비스 제공 업자(ISP)나 회선 업자가 그 블럭을 가지고 라우터 구성하기 좋은대로 만들어서 뿌려주는겁니다.
때문에 입주한 서버라고 해서 IP가 변경되지 않는 것도 아니고요, 그래서 기술적으로는 IP 자체를 막는건 별 효력이 없습니다. 라우트 포워딩이 막힌게 아니니까요.
5. 저작권 관련한 이야기 조금 더.
먼저 많은 위키 시스템이 왜 CCL, 그것도 대개 저작자표시, 동일조건변경허락 등을 달고 채용하고 있는가부터 봐야합니다.
위키 시스템은 사용자가 작성한 위키 문법에 맞춘 글을 먼저 서버 사이드 스크립트에서 "가공", 즉 형태를 리믹스/변경하게 됩니다.
그 변경한 저작물을 인터넷 사이트라는 형태로 재배포를 하게 되는 것이죠.
CCL에 보면 이용자는 다음의 권리를 갖습니다: 공유, 변경이라 해놓고 있습니다. 위키의 기능과 딱 맞아 떨어지는 부분이죠.
또한 시스템적으로도 위키 시스템은 그 이력을 기록(원래 위키의 출발 역사상 있는 기능입니다)하게 되는데요, 이는 CCL의 "저작자표시"와도 호환되는 기능이고요.
동일조건변경허락 역시, 전의 글을 편집하고 수정해도 동일조건으로 배포되는 사이트라면 이 조항을 만족할 수 있기 때문에 달아둔 것입니다.
문제는 비영리 조건입니다.
리그베다 측이 달아둔 비영리 조건은 사실 비영리의 범위를 어떻게 해석하느냐에 따라서 갈릴 수 있습니다.
비영리 자체가 광고도 바로 제한하는건 아닙니다. 다만 그로 인한 수익이 수익자를 위한 것이 아니라 해당 서비스 등을 이용하는 사람에게 전부 돌아간다는 조건 하에서만 인정이 됩니다.
그러면 서버를 제공하는게 그에 해당하지 않는가? 일단 밑의 문제만 보더라도 아닙니다.
얼마전 올라왔던 속살 글에 "리그베다 위키는 사업자를 낸 상태입니다."라고 당당히 적혀있습니다.
사업자라는건 영리 법인이고요. 일단 영리 법인인 것도 비영리 조항에 위배가 되는데요.
게다가 저작권의 위임에 관해서도.
위에서 기재해놓았듯이 저작자의 저작권을 위임받기 위해서는, 심지어 그 일부를 위임받는 것조차 약관만으로는 할 수 없으며(불공정 약관의 소지가 다분합니다), 명시적인 편집/작성자의 동의가 필요합니다.
명시적이라는 것은 그 사람이 "내가 이 권한을 행사하도록 했다"고 말할 수 있을 명시적 동의를 의미합니다.
이 저작권 위임이 다음 이유로 생겼다고 하는 사람이 있는데요: "기여자가 자신의 저작물이라 주장하면서 글을 날리는 행위를 방지하기 위함"
이미 대한민국 저작권법상 여러 저작자가 편집한 공유저작물은 저작권법 효력에 의해 그런 행위를 보호받고 있습니다. 애초에 필요 없는 조항입니다.
오히려 저작권을 위임받음으로서 리그베다 위키에 저작권이 있고, 그 저작물에 문제가 생기면 리그베다가 책임을 져야하게 됩니다.
그냥 저작권을 원 저작자에게 있음을 명시해놓았더라면 오히려 저렇게 휘말릴 일은 없었을 것입니다.
제가 보기에는 이 일련의 흐름들이, 과거 엔하 위키 시절부터 꾸준히 제기되어 오던 문제가 곪고 곪아 생긴 것 같습니다.
운영진들이 아직까지 이 사이트를 "개인 사이트급"으로 인식하고 있는 것부터 물론이고, 미숙한 운영에 의한 문제가 눈덩이처럼 불어난거 같네요.
