나쁜사이트를 알아내는 방법 중 한가지 - 링크스펨

예전에 링크 스펨 알아내는 방법에 대한 논문을 읽고 간단히 만들어 본적이 있는데요. 워낙 유명한 스펨사이트만 나와서 별 쓸모 없어 보이긴 했지만, 잊어버리기 전에 정리하는 차원에서 그때 사용했던 방법을 정리해 둡니다.

우연히 주소를 잘못치고 들어간 곳이 낯뜨거운 성인사이트 거나 불법 파일공유 사이트, 도메인 장사하는 사이트 였던 기억이 가끔 있는데요. 이런 사이트가 검색결과에 등장하면 안되겠죠. 이런 스펨사이트를 걸러내는 방법에는 여러가지가 있지만 그 중에 한가지가 링크를 가지고 분석하는 방법 입니다.

사이트간의 링크를 그림처럼 그려놓고 찾아보면 변방에 자기들끼리 모여있는 그룹을 볼 수 있습니다. 어떤 경우 몇몇 사이트들 끼리 수만개 이상 링크를 교환해서 가지는 경우도 있습니다. 이 경우 대부분의 경우 스펨사이트들 입니다. 요즘 나오는 검색엔진들은 이런 기초적인 스펨은 대부분 걸러버리기 때문에 요즘에도 이런 방법으로 검색랭킹을 올리려는 시도는 별로 없지만, 그래도 꽤 남아 있습니다.

목표는 위그림의 빨간색 표시들을 찾는 겁니다. 이런 사이트를 찾으려면 어떻게 해야 할까요?

먼저 수많은 웹페이지로 부터 링크를 찾는 과정이 필요 합니다. 그리고 각 사이트간의 연결을 찾기 위하여 링크를 추상화 시켜야 겠죠. 제 경우 '링크 URL'의 'HOST' 부분만 찾아서 사용했습니다. 그럼 아래 그림과 같은 연결을 찾을 수 있습니다.

이 데이터(HostMap)를 기준으로 Rank 점수를 계산 했습니다. 각 Host마다 초기 10점의 점수를 가지고 있고, Outlink 갯수 만큼 나누어 주었습니다. 이런 방식으로 10번 이상 여러번 돌리면, 링크를 받는 Host는 점점 점수가 올라가게 됩니다. 페이지랭크와 비슷한 방법이죠. 여기에서 WhiteList(원래 유명한 믿을만한 사이트들)를 뺍니다.

이런방식으로 어느정도 상위분포를 잘라보면 별로 유명하지도 않으면서 지들끼리 수만개 이상 링크를 교환하는 스펨사이트가 나타나게 됩니다. 물론 국내외 검색엔진들은 이것보다 더 정교하고 똑똑한 방법을 사용합니다. 그리고 스펨사이트에는 여러가지 유형이 있는데 링크스펨은 그 중 한가지일 뿐이죠. ^^