우연히 주소를 잘못치고 들어간 곳이 낯뜨거운 성인사이트 거나 불법 파일공유 사이트, 도메인 장사하는 사이트 였던 기억이 가끔 있는데요. 이런 사이트가 검색결과에 등장하면 안되겠죠. 이런 스펨사이트를 걸러내는 방법에는 여러가지가 있지만 그 중에 한가지가 링크를 가지고 분석하는 방법 입니다.


사이트간의 링크를 그림처럼 그려놓고 찾아보면 변방에 자기들끼리 모여있는 그룹을 볼 수 있습니다. 어떤 경우 몇몇 사이트들 끼리 수만개 이상 링크를 교환해서 가지는 경우도 있습니다. 이 경우 대부분의 경우 스펨사이트들 입니다. 요즘 나오는 검색엔진들은 이런 기초적인 스펨은 대부분 걸러버리기 때문에 요즘에도 이런 방법으로 검색랭킹을 올리려는 시도는 별로 없지만, 그래도 꽤 남아 있습니다.

목표는 위그림의 빨간색 표시들을 찾는 겁니다. 이런 사이트를 찾으려면 어떻게 해야 할까요?

먼저 수많은 웹페이지로 부터 링크를 찾는 과정이 필요 합니다. 그리고 각 사이트간의 연결을 찾기 위하여 링크를 추상화 시켜야 겠죠. 제 경우 '링크 URL'의 'HOST' 부분만 찾아서 사용했습니다. 그럼 아래 그림과 같은 연결을 찾을 수 있습니다.


이 데이터(HostMap)를 기준으로 Rank 점수를 계산 했습니다. 각 Host마다 초기 10점의 점수를 가지고 있고, Outlink 갯수 만큼 나누어 주었습니다. 이런 방식으로 10번 이상 여러번 돌리면, 링크를 받는 Host는 점점 점수가 올라가게 됩니다. 페이지랭크와 비슷한 방법이죠. 여기에서 WhiteList(원래 유명한 믿을만한 사이트들)를 뺍니다.

이런방식으로 어느정도 상위분포를 잘라보면 별로 유명하지도 않으면서 지들끼리 수만개 이상 링크를 교환하는 스펨사이트가 나타나게 됩니다. 물론 국내외 검색엔진들은 이것보다 더 정교하고 똑똑한 방법을 사용합니다. 그리고 스펨사이트에는 여러가지 유형이 있는데 링크스펨은 그 중 한가지일 뿐이죠. ^^

시간이 좀 지났습니다만, 2006년 5월 논문 중 링크 스펨을 알아내는 방법에 관한 논문이 있어서 읽어 본적이 있습니다. 발표동영상이 있길래 찾아서 같이 보았는데, 귀가 너무 후져서 그런지 인도사람 발음이라 알아듣기가 힘들었습니다. T.T 그나마 PPT 화면이 같이 나와서 조금 도움이 되었습니다.


야후 연구소 이름이 같이 나오던데, 실험 결과가 꽤 좋다고 되어 있어서 혹해서 얼른 테스트를 해 보았습니다만, 전부다 해 보지는 못하고, 몇가지 간단한 방법을 추려서 한게 잘못 된건지.. 결과가 별로 좋지 않았습니다. 역시 이해력이 딸려서 제대로 적용을 못 한 걸까요. ㅎㅎ

링크 스펨이라고 걸려져 나온 결과를 대충 보면 불법 공유로 워낙 유명해서 이름만 보면 그냥 알 수 있는 사이트 들만 나와서 쓸모가 없었습니다.

참고자료:
Using Rank Propagation and Probabilistic Counting for Link-Based ...