티스토리

지민아빠의 해처리
검색하기

블로그 홈

지민아빠의 해처리

ypshin.com/m

이바닥에서 뒹굴기

구독자
1
방명록 방문하기
공지 컨텐츠 사용시 주의사항 모두보기

주요 글 목록

  • 나쁜사이트를 알아내는 방법 중 한가지 - 링크스펨 예전에 링크 스펨 알아내는 방법에 대한 논문을 읽고 간단히 만들어 본적이 있는데요. 워낙 유명한 스펨사이트만 나와서 별 쓸모 없어 보이긴 했지만, 잊어버리기 전에 정리하는 차원에서 그때 사용했던 방법을 정리해 둡니다. 우연히 주소를 잘못치고 들어간 곳이 낯뜨거운 성인사이트 거나 불법 파일공유 사이트, 도메인 장사하는 사이트 였던 기억이 가끔 있는데요. 이런 사이트가 검색결과에 등장하면 안되겠죠. 이런 스펨사이트를 걸러내는 방법에는 여러가지가 있지만 그 중에 한가지가 링크를 가지고 분석하는 방법 입니다. 사이트간의 링크를 그림처럼 그려놓고 찾아보면 변방에 자기들끼리 모여있는 그룹을 볼 수 있습니다. 어떤 경우 몇몇 사이트들 끼리 수만개 이상 링크를 교환해서 가지는 경우도 있습니다. 이 경우 대부분의 경우 .. 공감수 0 댓글수 0 2009. 4. 10.
  • 이 바닥에 발들이던 그때 그시절 제가 이 바닥에 처음 발 담근 게 98년 말 이었고, 본격적으로 직장생활을 시작한 건 2000년도 초 부터 였는데요. 그 시절은 97년 이후 시작된 IMF의 위기의 끝에 선 "IT 버블"이 시작하는 때 였습니다. 그 당시 살아남은 기업들은 구조조정을 한다고 IT 시스템에 투자하고, 정부는 경기부양 한다고 IT예산을 늘렸습니다. IT가 돈이 된다고 하니까 돈 될 만한 회사에 투자하려고 하는 데가 많았고, 벤처들은 이런데서 투자를 받았습니다. 이렇게 돈이 모이는 곳에서 쉽게 눈에 띄는 방법은 "최신기술" 이라고 포장 하는 것이죠. 그 당시 최신언어 였던 자바는 이런 이유로 인기가 많았습니다. 벤처회사에서 너도나도 자바개발자를 구하려고 했는데, 97년에 처음 우리나라에 들어온 개발언어를 할 줄 아는 사람이 많.. 공감수 0 댓글수 6 2008. 11. 3.
  • 구글의 MapReduce의 간략한 이해 구글에게 MapReduce가 없었다면 현재의 구글은 없었을 찌도 모릅니다. 구글이 대단한 것은 세계에서 가장 많다고 자부할 수 있는 그 방대한 데이터를 유지하고 있는 능력 인 것 같습니다. 이 대단한 능력을 가능하게 하는 것은 바로 구글의 MapReduce가 있기 때문이죠. 구글의 MapReduce는 대용량 병렬처리를 가능하게 합니다. 엄청난 크기의 데이터를 짧은 시간안에 슈퍼컴퓨터가 없어도 처리가 가능 합니다. 하지만 MapReduce도 만능은 아니라서 여기에는 몇가지 조건이 붙습니다. 대표적으로 MapReduce는 key/value pair로 표시할 수 있는 데이터를 병렬처리 할 수 있습니다. key를 표시할 수 없는 데이터는 병렬처리로 나눌수 있는 기준이 없기 때문에 안됩니다. 그리고 batch 형.. 공감수 0 댓글수 0 2008. 4. 29.
  • 페타바이트의 데이터를 보내는 방법 얼마전에 구글에서 하루에 처리하는 데이터량이 2페타바이트라는 글을 읽었습니다. 그리고 SUN 블로그에서 1페타바이트의 데이터를 보내는 가장 빠른 방법에 대한 글을 누군가에게 듣고 찾아보니 2007년 3월에 올라온 글이 있었습니다. 저도 미국 센프란시스코 에서 서울까지 1페타바이트의 데이터를 보내는 가장 빠르고 효율적인 방법은 무엇일까? 잠깐 생각해 보았습니다. 몇가지 떠오르는 방법이 있습니다. 인터넷으로 전송 하는 방법 대충 그림과 같은 과정을 거쳐서 데이터를 보내게 될 것입니다. 이때 가장 문제가 되는 곳은 '국내망'이라고 써있는 부분일텐데, 기가비트 망을 연결한다고 쳐도 1페타바이트를 전송하는데 3달 이상 걸립니다. 1G Bit/sec = 128MByte/sec = 7.5GB/min = 450GB/h.. 공감수 0 댓글수 4 2008. 1. 29.
  • 구글이 처리하는 웹페이지 갯수는 얼마나 될까? 해외 유명 블로그 TechCrunch 에 구글 관련 내용이 올라왔습니다. 이 소식을 발빠르게 전해 주시는 여러 블로거님들 덕분에 금방 소식을 접하게 되었습니다. (참 좋은 세상입니다. ^^) Google Processing 20,000 Terabytes A Day, And Growing (TechCrunch) 구글, 하루에 20000 테라바이트(TB)의 자료를 처리한다고? (학주니닷컴) 구글이 20 petabyte의 데이터를 얼마만에 처리할까? 그럼 이게 실제 얼마나 되는 양일까요? 20PB(페타바이트)는 실제로 감이 잘 안 올만큼 커다란 값이긴 합니다. 이 값은 데이터를 처리할 수 있는 양을 나타내는 것 뿐이고 실제 몇개의 웹페이지를 처리하는 지는 직접적으로 나타내지 않습니다. 하지만 원문글 중간의 표.. 공감수 0 댓글수 2 2008. 1. 10.
  • 미러사이트를 판단하는 것에 대한 논문 1998년 경에 쓰여진 Mirror, Mirror on the Web: A Study of Host Pairs with Replicated Content라는 논문을 읽어 보았다. 미러사이트는 네트웍 트래픽을 줄이기 위하여 다른 컴퓨터 서버를 복사해 놓은 웹사이트 또는 컴퓨터 파일서버를 말하는데, 중복페이지가 존재하는 것과 다르게 미러사이트는 원사이트의 정확한 복제품을 말한다. 보통 다운로드 사이트의 경우 트래픽을 분산 시키기 위하여 미러사이트 들을 사용하는데, 논문에서 다루고 있는 내용은 미러로 운영되는 웹사이트를 구분하기 위한 방법을 말한다.여기에는 kangcom.com 이나 wowbook.com 처럼 같은 내용으로 포워딩되는 경우도 포함 될 수 있다. 논문의 아이디어는 여러개의 URL의 Path 유사.. 공감수 0 댓글수 0 2007. 12. 19.
  • 링크 스펨 알아내는 방법에 대한 논문 시간이 좀 지났습니다만, 2006년 5월 논문 중 링크 스펨을 알아내는 방법에 관한 논문이 있어서 읽어 본적이 있습니다. 발표동영상이 있길래 찾아서 같이 보았는데, 귀가 너무 후져서 그런지 인도사람 발음이라 알아듣기가 힘들었습니다. T.T 그나마 PPT 화면이 같이 나와서 조금 도움이 되었습니다. 야후 연구소 이름이 같이 나오던데, 실험 결과가 꽤 좋다고 되어 있어서 혹해서 얼른 테스트를 해 보았습니다만, 전부다 해 보지는 못하고, 몇가지 간단한 방법을 추려서 한게 잘못 된건지.. 결과가 별로 좋지 않았습니다. 역시 이해력이 딸려서 제대로 적용을 못 한 걸까요. ㅎㅎ 링크 스펨이라고 걸려져 나온 결과를 대충 보면 불법 공유로 워낙 유명해서 이름만 보면 그냥 알 수 있는 사이트 들만 나와서 쓸모가 없었습니.. 공감수 0 댓글수 0 2007. 12. 11.
  • SVM을 이용하여 스펨 블로그를 판별하겠다는 논문 고감자님 블로그에서 SVM을 이용한 블로그 와 스팸 블로그 인식 이 포스트를 얼마전에 읽었습니다. 내용은 SVMs for the Blogosphere: Blog Identification and Splog Detection 논문을 읽어 보았는데 블로그를 인식 하는 것이 성능이 꽤 좋았다는 내용이었습니다. 그래서 저도 논문을 읽어 보았습니다. 내용을 살펴 보니 사용된 데이터 집합과 사용된 방법 등이 설명되어 있는데, 영어권을 중심으로 실험한 내용이었습니다. 그냥 이 결과를 믿어 버리고 "아 이렇게 하면 결과가 좋다고 하구나" 라고 넘어 갈려고 했는데 아무래도 영어권 중심의 내용이라는게 못 미더 웠습니다. 호기심이 동하여 구할 수 있는 블로그 URL 들을 가지고 테스트를 좀 해 보았습니다. 테스트에 사용된 .. 공감수 0 댓글수 2 2007. 12. 5.
  • 정보검색(IR) 에서 Recall & Pricision 용어의 뜻 Recall 과 Precision은 IR에서 중요한 측정 기준 입니다. Recall은 검색어와 관계되는 문서 전체 중에 몇개를 찾아내느냐를 보는 것입니다. Recall이 높지 않으면 검색 결과 자체가 적기 때문에 품질이 형편 없다고 느껴지게 됩니다. 물론 대상되는 문서 자체가 엄청나게 많다면 Recall이 어느정도 수준만 되면 검색 결과의 양이 충분 하기 때문에 품질에 문제를 느끼지 못합니다. 예를 들어 구글에서 검색하는 결과는 대상되는 문서 자체가 엄청나게 많기 때문에 다른 검색엔진에 비해서 Recall이 떨어진다고 해도 품질 자체는 더 좋아보이게 됩니다. 이 경우 Precision이 더 중요하게 됩니다. 이런 Recall이 아닙니다. 이미지 출처는 요기 Precision은 검색결과 중에서 상위 몇 위.. 공감수 0 댓글수 0 2007. 11. 29.
  • 웹 크롤러 Mercator 구조 Mercator: A Scalable, Extensible Web Crawler를 간단히 소개 합니다. 1999년 6월 26일 자료이고, 저자는 Allan Heydon(heydon@pa.dec.com), Marc Najork(najork@pa.dec.com) 입니다. 당시 Compaq System Research Center에 있었습니다. Mercator의 Main Component를 표시한 그림 입니다. 일반적인 웹 크롤러의 구조와 비슷 하게 생겼습니다. 동작을 간단하게 살펴보면 번호 순서대로 아래와 같습니다. 추려진 URL을 준비 합니다. 각각의 scheme에 따라 fetch 명령이 실행 됩니다. RewindInputStream (RIS) 형식으로 download 됩니다. 중복 되거나 필요없는 Con.. 공감수 0 댓글수 6 2007. 11. 21.
  • 구글 이름의 유래 - googol The name "Google" originated from a misspelling of "googol", which refers to 10100 (the number represented by a 1 followed by one-hundred zeros). 출처: wikipedia.org "Google"이라는 이름은 "googol"을 잘못 표기한데서 유래 한다고 합니다. 1 googol 은 '1'에 '0'이 100개 붙은 숫자 입니다. 1 googol= 10100= 10,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,00.. 공감수 0 댓글수 2 2007. 11. 19.
  • 초기 구글 검색엔진의 구조 현재 구글에서 사용하고 있는 검색엔진의 구조에 대해서 공개되어 있는 정보는 별로 없지만 몇가지 논문을 통해서 공개된 내용이 약간 있다고 합니다. 대부분은 웹검색 시스템의 구조에 관한 설명이고, 블로그 검색이나, Gmail 검색에 사용되는 시스템도 아마 비슷하지 않을까.. 합니다만.. ^^ (구글은 반영속도가 아주 느려도 되는 웹검색 시스템과, 반영속도가 빨라야 하는 블로그 검색을 다른 시스템으로 돌린다고 합니다. GMail 처럼 실시간 반영되어야 하는 검색의 경우 아예 웹검색 엔진과 다른 엔진을 사용한다고 합니다.) 여기에서 잠깐, 간단히 살펴 볼 구글 검색엔진 이라는 것은.. 구글의 창시자 인 "Sergey Brin" 과 "Lawrence Page" 가 1997년 인가 1998년에 "Stanford U.. 공감수 0 댓글수 0 2007. 11. 1.
  • 공개 검색엔진 Nutch의 구조 Nutch는 자바로 구현된 오픈소스 검색엔진 입니다. Lucene이 Indexer 와 Searcher로 구성되어 있고, Nutch는 Lucene에 없는 웹검색에 필요한 모든 기본요소를 전부 갖추어서 웹검색 용으로 확장 한 것이라고 보면 될 것 같습니다. 그래서 Nutch는 Lucene 기반의 공개 웹검색 엔진입니다. Nutch는 많은 부분 구글 검색 엔진 구조를 목표로 하고 있습니다. 전체적인 구조는 일반적인 웹검색 시스템의 구조와 비슷한 것 같습니다. Nutch의 구조는 그림과 같은데, 이걸 지금 제가 알고 있는 웹검색 시스템의 구조로 이해하기 위해서 대충 나누어 보면 아래처럼 나눌 수 있을 것 같습니다. Crawler Nutch는 웹데이터 들을 효과적으로 가져올 수 있는 fetcher 들을 가지고 있.. 공감수 0 댓글수 2 2007. 11. 1.
  • 구글 페이지 랭크의 이해를 위한 간단설명 요즘 구글에서 페이지 랭크를 업데이트 하고 있다고, 소식이 들리고 있습니다. 들리는 소식에 의하면 블로그 쪽에 특화된 변화가 있다고 합니다만 아직 정확히 밝혀진 내용은 접해보지 못했습니다. 얼마전에 회사에서 Google's PageRank and Beyond 라는 책을 스터디 한 적이 있습니다. 역시 PageRank의 내용은 수학적인 내용이 거의 전부이기 때문에 수학에 취약한 본인은 다른분들의 도움을 받아서 겨우겨우 쫓아가는 것이 전부 였지만, PageRank의 개념을 이해하고 특성을 이해하는 데는 많은 도움이 되어 나름 뿌듯한 스터디 였습니다. ㅜ.ㅜ 구글의 PageRank라는 개념은 쉽게 이야기 해서 "사람들이 Link를 많이 거는 URL은 사람들이 많이 찾아가는 곳일 테고, 그 만큼 정확한 정보가 .. 공감수 0 댓글수 10 2007. 10. 30.
  • 정보처리(검색) 기계에 대한 최초의 묘사 "Google's PageRank and Beyond" 라는 책을 읽고 있다. 아직 앞부분을 읽고 있는지라 여기에 Google의 PageRank 에 대한 내용이 있는지는 잘 모르겠다. 어떤분의 말씀에 의하면 "Beyond"에 좀 더 주목한 책이라고 하던데... 이 책에서 첫부분에 "Vannevar Bush"(배니버 부시)라는 분의 1945년 발표된 "As We May Think"(우리가 생각하는 데로) 라는 글에서 나오는 "Memex"(Memory Extender)라는 기계에 대하여 나온다. 대충 이렇게 생긴 기계라는데.. 이미지를 어디서 얻었는가 하면: 구글에서 이미지 검색해서 어떤 외국 사이트에서 구했다. 이 기계가 무엇을 하는 기계인고 하니.. 사람의 생각을 기억해 두었다가 조작해서 다시 찾아낼 수.. 공감수 0 댓글수 3 2007. 5. 28.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.