질문이 있고 그 답이 담긴 글이 웹상의 어딘가에 공개되어 있다면, 그 글을 가장 정확히 찾아주는 것은 아마 구글일 것 입니다. 그 만큼 구글검색(정확히는 웹검색)의 정확도는 여타 검색 서비스 보다 뛰어 납니다. 그리고 다른 경쟁 서비스가 똑같이 따라하고 싶어도 따라할 수 없을 만큼 뛰어납니다. 이런 구글검색의 뛰어남은 어디서 오는 걸까요? 구글검색의 힘은 무엇일까요?


얼마전에 이런 질문의 답에 대한 힌트를 옅볼수 있는 글을 읽은적이 있습니다. 컨퍼런스에서 발표된 "The Ureasonable Effectiveness of Data"라는 글 인데요. 이 글은 구글에서 근무하는 3명(Alon Halevy, Peter Norvig, Fernando Pereira)의 아티클 입니다. 구글에서 일하는 사람들이 생각하는 지향점을 보면서, 구글검색의 뛰어난 점 (구글검색의 힘)에 대해 생각해 볼 수 있는 글 이었습니다.

결론적으로 말하자면 이 글에서 이야기 하고 있는 내용은 굉장히 많은 문서(데이터)를 가지고 분석하면, 다른데서 찾을 수 없었던 의미있는 데이터를 찾을 수 있다는 자랑 정도 되겠습니다.


좀 더 살펴보면, 위의 내용은 글에서 이야기 하고 있는 가장 큰 문단 입니다. 대충 인간의 언어는 매우 다양한 의미를 나타내기 때문에, 대량의 택스트에서 뜻을 알아내는 것은 매우 유용하다는 말이 되겠습니다. 이 이야기를 좀 더 발전시켜서, 글에서는 작은 데이터에서 복잡한 방법으로 해석한 결과보다 많은 데이터에서 간단한 방법으로 해석한 결과가 더 좋다고 이야기 합니다.

세계에서 가장 많은 웹문서(택스트 데이터)를 가지고 있는 곳이 바로 구글 입니다. 이런 이야기라면 세계에서 가장 많은 웹문서를 가지고 있는 구글은 남들보다 간단한 방법으로 해석해서 더 정확한 결과를 만들 수 있습니다.

가장 많은 웹문서를 가지고 있다는 것은 단순히 많이 모았다는 뜻이 아닙니다. 거대한 데이터를 모을 수 있고, 갱신할 수 있고, 분석할 수 있고, 저장할 수 있고, 보여줄 수 있다는 뜻 입니다. 어떤 웹문서의 내용을 가장 잘 아는 사람은 그 문서를 만든 사람이고, 그 다음은 구글 이라는 소리가 있습니다.

구글은 데이터를 분석하고 거기서 2차적인 정보를 얻어내는 것에 관심이 많습니다. 관련연구 결과가 많이 나오는 것을 보면 알 수 있죠. 이와 비슷한 의미로, 구글은 중국,일본,한국의 형태소 분석에 동일한 알고리즘을 사용한다고 들었습니다. 기계학습에 사용되는 데이터는 다르지만 학습방법은 동일하다고 합니다. 구글은 데이터의 힘을 믿는 것 같습니다. 데이터를 가장 잘 모을 줄 알고, 가장 많이 모을 줄 알고, 가장 잘 분석할 줄 알고, 그 결과를 믿는 다는 것이죠.

이런게 바로 구글의 힘 이라고 생각 합니다.

남은 이야기:
네이버 검색의 힘은 어디서 오는 걸까요?
구글의 희망, 네이버의 고민 - 블로그