얼마전에 구글에서 하루에 처리하는 데이터량이 2페타바이트라는 글을 읽었습니다. 그리고 SUN 블로그에서 1페타바이트의 데이터를 보내는 가장 빠른 방법에 대한 글을 누군가에게 듣고 찾아보니 2007년 3월에 올라온 글이 있었습니다. 저도 미국 센프란시스코 에서 서울까지 1페타바이트의 데이터를 보내는 가장 빠르고 효율적인 방법은 무엇일까? 잠깐 생각해 보았습니다.
몇가지 떠오르는 방법이 있습니다.
예전에 Pixar 에서 한 작업에서 다음작업으로 데이터를 옮기는 가장 빠른 방법은 HDD를 들고 뛰는 방법이었다는 에피소드를 들은 적이 있습니다. 케나다의 한 이동통신회사의 일주일에 2TB 데이터를 분석하기 위해 가장 빠른방법을 택한 것이 HDD를 들고 토론토로 비행기 태워 보내는 것이었다는 소리, 1TB 데이터를 서울에서 서울로 옮기기 위한 가장 빠른 방법이 HDD를 들고 택시타고 가는 것이었다는 것도 들었습니다.
저에게도 데이터를 어떻게 전송하는가에 대한 고민을 해야 할 만큼 큰 데이터를 다루는 날이 와봤으면 좋겠습니다. :)
몇가지 떠오르는 방법이 있습니다.
- 인터넷으로 전송 하는 방법
대충 그림과 같은 과정을 거쳐서 데이터를 보내게 될 것입니다. 이때 가장 문제가 되는 곳은 '국내망'이라고 써있는 부분일텐데, 기가비트 망을 연결한다고 쳐도 1페타바이트를 전송하는데 3달 이상 걸립니다.
1G Bit/sec = 128MByte/sec = 7.5GB/min = 450GB/h = 10.55TB/day
1petabytes는 약97일 정도 걸리면 전송 할 수 있겠습니다. - 위성통신으로 전송하는 방법
위의 1번 방법에서 중간에 해저케이블 부분이 위성으로 바뀔뿐이므로 1번 방법보다 느리면 느렸지 빠르지는 않을 듯 합니다. - Johnathan의 글에서 처럼 sailboat로 보내는 방법
이건 한달이면 갈려나? 아무래도 항공편보다 싸긴 할테지만 빠르지는 않을게 분명 합니다. - Fedex로 항공편으로 보내버리는 방법
1TB HDD 1024개에 데이터를 담아서 Fedex로 보낸다면 며칠이면 서울로 도착할 듯 합니다. 물론 양쪽의 시스템이 동일한 장비에 핫스팟 기능을 가지는 구성을 해야 겠습니다. 1TB HDD를 1024개 구입하는 가격도 생각해 봐야 겠습니다. 아무튼 시간은 이게 제일 빠를 듯 합니다.
예전에 Pixar 에서 한 작업에서 다음작업으로 데이터를 옮기는 가장 빠른 방법은 HDD를 들고 뛰는 방법이었다는 에피소드를 들은 적이 있습니다. 케나다의 한 이동통신회사의 일주일에 2TB 데이터를 분석하기 위해 가장 빠른방법을 택한 것이 HDD를 들고 토론토로 비행기 태워 보내는 것이었다는 소리, 1TB 데이터를 서울에서 서울로 옮기기 위한 가장 빠른 방법이 HDD를 들고 택시타고 가는 것이었다는 것도 들었습니다.
저에게도 데이터를 어떻게 전송하는가에 대한 고민을 해야 할 만큼 큰 데이터를 다루는 날이 와봤으면 좋겠습니다. :)
'정보검색' 카테고리의 다른 글
구글의 MapReduce의 간략한 이해 (0) | 2008.04.29 |
---|---|
구글이 처리하는 웹페이지 갯수는 얼마나 될까? (2) | 2008.01.10 |
미러사이트를 판단하는 것에 대한 논문 (0) | 2007.12.19 |