페타바이트의 데이터를 보내는 방법

정보검색 2008. 1. 29. 12:03 Posted by 지민아빠
얼마전에 구글에서 하루에 처리하는 데이터량이 2페타바이트라는 글을 읽었습니다. 그리고 SUN 블로그에서 1페타바이트의 데이터를 보내는 가장 빠른 방법에 대한 글을 누군가에게 듣고 찾아보니 2007년 3월에 올라온 글이 있었습니다. 저도 미국 센프란시스코 에서 서울까지 1페타바이트의 데이터를 보내는 가장 빠르고 효율적인 방법은 무엇일까? 잠깐 생각해 보았습니다.

몇가지 떠오르는 방법이 있습니다.
  1. 인터넷으로 전송 하는 방법

    대충 그림과 같은 과정을 거쳐서 데이터를 보내게 될 것입니다. 이때 가장 문제가 되는 곳은 '국내망'이라고 써있는 부분일텐데, 기가비트 망을 연결한다고 쳐도 1페타바이트를 전송하는데 3달 이상 걸립니다.
    1G Bit/sec = 128MByte/sec = 7.5GB/min = 450GB/h = 10.55TB/day
    1petabytes는 약97일 정도 걸리면 전송 할 수 있겠습니다.

  2. 위성통신으로 전송하는 방법

    위의 1번 방법에서 중간에 해저케이블 부분이 위성으로 바뀔뿐이므로 1번 방법보다 느리면 느렸지 빠르지는 않을 듯 합니다.

  3. Johnathan의 글에서 처럼 sailboat로 보내는 방법
    사용자 삽입 이미지

    이건 한달이면 갈려나? 아무래도 항공편보다 싸긴 할테지만 빠르지는 않을게 분명 합니다.




  4. Fedex로 항공편으로 보내버리는 방법

    1TB HDD 1024개에 데이터를 담아서 Fedex로 보낸다면 며칠이면  서울로 도착할 듯 합니다. 물론 양쪽의 시스템이 동일한 장비에  핫스팟 기능을 가지는 구성을  해야 겠습니다. 1TB HDD를 1024개 구입하는 가격도 생각해 봐야 겠습니다. 아무튼  시간은 이게 제일 빠를 듯 합니다.
Moving A Petabyte of Data 라는 글에서는 센프란시스코에서 홍콩으로 페타바이트의 데이터를 보내는 방법을 생각해 보았습니다만, 한국에서의 빠른 네트워크도 없는 상황에서는 500년은 걸릴테니 배타고 보내는게 가장 좋다고 하는 군요. 하지만 한국에는 네트워크 인프라가 좋으니까 기가비트 망이라면 얼마나 걸릴까 하고 생각해 보았는데 500년은 아니더라도 상당히 오래 (3달) 걸립니다.

예전에 Pixar 에서 한 작업에서 다음작업으로 데이터를 옮기는 가장 빠른 방법은 HDD를 들고 뛰는 방법이었다는 에피소드를 들은 적이 있습니다. 케나다의 한 이동통신회사의 일주일에 2TB 데이터를 분석하기 위해 가장 빠른방법을 택한 것이 HDD를 들고 토론토로 비행기 태워 보내는 것이었다는 소리, 1TB 데이터를 서울에서 서울로 옮기기 위한 가장 빠른 방법이 HDD를 들고 택시타고 가는 것이었다는  것도 들었습니다.

저에게도 데이터를 어떻게 전송하는가에 대한 고민을 해야 할 만큼 큰 데이터를 다루는 날이 와봤으면 좋겠습니다. :)
,

해외 유명 블로그 TechCrunch 에 구글 관련 내용이 올라왔습니다. 이 소식을 발빠르게 전해 주시는 여러 블로거님들 덕분에 금방 소식을 접하게 되었습니다. (참 좋은 세상입니다. ^^)

Google Processing 20,000 Terabytes A Day, And Growing (TechCrunch)
구글, 하루에 20000 테라바이트(TB)의 자료를 처리한다고? (학주니닷컴)
구글이 20 petabyte의 데이터를 얼마만에 처리할까?

사용자 삽입 이미지
그럼 이게 실제 얼마나 되는 양일까요? 20PB(페타바이트)는 실제로 감이 잘 안 올만큼 커다란 값이긴 합니다.
이 값은 데이터를 처리할 수 있는 양을 나타내는 것 뿐이고 실제 몇개의 웹페이지를 처리하는 지는 직접적으로 나타내지 않습니다. 하지만 원문글 중간의 표에 나와있는 데이터로 약간 유추해 볼 수 있을 것 같습니다.

2007년 9월을 기준으로 구글의 map input data 가 403,152 TB(테라바이트)라고 합니다. 이걸 웹페이지 기준으로 볼때 웹페이지 한장을 평균 10 KB 라고 가정하면 하루에 약  1조4천5백억개의 웹페이지가 됩니다. map output data 는 34,774 TB, 하루 1천2백억 페이지 정도 됩니다. 구글이 인덱스 하고 있는 페이지가 120억개 라고 가정해 볼 경우, 한페이지당 하루에 10번 다녀갈 수 있는 양입니다. 여러분의 블로그에 구글에서 인덱스 하고 있는 페이지가 1,000개 라면 10,000번 다녀간다는 이야기가 되는 군요. 뭐 실제로 그런지는 모르는 거고, 그렇게 할 수도 있는 능력이라는 것 입니다.

구글에 인덱스 되어 있는 제 블로그 글을 검색해 보면 대충 1,660개 라고 나오던데요. 구글봇이 하루에 얼마나 다녀가는 걸까요? 대단한 능력 인 것 만은 틀림없는 사실 입니다.

출처가 되는 논문은 여기 있습니다. ACL이 걸려 있어서 귀찮으므로 고감자 님이 받아주신 PDF 파일도 첨부 합니다. 저도 아직 자세히 읽어 보지는 못 했습니다. ^^

업데이트: 구글의 Map Reduce 는 gmail 스펨 필터 처리에도 쓰인다고 합니다. 그러니까 저기 논문에 나온 map input data의 데이터 량은 메일 데이터 까지 전부 합친 용량이라고 할 수 있겠습니다.
,

이 글에 먼저

블랙홀이란 무엇인가

를 읽어 보시는 것이 좋습니다. ^^

 

화이트홀의 정의

en.wikipedia.orgBenji64

우주 물리학에서 화이트홀 이란 블랙홀을 시간적으로 뒤집은 것이다. 화이트홀은 아인슈타인 방정식으로 Schwarzschild 웜홀을 설명하는 과정에서 나왔으며, 블랙홀과 달리 사건의 지평선으로부터 물질을 방출한다. 화이트홀은 수학적으로 존재하지만, 실제로 천체로서 존재할지는 불명하다. 최근에 스티븐 호킹 박사가 블랙홀에서 물질이 방출 될 수 있다는 이론을 발표 하면서, 화이트홀과 블랙홀은 같은 것 이라는 논쟁이 있다.

웜홀의 정의

웜홀은 화이트홀과 블랙홀을 연결하는 통로이다. 웜홀은 블랙홀이 회전할 때 만들어 지며, 그 속도가 빠를수록 만들기 쉬워진다. (물론 이론적으로 예상해 봤을때 말이다.) 블랙홀로 들어가는 물질은 파괴되기 때문에 웜홀을 통한 여행은 수학적으로만 가능하다. 웜홀의 존재를 가정하기 시작하면 이 문제는 3차원 영역을 넘어서 4차원적인 영역으로 넘어가게 된다. 웜홀의 개념은 아래 그림을 보면 좀 더 이해하기 쉬워진다.

사용자 삽입 이미지

블랙홀을 통과 하는 것은 가능할까?

블랙홀을 통과하는 물질은 그 압력으로 파괴된다. 이때 가해지는 압력을 상상해 보면 이렇게 될 것 같다.

블랙홀의 크기는 사건의 지평선의 크기로 측정 되는데, 사건의 지평선은 주위를 지나가는 빛이 블랙홀로 끌려가는 경계선을 나타낸다. 지구의 중력 가속도는 9.8m/sec 이다. 이것을 1G의 압력이라고 하고, 블랙홀의 크기(사건의 지평선의 지름)가 40만 킬로미터라고 가정하고, 물체가 블랙홀의 중심까지 끌려가는 시간을 1초라고 가정 했을때 블랙홀 근처에서의 압력은 2천만G가 넘게 된다. 인간이 만든 물건 중에 이런 압력을 견딜 수 있는 것은 아직 없는 듯 하다. 아마  블랙홀의  중력가속도는 이보다 클 가능성도 높을 것이다.

그렇다면 광속에 가까운 속도로 블랙홀에 접근하면 어떻게 될까? 상대성 이론에 의하면 물체가 광속에 가까워 지면 다른물체에 대한 상대적인 질량이 늘어나게 된다. 광속에 아주 가까운 속도가 될 수록 상대적인 질량은 무한대로 늘어나게 된다. 광속에 가까운 속도로 갈수록, 블랙홀과 비슷하게 되는 것이다. 그래서 물체는 광속보다 빠른 속도를 가질 수 없다. 그렇다면 광속에 가까운 물체가 블랙홀에 접근 한다면, 이런저런 이유로 속도는 더 이상 늘어날 수 없을 것이다. 그렇다면 가속력도 없지 않을까? 그럼 블랙홀의 엄청난 압력을 받지 않게 되는 걸까? 그럼 블랙홀을 통과해서 웜홀로 들어가는 것은 가능할까?

결론이 좀 허무하기는 하지만, 현재로서는 웜홀이 존재하는지, 또는 웜홀이 다른 장소로 연결되어 있는지 아무도 모른다. 그리고 블랙홀을 통과하는 방법이 있는지도 아무도 모른다. 하나 확실한 것은 수많은 별들이 직접 몸이 부서져가며 보여 주듯이, 블랙홀 근처에 그냥 다가서면 물체는 파괴되어 버린다. 광속에 가까운 속도로 접근하면 가능성이 있을까? 하는 상상을 하는 것이 고작이다. (그런점에서 블랙홀을 무슨 깔

때기처럼 생긴 동굴이나 되는듯이 기어들어가는 만화나 영화들은 웃겨 보인다. ^^)

상대성 원리에 의하면 블랙홀을 그냥 통과하는 것은 불가능(물체는 빛의 속도보다 빠른 속도를 가질 수 없다, 블랙홀은 빛의 속도로도 탈출 하지 못하는 곳이다)하다. 블랙홀을 통과 한다면, 그 곳은 아마 다른 곳일 거라고 상상 하는 것은 그리 허황된 것 만은 아닌 것 같다.

,
BLOG main image
지민아빠의 해처리

카테고리

분류 전체보기 (74)
블라블라 (22)
우주전쟁 (37)
정보검색 (15)

최근에 올라온 글

지민아빠의 해처리

지민아빠's Blog is powered by Tattertools
Copyright by 지민아빠 [ http://www.ringblog.com ]. All rights reserved.

Tattertools DesignMyself!
지민아빠's Blog is powered by Textcube. Designed by Qwer999.