PageRank with Apache Hama

The dataset contains 5,716,808 pages and 130,160,392 links and is unzipped ~1gb large. 
[oracle@bda03 hama-0.6.0-SNAPSHOT]$ hadoop dfs -ls edward
Found 1 items
-rw-r--r--   3 oracle hadoop 1058414409 2012-08-28 22:16 /user/oracle/edward/links-simple-sorted.txt

[oracle@bda03 hama-0.6.0-SNAPSHOT]$ bin/hama jar hama-examples-0.6.0-SNAPSHOT.jar pagerank /user/oracle/edward/links-simple-sorted.txt out
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total input paths to process : 1
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.3:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.5:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.16:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.14:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.15:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.8:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.11:50010
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total # of splits: 17
12/09/10 18:44:25 INFO bsp.BSPJobClient: Running job: job_201209101841_0002
12/09/10 18:44:28 INFO bsp.BSPJobClient: Current supersteps number: 2
12/09/10 18:44:31 INFO bsp.BSPJobClient: Current supersteps number: 8
12/09/10 18:44:34 INFO bsp.BSPJobClient: Current supersteps number: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: The total number of supersteps: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: Counters: 10
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.JobInProgress$JobCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     LAUNCHED_TASKS=17
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.BSPPeerImpl$PeerCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEPS=16
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEP_SUM=272
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_SENT=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TIME_IN_SYNC_MS=13996
12/09/10 18:44:37 INFO bsp.BSPJobClient:     IO_BYTES_READ=1058414409
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_RECEIVED=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_SENT=11412446
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TASK_INPUT_RECORDS=5706070
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_RECEIVED=5706223
Job Finished in 12.322 seconds

Comments

Post a Comment

Popular posts from this blog

일본만화 추천 100선

1.군계 (액션,격투)

격투만화 중에서는 아주 유명하고 열광적으로 좋아하는 사람이 많은 만화입니다. 전체적으로 만화의 분위기는 어둡고요... 줄거리를 소개하죠. 주인공인 료는 모범생이었습니다. 그러나 부모님의 강압적인 통제... 그에 대한 무의식적 반발로 부모님을 살해하게 되고 맙니다. 그리고 교도소에서 많은 변화를 겪게되죠..그리고 악의 화신같은 존재가 되고 말죠..... 또 그에 대항하는 인물이 나타나고.... 만화에 대한 소개가 만화의 질을 못 따라가네요. 이 만화는 선과 악에 대해 생각해볼 수있는 만화입니다. 그리고 싸움이란 인간에게 어떤 의미가 있는것일까? 하는 생각도요. 아..군계는 싸움닭이란 뜻입니다. 네이밍센스가 좋죠.


2. 생추어리(해적판제목:빛과 그림자) (액션,정치)

일본 최고의 극화체 만화가인 이케가미 료이치님의 작품입니다. 캄보디아에서 일본 외교관의 아들로 태어난 두 남자 이야기를 그리고 있습니다. 캄보디아의 킬링필드(대학살..실존사건입니다.)와중에서 살아남아 돌아온 두 주인공..한명은 암흑계 보스로 다른 한 명은 정치계 거물로 성장해갑니다. 두 남자의 목숨과도 같은 우정....그들의 관계는 어떻게 될까? 뛰어난 스토리작가와 항상 작업하여 재미는 보장이 되는 작품입니다. 단 남성우월주의가 작품전반에 깔려있어서 여성이 보기엔 거부감을 느낄수도 있는 작품..남자분인거 같아 추천합니다.


3.수라의 각 (역사,무협)

해황기의 작가가 쓴 매우 흥미진진한 역사 무협물입니다. 일본 역사속의 많은 실존인물들의 얘기를 기둥줄거리로 하여 거기에 허구를 작가의 능수능란한 솜씨로 섞어냅니다. 이 작품은 코믹 만화인 수험의 제왕에도 등장하는 데요....그 만화에 이런 말이 있지요. "역사 공부를 하려거든 수라의 각을 읽어라" 이 만화작가의 다른 작품인 해황기도 매우 흥미진진하답니다.


4.베르세르크 (판타지)

말이 필요없는 판타지의 최고 걸작.... 뛰어난 작화에 철학적인 사유까지 배어든 최고의 작품. 안 읽으셨다면 부디 읽어보시길..


5.…
Read more

경희대 강연자료

학생들 대상이라 .. 내 인생은 이랬노라 전달해주며 도움될만한 그리고 조금 뜨거워지도록 자극받을 만한 내용을 적었다. SW를 10년 이상 했지만 할만 한건지는 나도 잘 모르겠음.
Read more

How socket.io-redis adapter works? 레디스 어댑터 동작원리

Image
보통 실시간 메시징 처리에 socket.io와 redis를 많이 사용하는데, 그 동작 메커니즘이 자세히 소개된 글을 찾기 어려웠다. 이유는 간단한데, 소스코드가 그냥 간단해서 글로 쓰고 자시고 건더기도 없어 그런듯. 
기본적으로 socket.io는 Server, Namespace, Room, 그리고 Socket으로 구성되어있고 멀티 노드를 위해 pluggable 디자인 방식으로 Adapter라는 것이 존재한다. 
Default In-Memory 방식은 배열에 socket과 room 정보를 저장하기 때문에 웹 서버에 붙어있는 clients 외 에는 알 길이 없다. 이때 redis adapter를 사용하면 다음과 같이 동작하는데, sender가 원격에서 넘어왔다면 그냥 내 로컬 clients에게 deliver하는 것으로 종료하고 그렇지 않으면, 다른 노드에게 publish하여 메시지를 전달한다. 

분산 인프라 치고는 놀랍게도 Javascript 몇 줄 안되는 소스코드로 node, socket.io, 그리고 redis가 동작한다. 좀 이해하기 쉽게 도식화하면 다음과 같다:

Read more