PageRank with Apache Hama

The dataset contains 5,716,808 pages and 130,160,392 links and is unzipped ~1gb large. 
[oracle@bda03 hama-0.6.0-SNAPSHOT]$ hadoop dfs -ls edward
Found 1 items
-rw-r--r--   3 oracle hadoop 1058414409 2012-08-28 22:16 /user/oracle/edward/links-simple-sorted.txt

[oracle@bda03 hama-0.6.0-SNAPSHOT]$ bin/hama jar hama-examples-0.6.0-SNAPSHOT.jar pagerank /user/oracle/edward/links-simple-sorted.txt out
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total input paths to process : 1
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.3:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.5:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.16:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.14:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.15:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.8:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.11:50010
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total # of splits: 17
12/09/10 18:44:25 INFO bsp.BSPJobClient: Running job: job_201209101841_0002
12/09/10 18:44:28 INFO bsp.BSPJobClient: Current supersteps number: 2
12/09/10 18:44:31 INFO bsp.BSPJobClient: Current supersteps number: 8
12/09/10 18:44:34 INFO bsp.BSPJobClient: Current supersteps number: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: The total number of supersteps: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: Counters: 10
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.JobInProgress$JobCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     LAUNCHED_TASKS=17
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.BSPPeerImpl$PeerCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEPS=16
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEP_SUM=272
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_SENT=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TIME_IN_SYNC_MS=13996
12/09/10 18:44:37 INFO bsp.BSPJobClient:     IO_BYTES_READ=1058414409
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_RECEIVED=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_SENT=11412446
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TASK_INPUT_RECORDS=5706070
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_RECEIVED=5706223
Job Finished in 12.322 seconds
-

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)
  • 음성 인공지능 스타트업의 기회 분석
    음성 인공지능 분야에서 스타트업이 생각해볼 수 있는 전략은 아마 다음과 같이 3가지 정도가 있을 것이다: 독자적 Vertical 음성 인공지능 Application 구축 기 음성 플랫폼을 활용한 B2B2C 형태의 비지니스 구축 기 음성 플랫폼...
  • 일본만화 추천 100선
    The Red : 4천만 MAU를 지탱하는 서비스 설계와 데이터 처리 기술 By 카카오페이지 기술전략이사 윤 당신의 인터넷 서비스는 안정적이고 확장성 있게 설계되어 있습니까? 아파치 하마 프로젝트 의장 활동, GSoC 멘토링 경험과 7개의 기업을 거치...
  • 대규모 서비스와 데이터 처리 기술
    개발자 컨퍼런스같은 것도 방문한게 언제인지 까마득합니다. 코로나로 왠지 교류가 많이 없어졌습니다. 패스트캠퍼스로부터 좋은 기회를 얻어 강연을 하나 오픈하였습니다. 제가 강연에서 주로 다룰 내용은, 인터넷 역사 이래 발전해온 서버 사이드 기술들에 대해 ...
  • 딥 러닝의 블랙 박스 열어보기
    Opening the black box of Deep Neural Networks via Information - https://arxiv.org/pdf/1703.00810.pdf 지금까지 딥 러닝은 어떻게 동작하는지 이해할 수 없다고 믿어져왔다...