PageRank with Apache Hama

The dataset contains 5,716,808 pages and 130,160,392 links and is unzipped ~1gb large. 
[oracle@bda03 hama-0.6.0-SNAPSHOT]$ hadoop dfs -ls edward
Found 1 items
-rw-r--r--   3 oracle hadoop 1058414409 2012-08-28 22:16 /user/oracle/edward/links-simple-sorted.txt

[oracle@bda03 hama-0.6.0-SNAPSHOT]$ bin/hama jar hama-examples-0.6.0-SNAPSHOT.jar pagerank /user/oracle/edward/links-simple-sorted.txt out
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total input paths to process : 1
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.3:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.5:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.16:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.14:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.15:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.8:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.11:50010
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total # of splits: 17
12/09/10 18:44:25 INFO bsp.BSPJobClient: Running job: job_201209101841_0002
12/09/10 18:44:28 INFO bsp.BSPJobClient: Current supersteps number: 2
12/09/10 18:44:31 INFO bsp.BSPJobClient: Current supersteps number: 8
12/09/10 18:44:34 INFO bsp.BSPJobClient: Current supersteps number: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: The total number of supersteps: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: Counters: 10
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.JobInProgress$JobCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     LAUNCHED_TASKS=17
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.BSPPeerImpl$PeerCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEPS=16
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEP_SUM=272
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_SENT=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TIME_IN_SYNC_MS=13996
12/09/10 18:44:37 INFO bsp.BSPJobClient:     IO_BYTES_READ=1058414409
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_RECEIVED=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_SENT=11412446
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TASK_INPUT_RECORDS=5706070
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_RECEIVED=5706223
Job Finished in 12.322 seconds
-

3 comments:

  1. BTL카지노18/6/21 23:47

    https://www.omgab.com 우리카지노사이트
    https://www.omgab.com/theking 더킹카지노
    https://www.omgab.com/sands 샌즈카지노
    https://www.omgab.com/first 퍼스트카지노
    https://www.omgab.com/yes 예스카지노
    https://www.omgab.com/super 슈퍼카지노
    https://www.omgab.com/gatsby 개츠비카지노
    https://www.omgab.com/33 33카지노
    https://www.omgab.com/world 월드카지노
    https://www.omgab.com/merit 메리트카지노

    ReplyDelete
  2. BTL카지노18/6/21 23:47

    https://www.omgqq.com 우리카지노사이트
    https://www.omgqq.com/thekingcasino 더킹카지노
    https://www.omgqq.com/sandscasino 샌즈카지노
    https://www.omgqq.com/firstcasino 퍼스트카지노
    https://www.omgqq.com/yescasino 예스카지노
    https://www.omgqq.com/supercasino 슈퍼카지노
    https://www.omgqq.com/gatsbycasino 개츠비카지노
    https://www.omgqq.com/33casino 33카지노
    https://www.omgqq.com/worldcasino 월드카지노
    https://www.omgqq.com/merit 메리트카지노

    ReplyDelete
  3. BTL카지노18/6/21 23:48

    https://www.oobbg.com 우리카지노사이트
    https://www.oobbg.com/theking 더킹카지노
    https://www.oobbg.com/sands 샌즈카지노
    https://www.oobbg.com/first 퍼스트카지노
    https://www.oobbg.com/yes 예스카지노
    https://www.oobbg.com/coin 코인카지노
    https://www.oobbg.com/33 33카지노
    https://www.oobbg.com/world 월드카지노
    https://www.oobbg.com/merit 메리트카지노
    https://www.oobbg.com/gatsby 개츠비카지노

    ReplyDelete

Subscribe to: Post Comments (Atom)
  • 음성 인공지능 스타트업의 기회 분석
    음성 인공지능 분야에서 스타트업이 생각해볼 수 있는 전략은 아마 다음과 같이 3가지 정도가 있을 것이다: 독자적 Vertical 음성 인공지능 Application 구축 기 음성 플랫폼을 활용한 B2B2C 형태의 비지니스 구축 기 음성 플랫폼...
  • 대규모 서비스와 데이터 처리 기술
    개발자 컨퍼런스같은 것도 방문한게 언제인지 까마득합니다. 코로나로 왠지 교류가 많이 없어졌습니다. 패스트캠퍼스로부터 좋은 기회를 얻어 강연을 하나 오픈하였습니다. 제가 강연에서 주로 다룰 내용은, 인터넷 역사 이래 발전해온 서버 사이드 기술들에 대해 ...
  • BMW 528i 시거잭 전원 안들어올 때, 퓨즈 교체
    패밀리 세단으로 새차 구입은 좀 무리일 것 같아서, 중고로 하나 얻어왔습니다. 중고차라고 티 내는건지 :-) 시거잭에 전원이 안들어오더군요. 요즘 참 세상 좋아졌다고 생각드는게, 유튜브에서 시거잭 전원 불량에 대한 단서를 얻었습니다. 바로 퓨즈가 나가...
  • 무한의 세계
    무한 집합의 크기 Cardinality , 즉 원소의 개수를 수학에서는 '농도'라고 말한다. 유한 집합의 크기는 그대로 원소의 개수 이지만, 무한 집합의 경우는 원소의 개수를 낱낱이 셈하는 것은 불가능하기 때문에 '농도'라...