[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[jfriends-ml 13620] 「 Hadoop 第 2 版」を読む会第 4 回議事録



お疲れさまです、岩室です。

「 Hadoop 第 2 版」を読む会第 4 回の議事録をお送りします。

以上、よろしくお願いします。
-- 
IWAMURO Motonori <http://vmi.jp/>

Java“Ǐ‘‰ï‹cŽ–˜^ (2012-01-21)

ŽQ‰ÁŽÒ(ŒhÌ—ª): ‚‹´(“O)A‚‹´(’q)A‰““¡A–å˜eA‹g–{A¼‰iA‘ºŽRA‚Ü‚³‚ ‚«AŠâŽº(‹L)

6Í MapReduce‚Ì“®ì

6.1 MapReduceƒWƒ‡ƒu‚ÌŽÀs‚Ì“à–‹

6.1.1 ƒWƒ‡ƒu‚Ì“Š“ü

6.1.2 ƒWƒ‡ƒu‚̏‰Šú‰»

6.1.3 ƒ^ƒXƒN‚ÌŠ„‚è“–‚Ä

6.1.4 ƒ^ƒXƒN‚ÌŽÀs

6.1.4.1 ƒXƒgƒŠ[ƒ~ƒ“ƒO‚ƃpƒCƒv

6.1.5 isó‹µ‚ƃXƒe[ƒ^ƒX‚̍XV

6.1.6 ƒWƒ‡ƒu‚̏I—¹

6.2 áŠQ

6.2.1 ƒ^ƒXƒN‚̏áŠQ

Ep.191 typo: ~jpbtracker ¨ ›jobtracker
  ‚±‚ÌŽè‚Ì’PŒê‚̓Xƒyƒ‹ƒ`ƒFƒbƒN‚Å”»’è‚·‚é‚͓̂‚¢‚Å‚·‚ˁccB

6.2.2 tasktracker‚̏áŠQ

6.2.3 jobtracker‚̏áŠQ

6.3 ƒWƒ‡ƒu‚̃XƒPƒWƒ…[ƒŠƒ“ƒO

6.3.1 ƒtƒFƒAƒXƒPƒWƒ…[ƒ‰

Econtrib:uƒRƒ“ƒgƒŠƒuv(contribution)

6.3.2 ƒLƒƒƒpƒVƒeƒBƒXƒPƒWƒ…[ƒ‰

Eu‘gDv‚Æ‚Í‹ï‘Ì“I‚ɉ½‚©? ƒOƒ‹[ƒv‚Ý‚½‚¢‚È‚à‚Ì?
  ËLDAP“™‚̃fƒBƒŒƒNƒgƒŠƒT[ƒrƒX‚Å‚àuƒI[ƒKƒjƒ[[ƒVƒ‡ƒ“v‚ƌĂ΂ê‚é
    ŠT”O‚ª‚ ‚éB(OU:ƒI[ƒKƒjƒ[[ƒVƒ‡ƒ“ƒ†ƒjƒbƒg“™)
  Ë10Í‚ÌHadoop‚̃†[ƒUŠÇ—‚ðŒ©‚ê‚΂킩‚é?

EƒXƒPƒWƒ…[ƒ‰“™AƒŠƒ\[ƒX‚ÉŠÖ‚·‚é—Dæ“x•t‚«‚̐§Œä‚͏ãŽè‚­“­‚­‚Ì‚©?
  ËH•v‚µ‚Ä‚àãŽè‚­‚¢‚©‚È‚¢ê‡‚à‚ ‚éBƒƒ‚ƒŠŠÇ—‚Å‚à‚¢‚ë‚¢‚ël‚¦‚ç‚ê
    ‚Ă邯‚ǁA—Ⴆ‚ΐ¢‘ã•ÊGC‚Å‚Í‚¤‚Ü‚­ƒnƒ}‚ç‚È‚©‚Á‚½‚Æ‚«‚̃yƒiƒ‹ƒeƒB‚ª
    ‘å‚«‚¢B(Žõ–½‚ª’†“r”¼’[=Old—̈æ‚ɈڂÁ‚Ä‚·‚®Ž€‚ʃIƒuƒWƒFƒNƒg‚ª‘½‚¢ê
    ‡‚Æ‚©)

6.4 ƒVƒƒƒbƒtƒ‹‚ƃ\[ƒg

6.4.1 map‘¤

6.4.2 reduce‘¤

Ereducer‚É“n‚³‚ê‚éƒf[ƒ^‚́Areducer“à‚Ń\[ƒg‚Í‚³‚ê‚Ä‚¢‚邪AˆÙ‚È‚é
  reducerŠÔ‚ł͏‡˜ŠÖŒW‚Í‚ ‚é‚©?
  Ë–³‚¢‚Ì‚Å‚Í‚È‚¢‚©B

6.4.3 Ý’è‚̃`ƒ…[ƒjƒ“ƒO

Ep.197•\6-1 typo: ~io.soft.record.percent ›io.sort.record.percent
  (so*F*t‚Å‚Í‚È‚­so*R*t)

Euƒƒ‚ƒŠ‚ðŽg‚¤‚Æ‘¬‚¢v
  Ë‚»‚ê‚Í‚»‚¤‚¾‚æ‚ˁA‚Æ‚¢‚¤˜bB

6.5 ƒ^ƒXƒN‚ÌŽÀs

6.5.1 “Š‹@“IŽÀs

6.5.2 ƒ^ƒXƒNJVM‚̍ė˜—p

Eu—¥‘¬v?
  Ëˆê”Ê—pŒê‚Å‚Í‚È‚¢? ‰»Šw—pŒê? ƒ{ƒgƒ‹ƒlƒbƒN‚Æ‚ÍŽ—‚Ä”ñ‚È‚é?

6.5.3 •s—ǃŒƒR[ƒh‚̃XƒLƒbƒv

Eu4‰ñŽ¸”sv¨‘S‘Ì‚Å4‰ñ‚©A“Á’è‚̃^ƒXƒN“à‚Å4‰ñ‚©?
  Ëp.190‰º‚©‚ç2s–Ú‚É‚æ‚é‚ÆŒãŽÒ (“Á’è‚̃^ƒXƒN“à‚ł̉ñ”)

6.5.4 ƒ^ƒXƒN‚ÌŽÀsŠÂ‹«

6.5.4.1 ƒXƒgƒŠ[ƒ~ƒ“ƒO‚̊‹«•Ï”

E"."¨"_"‚É’uŠ·‚³‚ê‚éB

6.5.4.2 ƒ^ƒXƒN‚Ì•›ì—pƒtƒ@ƒCƒ‹

7Í MapReduce‚ÌŒ^‚ƃtƒH[ƒ}ƒbƒg

7.1 MapReduce‚ÌŒ^

7.1.1 ƒfƒtƒHƒ‹ƒg‚ÌMapReduceƒWƒ‡ƒu

EInteger.MAX_VALUE‚ƃrƒbƒgAND‚ðŽæ‚é‚ƁAÅãˆÊƒrƒbƒg‚Ì‚Ý0‚Ȃ̂ŁA•„†ƒrƒb
  ƒg‚ª—Ž‚Æ‚³‚ê‚é‚Æ‚¢‚¤¬‹ZB

7.1.1.1 ƒfƒtƒHƒ‹ƒg‚̃XƒgƒŠ[ƒ~ƒ“ƒOƒWƒ‡ƒu 

7.1.1.2 ƒXƒgƒŠ[ƒ~ƒ“ƒO‚É‚¨‚¯‚éƒL[‚Æ’l

E(“Ç‚ñ‚Å‚¢‚éêŠ‚Æ‚Í’¼ÚŠÖŒW‚È‚¢‚ª)Hadoop‚ðŒÂl‚ÅŽÀs‚µ‚悤‚Æ‚µ‚½‚Æ‚«A
  “KØ‚È—á‘肪Žv‚¢•t‚©‚È‚¢‚Æ‚¢‚¤–â‘肪‚ ‚éB

7.2 “ü—̓tƒH[ƒ}ƒbƒg

7.2.1 “ü—̓XƒvƒŠƒbƒg‚ƃR[ƒh

7.2.1.1 FileInputFormat

7.2.1.2 FileInputFormat‚Ì“ü—̓pƒX

7.2.1.3 FileInputFormat“ü—̓XƒvƒŠƒbƒg

7.2.1.4 ¬‚³‚¢ƒtƒ@ƒCƒ‹ŒQ‚ÆCombineFileInputFormat

7.2.1.5 •ªŠ„‚̉ñ”ð

7.2.1.6 mapper‚Ì’†‚̃tƒ@ƒCƒ‹î•ñ

7.2.1.7 ƒtƒ@ƒCƒ‹‘S‘Ì‚ðƒŒƒR[ƒh‚ÆŒ©‚È‚µ‚Ă̏ˆ—

7.2.2 ƒeƒLƒXƒg“ü—Í

7.2.2.1 TextInputFormat

E1s‚͕ۏ؂³‚ê‚éB(s‚ª•ªŠ„‚³‚ê‚邱‚Æ‚Í‚È‚¢)
E1s‚ªHDFSƒuƒƒbƒbƒN‹«ŠE‚ð‚Ü‚½‚®‚±‚Æ‚Í‚ ‚éB
E‚»‚̍s‚̃tƒ@ƒCƒ‹æ“ª‚©‚ç‚̃IƒtƒZƒbƒg‚Í‚í‚©‚邪A‰½s–Ú‚©‚Í‚í‚©‚ç‚È‚¢B

7.2.2.2 KeyValueTextInputFormat

7.2.2.3 NLineInputFormat

7.2.2.4 XML