[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[jfriends-ml 13590] 議事録（ Re: 「 Hadoop 第 2 版」を読む会第 2 回エントリ状況）

From: IMAI Katsunori <nowwell101-jfriends@xxxxxxxxxxx>
Date: Sat, 26 Nov 2011 23:30:44 +0900 (JST)
Authentication-results: iron03-md.m.noc.itscom.net; dkim=hardfail (signature did not verify [final]) header.i=@yahoo.co.jp
Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=yahoo.co.jp; s=yj20110701; t=1322317844; bh=1vgQ/Cw3J9+/YCJ4SgmJe9gx1pz1DhEB+mdDQizdDt4=; h=Message-ID:X-YMail-OSG:Received:X-Mailer:Date:From:Reply-To:Subject:To:MIME-Version:Content-Type; b=aprjVtBLoCikKXBuIrh6zkVjq2nhHf4phkeuPXB+jZs5wsr1TfhZ1k8KDdjHmrvHjWRDnWOz6g+FAofrASt71Iisc478Lgo0Z1gkC7fi4GdPGMU2PdBUDNmFw+HFT8LyTV95ZWS4pf/7PHSMY/1XENCGayLVnYJMwRCmFrEKANA=
Domainkey-signature: a=rsa-sha1; q=dns; c=nofws; s=yj20110701; d=yahoo.co.jp; h=Message-ID:X-YMail-OSG:Received:X-Mailer:Date:From:Reply-To:Subject:To:MIME-Version:Content-Type; b=OqhBBRUH7D/l/er2R5ocdwfDGHCPoR7VQlIwC2gy5FJWw6UkO3Ttr1kxEEJ5UTUgDIpXJZ+UZfx/bQrj4Rw/OwlYuY+8h8l2KbMN5etkd8JrbKmC7TK0/9tGnwPdTVvEcmLzpoVDbtiw+zMsdiF9UkBdLB7WxwXGiYKkWBjT8vw=;

今井です。こんばんは。

参加者の皆様、お疲れ様でした。

本日の議事録をお送りします。
確認等よろしくお願いします。

Imai

JavaÇïuHadoop æ2ÅvðÇÞï æQñ c^

ú: 2011N1126ú(y) 10:00-17:00
ê: ìèsYÆU»ïÙ æPïc
QÁÒ: ª{A¬IØA¡A´(q)A¼iAåeA´(O)AºRAÎAg{A¡ä
L: ¡ä
ÍÍ: 3.5.5.2 t@CÌXg(p.63) ` 4.3.5.1 AvroÌf[^^ÆXL[}(p.116)

--------

# 3Í HadoopªUt@CVXe
# 3.5 JavaC^[tF[X
# 3.5.5 t@CVXeÖÌâ¢í¹

3.5.5.2 t@CÌXg

3.5.5.3 t@Cp^[

- gOrOhÁÄêÊIÈ¾t?
@* ¶ñêÊÌbÅÍÈChJ[hñèÌ¾t¾Æv¤
  * ìÌO[uÝ½¢ÉKoÁÆÆéC[W©B

- pXÉú{êÍg¦éÌ¾ë¤©H
  * ¶R[h¾Æ©A÷¹ÈÇÌ¬¶¾Æ©A·¹¾Æ©A¢ë¢ë ÁÄA
    OrOªåÏ»¤B
  * »à»à¶R[hÍ½¾ë¤H UNICODE ?
  yhèzú{êpX¼ðµÄÝé

3.5.5.4 pXtB^

- globStatus()ÅPathFilterÍêÂµ©wèÅ«È¢ÌH
  * ³K\»Å©¯éÌÅA³K\»Å¡tB^ð±ÆÍÅ«é
  * tB^ðsIhÅÂÈ°Ä¢Æ¢¤´¶Åg¢½¢
  * ¡tB^ðwèÅ«éPathFilterTuNXðìÁÄàæ³»¤

3.5.6 f[^Ìí

- ut@CâfBNgð®SÉí·é±ÆªÅ«év(l.1)Æ éªA
  QÆªÁ¦é¾¯ÅÀÌÍÁ¦È¢ÌÅÍÈ¢¾ë¤©B

- uifBNgªóÅÈ©Á½êÍAIOExceptionª°çêÜ·jvÍA
  recursiveªfalseÌÌ¾ë¤B

- pXÌKwÉ§ÀÍ éÌ¾ë¤©B

3.6 f[^t[

3.6.1 t@CÇÝÝÌðUw

- p.69 l.1uiubNÌÝÍÉL¯³êÄ¢éÌÅA...vÌÍA
  Ç±ÌH ¨ NCAgm[h¾ë¤B

- NCAgm[hAl[m[hAf[^m[hÍÊVXe¾Æv¤ªA
  É éÉvLVÈÇÍÇ¤ÈéÌ¾ë¤B

- Rulbg[Ng|WÆHadoopvÌ£ÍÇ¤µÄôÎ©è?
  * pXðãªÁÄ1A~èÄ1Æ¦Ä¢éBá¦ÎA¯êbNàÊm[hÅÍA
    /d1/r1/n1 -> /d1/r1 -> /d1/r1/n2 ÅA£Í2B

3.6.2 t@C«ÝÌðUw

- HDFSÅÈOracleÈÇÌ¼zFSãÅ\zµÄàÇ¢ÌÅÍÈ¢©
  * RDBMSÅÍXP[µÈ³»¤
  * OracleÅà}`}X^[à éBÅàzB
  * êäÉHDÅÍV[N^CÈÇÉÀEª èAåÊf[^ÅÍª
    Ç¢Â©È¢©çHDFSðg¤Æ¢¤Oñà éB
  * »à»àAÎÛÉ·éf[^Ì«¿ªá¤ÌÅÍÈ¢©B

3.6.3 êÑ«f

- rõÌÅãAuÜ¾f[^ªfBXNLbVÌÉcÁÄ¢éÂ\«Í
   èÜ·BvÌuLbVvÍAn[hfBXNhCuãÌLbVÌ
  ±Æ¾æËB

- FSDataOutputStream#flush()Í½ðµÄ¢éÌ¾ë¤B

3.6.3.1 AvP[VÌfUCÉà½ç·e¿

3.7 distcpÉæéÀñRs[

- HDFSðuEYÅ«éæ¤Èc[ÍÈ¢Ì¾ë¤©?
  * NEfBAÐªoµÄ¢éçµ¢B

- p.76ÙÇÌAt@CTCY1GBÆ©1,000GBÆ©ÍAêt@CÌ±ÆÅÍÈ
  t@CQÌ±ÆÅÍÈ¢©B´ÅÍFilesÉÈÁÄÈ¢©BifilesÅµ½Bimaij

- mapÅRs[·éÆ¢¤ÌÍÊÌ±ÆH
  * mapÍon memoryÅüÍmapoÍmapÅAOÉÎ·éìpÍÈ¢ÌªÊ¾Æ
    vÁÄ¢½Ì¾ªB
  * mapÅRs[ªÇÌæ¤ÉÀ³êÄ¢éÌ©ªCÉÈéB

3.7.1 HDFSNX^ÌoX²®

3.8 HadoopA[JCu

3.8.1 HadoopA[JCuÌgp

- harÉ·éÆdistcpÅêÂÌt@CÆµÄø¦æRs[Å«éÌ¾ë¤©?
@* harÍ»êÙÇÃÁ½±ÆÍµÄ¢È¢B¡t@CðêÓÅÁÄ¢é¾¯B

3.8.2 §À


4Í HadoopÌI/O

4.1 f[^Ì®«

4.1.1 HDFSÉ¨¯éf[^Ì®«

- p.82 l.2 ë
  CRC-32É4oCg·ÈÌÅA ¨ CRC-32Í4oCg·ÈÌÅA

4.1.2 LocalFileSystem

4.1.3 ChecksumFileSystem

4.2 ³k

- zlibðgÁÄ³kµ½¾¯¾ÆDEFLATEtH[}bgÌt@CªÅ«éB

- XvbgÂ\Å êÎAMapReduceÉÁÉKµÄ¢éÆ¢¤±ÆÍA
  bzip2ðg¦Æ¢¤±ÆH

4.2.1 R[fbN

4.2.1.1 CompressionCodecÉæéXg[Ì³kÆð

- p.86 ÀsáÌã ë
  gnuzipðgÁÄðµÄ ¨ gunzipðgÁÄðµÄ

4.2.1.2 CompressionCodecFactoryÉæéCompressionCodecÌè

- R[fbNÌªÍAg£qÅ»fµÈ¢ÆÊÚÈÌ©Bt@CÌæª
  oCgÉ}WbNio[Ý½¢ÈàÌÍÈ¢Ì©B
  * gzipÈÇÍwb_ðt¯Ä¢é©çí©é¾ë¤ªADEFLATEÅÍPÉ
    ³k³ê½f[^¾¯ÈÌÅí©çÈ¢B

4.2.1.3 lCeBuCu

- nativeÁÄ¬¢H
  * ÀsÔÍÈÆàJavaÌÙ¤ª¬Èé±ÆÍÈ¢B
  * ÄÑoµI[o[wbhàåµ½±ÆÍÈ¢Í¸ÅA»êæè³kÌ
    ÌÙ¤ªÔª©©èe¿ªå«¢Í¸B

- ÈºAWindowspÌlCeBuCuÍÈ¢Ì¾ë¤B
  * JÂ«ªOSSÉÈ¶ÜÈ¢©ç©B

- CodecPoolÌøÊÍlCeBuCuÌÀÉæè»¤Bá¦Îñ
  CjVCYª éÆ©ÈçøÊ èB

4.2.2 ³kÆüÍXvbg

4.2.3 MapReduceÉ¨¯é³kÌp

- p.91RàAAvroÌÇÝûÍH
  iEBLyfBAÉæéÆAê¹ÌCMXÌqó@ïÐAvroÌÇÝÍ
  uAuÜ½ÍAvÆ èÜµ½Bimaij

4.2.3.1 mapÌoÍÌ³k

- p.92 l.4 E
  f[^ÌÊð¸ç·¯ÅA ¨ f[^ÌÊð¸ç·¾¯ÅA

4.3 VAC[[V

- p.94 l.5 ë
  PRCÌ ¨ RPCÌ

4.3.1 WritableC^[tF[X

4.3.1.1 WritableComparableÆRp[^[

4.3.2 WritableNX

4.3.2.1 JavaÌv~eBuÉÎ·éWritableÌbp[

4.3.2.2 eLXg

- p.99 \4-7 U+10400ÌJavaÅÌ\» ¥
  \uuD801\uDC00 ¨ \uD801\uDC00

- p.102 ~[^reB l.3 E
  ¢¸êðÄÔ±ÆÅ ¨ ¢¸ê©ðÄÔ±ÆÅ

4.3.2.3 BytesWritable

4.3.2.4 NullWritable

4.3.2.5 ObjectWritableÆGenericWritable

4.3.2.6 WritableRNV

4.3.3 JX^WritableÌÀ

- p.107 º©ç4sÚÉAuTextPareÍA1ÂßÌ¶ñÌãÉ2ÂßÌ¶ñð
  ÂÈ°½¶ñÅ\[gðs¢Ü·vÆ éªAp.106 Ì compareTo()¾ÆA
  »¤ÈçÈ¢êª éB½Æ¦ÎA

    (1) first: "a",  second: "x"
    (2) first: "ab", second: "z"

  ÍAÂÈ°éÆA"ax"Æ"abz" ÅA(1) > (2) ¾ªA
  p.106ÌcompareTo()¾ÆA"a"Æ"ab"ªæÉär³êA(1) < (2)ÉÈéB

- p.107 l.5
  uwrite()âreadFields()\bhÌÅIuWFNgðAP[gµÈ¢
  æ¤AÓµÈ¯êÎvÈçÈ¢ÌÍAÄp³êéÌÅAP[g·éæ¤É
  ÈÁÄ¢éÆA½xàVACYAfVACYª¶µÄRXgª©©é
  ©çB

4.3.3.1 ¬»Ì½ßÌRawCoparatorÌÀ

4.3.3.2 JX^ÌRp[^[

4.3.4 VAC[[Vt[[N

4.3.4.1 VAC[[VIDL

4.3.5 Avro

4.3.5.1 AvroÌf[^^ÆXL[}


Èã

ñÍAp.116 4.3.5.2 ©çB

: ïêï3,800~Aêl300~S

Follow-Ups:
- [jfriends-ml 13591] Re: 議事録（ Re: 「 Hadoop 第 2 版」を読む会第 2 回エントリ状況）
  - From: TAKAHASHI, Tomohiro

Prev by Date: [jfriends-ml 13589] Re: 「 Hadoop 第 2 版」を読む会第 2 回エントリ状況
Next by Date: [jfriends-ml 13591] Re: 議事録（ Re: 「 Hadoop 第 2 版」を読む会第 2 回エントリ状況）
Previous by thread: [jfriends-ml 13589] Re: 「 Hadoop 第 2 版」を読む会第 2 回エントリ状況
Next by thread: [jfriends-ml 13591] Re: 議事録（ Re: 「 Hadoop 第 2 版」を読む会第 2 回エントリ状況）
Index(es):
- Date
- Thread