主è¦æä¸ç§æ¹æ³ï¼
1ãPut API
Put APIå¯è½æ¯å°æ°æ®å¿«é导å
¥HBase表çæç´æ¥çæ¹æ³ãä½æ¯å¨å¯¼å
¥ã大éæ°æ®ãæ¶ä¸å»ºè®®ä½¿ç¨ï¼ä½æ¯å¯ä»¥ä½ä¸ºç®åæ°æ®è¿ç§»çéæ©ï¼ç´æ¥å个代ç æ¹éå¤çï¼å¼åç®åãæ¹ä¾¿ãå¯æ§å¼ºã
2ãMapReduce Job
æ¨è使ç¨sqoopï¼å®çåºå±å®ç°æ¯mapreduceï¼æ°æ®å¹¶è¡å¯¼å
¥çï¼è¿æ ·æ é¡»èªå·±å¼å代ç ï¼è¿æ»¤æ¡ä»¶éè¿queryåæ°å¯ä»¥å®ç°ã
Sqoopæ¯ä¸æ¬¾å¼æºçå·¥å
·ï¼ä¸»è¦ç¨äºå¨Hadoop(Hive)ä¸ä¼ ç»çæ°æ®åº(mysqlãpostgresql...)é´è¿è¡æ°æ®çä¼ éï¼å¯ä»¥å°MySQLä¸çæ°æ®å¯¼è¿å°HadoopçHDFSä¸ï¼ä¹å¯ä»¥å°HDFSçæ°æ®å¯¼è¿å°Mysqlä¸ã
åèIndex of /docsã
éç¨å¦ä¸å½ä»¤ï¼sqoop import
--connect jdbc:mysql://localhost/db
--username root -P
--table mysql_order
--columns "id,name"
--hbase-table hbase_order
--column-family f
--hbase-row-key id
--query "select id,name from mysql_order where..."
-m 1
3ãéç¨Bulk loadè£
è½½æ°æ®
bulk-loadçä½ç¨æ¯ç¨mapreduceçæ¹å¼å°hdfsä¸çæ件è£
è½½å°hbaseä¸ï¼å¯¹äºæµ·éæ°æ®è£
è½½å
¥hbaseé常æç¨ã
éè¦å°MySQLç表æ°æ®å¯¼åºä¸ºTSVæ ¼å¼ï¼å 为åé¢ä½¿ç¨Import TSVå·¥å
·ï¼ï¼è¿éè¦ç¡®ä¿æä¸ä¸ªå段å¯ä»¥è¡¨ç¤ºHBase表è¡çrow keyã
温馨提示:内容为网友见解,仅供参考