借花獻佛Hbase&MapReduce

前言

學了一個新技術誰不會手癢想要試試看這技術到底能做成啥東西？有一天拜神時不小心看到新竹某某晶圓大廠的教育訓練課程ppt, 很興奮得跟著內容一路實作下去, 結果發現裡面缺東缺西的, 甚至有些寫法會有問題(在我的環境上面), 所以小弟又冒著爆肝眼瞎掉髮禿肚子還有球賽沒看完的風險, 慢慢的拼湊出這片地圖, 僅分享給看到這篇網誌的人

PS:如果那一間某某晶圓大廠的人看到了, 覺得不爽我把你們的東西寫在blog上面請跟我說一聲, 我馬上拿掉

此時的我是邊看lamigo對統一的GAME2邊寫blog, 如果有點語無倫次請多多見諒........XD

環境

跟這篇一樣

我的版本搭配是hadoop-1.0.3+hbase-0.94.1

載點

這一個連結裡面有我整理的code以及要用的txt檔(先假裝這是log檔)

code.tar.gz解壓縮後的mystore裡面有三個java檔(CreateTable.java, StoreCount.java, StoreSum.java)

兩個txt檔(info.txt, sales.txt)

解釋一下這三個class是作啥事情,

CreateTable是在Hbase中新增一個store的table,並且讀取本機的檔案(info.txt)把商店名稱寫入Detail:Name,商店的位置寫入Detail:Locate, 賣的產品以及價格寫入Products:P1 Products:P2 Products:P3 Products:P4

StoreCount是把消費紀錄(sales.txt)從HDFS中寫入Turnover中,會對應到商店跟產品代號 

StoreSum是把每一間店的銷售紀錄做加總寫入Sum中

實作

這篇的最終目標是利用hbase java api逐步在Hbase中建立一個商店銷售紀錄的table,以下是最後會產生的圖(hbase shell不是長成這樣的)

table:store
Row\key	Detail		Products				Turnover
	Name	Locate	P1	P2	P3	P4	P1	P2	P3	P4	Sum
T01	GunLong	01	20	30	40	50	1	1	1		90
T02	Esing	02	50				2				100
T03	SunDon	03	40	30			1	1			70
T04	StarBucks	04	50	50	20		2	1	1		170

terminal中是像下圖這樣的

由於我在eclipse中執行起來會有問題, 所以我都是在eclipse中寫完後把code打包成jar檔, 不喜歡這樣做的人請慢走, 不送了

並免篇幅過長我也不把code貼在網誌中了,只用指令執行jar檔以及秀出hbase shell執行後的結果 

[步驟一]

code.tar.gz下載後放在家目錄下面解壓縮, 我習慣先在code資料夾中mkdir src, 我會把compile後的.class都放在src中

(這些都是我自己的習慣, 不是必要的操作, 可以依照個人習慣來執行)

再來把.java檔compile成.class檔在包成一個jar檔, 我是覺得這樣比較方便啦, 因為在用hadoop jar執行時只要改一個帶有main method的class名稱就好了

指令如下:

javac -classpath hadoop-1.0.3/hadoop-core-1.0.3.jar:hadoop-1.0.3/lib/hbase-0.94.1.jar -d code/src code/mystore/CreateTable.java

javac -classpath hadoop-1.0.3/hadoop-core-1.0.3.jar:hadoop-1.0.3/lib/hbase-0.94.1.jar -d code/src code/mystore/StoreCount.java

javac -classpath hadoop-1.0.3/hadoop-core-1.0.3.jar:hadoop-1.0.3/lib/hbase-0.94.1.jar -d code/src code/mystore/StoreSum.java

jar -cvf code/mystore.jar -C code/src .

此時你的code底下就產生了一個mystore.jar

[步驟二]

這一個步驟我要建立一個table名叫"store"並且讀取存放在本機的txt檔(info.txt)寫入hbase

指令請下 hadoop jar code/mystore.jar CreateTable store code/info.txt
執行完後你會看到terminal中跟你說"create table store ok"

這時到hbase中用scan 'store'看看
(實況轉播:幹 高國慶給我在八局下扛出兩分炮, 你娘的哩)

都照著info.txt寫進去了, 此時的table就是像以下這樣

table:store
Row\key	Detail		Products				Turnover
	Name	Locate	P1	P2	P3	P4	P1	P2	P3	P4	Sum
T01	GunLong	01	20	30	40	50
T02	Esing	02	50
T03	SunDon	03	40	30
T04	StarBucks	04	50	50	20

[步驟三]

這一個步驟我要從HDFS中讀取寫進去store

先把sales.txt傳到HDFS中, 以下是我自己定的目錄, 可以放在自己喜歡的地方啦

再來執行以下這個指令

hadoop jar code/mystore.jar StoreCount store /hduser/store/input

跑完之後在用scan 'store'來檢查一下

Turnover這一個family column都按照著sales.txt有了value, 這時的table會像下圖這樣

table:store
Row\key	Detail		Products				Turnover
	Name	Locate	P1	P2	P3	P4	P1	P2	P3	P4	Sum
T01	GunLong	01	20	30	40	50	1	1	1
T02	Esing	02	50				2
T03	SunDon	03	40	30			1	1
T04	StarBucks	04	50	50	20		2	1	1

[步驟三]

這一個步驟我要把Turnover:Sum填入消費紀錄的加總, 指令請下hadoop jar code/mystore.jarStoreSum store

執行完後也用scan 'store'檢查看看

可以看看T1的Sum是20*1+30*1+40*1=90 T2的Sum是50*2=100......

此時的 table就像下圖這樣了, 這就是這篇網誌最後的成果了

table:store
Row\key	Detail		Products				Turnover
	Name	Locate	P1	P2	P3	P4	P1	P2	P3	P4	Sum
T01	GunLong	01	20	30	40	50	1	1	1		90
T02	Esing	02	50				2				100
T03	SunDon	03	40	30			1	1			70
T04	StarBucks	04	50	50	20		2	1	1		170

寫到這裡lamigo 6:4 贏了