1.Hadoop 2.7.4,hbase 1.2.6
2.目的,從hbase 查詢數(shù)據(jù)到hdfs中
3.運(yùn)行結(jié)果如下
Map-Reduce Framework
Map input records=2
Map output records=0
Input split bytes=62
Spilled Records=0
Failed Shuffles=0
Merged Map outputs=0
GC time elapsed (ms)=38
CPU time spent (ms)=1450
Physical memory (bytes) snapshot=213590016
Virtual memory (bytes) snapshot=2123476992
Total committed heap usage (bytes)=99090432
Map 一直輸出0,不知道怎么看中間過程,hbase user表中兩條記錄,所以input=2是對的
代碼如下:
public class Hdfs {
private static Logger logger = Logger.getLogger(Mysql.class);
public static class HbaseMapper extends TableMapper<Text, Text> {
@Override
protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
StringBuffer sb = new StringBuffer("");
context.write(new Text("test"),new Text("value"));
for(Cell kv : value.listCells()){
context.write(new Text(key.get()), new Text(new String(kv.getValue()+"sss")));
}
}
}
public static class HdfsReducer extends Reducer<Text,Text,Text,Text>{
private Text result = new Text();
@Override
protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
for(Text val:values){
result.set(val);
}
context.write(key, result);
}
}
public static void main(String[] args)throws Exception{
String output = "hdfs://*.*.*.*:9000/output";
System.setProperty("hadoop.home.dir","/Users/*/hadoop-2.7.4");
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","master");
conf.set("fs.default.name","hdfs://*.*.*.*:9000");
conf.set("mapreduce.app-submission.cross-platform","true");
conf.set("mapreduce.framework.name","yarn");
conf.set("mapred.jar","/Users/*/Downloads/WordCount/target/hadoop_m2-1.0-SNAPSHOT.jar");
FileSystem fs = FileSystem.get(conf);
Path p = new Path(output);
if(fs.exists(p)){fs.delete(p,true);}
Job job = Job.getInstance(conf,"hbase2hdfs");
job.setJarByClass(Hdfs.class);
Scan s = new Scan();
TableMapReduceUtil.initTableMapperJob("user", s,HbaseMapper.class, Text.class, Text.class, job);
job.setReducerClass(HdfsReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(0);
FileOutputFormat.setOutputPath(job, p);
System.exit(job.waitForCompletion(true)?0:1);
}
}北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。