hadoop的mr运算中，hbase可以作为输入数据源参与运算，其中作为htable的迭代器scan有几个使用技巧 涉及的方法如下： public void setbatch(int batch)public void setcaching(int caching)public void setcacheblocks(boolean cacheblocks) public void setb
hadoop的mr运算中，hbase可以作为输入数据源参与运算，其中作为htable的迭代器scan有几个使用技巧
涉及的方法如下：
public void setbatch(int batch)public void setcaching(int caching)public void setcacheblocks(boolean cacheblocks)
public void setbatch(int batch) ：
为设置获取记录的列个数，默认无限制，也就是返回所有的列
public void setcaching(int caching)：
每次从服务器端读取的行数，默认为配置文件中设置的值
public void setcacheblocks(boolean cacheblocks)：
为是否缓存块，默认缓存，我们分内存，缓存和磁盘，三种方式，一般数据的读取为内存->缓存->磁盘，当mr的时候为非热点数据，因此不需要缓存
因此在mr的时候最好设置如下：
scan.setcacheblocks(false);scan.setcaching(200);//大了占内存，但是rpc少scan.setbatch(6);//你需要的列
?
已有 0 人发表留言，猛击->> 这里
iteye推荐
—软件人才免语言低担保 赴美带薪读研！—
原文地址：mr中hbase的scan使用技巧, 感谢原作者分享。