HBase Java API 开发：表的扫描与扫描的缓存和批量处理 第3关：在扫描中使用缓存和批量参数

### HBase Java API 表扫描、缓存及批量处理 #### 使用 `Scan` 类进行表扫描 为了执行表扫描，在HBase中主要依赖于 `org.apache.hadoop.hbase.client.Scan` 和 `ResultScanner` 这两个类。前者定义了查询参数，后者则是返回的结果集迭代器。 ```java // 创建一个新的 Scan 实例来设置起始行键和结束行键 Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("start_row_key")); scan.setStopRow(Bytes.toBytes("end_row_key")); // 添加过滤条件或其他属性给 Scan 对象 Filter filter = new SingleColumnValueFilter( Bytes.toBytes("family"), Bytes.toBytes("qualifier"), CompareOperator.EQUAL, new BinaryComparator(Bytes.toBytes("value")) ); scan.setFilter(filter); // 获取 ResultScanner 来遍历结果集合 try (Table table = connection.getTable(TableName.valueOf("table_name"))) { try (ResultScanner scanner = table.getScanner(scan)) { for (Result result : scanner) { System.out.println(result); } } } catch (IOException e) { throw new RuntimeException(e); } ``` #### 配置扫描的缓存大小 调整客户端每次请求从服务器端拉取的数据量可以通过修改 `hbase.client.scanner.caching` 参数实现。此配置决定了一次RPC调用能带回多少条记录，默认情况下该值设为100。如果希望提高性能并减少网络开销，可以根据实际情况适当增大这个数值[^3]。 ```xml <property> <name>hbase.client.scanner.caching</name> <value>500</value><!-- 修改为你想要的数量 --> </property> ``` 在应用程序内部也可以动态设定每批次读取的最大行数： ```java int cachingNum = 500; scan.setCaching(cachingNum); // 设置每次RPC最多获取cachingNum行数据 ``` #### 批量导入CSV至HFile 对于大规模数据加载场景下，推荐采用批量化方式将外部文件转换成预写日志格式(HFiles)，再一次性导入到目标表格内。这不仅能够显著提升效率还能降低对在线服务的影响[^4]。 ```bash # 将本地csv上传至指定路径下的HDFS目录 hdfs dfs -put /local/path/to/file.csv /user/hadoop/input/ # 调用ImportTsv工具完成转换过程 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \ -Dimporttsv.separator="," \ -Dimporttsv.columns=&#39;HBASE_ROW_KEY,family:column1,family:column2,...&#39; \ -Dimporttsv.bulk.output=/output/dir \ tablename \ /user/hadoop/input/ ```