hbase.client.keyvalue.maxsize的默認值 - langtianya－IT工程師數位筆記本

文章出處

hbase的列族的最大值是在hbase配置里的hbase.client.keyvalue.maxsize，默認大小為10M，即 10485760 。

http://eclecl1314-163-com.iteye.com/blog/1463576

一直使用hbase作大容量存儲，因為hbase易于存取。

今天，在錄入數據的時候，突然報出一個KeyValue size too large。很是奇怪。

private void validatePut(final Put put) throws IllegalArgumentException{
    if (put.isEmpty()) {
      throw new IllegalArgumentException("No columns to insert");
    }
    if (maxKeyValueSize > 0) {
      for (List list : put.getFamilyMap().values()) {
        for (KeyValue kv : list) {
         if (kv.getLength() > maxKeyValueSize) {
 
 
            throw new IllegalArgumentException("KeyValue size too large");
          }
        }
      }
    }
  }

說明當某一列的值大于該值的時候，將會拋出該異常，又查看maxKeyValueSize，發現它調用的是hbase配置里的hbase.client.keyvalue.maxsize，默認大小為10M，即 10485760 。將它改大即可。

但是，當我修改完以后，啟動hbase總是出問題，后來又將hbase-env.sh里的HBASE_HEAPSIZE改大。

后來又將mapred-site.xml中的mapred.tasktracker.indexcache.mb改大，至于大于hbase.client.keyvalue.maxsize，不知道有沒有影響，以防萬一吧，我覺得hbase的執行應該是跟job有關系的吧。

請大家多多指教

private void validatePut(final Put put) throws IllegalArgumentException{  
    if (put.isEmpty()) {  
      throw new IllegalArgumentException("No columns to insert");  
    }  
    if (maxKeyValueSize > 0) {  
      for (List<KeyValue> list : put.getFamilyMap().values()) {  
        for (KeyValue kv : list) {  
        <strong>  if (kv.getLength() > maxKeyValueSize) {</strong>  
  
  
            throw new IllegalArgumentException("KeyValue size too large");  
          }  
        }  
      }  
    }  
  }