1000字范文,内容丰富有趣,学习的好帮手!
1000字范文 > HBase二级索引Solr

HBase二级索引Solr

时间:2024-05-18 17:54:19

相关推荐

HBase二级索引Solr

HBase二级索引Solr:

CDH使用Solr实现HBase二级索引 - kekukekro - 博客园

基于CDH的solr+Key-Value Store Indexer+hbase二级索引框架构建(一)_yzh865318761的博客-CSDN博客

hadoop --config /etc/hadoop/conf jar /opt/cloudera/parcels/CDH/lib/hbase-solr/tools/hbase-indexer-mr-1.5-cdh5.8.5-job.jar --conf /etc/hbase/conf/hbase-site.xml -D 'mapred.child.java.opts=-Xmx 1000m' --hbase-indexer-file /opt/cdhsolr/cctb01/Mapper.xml --morphline-file /opt/cm-5.8.5/run/cloudera-scm-agent/process/1602-ks_indexer-HBASE_INDEXER/morphlines.conf --zk-host s203:2181,s204:2181,s205:2181/solr --collection cctb01 --reducers 0

原来是因为region server在写入时会检查每个region对应的memstore的总大小是否超过了memstore默认大小的2倍(hbase.hregion.memstore.block.multiplier决定),如果超过了则锁住memstore不让新写请求进来并触发flush,避免产生OOM。由于在flush时还会触发compact/split等操作。因此这个过程通常比较长,必须要紧持到对应的memstore完全刷新到磁盘才会结束,因此regionserver会睡眠10s再检查memstore是不是低于阀值。

对于在线应用来说,10s的时间是不可接受的,但这个过程确实非常漫长,因此可以调整以下配置以减少或者避免这种情况的出现。

<property><name>hbase.hregion.memstore.block.multiplier</name><value>8</value>//内存充足确保不会产生OOM的情况下,调大此值</property><property><name>hbase.server.thread.wakefrequency</name><value>100</value>//减少睡眠等待时间,默认值为10000</property>

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。