1000字范文,内容丰富有趣,学习的好帮手!
1000字范文 > Hbase读写过程

Hbase读写过程

时间:2022-11-22 13:44:05

相关推荐

Hbase读写过程

1、读请求过程

客户端通过zookeeper以及root表和meta表找到目标数据所在的regionserver联系regionserver查询目标数据regionserver定位到目标数据所在的region,发出查询请求region先在memstore中查找,命中则返回如果在memstore中找不到,则在storefile中扫描(可能会扫描到很多的storefile—-bloomfilter布隆过滤器)

补充:布隆过滤器参数类型有2种:

Row、row+col

2、写请求过程:

client向region server提交写请求region server找到目标regionregion检查数据是否与schema一致如果客户端没有指定版本,则获取当前系统时间作为数据版本将更新写入WAL log将更新写入Memstore判断Memstore的是否需要flush为StoreFile文件。

细节描述:

hbase使用MemStore和StoreFile存储对表的更新。

数据在更新时首先写入Log(WAL log)和内存(MemStore)中,MemStore中的数据是排序的,当MemStore累计到一定阈值时,就会创建一个新的MemStore,并且将老的MemStore添加到flush队列,由单独的线程flush到磁盘上,成为一个StoreFile。于此同时,系统会在zookeeper中记录一个redo point,表示这个时刻之前的变更已经持久化了。

当系统出现意外时,可能导致内存(MemStore)中的数据丢失,此时使用Log(WAL log)来恢复checkpoint之后的数据。

StoreFile是只读的,一旦创建后就不可以再修改。因此Hbase的更新其实是不断追加的操作。当一个Store中的StoreFile达到一定的阈值后,就会进行一次合并(minor_compact, major_compact),将对同一个key的修改合并到一起,形成一个大的StoreFile,当StoreFile的大小达到一定阈值后,又会对 StoreFile进行split,等分为两个StoreFile。

由于对表的更新是不断追加的,compact时,需要访问Store中全部的 StoreFile和MemStore,将他们按row key进行合并,由于StoreFile和MemStore都是经过排序的,并且StoreFile带有内存中索引,合并的过程还是比较快。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。