1、读请求过程
客户端通过zookeeper以及root表和meta表找到目标数据所在的regionserver联系regionserver查询目标数据regionserver定位到目标数据所在的region,发出查询请求region先在memstore中查找,命中则返回如果在memstore中找不到,则在storefile中扫描(可能会扫描到很多的storefile—-bloomfilter布隆过滤器)补充:布隆过滤器参数类型有2种:
Row、row+col
2、写请求过程:
client向region server提交写请求region server找到目标regionregion检查数据是否与schema一致如果客户端没有指定版本,则获取当前系统时间作为数据版本将更新写入WAL log将更新写入Memstore判断Memstore的是否需要flush为StoreFile文件。细节描述:
hbase使用MemStore和StoreFile存储对表的更新。
数据在更新时首先写入Log(WAL log)和内存(MemStore)中,MemStore中的数据是排序的,当MemStore累计到一定阈值时,就会创建一个新的MemStore,并且将老的MemStore添加到flush队列,由单独的线程flush到磁盘上,成为一个StoreFile。于此同时,系统会在zookeeper中记录一个redo point,表示这个时刻之前的变更已经持久化了。
当系统出现意外时,可能导致内存(MemStore)中的数据丢失,此时使用Log(WAL log)来恢复checkpoint之后的数据。
StoreFile是只读的,一旦创建后就不可以再修改。因此Hbase的更新其实是不断追加的操作。当一个Store中的StoreFile达到一定的阈值后,就会进行一次合并(minor_compact, major_compact),将对同一个key的修改合并到一起,形成一个大的StoreFile,当StoreFile的大小达到一定阈值后,又会对 StoreFile进行split,等分为两个StoreFile。
由于对表的更新是不断追加的,compact时,需要访问Store中全部的 StoreFile和MemStore,将他们按row key进行合并,由于StoreFile和MemStore都是经过排序的,并且StoreFile带有内存中索引,合并的过程还是比较快。