关于大数据:大数据开发Hbase协处理器案例

47次阅读

共计 560 个字符,预计需要花费 2 分钟才能阅读完成。

大数据开发 –Hbase 协处理器案例

1. 需要形容

在社交网站,社交 APP 上会存储有大量的用户数据以及用户之间的关系数据,比方 A 用户的好友列表会展现出他所有的好友,现有一张 Hbase 表,存储就是以后注册用户的好友关系数据,如下

需要

  1. 应用 Hbase 相干 API 创立一张构造如上的表
  2. 删除好友操作实现(好友关系双向,一方删除好友,另一方也会被迫删除好友)

    例如:uid1 用户执行删除 uid2 这个好友,则 uid2 的好友列表中也必须删除 uid1

2. 需要剖析实现

2.1 思考到需要是个双向删除,第一想法是客户端用两次 Api 执行删除,细思考,这个问题不应该在客户端来做啊

2.2 所以思考服务端的同步删除,即利用 hbase 的协处理器来实现,协处理器在 Hbase 外面即是 BaseRegionServer, 重写 postDelete 办法,监听删除操作,获取到删除的列族队列汇合,判断其中的 cells,蕴含 rollkey 的列,如果蕴含,则生成相应的delQualifier 对象进行删除。

2.3 打包上传 jar,并建设 user_relation 关系表,挂载协处理器 jar 包。

2.4 最初演示整个过程。

3. 过程演示

3.1 创立表,展现表内数据

3.2 删除表数据,并展现是否会启用协处理器删除相应的好友关系

吴邪,小三爷,混迹于后盾,大数据,人工智能畛域的小菜鸟。
更多请关注

正文完
 0