共计 560 个字符,预计需要花费 2 分钟才能阅读完成。
大数据开发 –Hbase 协处理器案例
1. 需要形容
在社交网站,社交 APP 上会存储有大量的用户数据以及用户之间的关系数据,比方 A 用户的好友列表会展现出他所有的好友,现有一张 Hbase 表,存储就是以后注册用户的好友关系数据,如下
需要
- 应用 Hbase 相干 API 创立一张构造如上的表
- 删除好友操作实现(好友关系双向,一方删除好友,另一方也会被迫删除好友)
例如:uid1 用户执行删除 uid2 这个好友,则 uid2 的好友列表中也必须删除 uid1
2. 需要剖析实现
2.1 思考到需要是个双向删除,第一想法是客户端用两次 Api 执行删除,细思考,这个问题不应该在客户端来做啊
2.2 所以思考服务端的同步删除,即利用 hbase 的协处理器来实现,协处理器在 Hbase 外面即是 BaseRegionServer
, 重写 postDelete 办法,监听删除操作,获取到删除的列族队列汇合,判断其中的 cells,蕴含 rollkey 的列,如果蕴含,则生成相应的delQualifier
对象进行删除。
2.3 打包上传 jar,并建设 user_relation 关系表,挂载协处理器 jar 包。
2.4 最初演示整个过程。
3. 过程演示
3.1 创立表,展现表内数据
3.2 删除表数据,并展现是否会启用协处理器删除相应的好友关系
吴邪,小三爷,混迹于后盾,大数据,人工智能畛域的小菜鸟。
更多请关注
正文完