hadoop OPPO数据中台之基石基于Flink-SQL构建实数据仓库 本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor。本文主要内容如下:
hadoop ubuntu下编译Hadoop 注意 libssl-dev安装换成 libssl1.0-dev版本。 我之前就是默认安转,在编译OpenSSL功能的时候一直卡主编译不通过。具体错误形式如下
hadoop ZooKeeper安装效果演示 高可用(HA) — ZooKeeper ZooKeeper 一个开源的分布式的,为分布式应用提供服务的项目 提供原语集合以便分布式应用可以在它之上构建更高层次的同步服务 角色 {代码…} 安装 伪分布模式 {代码…} 完全分布模式 …
hadoop Mac-下编译-Hadoop 1.[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
hadoop Hadoop中间结果lzop压缩 为了节省磁盘空间,文件的存储往往需要压缩,有的需要压缩比大,有的需要压缩速度快。而对于一套计算的结果存储,如多个MapReduce之间,需要能支持分片的压缩方式。lzop就是个可以支持分片的压缩方式,非常适合用…
hadoop Zookeeper启动失败(CentOS 7 防火墙) zookeeper配置:1.zoo.cfg的server.id=host:2888:38882.zoo.cfg的dataDir3.在dataDir中创建myid文件,写入当前节点的id
hadoop 你应该知道的 HBase 基础,都在这儿了 阿里妹导读:2006 年10 月Google 发布三架马车之一的《Bigtable:A Distributed Storage System for Strctured Data》论文之后,Powerset 公司就宣布 HBase 在 Hadoop 项目中成立,作为子项目存在。后来,在2010 …
hadoop 从用户成为“股东” —— 在 Apache 基金会的 2600 天 3月27日,腾讯云大数据及人工智能产品研发的专家研究员堵俊平受邀成为 Apache 软件基金会Member(Apache Softeware Foundation Member,以下简称 ASF Member),一封名为 “邀请成为 ASF Member” 的电子邮件正式为…
hadoop hadoop配置与wordcount 参考的博客大多都是hadoop2.x和低版本的java之上的,配置过程写出来看似很简单,看别人的博客也感觉步骤都差不多,但是自己配置时候出了很多问题:datanode启动不了,网页不能正常显示,datanode莫名死掉,resour…
hadoop hive小结 自动化了 MapJoin,之后我们就不需要在 query 中再写了。MapJoin 用于小表 Join 大表的场景,在大表通过 Mapper 时,小表会被完全放入内存中,Hive 会在 map 端进行连接,因为 Hive 可以和内存中的小表进行逐一匹…