首页
关于
我的作品
Privacy Policy
Search
1
hive--删除表中的数据truncate
2 阅读
2
【超实用教程】用 SwitchHosts 搭配 GitHub520,一键解决 GitHub 访问慢、图片加载失败问题
2 阅读
3
Oracle SQL Developer连接HiveServer
1 阅读
4
精华 Nano Banana 神指令词!适合懒人! (3D 建模、3D 手办、Q 版旅行地图...)
1 阅读
5
优化网站速度:如何利用Google的PageSpeed Insights提升用户体验和SEO排名
0 阅读
未分类
Kafka
jekyll
hive
java
mine
hadoop
linux
日常
storm
rabbitMq
react-native
luster
pmp
ai
pmi
github
aigc
登录
Search
标签搜索
centos
apache
Kafka
maven
hadoop
idea
zookeeper
rabbitmq
centos7
ssh
插件
hive
继承
hdfs
编译
log4j
java
module
iptables
update
Typecho
累计撰写
36
篇文章
累计收到
45
条评论
首页
栏目
未分类
Kafka
jekyll
hive
java
mine
hadoop
linux
日常
storm
rabbitMq
react-native
luster
pmp
ai
pmi
github
aigc
页面
关于
我的作品
Privacy Policy
搜索到
1
篇与
的结果
2017-11-08
Server IPC version 9 cannot communicate with client version 4 hadoop hdfs连接不上
commons-httpclient-3.1.jarcommons-io-2.4.jarcommons-lang-2.6.jarcommons-logging-1.1.3.jarcommons-net-3.1.jarguava-11.0.2.jarhadoop-common-2.6.2.jarhadoop-auth-2.6.2.jarslf4j-api-1.7.5.jarhadoop-hdfs-2.6.2.jarcommons-cli-1.2.jarprotobuf-java-2.5.0.jarhtrace-core-3.0.4.jar在pom.xml中添加这些commons-httpclient-3.1.jar commons-io-2.4.jar commons-lang-2.6.jar commons-logging-1.1.3.jar commons-net-3.1.jar guava-11.0.2.jar hadoop-common-2.6.2.jar hadoop-auth-2.6.2.jar slf4j-api-1.7.5.jar hadoop-hdfs-2.6.2.jar commons-cli-1.2.jar protobuf-java-2.5.0.jar htrace-core-3.0.4.jar 以下为示例代码: /** * @Autohor: liyj * @Description: * @Date:Created in 2017/11/7 * @Modified by : */ import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class HdfsFileReader { private static final String NAME_NODE = "hdfs://tj02:8020";//nameNomeHost = localhost if you use hadoop in local mode public static void main(String[] args) throws URISyntaxException, IOException { // String fileInHdfs = "/user/hive/warehouse/t001011003"; Configuration configuration = new Configuration(); // configuration.set("fs.hdfs.impl", // org.apache.hadoop.hdfs.DistributedFileSystem.class.getName() // ); // configuration.set("fs.file.impl", // org.apache.hadoop.fs.LocalFileSystem.class.getName() // ); FileSystem fs = FileSystem.get(URI.create(NAME_NODE), configuration); // // fs.createNewFile(new Path("/user/hive/warehouse/t001011003/0000sadasd")); // String fileContent = IOUtils.toString(fs.open(new Path(fileInHdfs)), "UTF-8"); // System.out.println("File content - " + fileContent); // copyFile2Hdfs(); Path listf = new Path("/user/hive/warehouse/t001011003"); FileStatus stats[] = fs.listStatus(listf); for (int i = 0; i < stats.length; ++i) { System.out.println(stats[i].getPath().toString()); } fs.close(); } public static void copyFile2Hdfs() throws IOException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf); //本地文件 // Path src =new Path("D:\\HebutWinOS"); //HDFS为止 Path dst = new Path("/"); // hdfs.copyFromLocalFile(src, dst); System.out.println("Upload to" + conf.get("fs.default.name")); FileStatus files[] = hdfs.listStatus(dst); for (FileStatus file : files) { System.out.println(file.getPath()); } } }
2017年11月08日
0 阅读
0 评论
0 点赞