在安卓手机装置应用 hadoop 遇到的问题

因为新的 termux 在安卓 10 装置不了 Java ，所以在 termux 里装置了 fedora 零碎。还有问题，更换了 debian 零碎。

筹备

  • 在 debian 中应用 apt 装置 java

    useradd hadoop  # 新建用户并给予明码passwd hadoop# apt install sudo # 可先项# vi /etc/sudoers# echo "hadoop ALL=(ALL) ALL" >> /etc/sudoersalias pk="apt install -y"pk openjdk-11-jdkpk ssh pdsh  # ssh 登陆用su - hadoop# 配置变量vi ~/.bashrc  # ~/.zshenv or ~/.zshrc or ~/.profile.d  备选装置 zshexport JAVA_HOME=/usr/lib/jvm/java-11-openjdk-arm64export PATH=$JAVA_HOME/bin:$PATH:wq
  • 或间接下载 openjdk 版的 java
    JAVA_HOME 是解压后的根目录

配置 ssh

# pk ssh pdshexport PDSH_RCMD_TYPE=ssh # 配置变量，不配置会呈现问题pdsh -q -w localhost | grep Rcmd  # 查看是否 ssh 默认的如同是 rsh ，下面一个命令用来批改# 配置免明码登陆 ssh ，密钥登陆ssh-keygenecho ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# ssh-copy-id# sed -i 's/^Port/Port 8222/' /etc/ssh/sshd_configvi /etc/ssh/sshd_config  # 批改 sshd 端口 因为手机里不能用 22 端口，也防止与 termux 的 8022 抵触Port 8222PubkeyAuthentication yes:wq# root 用户启动 sshd/usr/sbin/sshd  # ***容易出问题的中央# 测试免明码登陆ssh localhost -p 8222# pkill sshd

配置 /root/.bashrc 主动启动 sshd

[[ -n $SSH_CONNECTION ]] && /usr/sbin/sshd

下载 hadoop 源码并解压

hadoop download

想要平安的话最好校验一下安装包

一些命令问题

which  jps  # in java home binjps  # 查看启动了哪些服务，是 namenode 等等cd $HADOOP_HOMEfind . -name "*.cmd" | xargs rm  # 删除 window 版的 cmd 防止敲命令的麻烦bin/hdfs namenode -format  # 容易出错点，必须格式化 hadoop 文件系统

git 治理，防止批改谬误

pk git  # 装置 git 版本治理 HADOOP_HOME/etc 文件夹的内容cd etcgit init && git add . && git commit -m "init"  # 须要配置 email namegit commit -m "init"  # 再次提交首次批改cd -

如果要装置多个版本的 hadoop ，须要批改 core-site.xml 的缓存地位

vi etc/hadoop/core-site.xml # 9000 端口容易出问题，能够把端口设置为 9001

...    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9001</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/tmp/hadoop-3.3.0</value>    </property>

批改 hadoop 中的 sshd 端口

vi etc/hadoop/hadoop-env.sh export HADOOP_SSH_OPTS="-p 8222"

上面这些命令可能会在 /tmp 产生文件 *_hadoop jetty- *.pid 当产生谬误删除掉这些

# 启动后 能够用浏览器拜访 http://localhost:9870 sbin/start_dfs.sh  # 启动 hdfs hadoop distu file system 分布式文件系统jps  # 查看状态sbin/stop_dfs.sh  # stop# 浏览器 http://localhost:8088sbin/start_yarn.shsbin/stop_yarn.sh

hdfs 命令

bin/hdfs dfs -ls  # - 前面的仿佛与 linux 系统命令一样

分布式部署，集群

copy HADOOP_HOME 到其它机器
copy 配置文件
ssh-copy-id

批改 /etc/hosts 对应机器名

参考

w3cschool
hadoop

原文地址：https://toyourheart163.github... 思否镜像