关于大数据:CDHCDP中开启kerberos后如何访问HDFSYARNHIVESERVER2-等服务的webui

4次阅读

共计 2022 个字符,预计需要花费 6 分钟才能阅读完成。

CDH/CDP 中开启 kerberos 后如何拜访 HDFS/YARN/HIVESERVER2 等服务的 webui

在 CDH/CDP 等大数据平台中,当开启 kerberos 平安后,如何拜访 HDFS/YARN/HIVESERVER2 等服务的 webui 呢?一起看下相干常识。

问题景象

在 CDH/CDP 等大数据平台中,当开启 kerberos 平安后,一些常见服务如 HDFS/YARN/HIVESERVER2 的 webui,无法访问,通过 chrome 浏览器拜访时,报错 HTTP ERROR 403,Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下:

问题起因

大数据集群开启 kerberos 平安认证后,基于 http 协定拜访常见服务如 hdfs/yarn/hiveserver2 等的 webui 时,这些服务在服务端大都有专门的参数能够管制是否应用启用 spnego(基于 kerberos) 认证,当启用了 spnego 平安认证而客户端浏览器获取不到无效的 kerberos ticket 时,就会报上述谬误。

查看服务端配置,发现服务开启了 “Enable Kerberos Authentication for HTTP Web-Consoles”, 截图如下:

通过查看后盾日志,也能确认是用户认证问题;同时在客户端浏览器没有获取到无效的 kerberos ticket 时,通过 firefox 浏览器拜访指标链接,其报错提示信息更加明确地指出了须要认证:

留神:当开启了 yarn 的”Enable Kerberos Authentication for HTTP Web-Consoles“,而没有开启 hdfs 的”Enable Kerberos Authentication for HTTP Web-Consoles“时,拜访 yarn web ui 的报错略有不同:

问题解决

解决形式 1

能够关掉 Enable Kerberos Authentication for HTTP Web-Consoles(Secure Web UI for this service is disabled even though Kerberos is enabled.), 如下图所示:(hdfs/yarn 都有该选项;hive 须要通过配置高级参数 hive.server2.webui.use.spnego 实现))

解决形式 2

当然也能够装置 kerberos windows 客户端,并配置 firefox 浏览器应用本地的 kerberos ticket 后,当在 kerberos windows 客户端或命令行应用用户名明码通过 kerberos 认证获取 kerberos ticket 后,firefox 浏览器就能够失常拜访 webui 了(chrome 浏览器中 kerberos 相干配置比较复杂,倡议应用 firefox 浏览器)。

在 windows 上装置配置 kerberos 客户端并配置 firefox 浏览器以拜访开启 spnego 平安认证的 hdfs/yarn/hive webui

装置 Kerberos 客户端

MIT 官网下载并装置:

配置 Kerberos 客户端

将 Kerberos KDC 服务端的配置文件 /etc/krb5.conf 中的内容拷贝到 windows 上 kerberos 客户端文件 krb5.ini 中,该文件门路如下:C:\ProgramData\MIT\Kerberos5\krb5.ini

配置 windows 的 hosts 文件

配置 windows 的 hosts 文件,该文件门路如下:C:\Windows\System32\drivers\etc\hosts

调整 PATH 环境变量

因为 Kerberos 客户端和 OracleJDK 都蕴含 kerberos 的 klist/kinit 等命令工具,为确保后续命令行应用的是 Kerberos 客户端的 klist/kinit,须要配置 PATH 环境变量将 Kerberos 目录调整靠前,如下图所示:

调整 PATH 环境变量前后,命令行 klist 命令的输入后果不同,如下所示:

配置 firefox 浏览器

因为 chrome 浏览器中 kerberos 相干配置比较复杂,倡议配置应用 firefox 浏览器。
关上 firefox 浏览器,在地址栏输出 about:config,而后搜寻并配置如下两个参数:
network.auth.use-sspi:将值改为 false;
network.negotiate-auth.trusted-uris:将值为集群节点 ip 或主机名;

获取 kerberos ticketb 并拜访开启 spnego 认证的 hdfs/yarn/hive webui

能够在 kerberos windows 客户端中通过用户名明码获取获取 kerberos ticket,也能够在命令行通过 kinit 命令获取 kerberos ticket。获取到 kerberos ticket 后,通过 firefox 浏览器就能够失常开启 spnego 认证的 hdfs/yarn/hivewebui 了:

正文完
 0