CDH/CDP中开启kerberos后如何拜访HDFS/YARN/HIVESERVER2 等服务的webui
在CDH/CDP等大数据平台中,当开启kerberos平安后,如何拜访HDFS/YARN/HIVESERVER2 等服务的webui呢?一起看下相干常识。
问题景象
在CDH/CDP等大数据平台中,当开启kerberos平安后,一些常见服务如 HDFS/YARN/HIVESERVER2 的webui, 无法访问,通过chrome浏览器拜访时,报错 HTTP ERROR 403,Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下:
问题起因
大数据集群开启kerberos平安认证后,基于http协定拜访常见服务如 hdfs/yarn/hiveserver2 等的webui时,这些服务在服务端大都有专门的参数能够管制是否应用启用 spnego(基于kerberos) 认证,当启用了 spnego 平安认证而客户端浏览器获取不到无效的 kerberos ticket 时,就会报上述谬误。
查看服务端配置,发现服务开启了 "Enable Kerberos Authentication for HTTP Web-Consoles", 截图如下:
通过查看后盾日志,也能确认是用户认证问题;同时在客户端浏览器没有获取到无效的kerberos ticket 时,通过firefox浏览器拜访指标链接,其报错提示信息更加明确地指出了须要认证:
留神:当开启了yarn的”Enable Kerberos Authentication for HTTP Web-Consoles“,而没有开启hdfs的”Enable Kerberos Authentication for HTTP Web-Consoles“时,拜访yarn web ui 的报错略有不同:
问题解决
解决形式1
能够关掉 Enable Kerberos Authentication for HTTP Web-Consoles (Secure Web UI for this service is disabled even though Kerberos is enabled.), 如下图所示:(hdfs/yarn都有该选项;hive 须要通过配置高级参数 hive.server2.webui.use.spnego 实现))
解决形式2
当然也能够装置kerberos windows客户端,并配置firefox浏览器应用本地的kerberos ticket后,当在kerberos windows客户端或命令行应用用户名明码通过kerberos认证获取kerberos ticket后,firefox浏览器就能够失常拜访webui了(chrome浏览器中 kerberos 相干配置比较复杂,倡议应用firefox浏览器)。
在windows上装置配置kerberos 客户端并配置firefox浏览器以拜访开启spnego平安认证的hdfs/yarn/hive webui
装置Kerberos客户端
MIT官网下载并装置:
配置Kerberos客户端
将Kerberos KDC服务端的配置文件/etc/krb5.conf中的内容拷贝到windows上kerberos客户端文件 krb5.ini 中,该文件门路如下:C:\ProgramData\MIT\Kerberos5\krb5.ini
配置windows的hosts文件
配置windows的hosts文件,该文件门路如下:C:\Windows\System32\drivers\etc\hosts
调整PATH环境变量
因为Kerberos客户端和OracleJDK都蕴含 kerberos 的 klist/kinit等命令工具,为确保后续命令行应用的是Kerberos客户端的klist/kinit,须要配置PATH环境变量将 Kerberos 目录调整靠前,如下图所示:
调整PATH环境变量前后,命令行klist命令的输入后果不同,如下所示:
配置firefox浏览器
因为chrome浏览器中 kerberos 相干配置比较复杂,倡议配置应用firefox浏览器。
关上firefox浏览器,在地址栏输出about:config,而后搜寻并配置如下两个参数:
network.auth.use-sspi:将值改为false;
network.negotiate-auth.trusted-uris:将值为集群节点ip或主机名;
获取kerberos ticketb并拜访开启spnego认证的hdfs/yarn/hive webui
能够在kerberos windows客户端中通过用户名明码获取获取kerberos ticket,也能够在命令行通过kinit命令获取kerberos ticket。获取到 kerberos ticket后,通过firefox浏览器就能够失常开启spnego认证的hdfs/yarn/hivewebui了: