关于chrome:CentOS-6x-搭建Headless-Chrome-ChromeDriver-Selenium的爬虫环境

【转载请注明出处】：https://blog.csdn.net/huahao1989/article/details/107890747

Chrome官方网站曾经说的很分明，不再反对6.x的CentOS，至多7以上。可是很多时候咱们应用的服务器版本并不能轻易降级，即使曾经很好受了，然而还得持续应用低版本，装起来那是真叫一个吃力，还好就是吃力一些，最终还是能够装胜利的。

什么是 Headless Chrome

Headless Chrome 是 Chrome 浏览器的无界面状态，能够在不关上浏览器的前提下，应用所有 Chrome 反对的个性运行你的程序。相比于古代浏览器，Headless Chrome 更加不便测试 web 利用，取得网站的截图，做爬虫抓取信息等。相比于出道较早的 PhantomJS，SlimerJS 等，Headless Chrome 则更加贴近浏览器环境。

CentOS版本

lsb_release -a

装置selenium

装置 Python 并配置好环境变量

shell输出：python -V 呈现对应版本号即装置胜利！

装置 pip
python默认自带 pip 在装置目录的scripts目录下，自行配置至环境变量即可，配置好后shell输出：pip -V 呈现对应版本号即装置胜利！
装置 selenium
shell输出：pip install selenium 提醒：Successfully installed selenium-即装置胜利！

python>>>from selenium import webdriver>>>driver = webdriver.Chrome()>>>driver.get('https://www.baidu.com')

曾经能够了，失常写python脚本即可。

搭建环境时遇到的问题

1、/lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./chromedriver)

#查看零碎版本cat /etc/redhat-release #查看glibc反对的版本strings /lib64/libc.so.6 |grep GLIBC_wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz tar -xvf  glibc-2.14.tar.gz tar -xvf  glibc-ports-2.14.tar.gzmv glibc-ports-2.14 glibc-2.14/portsmkdir glibc-2.14/buildcd glibc-2.14/build ../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/binmakemake install

装置编译过程中须要留神三点：

要将glibc-ports解压到glibc目录下
不能在glibc当前目录下运行configure
加上优化开关，export CFLAGS="-g -O2 -march=i486"，否则会呈现谬误
在make install过程中可能会呈现 nss_test1加载不了的状况，此时能够将加载libnss_test1.so.2的中央正文掉，用grep "nss_test1" . -nr命令在 /glibc目录下查找一下，加载的中央也不多（这只是一个测试nss的动态库，能够不要）

2、/lib64/libc.so.6: version `GLIBC_2.16' not found (required by ./chromedriver)

wget http://ftp.gnu.org/gnu/glibc/glibc-2.16.0.tar.gz wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.16.0.tar.gz tar -xvf  glibc-2.16.0.tar.gz tar -xvf  glibc-ports-2.16.0.tar.gzmv glibc-ports-2.16.0 glibc-2.16.0/portsmkdir glibc-2.16.0/buildcd glibc-2.16.0/build ../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/binmakemake install

报错

Unmatched ( in regex; marked by  HERE in m/$( <-- HERE if $(abi-64-ld-soname),$(abi-64-ld-soname),ld/ at scripts/test-installation.pl line

能够参考解决办法https://sourceware.org/bugzil...

glibc-2.16.0/Makefile

ifeq (,$(install_root))      CC="$(CC)" $(PERL) scripts/test-installation.pl $(common-objpfx)endif

改成

ifeq (,$(install_root))     LD_SO=$(ld.so-version) CC="$(CC)" $(PERL) scripts/test-installation.pl $(common-objpfx)endif

glibc-2.16.0/scripts/test-installation.pl

sub usage {    print "Usage: test-installation [soversions.mk]\n";

下面增加

if ($ENV{LD_SO}) {  $LD_SO = $ENV{LD_SO};} else {  $LD_SO= "";}sub usage {    print "Usage: test-installation [soversions.mk]\n";

在

} else {  if (/^ld\.so/) {     ($ld_so_name, $ld_so_version)= /=(.*)\.so\.(.*)$/;

下面增加

} elsif ($LD_SO ne "") {    ($ld_so_name, $ld_so_version) = split ('\.so\.', $LD_SO);} else {  if (/^ld\.so/) {     ($ld_so_name, $ld_so_version)= /=(.*)\.so\.(.*)$/;

欢送关注 “后端老鸟” 公众号，接下来会发一系列的专题文章，包含Java、Python、Linux、SpringBoot、SpringCloud、Dubbo、算法、技术团队的治理等，还有各种脑图和学习材料，NFC技术、搜寻技术、爬虫技术、举荐技术、音视频互动直播等，只有有工夫我就会整顿分享，敬请期待，现成的笔记、脑图和学习材料如果大家有需要也能够公众号留言提前获取。因为自己在所有团队中根本都处于攻坚和探路的角色，搞过的货色多，遇到的坑多，解决的问题也很多，欢送大家加公众号进群一起交流学习。

【转载请注明出处】：https://blog.csdn.net/huahao1989/article/details/107890747

关于chrome:CentOS-6x-搭建Headless-Chrome-ChromeDriver-Selenium的爬虫环境

什么是 Headless Chrome

CentOS版本

最新版本Google-Chrome装置

指定yum源

装置google-chrome

运行chrome

最新版本Chromedriver装置

装置selenium

搭建环境时遇到的问题