记录 puppeteer 爬虫遇到的坑
1. page.$(selector)中,selector 不精确
2. page.goto(url[, options]),跳转多个页面卡死的情况
page.$(selector)中,selector 不精确
打开控制台,在页面查看器里右键点击需要用到的 DOM,Copy -> Copy Selector,此时复制到的就是 DOM 元素在本页面最精确的节点路径
比如我要拿到思否首页的 logo 的节点路径body > div.global-nav.sf-header.sf-header--index > nav > div.row.hidden-xs.hidden-sm > div.col-sm-8.col-md-9.col-lg-9 > div.sf-header__logo > h1 > a
page.goto(url[, options]),跳转多个页面卡死的情况
puppeteer 爬虫是去拿的页面的 dom,{waitUntil: ‘domcontentloaded’},加上这句话表示等待页面 DOM 加载完成后才有返回值,这样避免了页面 DOM 没加载完就去爬数据而导致的错误
await page.goto(url, {waitUntil: ‘domcontentloaded’});