关于python爬虫:原创微博-关键词-爬虫

本文所有教程及源码、软件仅为技术钻研。不波及计算机信息零碎性能的删除、批改、减少、烦扰，更不会影响计算机信息零碎的失常运行。不得将代码用于非法用处，如侵立删

记一次阿里云盾滑块验证剖析并通过

操作环境

• win10 、 mac
• Python3.9

数据接口

• 搜寻

  https://**********?containerid=100103type%3D{chanenl}%26q%3D{quote(self.words)}&page_type=searchall&page={page}

• user info

  https://**********?title=%E5%9F%BA%E6%9C%AC%E8%B5%84%E6%96%99&value={userid}'

  proxy配置

==应用socks需装置 ：pip install -U 'requests[socks]'==

    def _proxy(self):        """        调用        :return:        """        # 判断IP是否过期        new_time = datetime.datetime.now()        if self.expire_time and new_time < datetime.datetime.strptime(self.expire_time, "%Y-%m-%d %H:%M:%S"):            # # 以后工夫小于到期工夫证实可用            # if new_time < datetime.datetime.strptime(self.expire_time, "%Y-%m-%d %H:%M:%S"):            print(f'以后应用IP:{self.proxies} 过期工夫：{self.expire_time}')            return        proxy = Proxy()        ip_port, expire_time = proxy.main()        self.headers = proxy.headers        self.proxies = {            'http': 'socks5://{}'.format(ip_port),            'https': 'socks5://{}'.format(ip_port)        }        self.expire_time = expire_time

依据关键词获取userid

    def _get_userid(self, response):        userid = []        content = json.loads(response)        cards = content['data']['cards']  # 数据列表        for card in cards:            if card['card_type'] != 11:  # 状态=11返回的是用户数据列表                continue            for card_group in card['card_group']:                userid.append(card_group['user']['id'])  # 用户id        return userid

依据userid获取信息

    def _parse_json(self, res):        content = json.loads(res)        data = {}        data['用户id'] = content['data']['userInfo']['id']  # userid        data['用户名'] = content['data']['userInfo']['screen_name']  # 用户名        # 性别        sex = content['data']['userInfo']['gender']        data['性别'] = '女' if sex == 'f' else '男'        data['微博认证名称'] = content['data']['userInfo']['verified_reason']  # 微博认证名称        data['简介'] = content['data']['userInfo']['description']  # 简介        data['粉丝数量'] = content['data']['userInfo']['followers_count']  # 粉丝数量        data['公布微博量'] = content['data']['userInfo']['statuses_count']  # 公布微博量        data['关注量'] = content['data']['userInfo']['follow_count']  # 关注量        data['用户头像'] = content['data']['userInfo']['profile_image_url']  # 用户头像        data['挪动端地址'] = content['data']['userInfo']['profile_url']  # 挪动端地址        data['关键词'] = self.words        return data

数据保留

    def _save_xls(self, data):        """        保留数据        data : 字典格局 必须和表头长度一样        :return:        """        # 判断文件是否存在 如果存在则读取而后插入新数据，不存在则创立一个新DataFrame并增加表头        file = f'{PATH}/数据/关键词-{self.words}.xlsx'        Header = ['用户id', '用户名', '性别', '微博认证名称', '简介', '粉丝数量', '公布微博量', '关注量', '用户头像', '挪动端地址', '关键词']        if not os.path.exists(f'{PATH}/数据'):            os.mkdir(f'{PATH}/数据')        if not os.path.exists(file):            # 创立一个新的文件 并写入表头            df = pd.DataFrame(columns=Header)        else:            # 读取现有文件            df_read = pd.read_excel(file)            df = pd.DataFrame(df_read)        # 定义一行新数据 data为一个字典        new_data = pd.DataFrame(data, index=[1])  # 自定义索引为：1 ，这里也能够不设置index        # 把定义的新数据增加到原数据最初一行 ignore_index=True,示意不按原来的索引，从0开始主动递增        df = df.append(new_data, ignore_index=True)        # 保留数据 sheet_name工作表名 index是否增加索引 header表头        df.to_excel(file, sheet_name=self.words, index=False, header=True)

数据：