共计 11325 个字符，预计需要花费 29 分钟才能阅读完成。
亚马逊网站用户的评论能直观的反映以后商品值不值得购买，评分信息也能获取到做一个评分的权重。
亚马逊的评论区由用户 ID，评分及评论题目，地区工夫，评论注释 这几个局部组成，本次获取的内容就是这些。
测试链接：https://www.amazon.it/product…
一、剖析亚马逊的评论申请
首先关上开发者模式的 Network，Clear 清屏做一次申请：
你会发现在 Doc 中的 get 申请正好就有咱们想要的评论信息。可是真正的评论数据可不是全副都在这里的，页面往下翻，有个翻页的 button：
点击翻页申请下一页，在 Fetch/XHR 选项卡中多了一个新的申请，方才的 Doc 选项卡中并无新的 get 申请。这下发现了所有的评论信息是 XHR 类型的申请。
获取到 post 申请的链接和 payload 数据，外面含有管制翻页的参数，真正的评论申请曾经找到了。
这一堆就是未解决的信息，这些申请未解决的信息外面，带有 data-hook=\”review\” 的就是带有评论的信息。剖析结束，上面开始一步一步去写申请。
二、获取亚马逊评论的内容
首先拼凑申请所需的 post 参数，申请链接，以便之后的主动翻页，而后带参数 post 申请链接：
1.headers = {
2. 'authority': 'www.amazon.it',
3. "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
4. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
5.}
6.
7.page = 1
8.post_data = {
9. "sortBy": "recent",
10. "reviewerType": "all_reviews",
11. "formatType": "",
12. "mediaType": "",
13. "filterByStar": "",
14. "filterByLanguage": "",
15. "filterByKeyword": "",
16. "shouldAppend": "undefined",
17. "deviceType": "desktop",
18. "canShowIntHeader": "undefined",
19. "pageSize": "10",
20. "asin": "B08GHGTGQ2",
21.}
22.# 翻页要害 payload 参数赋值
23.post_data["pageNumber"] = page,
24.post_data["reftag"] = f"cm_cr_getr_d_paging_btm_next_{page}",
25.post_data["scope"] = f"reviewsAjax{page}",
26.# 翻页链接赋值
27.spiderurl=f'https://www.amazon.it/hz/reviewsrender/ajax/reviews/get/ref=cm_cr_getr_d_paging_btm_next_{page}'
28.res = requests.post(spiderurl,headers=headers,data=post_data)
29.if res and res.status_code == 200:
30. res = res.content.decode('utf-8')
31. print(res) 当初曾经获取到了这一堆未解决的信息，接下来开始对这些数据进行解决。
三、亚马逊评论信息的解决
上图的信息会发现，每一段的信息都由“&&&”进行分隔，而分隔之后的每一条信息都是由 '”,”‘ 分隔开的：
所以用 python 的 split 办法进行解决，把字符串分隔成 list 列表：
1.# 返回值字符串解决
2.contents = res.split('&&&')
3.for content in contents:
4. infos = content.split('","') 由 '”,”‘ 分隔的数据通过 split 解决生成新的 list 列表，评论内容是列表的最初一个元素，去掉外面的 ”\”,”\n” 和多余的符号，就能够通过 css/xpath 抉择其进行解决了：
1.for content in contents:
2. infos = content.split('","')
3. info = infos[-1].replace('"]','').replace('\\n','').replace('\\','')
4. # 评论内容判断
5. if 'data-hook="review"' in info:
6. sel = Selector(text=info)
7. data = {}
8. data['username'] = sel.xpath('//span[@class="a-profile-name"]/text()').extract_first() #用户名
9. data['point'] = sel.xpath('//span[@class="a-icon-alt"]/text()').extract_first() #评分
10. data['date'] = sel.xpath('//span[@data-hook="review-date"]/text()').extract_first() #日期地址
11. data['review'] = sel.xpath('//span[@data-hook="review-title"]/span/text()').extract_first() #评估题目
12. data['detail'] = sel.xpath('//span[@data-hook="review-body"]').extract_first() #评估内容
13. image = sel.xpath('div[@class="review-image-tile-section"]').extract_first()
14. data['image'] = image if image else "not image" #图片
15. print(data) 四、代码整合
4.1 代理设置
稳固的 IP 代理是你数据获取最无力的工具。目前国内还是无奈稳固的拜访亚马逊，会呈现连贯失败的状况。我这里应用的 ipidea 代理申请的意大利地区的亚马逊，能够通过账密和 api 获取代理，速度还是十分稳固的。
地址：http://www.ipidea.net/
上面的代理获取的办法：
1.# api 获取 ip
2.def getApiIp(self):
3. # 获取且仅获取一个 ip------ 意大利
4. api_url = '获取代理地址'
5. res = requests.get(api_url, timeout=5)
6. try:
7. if res.status_code == 200:
8. api_data = res.json()['data'][0]
9. proxies = {10. 'http': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
11. 'https': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
12. }
13. print(proxies)
14. return proxies
15. else:
16. print('获取失败')
17. except:
print('获取失败') 4.2 while 循环翻页
while 循环进行翻页，评论最大页数是 99 页，99 页之后就 break 跳出 while 循环：
1.def getPLPage(self):
2. while True:
3. # 翻页要害 payload 参数赋值
4. self.post_data["pageNumber"]= self.page,
5. self.post_data["reftag"] = f"cm_cr_getr_d_paging_btm_next_{self.page}",
6. self.post_data["scope"] = f"reviewsAjax{self.page}",
7. # 翻页链接赋值
8. spiderurl = f'https://www.amazon.it/hz/reviews-render/ajax/reviews/get/ref=cm_cr_getr_d_paging_btm_next_{self.page}'
9. res = self.getRes(spiderurl,self.headers,'',self.post_data,'POST',check)# 本人封装的申请办法
10. if res:
11. res = res.content.decode('utf-8')
12. # 返回值字符串解决
13. contents = res.split('&&&')
14. for content in contents:
15. infos = content.split('","')
16. info = infos[-1].replace('"]','').replace('\\n','').replace('\\','')
17. # 评论内容判断
18. if 'data-hook="review"' in info:
19. sel = Selector(text=info)
20. data = {}
21. data['username'] = sel.xpath('//span[@class="a-profile-name"]/text()').extract_first() #用户名
22. data['point'] = sel.xpath('//span[@class="a-icon-alt"]/text()').extract_first() #评分
23. data['date'] = sel.xpath('//span[@data-hook="review-date"]/text()').extract_first() #日期地址
24. data['review'] = sel.xpath('//span[@data-hook="review-title"]/span/text()').extract_first() #评估题目
25. data['detail'] = sel.xpath('//span[@data-hook="review-body"]').extract_first() #评估内容
26. image = sel.xpath('div[@class="review-image-tile-section"]').extract_first()
27. data['image'] = image if image else "not image" #图片
28. print(data)
29. if self.page <= 99:
30. print('Next Page')
31. self.page += 1
32. else:
break 最初的整合代码：
1.# coding=utf-8
2.import requests
3.from scrapy import Selector
4.
5.class getReview():
6. page = 1
7. headers = {
8. 'authority': 'www.amazon.it',
9. "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
10. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
11. }
12. post_data = {
13. "sortBy": "recent",
14. "reviewerType": "all_reviews",
15. "formatType": "",
16. "mediaType": "",
17. "filterByStar": "",
18. "filterByLanguage": "",
19. "filterByKeyword": "",
20. "shouldAppend": "undefined",
21. "deviceType": "desktop",
22. "canShowIntHeader": "undefined",
23. "pageSize": "10",
24. "asin": "B08GHGTGQ2",
25. }
26. #post_data 中 asin 参数目前写死在
27. #"https://www.amazon.it/product-reviews/B08GHGTGQ2?ie=UTF8&pageNumber=1&reviewerType=all_reviews&pageSize=10&sortBy=recent"
28. #这个链接里，不排除 asin 值变动的可能，如要获取 get 申请即可
29.
30. def getPLPage(self):
31. while True:
32. # 翻页要害 payload 参数赋值
33. self.post_data["pageNumber"]= self.page,
34. self.post_data["reftag"] = f"cm_cr_getr_d_paging_btm_next_{self.page}",
35. self.post_data["scope"] = f"reviewsAjax{self.page}",
36. # 翻页链接赋值
37. spiderurl = f'https://www.amazon.it/hz/reviews-render/ajax/reviews/get/ref=cm_cr_getr_d_paging_btm_next_{self.page}'
38. res = self.getRes(spiderurl,self.headers,'',self.post_data,'POST',check)# 本人封装的申请办法
39. if res:
40. res = res.content.decode('utf-8')
41. # 返回值字符串解决
42. contents = res.split('&&&')
43. for content in contents:
44. infos = content.split('","')
45. info = infos[-1].replace('"]','').replace('\\n','').replace('\\','')
46. # 评论内容判断
47. if 'data-hook="review"' in info:
48. sel = Selector(text=info)
49. data = {}
50. data['username'] = sel.xpath('//span[@class="a-profile-name"]/text()').extract_first() #用户名
51. data['point'] = sel.xpath('//span[@class="a-icon-alt"]/text()').extract_first() #评分
52. data['date'] = sel.xpath('//span[@data-hook="review-date"]/text()').extract_first() #日期地址
53. data['review'] = sel.xpath('//span[@data-hook="review-title"]/span/text()').extract_first() #评估题目
54. data['detail'] = sel.xpath('//span[@data-hook="review-body"]').extract_first() #评估内容
55. image = sel.xpath('div[@class="review-image-tile-section"]').extract_first()
56. data['image'] = image if image else "not image" #图片
57. print(data)
58. if self.page <= 99:
59. print('Next Page')
60. self.page += 1
61. else:
62. break
63.
64. # api 获取 ip
65. def getApiIp(self):
66. # 获取且仅获取一个 ip------ 意大利
67. api_url = '获取代理地址'
68. res = requests.get(api_url, timeout=5)
69. try:
70. if res.status_code == 200:
71. api_data = res.json()['data'][0]
72. proxies = {73. 'http': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
74. 'https': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
75. }
76. print(proxies)
77. return proxies
78. else:
79. print('获取失败')
80. except:
81. print('获取失败')
82.
83. #专门发送申请的办法, 代理申请三次，三次失败返回谬误
84. def getRes(self,url,headers,proxies,post_data,method):
85. if proxies:
86. for i in range(3):
87. try:
88. # 传代理的 post 申请
89. if method == 'POST':
90. res = requests.post(url,headers=headers,data=post_data,proxies=proxies)
91. # 传代理的 get 申请
92. else:
93. res = requests.get(url, headers=headers,proxies=proxies)
94. if res:
95. return res
96. except:
97. print(f'第 {i+1} 次申请出错')
98. else:
99. return None
100. else:
101. for i in range(3):
102. proxies = self.getApiIp()
103. try:
104. # 申请代理的 post 申请
105. if method == 'POST':
106. res = requests.post(url, headers=headers, data=post_data, proxies=proxies)
107. # 申请代理的 get 申请
108. else:
109. res = requests.get(url, headers=headers, proxies=proxies)
110. if res:
111. return res
112. except:
113. print(f"第 {i+1} 次申请出错")
114. else:
115. return None
116.
117.if __name__ == '__main__':
118. getReview().getPLPage() 总结
本次的亚马逊评论获取就是两个坑，一是评论信息通过的 XHR 申请形式，二是评论信息的解决。剖析之后这次的数据获取还是非常简单的，找到正确的申请形式，稳固的 IP 代理让你事倍功半，找到信息的共同点进行解决，问题就迎刃而解了。
正文完