【百度云搜寻,搜各种材料:http://www.lqkweb.com】
【搜网盘,搜各种材料:http://www.swpan.cn】
第三百七十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现我的搜寻以及热门
我的搜素简略实现原理
咱们能够用js来实现,首先用js获取到输出的搜索词
设置一个数组里寄存搜素词,
判断搜索词在数组里是否存在如果存在删除原来的词,从新将新词放在数组最后面
如果不存在间接将新词放在数组最后面即可,而后循环数组显示后果即可
热门搜寻
实现原理,当用户搜寻一个词时,能够保留到数据库,而后记录搜寻次数,
利用redis缓存搜寻次数最到的词,过一段时间更新一下缓存
备注:Django联合Scrapy的开源我的项目能够学习一下
django-dynamic-scraper
https://github.com/holgerd77/...
补充
默认的elasticsearch(搜索引擎)只能搜寻1万条数据,在大就会报错了**
设置办法
步骤一:
关上我的项目的索引库地址,将该索引先敞开,否则设置操步骤二无奈提交
步骤二:
关上复合查问,填入如下信息,记得抉择PUT形式提交,credit_trace_data改为本索引库中的索引,max_result_window设为20亿,此值是integer类型,不能无限大
http://127.0.0.1:9200/ PUT
credit_trace_data/_settings?preserve_existing=true
{
"max_result_window" : "2000000000"
}
最初点击提交申请,如果配置正确右侧窗口会显示如下信息
如果要查问max_result_window时只须要将PUT改为get即可
最初记得开启索引!