说明:
1前端使用纯HTMLJSJSON(链接统计除外),后端使用Python生成标准JSON。
2自带30余条常用网站采集规则
3多线程爬取,5秒内采集30多个网站
4同一个网站放置在一个框架中,可以部分刷新和滚动
5更新时间显示,按照采集页面内置更新时间或者按时间排序的首次采集,如果没有则为采集完成时间
6内容链接受到保护,防止盗链。链接通过base64字符反向大小写反转进行加密(改变大小写转换顺序或者添加数字替换可以实现不同的密码加密)
7内容链接点击统计
8部分内容鼠标悬停提示,如appstore排行榜更新内容、时间、版本号提示
安装:
1运行python3caijipy进行收集(请使用screen或nohup保持后台运行)
2打开首页访问
防范措施:
–caijipy是后端采集程序,其余都是前端,需要在同一目录下。
–相应的设置修改请查看源码中的注释
–adminphp是第三方数据库管理程序,用于查看内容链接统计(默认密码是admin,请在文件中修改)
–点击统计loglogdb生成主目录生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成生成如果未创建,请确保主目录可写。
–出于安全考虑,建议将后端程序caijipy和数据库查看程序adminphp改为复杂文件名,或者移动到非目录目录下(还需要修改生成的json保存目录文件到网站根目录,默认为当前录制)
–默认使用多线程爬取。如果有问题请改成单线程爬取。
–请用您自己的cookie替换今日头条的集合。今日头条短时间内采集过多相同内容(目前每分钟采集一次数据,合并10次)。分段收集同一个cookie后,几乎不会出现重复,但收集需要一段时间。以下推荐均为杂七杂八的垃圾内容(请定期更换cookie或添加随机标题cookie生成规则)
-大部分收集站的标志已修改为透明图层png,在非白色背景上可能很难看清。
1.仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。我们非常重视版权问题,如有侵权请点击版权投诉。敬请谅解!
2.如遇下载链接失效、解压密码错误等问题请点击 提交工单
3.在下载源码前,请务必要仔细阅读并接受 购前/下载协议 购买即视为您同意该协议!
游人客栈 » 整合最新热门搜索榜单内容的源代码系统