wget 递归下载文件
用来扒网站静态页面得,只能扒HTML,而且有一些资源没办法搞下来,这个具体什么情况自己再手动搞一下就好了。。。
提供了一个思路,麻烦大佬别找我麻烦,下载得文件已经删除。同时,建议尊重知识产权哈。
超级简单得wget命令应用,也麻烦大佬们轻喷哈。
需要下载某个目录下面的所有文件。命令如下
wget -c -r -np -k -L -p www.xxx.org/pub/path/
在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。
wget -np -nH -r --span-hosts www.xxx.org/pub/path/
指令说明
-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如wget -c -r www.xxx.org/
如果网站内有一个这样的链接:
www.yyy.org,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL
最新评论
这篇文章写得深入浅出,让我这个小白也看懂了!
还有个问题就是:如果没有了Redis Object Cache这个插件的支持,那么如何手动清理Redis产生的缓存文件呢,每次修改过网站模板或者一些设置文件后,不清理缓存的话还是无法搞清楚是否生效啊
感谢博主分享,以前一直是只能使用redis或memcached其中之一,今天看到博主的教程,切换到了Nginx openresty然后跟着教程操作完,检查总是显示bypass绕过或miss,不知道哪里不对,每一步都是跟博主教程一样的操作。博主有qq或微信吗,想请教下~
。。。。。。
错别字,重新提交一下问题-小白提问,我所有的操作和流程和教程完全一致,没有出现任何意外情况,直到群晖桌面生成图标,鼠标放上图标显示已启动,点击打开图标显示此站点连接不安全,然后我把浏览器安全级别降到最低,还是一样,请问大佬可能是哪里出问题了呢
小白提问,我所有的操作和流程和教程完全一致,没有出现任何意外情况,知道群晖桌面生成图标,鼠标放上图标现在已启动,点击打开显示此站点连接不安全,然后我把浏览器安全级别降到最低,还是一样,请问大佬可能是哪里出问题了呢。
这个办法好,找了半天都没找到能完整使用redis+memcached的办法,还是在这里找到了。 感谢博主的方法,试了一下,挺好的。但是我发现,套了cloudflare之后,即使不开页面规则(即不对网站进行全站缓存),F12查看网站依旧会发现cf cache命中,查看x-cache提示bypass绕过,那这个方法是不是只有cf没有缓存的时候才有效呢? 不过不管cf有没有作用,实际感受上,网站响应速度快了很多。
请问一下,重启之后缓存会被删除啊,这个怎么解决呢