什么是sitemap 自建网站的朋友应该都了解过sitemap, 百度的站长平台和谷歌的Search Console都允许站长提交sitemap.xml。 那么这个文件具体有啥作用呢：就小T老师看来，最大的作用就是让搜索引擎更加友好的收录你的URL, 也就是网站链接。 如果一个网站没有s...

爬虫为什么要使用代理来访问 大家写爬虫程序的时候，当抓取频率较快或者抓取一些robots.txt禁爬路径，肯定会碰到被网站屏蔽的情况，这时候目标服务器要么直接返回404，要么就是返回禁止的提示信息，总之就是爬虫失效了（抓不到你想要的内容）。 如果遇到这种情况，对应小型爬虫来说，最简单经济有...