关于网页referer以及破解referer反爬虫的办法

referer是什么： 图片防盗链的技术应该还有其他的，目前了解到的是浏览器的referer，其实这是错误的拼写，正确是应该是referrer。 不过现在可以看到Chrome的开发者工具里，还是显示的是前者，拼写不重要，重要的是理解它的含义。

简单来讲，referer的作用就是记录你在访问一个目标网站时，在访问前你的原网站的地址， 比如用Chrome从知乎的某个板块到另外一个，那么你在的这个网站就是原网站，按F12，选中Network选项， 从页面内进入一个网站，可以从这个网站的header即头信息中，看到referer就是原来的那个网站。

但是！！！！！！！！从头信息中可以看到Referer-policy的字样，它的规则是： 点我，查看referer-policy的详细规则。

一般网站的policy都是 no-referrer-when-downgrade，它的演示在上述网站里很清晰了，这里不再赘述。

这里要注意的是，由于Chrome默认是打开网页时，原地打开，也就是不弹出新窗口，这样才可以用F12监控referer，比如qq浏览器，打开网页是跳出，也不能看到referer的（这里也许是我自己不懂怎么看，如果可以的话，烦请评论告知。） 注：想要Chrome不原地打开，也就是打开新窗口的方法是win10下， ctrl+鼠标左键点击网页。

很简单，根据referer的作用可以知道，把网页地址复制到浏览器新页面的地址栏里，进行直接访问，这样的话就不会有 referer，同样地，浏览器刷新也不会有referer。这里牵涉到python爬虫中防盗链的问题，下面再说。

由于referer是请求网页中，也就是发起HTTP请求中header的一部分，所以可以用来做网页的图片防盗链！** 比如一个网页的图，想用python下载到自己的电脑里，用urllib.request或者requests第三方库访问图片时，爬不下来， 这是因为python提交request申请的时候，就类似于在浏览器中的空地址栏里键入这个网页然后访问，根据上面说的，无referer，这时网站的设置比如是要求有referer，且referer的网站必须是你进来之前的网站，也就是这个图片的主页。

方法很简单！ 既然要求你传入图片主页面的referer，在构造header的时候，传入Referer参数（注意R要大写），它的值为与这个图片链接相关的网站，或者这个图片链接地址的原网站就可以了，听起来很生涩，下面上代码。 戳我，看fake_useragent的安装和使用.

当然了，不是所有网站都有图片防盗链的，所以很多时候大可不必这么复杂， 普通的图片爬取下载推荐用 urllib.request 中的urlretrieve模块来做，这样代码结构简单易懂，逻辑更清晰。

如果遇到防盗链的图片，一般思路就是先爬到所有图片的地址.jpg —–>将它们储存在列表中 —–>遍历访问图片地址，然后 用 ‘wb’的格式打开文件写入，文件名根据图片地址动态改变。