关于 Content-Encoding: gzip

2012-04-20

背景

===

如果你的网页抓取程序（例如爬虫）在抓取网页时没有发送 Accept-Encoding: gzip，那么你 out 了：

因为今天超过  99% 的网页抓取程序都会声明支持 gzip （或 deflate） 编码。

如果你的程序属于这 99%，那么恭喜，但别高兴的太早。 你的程序是否正确处理了 Content-Encoding: gzip？

问题

===

典型的处理 Content-Encoding: gzip 的代码片段 (python)：

html_data = GzipFile(fileobj=StringIO(html_data), mode="r").read()

假设 html_data 为 Web 服务器返回的Content-Encoding 为 gzip 的数据。

那么在大多数情况下，上述代码都能正确处理。 但很不幸，你会发现，对有些 url，浏览器可以正常显示内容，

但是你的网页抓取程序会出错！

分析

===

不是所有 Web 服务器（或应用）都是遵纪守法的公民。 极少数应用，会在 gzip 压缩后的数据后面，添加一些“尾巴”数据。

一些数据解压模块（如Python 的 GzipFile 模块）在这种情况下会出现处理异常。

例外的是浏览器。它们充分体会和考虑到了现实世界的复杂，会自动抛弃多出的“尾巴”，正常解压和处理页面数据。

解决

===

Python GzipFile 模块有个未公开属性： extrabuf， 负责保存已经成功解压的数据。 因此，下面的代码有更好的兼容性：

try:    gf = GzipFile(fileobj=StringIO(html_data), mode="r")    html_data = gf.read()except:    html_data = gf.extrabuf