python requests 爬取网页出现 IncompleteRead(2048 bytes read))



 requests.exceptions.ChunkedEncodingError: ('Connection broken: IncompleteRead(2048 bytes read)', IncompleteRead(2048 bytes read))

这个错误出现的时间不固定,有时几分钟就出现了 有时几个小时才出现

python requests python-爬虫 网页爬虫

fapana 9 years, 7 months ago

典型的一个缓冲区的尺寸。实际上 IncompleteRead 是python原生库httplib的异常。

HTTP通道返回0字节,或者返回一定字节后卡住太正常了。如果返回数据的可靠性很重要,请注意设置合理的超时并捕获相关的错误,如有必要甚至可以考虑手工验证HTTP头数据的Content-Length字段。

旧日支配者 answered 9 years, 7 months ago

Your Answer