解决fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

python 2019-10-19 fake-useragent 1828

UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制。
fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。下面将介绍fake-useragent的安装到使用。
安装
pip install fake-useragent
用法
安装成功后,我们每次发送requests请求时通过random从中随机获取一个随机UserAgent,两行代码即可完成UserAgent的不停更换。

from fake_useragent import UserAgent
headers= {'User-Agent':str(UserAgent().random)}
r = requests.get(url, proxies=proxies, headers=headers, timeout=10)

如果报错 fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

fake_useragent中存储的UserAgent列表发生了变动,而本地UserAgent的列表未更新所导致的,在更新fake_useragent后报错就消失了。

pip install -U fake-useragent

Python的其他包也可以用这种方法完成更新pip install -U 包名。