在爬行动物中cookie非常有用，可以解决逆爬、阻滞等问题。 接下来谈谈获取cookie的集中方法。

这里采用的是python2.7。 本来我用的是python3.6，来公司之后，公司应用了2.7版，变成了2.7版。 总之写法上有差异

第一个是机械

首先使用mechanize，第一步：

pip安装机械

编写步骤cookie代码：

importosimportmechanizeimportcookielib、 rebr=mechanize.browser (CJ=cookie lib.lwpcookiejar ) br.set_cookiejar ) CJ ) br.set_Handle_equiv ) trroke br.set_handle_referer ) true ) br.set _ handle _ robots (false ) br.set max _ time=1(br.set _ debug _ hand ) ‘ ua ‘ ) ]br.set_proxies({‘http’: ‘代理’ } (response=br.open (‘ https://www.Amazon.com ‘ ) CJ=br._ . cookiejarforcookieincj :打印(cookiename : ) cookie.name (打印) cookievalue: ) cookie.value ) )。 cookie=[ item.name ‘ : ‘ item.valueforitemincj ] cookiestr={ } foritemincookie 3360 name，value=item.split (

第二个是urllib

import urllib2importcookielibfromhttpimportcookiejarfrombs4importbeautifulsoupuser _ agent=’ Mozilla/5.0 (windows nt 10.0； Win64； x64 ) appleWebKit/537.36 ) khtml，like gecko (chrome/73.0.3683.86 safari/537.36 ) header={ } header [ ‘ user-aaar=user _ agent cookie=cook kie cookie _ handle=urllib2. http cookie processor (cookie ) cookie _ opener=urllib2. build proxy _ support=urllib2. proxy handler ({ ‘ http ‘ : ‘5. 62.157.4733608085 ‘ } ) proxy _ opener=ur lib 2.47:60600 urllib2.install_opener ) request=ur lib2. request headers=header (response=urllib2. urlopen ) request ) foritemince

第三个： requests

importrequestsheaders={ ‘ user-agent ‘ : ‘ Mozilla/5.0 (windows nt 10.0； Win64； x64 ) appleWebKit/537.36(khtml，like Gecko ) chrome/73.0.3683.86 safari/537.36 ‘ } r=requests.get (3https://wwwwww )

执行结果：

第四个： selenium (虽然我个人觉得这个加载很慢，但是获得cookie是最完整的) )。

pip install selenium代码：

fromseleniumimportwebdriverdriver=web driver.chrome (executable _ path=’ d :/seop/chrome driver.exe ‘ ) driver fer driver.add _ cookie ({ ‘ name ‘ : c，’ value ‘ 3360 cookiestr [ c ] } # driver.get (‘ https://www.Amazon.com) ) coom )

第五个：感觉selenium很慢，需要打开并加载浏览器，所以尝试了htmlunit和phantomjs

htmlunit

phantomjs

fromseleniumimportwebdriverbrowser=web driver.phantom js (browser.get (‘ https://www.Amazon.com) ) cookie=[ item ]

第六个是scrapy

在这里简单测试一下吧。 首先，你的电脑里安装了scrapy。 如果没有安装，则为pip安装脚本

然后输入获取地址的饼干

scrapyshell ‘ https://www.Amazon.com ‘ cookie结果：

最后，chrome headless通过无头浏览器获得

这个现在在centos上操作：

一定会安装步骤chrome

步骤2 :运行安装脚本

curl 3359 into Li.com/install-Google-chrome.sh|bash测试是否成功：运行以下命令，如果成功，在当前目录下保存百度截图

Google-chrome-stable—- no-sandbox—- headless– disable-GPU—screen shot 3359 www.Baidu.com

我在这里开始获得cookie信息

第一个：

Google-chrome-stable—no-sandbox—headless– disable-GPU—user-data-dir=’ $ home/Lili

second:这里主要获取websocket的url

curl -s localhost:9222/json

third :这边要注意哦。 安装wsc时，请记住在安装wsc之前安装npm。 然后运行npm install -g wsc，再运行以下命令

ws CWS ://localhost :9222/dev tools/page/d 42 AFC 3c9a F9 c8a 1511 ADC 60850 b D5 a 8，然后键入：

{‘id’: 1，’ method ‘ : ‘ network.get all cookies ‘ }上次的cookie结果：

目前已尝试了mechanize、urllib、selenium、headless chrome、requests、htmlunit、phantomjs和scrapy

目前已经尝试了以上8种，个人认为selenium获取cookie相对完整，信息相对完整，获取cookie的字段也相对稳定。 经过这两天的研究，取得cookie是因为selenium取得cookie的速度很慢。 优化速度，看看有没有其他方法获取cookie。

转载于：https://www.cn blogs.com/zhe-hello/p/10709897.html