还是比Selenium好用?Python使用Splash访问谷歌获取相应内容

技巧库 · ipidea · 于 1个月前 发布 · 103 次阅读

上次讲了一下playwright获取网站的数据。但是吧这个playwright,他终究是一个自动化调试工具,多多少少会占一点本地的资源。 这次的Splash可不一样了,他是部署在服务器上的,可以把负载的资源放在一个甚至多个服务器上,实现在服务器上将想要请求的网站,请求加渲染,把最后的HTML返回给你,让你解析数据。

一、Splash和Splash配置 Splash是一个JavaScript的渲染服务,这是一款带有HTTP API的轻量级web浏览器,同时啊他还接入了python3的Twisted and QT5库。 Spalsh配置这里介绍下Liunx+Docker的配置,以下几步: 安装Docker,保证Docker安装的版本>=17 使用Docker拉取镜像 启动容器,开启Splash服务

1.Pull the image:  
2.    $ sudo docker pull scrapinghub/splash  
3.Start the container:  
4.    $ sudo docker run -it -p 8050:8050 --rm scrapinghub/splash  

配置完成后,在你的浏览器输入服务器地址加端口号8050验证是否成功: 像这样你就成功了

二、Splash+requests的使用 Splash是用Lua语言写的脚本,用Lua语言模拟了浏览器加载的过程,从而返回各种结果,如网页源码,截图等。 那怎么配合python使用呢? Splash有一个强大的接口:execute。此接口可以实现与Lua脚本的对接。当然Splash还有render接口,在此先按下不表,想要了解的话还是请自行查看文档。

1.import requests  
2.import json  
3.   
4.splashUrl = "我的splash地址:8050/execute"  
5.def get_splash():  
6.    param = {  
7.        "timeout": 10,  
8.        "url": 'https://www.google.com/',  
9.        "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36",  
10.        "lua_source": """  
11.           function main(splash, args)  
12.               splash:go(args.url)  
13.               splash:wait(5)  
14.               splash.images_enabled = false  
15.               return splash:html()  
16.               end  
17.            """  
18.    }  
19.    response = requests.post(url=splashUrl, data=json.dumps(param),headers={"content-type": "application/json"})  
20.    print(response.text) 

这里是通过requests传参数通过post请求Splash接口,而传递的param参数中不仅有splash的配置,还有lua_source中的Lua脚本。 其中这部分就是刚才浏览器中打开里面的脚本:splash go请求args传入的url连接,等待10秒不获取图片,最后返回请求后的html内容:

1.function main(splash, args)  
2.  splash:go(args.url)  
3.  splash:wait(5)  
4.  splash.images_enabled = false  
5.  return splash:html()  
6.end  

其中,在请求execute是的param传参,还可以加上其他的参数,就像里面的timeout就是设置5秒超时,什么get/post请求啦,启动或禁用图片加载啦,禁止或启用js啦都可以加上,详情请自行查询文档哦:

三、Splash+requests的代理配置 哎,Python获取内容怎么能少得了代理呢。 Splash的代理配置非常的简单,在传参的param加上proxy参数就可以了:

1.param = {  
2.    "timeout": 10,  
3.    "url": 'https://api.myip.la/en?json',  
4.    "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36",  
5.    "proxy":getApiIp(),  
6.    "lua_source": """  
7.       function main(splash, args)  
8.           splash:go(args.url)  
9.           splash:wait(5)  
10.           splash.images_enabled = false  
11.           return splash:html()  
12.           end  
13.        """  
14.}  

看到这里的IP地址已经挂上了。 说到代理,我这里使用的是ipidea的代理。稳定高效的代理就像是你获取数据道路上的明灯,如黑暗里的一束光。即使再被封禁,被阻拦,也会带你获取到你想要的数据。:) 新用户可以白嫖流量哦。 地址:http://www.ipidea.net/ 我以往使用Splash一般是处理前后端分离的网页用的,有时候后台接口获取的json数据并不是我们想要的内容。在写这篇文章之前,我甚至还觉得Splash只能获取get请求,没想到这个东西还是挺好用的。写了文章之后我也学习了不少东西。 最后提一嘴啊,Splash可以多服务器配置负载均衡的,已经有多个Splash的服务器的情况下,在用一台用公网IP的Nginx的服务器,修改下nginx的配置文件,配置认证就可以使用了。

共收到 0 条回复
没有找到数据。
添加回复 (需要登录)
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册