问答 2019-12-29 来自:开发者社区

请问 selenium、urllib、BeautifulSoup 外还有其他包可以爬 虫吗

最近自学 Python,自己写了几个爬虫的小程序。写了几个获取静态和动态网页的数据。 我是使用 selenium 去捕获动态数据的。但最近发现一个网站,我先使用 swich_to.frame 来切换框架后可以获取到第一页的数据。然后可以进行 click () 方法进行一页一页获取。网上查过资料大多都是 webdriver+selenium 的做法。 问题来了: 1. 总共有 70 + 页,一页一....

文章 2018-06-16 来自:开发者社区

python引包module出现No module named XXX,以及爬虫中文乱码问题

搞过其他开发语言的童鞋使用python引包,引用类文件或者方法都会觉得有些别扭吧。反正我是这么觉得的。 比如你有目录文件,结构如下:首先项目下任何目录文件调用文件夹下面的文件,比如调用untils文件夹下面的os_utils.py,必须创建一个文件名为__init__.py的文件,即使是空文件。作用是声明该文件夹可以作为项目的目录使用。 现在根目录下的文件引用文件夹download下的html_....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问