技术心得记录：如何用JAVA爬取AJAX加载后的页面（转载）
之前之前利用Jsoup做了个小DEMO爬取百度免费API( )，很简单，用Jsoup就可以做到，因为页面加载后的数据填充到html里面，此时查看源代码会看见数据都在源代码里面，这时候可以利用Jsoup爬取，前几天有个需求要爬取天眼查的数据( )，自以为和之前做的DEMO一样，不难&...
Java爬虫-爬取疫苗批次信息
今年3月份开始，就接到通知， 根据《关于开展有关人群第二剂次脊髓灰质炎灭活疫苗补种工作的通知》国疾控卫免发〔2024〕1号文件要求，在2016年3月1日至2019年9月30日之间出生的儿童，凡无接种禁忌者，需补齐2剂次脊髓灰质炎灭活疫苗。由于我家一直是异地打针【在外漂打工，懂的都懂】，疫苗本上信息又特别有限【吐槽-六七年前的疫苗本缺陷太大了：无厂家，无备注是否口服，无备注是灭活还是减毒】，上周去....
基于Java爬取微博数据(一) 微博主页正文列表数据
爬虫背景 最近有这方面的需求，于是就研究了一下通过Java爬取微博数据，由于本人是后端Java开发，因此没有研究其他爬取微博数据的方法，比如通过Python爬取微博数据。大家感兴趣的可以自行查找基于Python爬取微博数据的方法。在爬取微博数据之前，先声明一下，本人爬取的微博数据仅用于测试Java爬取微博数据的可行性，并不会用于其他非正当地方，另外，爬取的数据也都是每个人都可以通过微博客...
基于Java爬取微博数据(五) 补充微博正文列表图片 or 视频 内容
在通过对微博正文内容中的图片 or 视频内容进行分析后，图片 or 视频 链接是可以直接通过 Java 代码下载或者转存的，那么这样就可以补充我们在 【基于Java爬取微博数据(一) 微博主页正文列表数据】 时缺失的图片 or 视频信息了，当然，如果你的需求并不需要转存微博正文列表内容中的图片 or 视频的话，那么你就无需进行下面的操作了。在开始进行微博主页正文列表数据 补充 图片 ....
基于Java爬取微博数据(四) 获取 图片 or 视频
前面已经讲述了基于 Java 爬取微博正文列表内容，微博用户主页内容以及导出爬取到的微博数据等操作，那么下面讲述一下如何处理微博正文中的图片/视频等内容。 图片 or 视频 对于微博正文来说，图片和视频不能同时存在，也就是说你的微博只能选择发9张以内的图片或者发1个视频，那么在爬取微博正文数据时，想要获取微博中的图片/视频该怎么操作呢？我们首先来看一下微博正文中图片或者视频的一些...
基于Java爬取微博数据(三) 微博主页用户数据
上一篇文章简单讲述了基于Java爬取微博数据(二)，那么这篇将讲述如何基于 Java 爬取微博主页用户数据，下面开始具体的操作。 数据分析 在开始爬取微博主页用户数据之前，我们先对之前基于Java爬取微博数据(一)中的微博主页正文列表数据进行分析，看是否可以从中获取到微博主页用户数据。 首先还是按照基于Java爬取微博数据(一)中的方式获取微博主页正文列表数据内...
基于Java爬取微博数据(二) 正文长文本+导出数据Excel
上一篇文章简单讲述了基于Java爬取微博数据(一)，那么这篇将Java爬取的微博数据导出到Excel中。下面开始具体的操作。 长文本补全 在爬取微博数据的时候，大家可能不太会注意到这样的微博数据，比如 这样的...
2024年全新基于Java爬取微博数据（完整版）
爬虫背景 最近有这方面的需求，于是就研究了一下通过Java爬取微博数据，由于本人是后端Java开发，因此没有研究其他爬取微博数据的方法，比如通过Python爬取微博数据。大家感兴趣的可以自行查找基于Python爬取微博数据的方法。在爬取微博数据之前，先声明一下，本人爬取的微博数据仅用于测试Java爬取微博数据的可行性，并不会用于其他非正当地方，另外，爬取的数据也都是每个人都可以通过微博客...
Java基于API接口爬取淘宝商品数据
随着互联网的普及和电子商务的快速发展，越来越多的商家选择在淘宝等电商平台上销售商品。对于开发者来说，通过API接口获取淘宝商品数据，可以更加便捷地进行数据分析和商业决策。本文将介绍如何使用Java基于淘宝API接口爬取商品数据，包括请求API、解析JSON数据、存储数据等步骤，并提供相应的代码示例。一、淘宝API接口介绍淘宝提供了丰富的API接口供开发者使用，其中包括商品搜索、商品详情查询、店铺....
如何使用Java爬取指定链接的网页内容
在当今信息时代，互联网上的数据量庞大且不断增长。为了获取特定网页的内容，爬虫技术成为了一种非常有用的工具。本文将介绍如何使用Java编程语言来实现爬取指定链接的网页内容。首先，我们需要准备好Java开发环境。确保你已经安装了Java Development Kit（JDK）并配置好了环境变量。接下来，我们将使用J...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Java开发者
Java开发者成长课堂，课程资料学习，实战案例解析，Java工程师必备词汇等你来~
+关注