命运唯所遇，循环不可寻。

在之前的文章中，python爬虫-获取股票的k线图 已经介绍了如果通过 python 爬虫来获取股票的信息。在本文中则使用 java 通过爬虫获取股票的列表信息以及股票的基本信息，本文将使用到 jsoup 和 hutool 来实现接口和网页的信息抓取。最终的目的是为了获取市场上所有stock的信息，查找那些高股息的股票，听说有些 stock 的股息率比存款利率高多了，想研究一下。

之前的文章中，采用的是东方财富网的数据，但是其数据没有股息率的指标，还需要运用数据计算，偶然间发现了雪球网站上有对应的指标，还有近一年的最高价与最低价，还有今年来的涨幅，这些指标减轻了一些计算的过程，如下图所示：

如上图所示，分页列表数据可以获取的信息很多，不仅包括股票代码和名称，还有市值、市盈率、市净率等信息，但是返回的字段比较多，需要和详情页的数据进行对比，才能知道字段的具体含义，此外关于数字类型接口返回的了科学表达式的方法，还需要进行处理。

如下图所示，所有的股票基本指标信息都可以从下图红框内获取，这里需要解析的是网站页面，通过 jsoup 可以获取对应的元素位置并获取对应的数值。

综上，作者将采用解析 html 的方式来获取信息，感兴趣的读者可以研究一下接口列表字段的返回值含义。

股票数据信息的获取，分为两个部分，第一部分是从股票列表中获取获取代码，第二部分是根据股票代码获取股票详情页面，通过 jsoup 来抓取标签数据。

获取数据列表信息使用的 hutool 工具类来处理，接口地址已经在上个小节中展示，需要注意的是这个是分页查询的，而且在访问接口时，需要从添加请求头 cookie 参数，这里不需要进行登录，从浏览器控制台的请求头中拿到一个 cookie 添加即可。

雪球返回的报文数据报文格式为 json，从 data -> list 中获取股票的数据节点，如上图所示，通过简单的对比就可以判断出字段的含义：

如上代码所示，就可以获取股票的基本信息，我们需要声明一个 Stock 对象，用来封装股票的信息，在获取到列表信息后，再获取单个股票信息的信息，即可拿到完整的信息。

获取到股票的代码后，就可以通过详情页面获取详细信息，这里先通过 hutool 获取详情页面的信息，然后通过 jsoup 来解析 html 文件内容。

通过分析 dom 树，可以通过 class="quote-container" 来获取信息内容, 所有的信息都在这个 div 中，首先需要解析 1755 球友关注 休市 08-04 15:34:51 北京时间, 我们需要从其中解析出股票的关注度(投资需要反人性)以及当前数据的时间，数据都空格做间隔，第一个和第四个数据就是我们需要获取的数据。

股票当天的表现数据都是在一个 class="quote-info" 的 table 中，每个单元格 td 都保存着一个数据，我们需要解析每一个 td ，将将节点中的数据以 ：进行分割，即可得到一个 key-value 的结构，然后可以通过对应 key 来获取数据，这样的实现方便很多，但缺点是不优雅，存储的 key 为中文。

通过以上的解析，我们已经写了两个方法，最终在 main 方法中将两个方法结合一下，就可以得到最终的结果，这里只是简单的打印了股票代码和名称，价格，市盈率等信息。

在本文中，主要介绍了在雪球上获取股票信息的方法，使用 java 作为开发语言进行数据的抓取和处理，在后续的文章中，将继续进行数据的分析，从雪球抓取股票的 k 线数据，并且将数据保存至数据库中。欢迎大家的关注，本文中所涉及的代码已经上传至 github, 欢迎大家点赞关注。项目 github 地址 springboot-auth。