他说:作为产品经理，不懂技术和代码也一样可以数据抓取

上一篇文章聊完不懂技术的情况下，怎么通过app抓包获取用户数据。今天分享一下上次抓web数据的经历。

文章主要提供一些解决问题的思维方法。这篇文章可能很啰嗦，先把思路写出来：

1. 利用Xenu检索全站URL地址
2. 用Excel筛选出有用的URL
3. 网页爬取工具，爬取页面中指定的内容信息
4. Excel信息整理
5. 寻找竞品的典型用户

• 目的：调研竞品主播基本情况。我想知道他们的主播粉丝数量分布、用户关注数量分布、用户送礼额度。
• 背景：一个不懂技术的产品经理。

1.数据爬取

需要的数据都在竞品用户个人空间，所以第一个想到的是让开发用 Python 写个爬虫。跟开发确认了一下时间，说要三天，果断放弃，自己来。

先找了个网页信息爬取工具（百度一搜一大把），我用的是火车采集器。它可以对指定的URL中的页面内容进行抓取。抓取的规则是通过H5标签识别，所以输入需要抓取字段的起止标签就可以了。

我想了解的是主播收入、大R的送礼金额、还有个人空间的地址。

大R的送礼记录个人空间就有。不过主播个人总收益是没有展示的，所以我只能假定主播的粉丝越高，他的收益越多。

所以我最终抓取的是三个字段是：粉丝量、送礼总额、个人空间地址。

在爬取工具上设置好抓取字段，测试了几个页面，数据可用。然后麻烦的问题来了，没办法知道触手更多个人空间地址。

2.获取URL

个人空间的 URL 是这样的“//chushou.tv/u/用户ID.htm”。观察了一下，用户ID是不规则的，从6位到9位都有。如果直接从一个一个 URL 循环过去，抓到999999999不现实。

最后选择了Xenu，这是一个检查网站死链的工具，据说会模拟百度蜘蛛爬取网站URL，检测是否为死链。最重要的是会把检查结果显示出来，这样我可以拿到竞品域名下所有的URL，再通过Excel筛选出我需要的个人空间URL。

避免URL爬取不完整，连续抓了3个晚上。再放到Excel中去重。Xenu在运行时比较消耗内存，早上来的时候都会发现软件已经崩溃，所以我三天累计抓到了近100w个URL，实际可用的只有7w个。

这样我拿到了竞品的7w个用户个人空间地址，不过这个数字跟他们PR出去的数字相差甚远。（严格来说，由于不确定这些数据的来源，所以即便得出结论也是不可信的。）

3.数据整理

拿到这些数据就有了排行榜。我可以按照粉丝量最高的来排，寻找大主播；也可以按照送礼金额（平台的虚拟货币）来排，寻找土豪粉。

寻找用户进行访谈：

利用百度的站内搜索site:在竞品网站中搜索用户联系方式。比如QQ site:www.chushou.tv或主播 Q site:www.chushou.tv等。

这样我能找到好多在个人签名或公告中留有 QQ 的用户。然后加了好友，开始聊天。

后记

这些文字是在半年前写的，时隔半年，还是觉得这个过程很有趣，不断提出问题，解决问题。

实际上还有很多问题，没啥可以实操的东西，比如：网站有反爬虫；被封 IP ；页面中都是各种 JS 导致无法顺利完成抓取，等等。看个热闹就好了。 ^_^