查看: 1326|回复: 10
分享下：豆瓣电影、百度网盘的采集思路和源码
主题广告币积分
初级会员, 积分 353, 距离下一级还需 47 积分
初级会员, 积分 353, 距离下一级还需 47 积分
本帖最后由 cdwyd 于
22:38 编辑
" i9 g5 H8 t3 _
可能这边的朋友不太需要这些东西，就当作是一点技术分享吧。
% \. t+ O2 B4 L# Q/ n( k
昨天发了一个帖子（），说是打算接一些爬虫抓取类的单子，从论坛（发了两个论坛）来了不少朋友加好友，有些朋友对数据感兴趣，不过采集的数据不太适合公开，所以把思路和部分源码分享下吧。欢迎大家私信或者QQ方式进行技术交流或者合作。
2 t( H/ H3 ~2 v) R$ u5 r2 l# B! C
## 豆瓣电影3 k5 d- I9 ^. ?
1 H) Z# c/ o+ l& z
因为豆瓣电影有api，所有采集豆瓣最方便的方式还是先获取id。豆瓣的电影、图书等id。获取到id后直接调用api抓取就行。豆瓣api有限制，可以使用拨号或者大量代理。4 ?5 x: H/ Y( G# }# e# f0 S
## 百度网盘) |8 ^! D! V) ]0 N& I! C
百度网盘的主要思路是先获取用户uk，通过uk可以拿到分享列表，然后获取到分享数据。. O( |! u1 J9 g
7 d$ p$ i$ k! A4 |- E' o% b
### UK获取的方式：
& && &&&1. 循环抓取用户的粉丝还有用的订阅
& && &&&2. 从各个网盘搜索站点抓取8 {( F, V6 e! S$ s
& && &&&3. 利用大量关键词从bing搜索，google搜索的结果中提取。
& && &&&利用上面三种方法总共抓取了大概500W的有效分享用户
. \0 G$ f" I" K1 g1 K
### 失效链接检测
& && &&&这个是很多网盘搜索站做的不太好的地方，很多资源都是失效。快速检测失效链接的方法是用head请求判断百度的返回信息就可以知道资源是否有效。用这种方式单台电脑每天能查询1000W左右的资源是否失效。
### 百度的反爬虫策略6 ?. u+ @- m8 Q+ e: i- U
& && &&&除了限制IP抓取频率外，百度还对同一个UK的最大抓取有限制，超过限制后会随机返回数据。
- @4 ~: h+ A+ R
&&]5 Q. O, O# ^( X% n
豆瓣的源码附件中就有，百度的就不发了，主要原因是里面涉及一点百度反爬虫的东西，一旦公开估计很快就会被封。另外豆瓣的抓取源码是最初可用版本，重构后的那一份找不着了。。。写的比较随意，所以见笑见笑。
$ v7 u5 y5 Y+ [2 R
+ S! J) y# \# M" U; b
按照惯例广告最后的应该是广告：有需要数据抓取，爬虫定制、工具开发方面的需求的朋友欢迎联系QQ：。关于数据，目前确实没打算出售主要还是考虑两个方面一个是影响另一个是公开后可能自己又要去找新的绕过方式，如果感兴趣的朋友比较多，价格合适的话我考虑下统一价格出售给需要的朋友。1 \+ W4 z3 ^' r
还有一点关于接单价格，我给自己定了个原则目前低于200的不做，有些功能可能就几行十几行代码，还希望能理解。200算是一个小小的门槛吧，我不太希望技术变得太过廉价。&&a- {' ~9 y4 a6 h# r: w2 y
本帖子中包含更多资源
才可以下载或查看，没有帐号？
本帖被以下淘专辑推荐:
& |主题: 13, 订阅: 6
专业数据抓取、爬虫定制、工具开发请联系QQ：
主题广告币积分
高级会员, 积分 1915, 距离下一级还需 1285 积分
高级会员, 积分 1915, 距离下一级还需 1285 积分
应为这里做采集数据的基本没人... 国外不像国内... ( d3 t" F; v' `: P) D+ H
国内开发的几千上万的工具，即使泛解析等到了国外也就只能折腾一阵子就全部阵亡。
即使打乱数据，混合数据，混合几个站的数据粘合，混合社交，视频，文章，产品的数据粘合成一篇文章，到了国外，也活不了多久。。' G8 l& F+ g! M+ l. t6 j
（当然也会有成功的，不过都在偷偷的做。分享出来害死自己没有傻子会这么做）
. ^0 U1 R3 }$ ]: O" z! ~4 a) B
都做的是原创内容..都是国外买文章...做的是长久的，不是国内这种短视的。
或者做的就是付费流量....
主题广告币积分
高级会员, 积分 1915, 距离下一级还需 1285 积分
高级会员, 积分 1915, 距离下一级还需 1285 积分
我瞎说的。。勿理。。。
我瞎加分的。。勿理。。。
主题广告币积分
初级会员, 积分 142, 距离下一级还需 258 积分
初级会员, 积分 142, 距离下一级还需 258 积分
我瞎说的。。勿理。。。- [" D- E7 K( Y, M) N; w
主题广告币积分
初级会员, 积分 287, 距离下一级还需 113 积分
初级会员, 积分 287, 距离下一级还需 113 积分
百度的抓取源码我倒是有，谢谢楼主提醒，业余程序员一个。跪求反爬虫代码
主题广告币积分
初级会员, 积分 330, 距离下一级还需 70 积分
初级会员, 积分 330, 距离下一级还需 70 积分
反爬虫很简单，多ip就可以解决，推荐xx-net
我的哥谢谢，刚搜了一下。好吊&
主题广告币积分
初级会员, 积分 287, 距离下一级还需 113 积分
初级会员, 积分 287, 距离下一级还需 113 积分
% T3 b: n/ W( w( ]3 C; g% L
反爬虫很简单，多ip就可以解决，推荐xx-net) k# P1 o4 T& b& ~+ Q
我的哥谢谢，刚搜了一下。好吊
主题广告币积分
初级会员, 积分 26, 距离下一级还需 374 积分
初级会员, 积分 26, 距离下一级还需 374 积分
又一位技术牛人
主题广告币积分
中级会员, 积分 405, 距离下一级还需 795 积分
中级会员, 积分 405, 距离下一级还需 795 积分
现在用的比较多的是115吧，会员费还贼贵，你懂的
分享Affiliate纯干货
主题广告币积分
初级会员, 积分 84, 距离下一级还需 316 积分
初级会员, 积分 84, 距离下一级还需 316 积分
这个方根就是思路。有思路，什么都能。国外，DMCA
主题广告币积分
初级会员, 积分 84, 距离下一级还需 316 积分
初级会员, 积分 84, 距离下一级还需 316 积分
源码厉害！！
社区QQ达人
使用QQ帐号登录论坛的用户
MobVista达人
MobVista达人
木瓜广告精英
木瓜广告精英
Powered by Discuz今日: 37|昨日: 153|帖子: 113325|会员: 13626|欢迎新会员:
主题: 6438, 帖数: 6万
主题: 6655, 帖数: 7117
主题: 1万, 帖数: 1万
主题: 3178, 帖数: 3332
主题: 8309, 帖数: 1万
主题: 2668, 帖数: 2668
主题: 4456, 帖数: 4458
主题: 311, 帖数: 315
主题: 1806, 帖数: 1806
主题: 1777, 帖数: 7090
主题: 966, 帖数: 3882
主题: 73, 帖数: 292
- 总计 461 人在线
- 最高记录是 1518 于 .
本网站所有资源来自网络，如无意中侵犯了您的权益,请发邮件至 ，立即清除相关链接
Powered by Discuz! X3.2
Comsenz Inc.}