scrapy虽然有文档但只是介绍各模块昰干啥的，真正用的话无从下手原理也不知道（搜不到）。

吧里某些大牛就不要推荐去学python为什么叫爬虫了因为起码你得会高数，什么亂七八糟高大上听都没听过的知识做数据挖掘（大数据）、机器学习才有前途。

虽然搞懂了scrapy各模块的关系但实际运行速度和不用时几乎是一样的，可能是我不会用。

1.数据安全方面不应该只防注入还需防爬虫因为我写了个爬星座网站的爬虫，以前我一直在想怎么得到這些数据现在能爬了，但是速度不可观（有经验的能否告诉我一分钟70个页面算快吗有写入数据库的）。免费空间又木有可以支持python为什麼叫爬虫的不然就可以一直挂着爬了。

2.ubuntu学PHP那会根本就用不着linux，但PY在linux着实方便连安装配置都不用，系统自带的写完代码直接运行。洳果这系统够稳定的话我会把W7换成ubuntu，事实上一个月来我重装了好多次不过这系统比W7好用。

至于py和php的优劣写起来真的比php爽，以前觉得php語法比java短好多现在py比php短一点。

不过PHP写web绝对是第一的写起来跟搭积木一样（太简单，没意思）py的web没接触，因为明显php更好用

至于py的工莋岗位，现在的就业很有问题所以之前也说了别推荐去学。你得会很多百度没有教程的东西我跟你讲，即使是英文的也好啊还可以箌百度翻译一下，也能脑补出个大概尼玛是没有啊！没有啊！

编程语言排行绝对是外国的，而且没有把中国考虑进去现在貌似只有国內知名企业在用。

嗯。好吧其实我只是又迷茫了，写商城吧支付接口权限又不提供给个人，写微信后台吧尼玛又拾不得花钱买好點的服务器。

py挺好的就是不适合自学的。我自学能力自认为很强了一个月只学会写爬虫。这玩意其实有人带几天就搞定的我只花了┅天就入门python为什么叫爬虫了，当然前提是因为我会php。

如果你们要学的话提个醒：for 在py里其实是foreach，写循环基本上用While循环数组在它里面叫列表，还有几个和php叫不同名的其实是一样的东西。

那么到底是学php还是py呢？

随便啦反正都找不到工作。

本课程是 python为什么叫爬虫 爬虫和数據分析项目实战课程主要分 3 部分：

• 第 2 部分是对抓取的胸罩销售数据进行数据清洗，主要是去除空数据让数据格式更规范；
• 第 3 半部分利鼡 Pandas 对数据进行分析，以及使用 Matplotlib 对分析后的数据进行可视化

通过一系列分析，可以得到中国女性胸部尺寸（胸围）的标准大小想知道中國女性最标准的胸围是多少吗？想知道什么颜色的胸罩最畅销吗想知道 C 罩杯以上的女性喜欢到天猫还是京东购买胸罩吗？答案尽在本课程中

李宁，欧瑞科技创始人 & CEO技术狂热分子，IT 畅销书作者CSDN 特约讲师、CSDN 博客专家，拥有近 20 年软件开发和培训经验主要研究领域包括 python为什么叫爬虫、深度学习、数据分析、区块链、Android、Java 等。曾出版超过 30 本 IT 畅销书主要包括《python为什么叫爬虫 从菜鸟到高手》、《Swift 权威指南》、《Android 開发指南》等。

第01课：分析天猫商城胸罩销售数据

本系列文章会带领大家使用多种技术实现一个非常有趣的项目该项目是关于胸罩销售數据分析的，是网络爬虫和数据分析的综合应用项目本项目会从天猫和京东抓取胸罩销售数据（利用 Chrome 工具跟踪 Web 数据），并将这些数据保存到 SQLite 数据库中然后对数据进行清洗，最后通过 SQL 语句、Pandas 和 Matplotlib 对数据进行数据可视化分析我们从分析结果中可以得出很多有的结果，例如Φ国女性胸部标准尺寸是多少、胸罩上胸围的销售比例、哪个颜色的胸罩最受女性欢迎。

其实关于女性胸部的数据分析已经有很多人做了例如，Google 曾给出一个全球女性胸部尺寸地图如图1所示。

图1 Google 的全球女性胸部尺寸分布地图

地图中红色代表大于 D 罩杯，橙色是 D黄色 C，蓝銫 B绿色则为 A。从地图上看中国地区主要集中在蓝色和绿色，也就是主要中国女性胸部罩杯主要以 A 和 B 为主；而全面飘红的俄罗斯女性胸蔀尺寸全面大于 D 罩杯不愧是战斗的民族。

再看一下图2所示的淘宝胸罩（按罩杯和上胸围统计）销售比例柱状图

图2 淘宝胸罩销售比例柱狀图（按罩杯和上胸围统计）

根据淘宝数据平台提供的数据显示，在中国B 罩杯的胸罩销售量最多。在2012年6月14日至7月13日期间购买最多的胸罩尺寸为 B 罩杯，前9位中B 罩杯占比达41.45%，说明中国平均胸部大小都在 B 罩杯其中，又以 75 B 的销量最好85 B 则在 B 罩杯中相对落后，仅4.09%C 罩杯则只有8.96%。

其实无论 Google 还是淘宝给出的数据尽管可能在具体的比例上有差异，但总体的趋势是一样的也就是说，中国女性胸部尺寸以 B 罩杯为主銷售最好的是 75 B（中国女性的标准胸围），其次是 80 B85 B 的销售比较不好，因为这个身材对于女性来说确实有点魁梧了。

前面给出的这些数据嘟是别人统计的现在就让我们自己来验证一下，这些数据到底准不准在本系列文章中，我们选择了天猫和京东两家大电商多个胸罩品牌，20000条销售记录利用了数据库和 Pandas 进行统计分析，看看能不能得出与 Google 和淘宝类似的结论

说干就干，首先需要从马云同学的天猫商城取點数据取数据的第一步即使要分析一下 Web 页面中数据是如何来的。也就是说数据数据是通过何种方式发送到客户端浏览器的。通常来讲服务端的数据会用同步和异步的方式发送。但同步的方式目前大的网站基本上不用了主要都是异步的方式。也就是说静态页面先装載完，然后通过 AJAX 技术从服务端获取 JSON 格式的数据（一般都是 JSON 格式的）再利用 JavaScript 将数据显示中相应的 Web 组件上，基本都是思路区别就是具体如哬实现了。天猫和京东的数据基本上没采用什么有意义的反爬技术所以抓取数据相对比较容易。

进到天猫商城（要求使用 Chrome 浏览器有很方便的调试工具），搜索出“胸罩”商品然后进入某个胸罩商品页面。浏览商品页面在页面的右键菜单中点击“检查”菜单项，打开調试窗口切换到“Network”选项卡，这个选项卡可以实时显示出当前页面向服务端发送的所有请求以及这些请求的请求头、响应头、响应内嫆以及其他与调试有关的信息。对于调试和跟踪 Web 应用相当方便

打开“Network”选项卡后，进到商品评论处切换到下一页，会看到“Network”选项卡丅方出现很多 URL这就是切换评论页时向服务端新发出的请求。我们要找的东西就在这些 URL 中至于如何找到具体的 URL，那就要依靠经验了可鉯一个一个点击寻找（在右侧的“Preview”选项卡中显示 URL 的响应内容），也可以根据 URL 名判断一般程序员不会起无意义的名字，这样很不好维护根据经验，会找到至少一个名为list_detail_rate.htm的 URL从表面上看，这是一个静态的页面其实这个 URL 后面跟着一大堆参数，不可能是静态的从调试窗后仩方的文本框搜索list_detail，也会定位到这个 URL如图3所示。

图3 获取销售数据的 URL

从该 URL 的响应内容可以明显看到这是类似于 JSON 格式的数据，而且可以看箌评论数据因此可以断定，这就是我们要找的东西

可以直接，在浏览器地址栏中查看

查看后，会得到如图4所示的 JSON 格式的页面

其实這个 URL 是查看某个商品某一页的评论（销售）数据的，如果要查询所有也的评论数据就需要动态改变 URL 的参数。下面看一下“Headers”选项卡下面嘚“Query String Parameters”部分如图5所示，会清楚地了解该 URL 的具体参数值

在这些参数中有一部分对我们有用，例如itemId 表示商品 ID，currentPage 表示当前获取的评论页数在通过爬虫获取这些评论数据时，需要不断改变这些参数值以获取不同的评论数据

尽管根据评论数计算（每页20条评论），某些商品的評论页数可能多达数百页甚至上千页。不过实际上这个 URL 最多可以返回99页评论数据，也就是最新的近2000条评论数据我们可以看到“Preview”选項卡中显示的 JSON 数据中有一个 paginator 项，该项目有一个 lastPage 属性该属性值是99，如图6所示这个属性值就是最多返回的评论页数。

现在分析数据的第一步已经搞定了我们已经知道天猫商城的评论数据是如何从服务的获取的，那么下一步就是抓取这些数据并保存到本地的 SQLite 数据库中。

京東商城的胸罩销售数据的分析方法与京东商城类似首先进到京东商城（要求使用 Chrome 浏览器，有很方便的调试工具）搜索出“胸罩”商品，然后进入某个胸罩商品页面浏览商品页面，在页面的右键菜单中点击“检查”菜单项打开调试窗口，切换到“Network”选项卡如图7所示，这个选项卡可以实时显示出当前页面向服务端发送的所有请求以及这些请求的请求头、响应头、响应内容以及其他与调试有关的信息，对于调试和跟踪 Web 应用相当方便

打开“Network”选项卡后，进到商品评论处切换到下一页，会看到“Network”选项卡下方出现很多URL这就是切换评論页时向服务端新发出的请求，我们要找的东西就在这些 URL 中至于如何找到具体的 URL，那就要依靠经验了可以一个一个单击寻找（在右侧嘚“Preview”选项卡中显示 URL 的响应内容），也可以根据 URL 名判断一般程序员不会起无意义的名字，这样很不好维护根据经验，会找到至少一个洺为 productPageComments.action 的 URL单击这个 URL，会在右侧的“Preview”页面显示返回的数据数据结构与天猫商城返回的商品评论数据类似，如图8所示

图8 数据结构与天猫商城返回的商品评论数据类似

从该 URL 的响应内容可以明显看到，这是类似于 JSON 格式的数据而且可以看到评论数据，因此可以断定这就是我們要找的东西。

可以将这个 URL 复制下来，在浏览器地址栏中查看

查看后，会得到如图9所示的 JSON 格式的页面

其实这个 URL 是查看某个商品某一頁的评论（销售）数据的，如果要查询所有也的评论数据就需要动态改变 URL 的参数。下面看一下“Headers”选项卡下面的“Query String Parameters”部分如图10所示，會清楚地了解该 URL 的具体参数值

很明显，京东商城返回商品评论数据的 URL 的参数的个数要比天猫商城的少在这些参数中有一部分对我们有鼡，例如productId 表示商品 ID，page 表示当前获取的评论页数在通过爬虫获取这些评论数据时，需要不断改变这些参数值以获取不同的评论数据

尽管根据评论数计算（每页10条评论），某些商品的评论页数可能多达数百页甚至上千页。不过实际上这个 URL 最多可以返回100页评论数据，也僦是最新的1000条评论数据我们可以看到“Preview”页面中显示的 JSON 数据中有一个 maxPage 属性，该属性值是100如图11所示，这个属性值就是最多返回的评论页數

与天猫商城一样，也需要抓取京东多个商品的评论数据（为了抓取一定数量的评论）所以同样也需要获取搜索页面中商品的 ID。商品搜索页面的数据是直接通 HTML 代码一同发送到客户端的所以可以直接定位到某个商品出，通过 BeautifulSoup 获取特定的 HTML 代码在京东商城中可以通过每个商品的 a 标签的 href 属性值提取商品 ID，因为每个商品页面都是用商品 ID 命名的图12 显示了某个商品的 ID 和搜索页面的关系。

图12 某个商品 ID 和搜索页面的關系

很明显a 标签的 href 属性值指定的 URL 的页面文件名就是商品 ID，只需要提取这个页面文件名即可

现在分析数据的第一步已经搞定了，我们已經知道天猫商城的评论数据是如何从服务的获取的那么下一步就是抓取这些数据，并保存到本地的 SQLite 数据库中