大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。什么是大数据？大数据就像它看起来那样有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，千锋武汉Pytho
培训的老师将会带着大家一起探索如何用Pytho
进行大数据挖掘和分析？
为什么选择Pytho
？Pytho
最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Pytho
了，比如Google，YouTube，迪士尼等。还有，Pytho
是开源的，并且有很多用于数据科学的类库。现在，如果你真的要用Pytho
进行大数据分析的话，毫无疑问你需要了解Pytho
的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式这只是开始。数据分析流程
f一般可以按“数据获取数据存储与提取数据预处理数据建模与分析数据可视化”这样的步骤来实施一个数据分析项目。按照千锋武汉Pytho
培训的老师分享的这个流程，每个部分需要掌握的细分知识点如下：
数据获取：公开数据、Pytho
爬虫外部数据的获取方式主要有以下两种。第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。另一种获取外部数据的方式就是爬虫。比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
f在爬虫之前你需要先了解一些Pytho
的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用Pytho
库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般r