全球旧事资料 分类
的分析没有问题,一旦数据量大,就会力不从心,数据库就能够很好地解决这个问题。而且大多数的企业,都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具,为海量数据的存储与管理提供可能,并且使数据的提取的效率大大提升。你需要掌握以下技能:
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理:Pytho
(pa
das)
很多时候我们拿到的数据是不干净的,数据的重复、缺失、异常值等等,这时候就需要进行数据的清洗,把这些影响分析的数据处理好,才能获得更加精确地分析结果。
对于数据预处理,学会pa
das(Pytho
包)的用法,应对一般的数据清洗就完全没问题了。需要掌握的知识点如下:
选择:数据访问
缺失值处理:对缺失数据行进行删除或填充
重复值处理:重复值的判断与删除
f异常值处理:清除不必要的空格和极端、异常数据相关操作:描述性统计、Apply、直方图等合并:符合各种逻辑关系的合并操作分组:数据划分、分别执行函数、数据重组Reshapi
g:快速生成数据透视表概率论及统计学知识需要掌握的知识点如下:基本统计量:均值、中位数、众数、百分位数、极值等其他描述性统计量:偏度、方差、标准差、显著性等其他统计知识:总体和样本、参数和统计量、ErrorBar概率分布与假设检验:各种分布、假设检验流程其他概率论知识:条件概率、贝叶斯等有了统计学的基本知识,你就可以用这些统计量做基本的分析了。你可以使用Seabor
、matplotlib等(pytho
包)做一些可视化的分析,通过各种可视化统计图,并得出具有指导意义的结果。Pytho
数据分析掌握回归分析的方法,通过线性回归和逻辑回归,其实你就可以对大多数的数据进行回归分析,并得出相对精确地结论。这部分需要掌握的知识点如下:回归分析:线性回归、逻辑回归基本的分类算法:决策树、随机森林……基本的聚类算法:kmea
s……特征工程基础:如何用特征选择优化模型
f调参方法:如何调节参数优化模型
Pytho
数据分析包:scipy、
umpy、scikitlear

在数据分析的这个阶段,重点了解回归分析的方法,大多数的问题可以得以解决,利用描述性的统计分析和回归分析,你完全可以得到一个不错的分析结论。
当然,随着你实践量的增多,可能会遇到一些复杂的问题,你就可能需要去了解一些更高级的算法:分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型,对于模型的优化,你需要去了解如何通过特征提取、参数调节来提升预测的精度。
r
好听全球资料 返回顶部