数据分析概述:数据获取--探索分析与可视化--预处理--分析建模--模型评估
数据分析含义:利用统计与概率的分析方法提取有用的信息,最后进行总结与概括
一、数据获取
实用网站:kaggle 阿里云天池
·数据仓库:将所有业务数据汇总处理,构成数据仓库(DW)
·全部事实记录
·部分维度与数据的整理(数据集市(DM))
·监测与抓取:爬虫
·填写、埋点、日志
·用户填写信息
·APP或网页埋点(特定流程的信息记录点)(页面统计、统计操作行为)
·操作日志
·计算
·通过已有数据计算文章来源:https://uudwc.com/A/nPLAX
二、探索分析与可视化
单因子和可视化
·理论基础
···集中趋势:均值、中位数与分位数、众数
····四分位数计算方法:Q1的位置=(n+1)*0.25 (n为数据的个数)
Q2的位置=(n+1)*0.5
Q3的位置=(n+1)*0.75
···离中趋势:标准差、方差--σ的值越大表示数据越离散,σ越小表示数据越聚拢
···数据分布:偏态与峰态、正态分布与三大分布
····偏态系数S与峰态系数K--均值>中位数-->正偏反之为反偏
···抽样理论:抽样误差、抽样精度
·数据分类
··定类(类别)
··定序(顺序)
··定距(间隔)
··定比(比率)
·单属性分析
··异常值分析
···连续异常值
···离散异常值
···知识异常值
··对比分析
···绝对数比较
···相对数比较--结构相对数、比例相对数、比较相对数、强调相对数
···对比维度--时间维度、空间维度、经验与计划
··结构分析
···静态
···动态
··分布分析
···直接获得概率分析
···是不是正态分布
···极大似然文章来源地址https://uudwc.com/A/nPLAX