数据的收集、处理、分析与应用

AAI脑图#5419402026-01-24 05:24
22100
画布
|
大纲
标签：数据素养教育信息化数据伦理

内容详情

数据基础

数据概念

  • 定义
    • 广义
      • 对客观事物属性或状态的符号化记录
        • 数字、文字、图像、音频、视频
          • 结构化（表格、数据库）
          • 半结构化（JSON、XML）
          • 非结构化（社交媒体、传感器流）
  • 分类
    • 定量数据
      • 连续型
        • 身高、温度、销售额
      • 离散型
        • 人数、订单数、点赞量
    • 定性数据
      • 名义型
        • 性别、品牌、颜色
      • 顺序型
        • 满意度等级、教育程度
  • 数据 vs 信息
    • 转化过程
      • 数据→加工→信息→提炼→知识→升华→智慧
        • DIKW 模型
          • 举例：原始温度记录→平均气温→气候趋势→节能策略

数据价值

  • 学习场景
    • 个性化学习
      • 学习行为数据→推荐习题→提升效率
  • 生活场景
    • 智能推荐
      • 电商浏览数据→精准推送→节省选购时间
  • 社会治理
    • 智慧城市
      • 交通流量数据→优化信号灯→缓解拥堵

数据收集与整理

收集方法

  • 一手数据
    • 问卷调查
      • 设计原则
        • 目标清晰、题项简洁、选项互斥
      • 工具
        • 问卷星、金数据、Google Forms
    • 观察记录
      • 结构化观察表
        • 时间采样、行为编码
    • 实验测量
      • 传感器、实验仪器
        • 温度、湿度、PH 值
  • 二手数据
    • 文献查阅
      • 学术数据库
        • CNKI、Web of Science、PubMed
    • 网络采集
      • 合法合规
        • 遵守 robots 协议、隐私政策
      • 技术
        • Python 爬虫、API 调用、Selenium

整理步骤

  • 数据清洗
    • 缺失值处理
      • 删除、均值填补、插值
    • 异常值检测
      • 箱线图、3σ 原则、Z-score
  • 数据转换
    • 标准化
      • Z-score、Min-Max
    • 编码
      • 独热编码、标签编码
  • 录入与存储
    • Excel 基础
      • 数据验证、下拉菜单、条件格式
    • 版本管理
      • 文件命名规范、云端备份

数据计算与分析

Excel 核心操作

  • 公式计算
    • 求和
      • =SUM(B2:B100)
    • 平均数
      • =AVERAGE(C2:C100)
    • 计数
      • =COUNT(D2:D100)
  • 函数进阶
    • 逻辑函数
      • IF、AND、OR
    • 查找函数
      • VLOOKUP、INDEX+MATCH
    • 日期函数
      • DATEDIF、EOMONTH

统计量

  • 集中趋势
    • 平均数
      • 易受极端值影响
    • 中位数
      • 抗极端值
    • 众数
      • 适用于类别数据
  • 离散程度
    • 极差
      • Max-Min
    • 方差/标准差
      • 波动大小
  • 分布形态
    • 偏度
      • 左偏、右偏
    • 峰度
      • 尖峰、平峰

分析思维

  • 对比分析
    • 同比、环比
      • 销售额增长 15%
  • 结构分析
    • 占比、漏斗模型
      • 转化率 3.2%
  • 相关分析
    • 皮尔逊系数
      • r=0.8 强正相关

数据呈现与应用

可视化原则

  • 图表选择
    • 比较
      • 柱状图、条形图
    • 趋势
      • 折线图、面积图
    • 构成
      • 饼图、堆叠柱状图
    • 分布
      • 直方图、箱线图
  • 设计规范
    • 简洁
      • 去冗余网格、3D 效果
    • 聚焦
      • 高亮关键数据、注释
    • 适配
      • 色盲友好、移动端适配

Excel 图表制作

  • 快速操作
    • 插入→选择数据→图表样式→调整格式
  • 动态图表
    • 切片器+数据透视图
      • 交互式仪表板

应用场景

  • 数据报告
    • 结构
      • 背景→方法→结果→结论→建议
    • 工具
      • PowerPoint、Canva、Markdown
  • 生活问题
    • 家庭账本
      • 收支分类→月度可视化→预算调整
    • 健身计划
      • 体重、步数趋势→目标达成率

数据伦理与安全

隐私保护

  • 个人数据
    • 敏感信息
      • 身份证号、生物特征、定位轨迹
  • 防范措施
    • 最小化收集
      • 只获取业务必需字段
    • 加密存储
      • AES、RSA、哈希加盐
    • 权限控制
      • RBAC、多因素认证
  • 法律法规
    • 国内
      • 《个人信息保护法》《数据安全法》
    • 国际
      • GDPR、CCPA

数据伦理

  • 虚假数据
    • 识别方法
      • 交叉验证、溯源审计、异常检测
  • 道德规范
    • 知情同意
      • 明确告知用途、允许撤回
    • 算法公平
      • 避免歧视性变量、结果可解释
    • 数据福祉
      • 促进公共利益、减少数字鸿沟