# 《大数据分析》笔记 (September 20, 2024) ## 特征工程 #### 属性类型 1. 标称属性 - 二元属性是特殊的标称属性 - 非对称二元属性指概率不同的二元属性 2. 序数属性 - 相继值之间的差是未知的 3. 数值属性 - 离散属性、连续属性 - “无限可数”：比如学号 #### 特征工程 1. 特征提取 2. 特征变换 3. 特征选择 ### 特征变换

+ z-score 标准化：均值为0，方差为1 + 最大最小归一化

##### 分箱离散化 + 等宽分箱：“箱子的宽度”相同 + 等深分箱：每箱实例数称为“箱子的深度” 分箱后，用箱均值、中位数或边界值替换箱中的每个值，实现属性值的离散化

#### 特征变换数值化处理 + 有序变量 + 无序变量 - 二分类：01 - 多分类 * one-hot * 标签编码（无含义） #### 数据降维 ##### 主成分分析 PCA 1. m 个 n 维数据样本矩阵 X 2. X 的每行零均值化 3. 求协方差矩阵 4. 求协方差矩阵的特征值及对应的特征向量 5. 将特征向量按对应的特征值大小从上到下按行排列成矩阵，取前 r 行组成矩阵$ W^T $ 6. $ Y = W^TX $即为降到 r 维后的数据

##### 线性判别分析 LDA 有监督的线性降维基本思想：使用数据的类别信息，将高维的样本线性投影到低维空间，使在低维空间中数据的类别区分度最大区分度？ + 不同类之间的**离散度** + 同类数据的**内聚性** #### Lasso 降维一种回归分析方法，通过 L1 正则化实现选择和降维 #### ISOMAP 流形（manifold）是一类几何对象的总称

+ 用**测地距离**（geodesic distance）代替欧氏距离 ##### 算法步骤 1. 构造近邻图 - 对每个节点（每个样本），构造边（k 近邻，对每个近邻点，构造一条边……最短路径长度） 2. 计算最短路径 3. 找出样本的低维表示 ##### 优点 + 保留了全局结构 + 只有一个参数 k 需要确定 ##### 缺点 + 对噪音敏感 + Floyd 最短路径算法的计算代价高 ### 特征提取文本数据结构化 + 词袋法 n-gram 模型 + 词嵌入法 - word2vec 简单的神经网络模型 * 连续词袋模型 CBOW：根据上下文词语预测目标词出现的概率 * 跳字模型 skip-gram：根据目标此预测其上下文 + 通过预测周围词来训练中心词的向量表示，表示能力往往更好 word2vec 缺点 + 在独立的局部上下文窗口上训练，难以利用单词的全局统计信息 + 对词是确定性的，即在不同语境中同一词的向量是一样的，这意味着 word2vec 不能解决多义词问题 ### 特征选择 + 过滤式 filter —— 基于统计测试/其它单变量评估指标 + 包裹式 wrapper —— 于模型训练过程结合，作为评价特征子集优劣的标注（验证集？） + 嵌入式 embedded —— 在模型训练过程中进行特征选择，入决策树、随机森林等 --- 基于树模型的特征重要性基于线性模型的特征重要性基于互信息的特征重要性基于 SHAP 值的特征重要性基于随机排列的特征重要性