机器学习一、机器学习介绍1.人工智能三大概念人工智能之父约翰·麦卡锡机器学习之父亚瑟·塞缪尔人工智能用计算机模拟人脑让计算机像人类一样理性地思考和行动机器学习MLMachine Learning先训练再评估再预测深度学习DLDeep Learning深度神经网络大脑仿生三者关系人工智能包含机器学习机器学习又包含深度学习2.学习方式基于规则基于模型几个名称特征、标签、样本、训练集、测试集直线记成ywxb就是模型wweight权重b截距bias偏置3.应用领 域及发展20世纪50-70年代符号主义专家系统占主导20世纪80年代-2000年统计主义统计模型解决问题21世纪初期神经网络神经网络/深度学习流派2017-至今大模型预测训练模型大规模预训练模型海量数据自然语言处理AIGCAI发展三要素数据(决定模型效果的上限、算法、算力CPU/GPU/TPUCPUI/O密集型任务GPU计算密集型任务应用领域计算机视觉CV自然语言处理数据挖掘/分析4.术语记样本sample)一行数据就是一个样本多个样本组成数据集特征feature一列数据就是一个特征又称属性标签label/目标target模型要预测的那一列数据数据集dataset分为训练集和测试集7:3/8:25.算法分类5.1有监督学习supervised learning有特征、有标签输入的训练数据有标签分类问题目标/标签值不连续回归问题目标/标签值连续5.2无监督学习unsupervised learning有特征、无标签根据样本间的相似性对样本进行聚类去发现事物的关系聚类问题5.3半监督学习semi-supervised learning有特征部分有标签少量数据有标签大部分数据没有标签让专家标注少量数据利用已经标注的数据训练出一个模型再利用该模型去套用未标记的数据通过询问领域专家分类结果与模型分类结果作对比降低标记成本5.4强化学习reinforcement learning寻找最优解四要素environment环境、action行动、agent算法、reward奖励决策回报函数6.建模流程⚠️获取数据/数据加载-数据基本处理-特征工程-机器学习/训练模型-模型评估获取数据/数据加载获取经验数据搜集数据集数据基本处理数据缺失值/异常值处理特征工程特征提取/预处理/降维机器学习/训练模型选择合适的算法线性/逻辑回归、决策树、GBDTGradient Boosting Decision Tree梯度提升决策树模型评估回归/分类/聚类评测指标#### 7.特征工程特征工程利用专业背景知识/技巧处理数据让模型效果更好7.1特征提取feature extraction从原始数据中提取与任务相关的特征构成特征向量会改变原始数据7.2特征预处理feature preprocessing将不同的单位的特征数据转换成同一个范围内例如归一/标准化x’当前值-最小值/最大值-最小值标准化均值特征对模型产生影响由于量纲问题有些特征对模型影响大有些影响小鲁棒性7.3特征降维feature decomposition将原始数据的维度降低叫做特征降维一般会对原始数据产生影响7.4特征选择feature selection从特征中选择出一些重要特征原始数据特征很多与任务相关是其中一个特征集合子集不会改变原数据7.5特征组合feature crosses把多个特征合并成一个特征用乘法/加法完成8.模型拟合问题记)拟合拟合fitting拟合模型在训练集和测试集上表现情况欠拟合under-fitting模型在训练集和测试集上表现都不好原因模型过于简单过拟合over-fitting)模型在训练集上表现好在测试集上表现不好原因模型过于复杂数据不纯训练数据太少泛化泛化Generalization模型在新数据集非训练数据上的表现好坏的能力奥卡姆剃刀原则给定两个具有相同泛化误差的模型较简单的模型比较复杂的模型更可取