写点什么

机器学习笔记(一):基本概念

2020 年 2 月 17 日

机器学习笔记(一):基本概念

好记性不如烂笔头,打算以博客连载的方式把最近机器学习的一些学习笔记记下来,机器学习涉及的知识点很多,时间一长很容易遗忘,写在博客上也方便自己随时查阅及复习。学习笔记偏重实用工程,尽量不涉及复杂的数学推导。



机器学习分类

  • 监督学习:训练数据中带有标记(分类、回归);

  • 无监督学习:训练数据中无标记(聚类、异常检测、密度分析);

  • 半监督学习:训练数据中带有少量标记(分类、回归);

  • 强化学习:通过状态空间的大量试错学习达成最佳决策(决策);

  • 深度学习:利用多层神经网络进行监督、无监督或是强化学习的方法(分类、回归、聚类)。


数据划分

  • 留出法:直接将数据集 D 划分为两个互斥的集合,一个集合作为训练集 S,另一个作为测试机 T。

  • 交叉验证法:将数据集 D 划分为 k 个大小相同的互斥子集,每次用 k-1 个子集作为训练集,余下的作为测试集,可进行 k 次训练和验证,最后取测试结果的均值。

  • 自助法:有 m 个样本的数据集 D,每次随机从 D 中挑选一个样本放入 D‘,再把此样本放回 D 中,重复执行 m 次后,得到训练数据集 D’。约有 1/3 的数据没在训练数据中出现过,用于包外估计。(数据集较小时使用效果较好)


模型评估

泛化能力:指模型对未知数据的预测能力。


  • 泛化误差:偏差、方差、噪声之和。

  • 过拟合:模型在训练及上表现很好,但在未知数据上不能很好的预测。

  • 欠拟合:模型在训练集和测试集上都不能很好的预测。


性能度量指标:

  • 均方误差:m 个样本的方差的平均数,均方误差小的模型性能好,主要用于回归。


  • 错误率:分类错误的样本占样本总数的比例。

  • 精度:分类正确的样本占样本总数的比例。

  • 查准率:真正例样本数(TP)和预测结果是正例的样本数(TP(真正例数)+FP(假正例数))的比值。


  • 查全率(召回率):真正例样本数(TP)和真实正例样本数(TP(真正例数)+FN(假反例数))的比值。


  • P-R 图:以查全率做 x 轴,查准率做 y 轴的平面图。判断模型优劣的两种方式:1、平衡点(查全率=查准率时的取值)更大的性能更好;2、曲线没有交叉的情况下,被“包住”的曲线模型性能弱于外侧的模型,如下图,A 模型优于 C 模型。



  • 混淆矩阵:用在分类问题中的 NxN 矩阵,N 为分类的个数。如下图猫、狗、兔子的三分类系统,每一列代表预测值,每一行代表实际值,对角线两边的都是预测错误的,从混淆矩阵中可以很直观地发现问题在哪里。



  • ROC 和 AUC:ROC(受试者工作特征曲线)以假正例率为 x 轴,真正例率为 y 轴,AUC 是 ROC 曲线下的面积,面积越大分类效果越好(真正例率越高,假正例率越低越好)。



偏差(Bias):反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,高偏差,即为欠拟合。


方差(Variance):反映的是同样大小的训练集的变动导致的学习性能的波动,即刻画了数据扰动所造成的影响,即模型的稳定性。高方差,即为过拟合。


模型复杂度和偏差、方差的关系如下图,随着模型复杂度增大,偏差减小,方差变大,预测错误率在模型复杂度到达一定程度后,反而会增大,偏差和方差从某种程度上说是一对矛盾体,很难做到偏差和方差都很低,只能从偏差、方差和模型复杂度中找到一个平衡点。



2020 年 2 月 17 日 11:30384

评论

发布
暂无评论
发现更多内容

API接口管理平台YAPI的搭建

Man

DevOps APi设计 YAPI

架构师训练营week06 学习总结

GunShotPanda

优傲机器人以人机协作助力中国“智能制造”落地

Geek_116789

重读vue2.0风格指南,我整理了这些关键规则

前端有的玩

Java Vue 代码规范

计算机网络基础(四)---网络层-ARP协议与RARP协议

书旅

laravel 计算机网络 网络协议 计算机基础 网络层

如何帮助技术员工高效成长?这几家企业的做法值得借鉴

极客时间企业版

研发管理 研发团队培训

数十家技术社区联名推荐的GeekOnline来了!

Geek_116789

有了“质量墙”,程序员再也没有秃头的烦恼

华为云开发者社区

程序员 软件 代码审查 项目 代码

数据分析师完整的指标体系构建 (干货)

博文视点Broadview

数据挖掘 读书笔记 数据分析 数据 求职

探索无限潜能,英特尔神经拟态计算除了有“嗅觉”还能有“触觉”

最新动态

linux上强大的字符串匹配工具详解-grep

X先生

Shell grep

30分钟学会应用正则表达式

墨灵

正则表达式 前端进阶训练营

我从LongAdder中窥探到了高并发的秘籍,上面只写了两个字...

why技术

jdk 高并发 LongAdder

知乎,挣钱?果然有长尾效应

非著名程序员

程序员 副业 副业赚钱 知乎 好物推荐

解决方案|智能消防预警系统突破高层楼房限制

华为云开发者社区

AI 物联网 边缘计算 华为云

单例模式的几种写法你用的哪种?

Java小咖秀

Java 设计模式 23种设计模式

如何进行需求梳理及埋点方案设计

易观大数据

朱嘉明:区块链成为经济转型、形成产业新业态的技术手段

CECBC区块链专委会

架构师训练营week06 作业

GunShotPanda

简单的了解一下K8S,并搭建自己的集群

SH的全栈笔记

Kubernetes 微服务

GitHub Actions和mp-ci助力微信小程序持续集成

neo

微信小程序 taro GitHub CI/CD

中台,很多人理解的都不对

DeeperMan

数据中台 中台战略

猿灯塔:spring Boot Starter开发及源码刨析(七)

猿灯塔

信创舆情一线--十五部门印发指导意见进一步促进服务型制造发展

统小信uos

《北京市政务服务领域区块链应用创新蓝皮书(第一版)》正式发布

CECBC区块链专委会

Idea中关于Js中的一些警告

阡陌r

有趣的条漫版 HashMap,25岁大爷都能看懂

古时的风筝

hashmap

一文快速掌握华为云IPv6基础知识及使用指南

华为云开发者社区

物联网中台 物联网 网络 华为云

技术科普丨服务发现和负载均衡的来龙去脉

华为云开发者社区

负载均衡 微服务 开发者工具 服务端 服务

变性手术后,产品总监和当当网打起了官司

赵新龙

法律 判决书 案例

腾讯面了五轮,面委挂了,挂的原因让大家唏嘘...

程序员生活志

腾讯 面试

编译系统设计赛(华为毕昇杯)技术报告会|5月1日

编译系统设计赛(华为毕昇杯)技术报告会|5月1日

机器学习笔记(一):基本概念-InfoQ