《统计学习方法》

李航 ——《统计学习方法》 2012年3月第一版 豆瓣评分:8.9


李航 日本京都大学电气工程系毕业,日本东京大学计算机科学博士。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。统计机器学习入门的好书,好好学习研究。

之前读了一部分内容,以后还是把一些重要的书做一下摘要笔记和进度更新吧。
一方面可以留下阅读记录和笔记,一方面可以监督激励自己要坚持,半途而废可不好。

前言

智能化是计算机研究与开发的一个主要目标。近几十年来的实践表明,统计机器学习方法是实现这一目标的最有效手段,尽管它还存在着一定的局限性。

该书对统计机器学习的诸多问题有非常精辟的论述。力求系统而详细地介绍统计学习的方法,内容选取上,侧重介绍那些最重要、最常用的方法,特别是关于分类与标注问题的方法。对其他问题及方法,如聚类等,计划在今后的写作中再以介绍。

读者可以从头到尾通读,也可以选择单个章节细读。

2017.11.16 阅读

第1章 统计学习方法概论

本章简要叙述统计学习方法的一些基本概念。这是对全书内容的概括,也是全书内容的基础。首先叙述统计学习的定义、研究对象与方法;然后叙述监督学习,这是本书的主要内容。接着提出统计学习方法的三要素:模型、策略和算法;介绍模型选择,包括正则化、交叉验证与学习的泛化能力;介绍生成模型与判别模型;最后介绍监督学习方法的应用:分类问题、标注问题与回归问题。

干货满满的一章。几乎全是重点。所以不做摘要笔记了。
今天再看一遍,貌似是第三次阅读本章内容,每一遍都有更深的认识,因为同时交叉着其它资料的阅读学习,对比之下觉得此书真是好书,没有多余的东西,都是重点不用划😶。基础和重点内容需反复琢磨消化。后面才能学得快。

2017.11.20更新

第2章 感知机

线性分类模型 == 线性分类器

f(x) = sign(w·x + b)

线性方程 w·x + b = 0 表示超平面S,w是超平面的法向量,b是超平面的截距。

TODO: 为什么是法向量??

数据集的线性可分性

学习策略: 求模型定义经验风险函数找最小值

关键推导:
输入空间任意一点到超平面的距离
误分类的点到超平面的距离、所有误分类的点到超平面的距离
感知机学习的损失函数

TODO: 为什么感知机的损失函数就是感知机学习的经验风险函数??损失函数为什么要那样定义?

最优化的方法是随机梯度下降法

损失函数的梯度,更新w、b

《写给大家看的机器学习书》第三章有PLA参数更新的几何直观理解,本书给出的是数学上的推导。

训练数据集线性可分时,感知机学习算法原始形式迭代是收敛的,但感知机存在多节,依赖于初值和误分类点的选择。

与原始形式一样,感知机学习算法的对偶形式迭代也是收敛的,存在多个解。

TODO: 算法的实现迭代过程

2017.11.22更新

第3章 k近邻法

第4章 朴素贝叶斯法

第5章 决策树

第6章 逻辑斯谛回归与最大熵模型

第7章 支持向量机

第8章 提升方法

第9章 EM算法及其推广

第10章 隐马尔可夫模型

第11章 条件随机场

第12章 统计学习方法总结

附录A 梯度下降法

附录B 牛顿法和拟牛顿法

附录C 拉格朗日对偶性