L1 · 机器学习基础笔记

Part1

算法

• 穷举
• 贪心
• 分支
• 动态规划

DataSets

Machine Learning 在 Datasets 中找到我们想要的算法

Deeplearning

跟面积无关

How to develop learning system

最开始有一个人工智能程序用于求解 fx 的原函数 $F(x) = \int f(x) \, dx$ 也就是所说的 rule-based system

因为对于一些特定的 fx 的原函数 有一定的规则，例如 $\int f(x)+g(x)\,dx=\int f(x)\,dx+\int g(x)\,dx$

基于规则的程序也属于人工智能程序

rule-based systems 中最重要的是图中的 Hand-designed program 但是由于人类的疏忽 很多时候会把某些规则给漏掉 因为到最后基于规则的程序的规则会越来越复杂 越来越庞大 最终成为人类无法维护的程序

早期

classic machine learning 采用手工特征筛选 我们要将 features 映射为一个 vector 或者 tensor 从而 output 是关于这个 tensor 的

为什么要特征提取

维度的诅咒： features 的数量越多 也就是说维度越高对于数据的需求越大 但是收集数据的工作量巨大

大数定律

例如将 10 维空间压缩为 3 维 那么需要做一些线性或是非线性的映射

也就是 present learning 或是说降维

Manifold 流形

Deeplearning 和 presentation learning 的区别：原来的特征提取器和学习器是分开的 而 DL 则不是

Rule-based system VS Representation system

Rule-based system 就是基于 rule，Rs 则是 Training from data

• limit of hand-designed features
• SVM cannot handle big data set well
• More application need to handle unstructured data

Back Propagation

将每一层的偏导数存下来 计算图

$e=(a+b)*(c+d)$ 链式法则

原子计算

LeNet

最早用于识别手写邮政编码 Tensorflow TFboys MxNet Caffe(UC Berkeley)

最早的 TF StaticGraph 效率不高 Pytorch 最早主打 Dynamic Graph

• More flexible
• Easy to debug
• Intuitive and cleaner code