思考输入变量与输出变量之间的关系---从线性回归出发

2018/11/09
长久以来，我都不知道最小二乘法我在多少本书上看到过了。
不管是算法书也好，统计数也好，机器学习的书也好，全是这个概念。结果呢，说实话，我还是不明白这个算法的意义，
当然哈，不是说这个算法是怎么样的流程我不明白，我是说，为什么这个算法被认为这么重要，这一点我不太明白。
这里就先不说这个事情了。

01 概述

本篇文章用线性回归中，导出一些特征的引子。这些东西呢，从线性回归的角度来看，就很简单，可能是一个数，可能是一个因子。但在别的模型中，就不一样了，不过，虽然这样说，但他代表的意义，仍然存在，所以利用线性回归作为一个引子，来把这些概念导出来。

02 几个重要的观点

1. 输入变量与输出变量之间有关系吗

• 多个特征量的话，每个特征量都有关系吗

2. 输入变量与输出变量之间的关系强吗

• 怎么样定义强不强的概念

3. 输入变量中，哪些对输出变量做出的贡献大

4. 利用每个变量来估计它对最后输出变量的作用准吗？（这个不是很理解）

5. 对于数量型的输出变量，我们的预测能够达到多准确？

6. 输入与输出之间的关系是线性的吗？

7. 输入变量之间具有协同效应吗？

举例来说，如果利用1000投入到某因素上，是不是比把这1000分为两个500分别投在两个因素上比较好。
其实这也正是我所关系的输入变量之间相关性，到底是什么样的作用。

03 总结

对于上面提到几个问题而言，除了第7个，第5个，其他的基本上都是可以直接从这个特征的系数上得到最直观的反应，但是其他的模型并不能实现这种好处。

思考：从这个角度出发，既然我只是想得到这部分的概念，那么是不是可以从线性的模型上得到，然后直接就是说他们之间的这个相关性什么的。