最小二乘法数学原理和newlisp实现

本文主要是介绍最小二乘法数学原理和newlisp实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

least square method

最小二乘法（又称最小平方法）是一种数学优化技术。通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出，最小二乘也可用于拟合数据模型。

如果期望的拟合直线方程是 y = ax + b, 和真实观测点 yi 的距离就是 di=yi−(axi+b) , 每个模拟点和观测点的距离的平方和公式就是

\sum i = 1 n d 2 i = \sum i = 1 n (y i - (a x i + b)) 2 (39)

要计算出a和b的值，使得这个平方和的值要最小。由于观测点都是已知，因此 xi 和 yi 都是已知,而a和b才是自变量，此时上面的函数可以看作是a和b为自变量的二元函数 f(a,b), 问题转换成求f(a,b)的最小值问题

f (a, b) = \sum i = 1 n (y 2 i - 2 y i (a x i + b) + (a x i) 2 + b) (40)

二元函数极值的一般计算方法参考11.5

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

这篇关于最小二乘法数学原理和newlisp实现的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！