Hessian matrix 與 Covariance matrix 於 2D feature alignment 的應用

相關的前文：

• 非線性最佳化—梯度下降法與牛頓法 Nonlinear Optimization, Gradient Descent & Newton's Method 
• Gauss-Newton Method 高斯牛頓法
  

在解最佳化問題時，如果我們用泰勒展開式做一階近似，通常會得到以下式子：\[Ap=b\]式子中的 \(A\) 為 \(\sum_i J^T(x_i)J(x_i)\)，而 \(b\) 為 \(\sum_i J^T(x_i)\Delta x_i\)。我們通常稱 \(A\) 為 Hessian matrix，但它跟正式定義的 Hessian matrix（二次微分矩陣）不太一樣，而是用  Jacobian 矩陣來近似 Hessian matrix。這個與牛頓法跟高斯牛頓法的區別非常類似。

而在 2D feature alignment 的應用中我們常常想要把噪音給考慮進去，而一般我們都是用高斯分布來描述噪音的模型。在高斯分布的前提下 Hessian matrix 恰巧就是 Covariance matrix 的反矩陣 [1]。而此矩陣也常被稱做 precision matrix、concentration matrix，或 information matrix [2]。

參考資料

[1] Relationship between the Hessian and Covariance Matrix for Gaussian Random Variables

[2] Precision (statistics)