目的関数と反復法
目的関数を最小化するために、初期パラメータを最適解に近づくように更新し、勾配ベクトルが十分に小さくなったところで終了させる。
反復改善法の具体例
・探索方向に勾配ベクトルのみを用いる方法
・探索方向にヘス行列情報を用いる方法
- 共役勾配法（今回は）
勾配ベクトルのみを用いる場合、探索幅λ，α(慣性項付きの場合)（どちらも定数）を適当な数値に決定しなければならない。そこで、最適探索幅λを求める目的関数を生成し、最適探索幅を求める。
この場合、線形問題では十分な結果を上げることが可能だが、非線形問題には対応できない。
ヘス行列を用いた共役勾配法では、探索方向を共役勾配方向に設定し、パラメータを更新していく。
この手法では、非線形問題にも対応することが可能である。
＊要復習
・各手法アルゴリズム
・ベクトル関数が合成関数になるときの微分
・母関数がスカラーなのか、ベクトルなのか
ニュートン法等は次回。
モチベーションの高いときに攻めておきましょう。
あと、数式全然出てこなくてごめんなさい。（確信をもって説明できない部分もありますので…）
