読者です 読者をやめる 読者になる 読者になる

目的関数と反復法

目的関数を最小化するために、初期パラメータを最適解に近づくように更新し、勾配ベクトルが十分に小さくなったところで終了させる。

反復改善法の具体例

・探索方向に勾配ベクトルのみを用いる方法

・探索方向にヘス行列情報を用いる方法

勾配ベクトルのみを用いる場合、探索幅λ,α(慣性項付きの場合)(どちらも定数)を適当な数値に決定しなければならない。そこで、最適探索幅λを求める目的関数を生成し、最適探索幅{\it \hat{\lambda}}を求める。
この場合、線形問題では十分な結果を上げることが可能だが、非線形問題には対応できない。

ヘス行列を用いた共役勾配法では、探索方向を共役勾配方向に設定し、パラメータを更新していく。
この手法では、非線形問題にも対応することが可能である。

*要復習
・各手法アルゴリズム
・ベクトル関数が合成関数になるときの微分
・母関数がスカラーなのか、ベクトルなのか

ニュートン法等は次回。


モチベーションの高いときに攻めておきましょう。
あと、数式全然出てこなくてごめんなさい。(確信をもって説明できない部分もありますので…)