最急降下アルゴリズム線形回帰
-＆gt; Œ∏ j ：仮説の重み。 -＆gt; hŒ∏（x i ）： i th入力の予測y値。 -＆gt; j：機能インデックス番号（0、1、2、......、nの場合があります）。 -＆gt; Œ±：最急降下法の学習率。
コスト関数をパラメーター推定値の関数として表示します。つまり、仮説関数のパラメーターの範囲と、特定のパラメーターセットの選択から生じるコストを表示します。チャートのピットに移動して、最小値を見つけます。それを行う方法＆＃8212;上の図で説明されているように、コスト関数の導関数を取ります。最急降下法は、最急降下法に向けてコスト関数を下げます。各ステップのサイズは、学習率として知られるパラメータŒ±によって決定されます。
最急降下アルゴリズムでは、2つの結論を導き出すことができます。 ：
- 勾配が+veの場合：Œ∏ j =Œ∏ j ＆＃8212; （+ ve値）。したがって、Œ∏ jの値は減少しています。
- 勾配が-veの場合：Œ∏ j =Œ∏ j ＆＃8212; （-ve値）。したがって、Œ∏ jの値が増加します。
- Œ±を選択した場合非常に大きい場合、最急降下法は最小値を超える可能性があります。収束または発散しない場合があります。
- 最急降下法を非常に小さいものとして選択すると、最急降下法は極小値に到達するまでに小さなステップを踏み、最小値に到達するまでに時間がかかります。
正しい学習率を選択することは、最急降下法が妥当な時間で収束することを保証するため、非常に重要です。：
線形回帰の場合、コスト関数のグラフは常に凸です。
注：最急降下法は、正則化を使用して実装されることもあります。