[Kaggle] ep.X - パラメータチューニング

tldr

パラメータチューニングについて勉強しまいした。

ハイパーパラメータの探索手法

  • 手動での調整
    計算時間は比較的かからないが、作業者がチューニングする手間がかかる
  • グリッドサーチ/ランダムサーチ
    グリッドサーチは、各パラメータに対して候補を定め、それらの組み合わせをすべて計算する方法です。ランダムサーチは、各パラメータに対して候補を定め、パラメータごとにランダムに選んだ組み合わせを作り、それを計算することを設定した回数だけ繰り返す方法です。BergstraandBengioによると、グリッドサーチよりもランダムサーチの方が効率が良いとのことです。
  • ベイズ最適化
    以前に計算したパラメータの履歴に基づいて、次に探索すべきパラメータをベイズ確率の枠組みを用いて選択する方法

チューニングで設定すること

  • ベースラインとなるパラメータ
  • 探索する対象となるパラメータ
  • 手動か自動か
  • 評価の枠組み

ベイズ最適化でのパラメータ探索

Kenta Kozuka
Kenta Kozuka
Software Engineer

東京で働くエンジニア

関連項目