最適化手法に関する論文

投稿者: | 2024年4月24日

榎本教授と中下さんによる論文が出版されました。

Enomoto, T and Nakashita, S. 2024: Application of exact Newton optimisation to the maximum likelihood ensemble filter. Tellus A, 75(1), 42–56. doi:10.16993/tellusa.3255

大気など場の状態を最適に推定するために、観測を予測に取り込んで修正します。観測を予測に馴染ませるという意味でデータ同化と呼んでいます。観測された量を場の変数に変換し、時空間内挿する操作は観測演算子と呼ばれていますが、変換と内挿をした値で置き換えるだけでは、予測に馴染まず最適な推定とはならないところがデータ同化の難しいところです。

アンサンブル変分法データ同化は、複数の予測を用いて日々の場の不確実性を定量化するとともに、反復最適化を用いて観測される量と場を表す量が非線型な関係にある場合でも適切な推定を行うことができます。反復最適化は機械学習でも用いられており、個人の好みに合ったAIの回答やおすすめの商品、広告、ニュースを提示することなどに利用されています。気象予測に用いられる場の自由度(点の数と変数の数の積)はざっと十億(109)で、これら相互の誤差を表す行列(誤差相関行列)は十億行×十億列で要素の数は百京(1018)と巨大です。ニュートン法では誤差相関行列の逆行列を求める必要がありますが、スーパーコンピュータを以てしても直接計算することはできません。十億の長さのベクトルならメモリに保持することができるので、ベクトル数個で計算できる共軛(きょうやく)勾配法や準ニュートン法が用いられます。一方アンサンブル数は百程度なので、ニュートン法を使った最適化ができます。

出版された論文では、共軛勾配法とニュートン法との比較を行っています。共軛勾配法では、降下方向に進む幅、ステップ幅を決める線型探索を併用しています。線型探索はニュートン法とも組み合わせることができますが、二次函数に対するステップ幅1に固定しています。二次方程式を厳密に解くという意味で厳密ニュートン法(標題のexact Newton)と呼んでいます。共軛勾配法は線型探索をうまく行えず、最適解を見つける前に反復が終了してしまうことがあるのに対し、ニュートン法は一時的に解から遠ざかっても最適化を継続することが分かりました。また最適化に用いる勾配を多くのアンサンブルメンバーから計算しても、解析的に計算したものには劣り、反復回数が多くなる傾向が明らかになりました。さらに、反復最適化は広く用いられているアンサンブルカルマンフィルタよりも、安定して精度の高い解析(データ同化結果)が得られることを示しました。勾配からは最適化をする方向が分かります。誤差相関行列の逆行列からは、曲率(曲がり具合)が得られます。共軛勾配法は直線的な勾配だけの情報を使いますが、ニュートン法はより高次の曲率の情報も合わせて使うことで、効率的な最適化ができます。ニュートン法は領域大気モデルや大気大循環モデルに適用され、良好な結果が得られています。今後は、このデータ同化システムを用いた研究を進めていきます。

なお、この論文の付録では最適化アルゴリズムの検証に使われる難しいベンチマーク函数として知られるローゼンブロック函数がニュートン法で数回、その派生型であるガウス・ニュートン法でわずか2回で収束することも説明されています。