最適化手法とは,利益,損失などの望ましい,あるいは望ましくない値を最大,または最小にするように設計する手法である。従来から経営学やオペレーションズリサーチ(OR)の中心テーマであったが,計算機技術の進歩によって過去には不可能と思われた複雑な問題が実際的な時間で解けるようになり,今日ではあらゆる工学分野,特に電子,情報,通信技術の設計のほとんどに浸透している。
近年最適化は経営学やORを越えてあらゆる工学の分野で応用されるようになった。その最大の理由は、計算機技術の進歩によって過去には不可能と思われた多変数の複雑な最循化問題が実際的な時間で解けるようになったことである。特に今日では、以前は机上の空論と思われていたベイズ推定を始めとする統計的最適化、サポートベクトルマシンやEMアルゴリズムを始めとする機械学習法、ニューラルネットワークなど多くの手法が実際の問題に適用されている。
