セルバーグ跡公式（セルバーグあとこうしき、Selberg trace formula）とは、Selberg (1956) で導入された、二乗可積分函数の空間 L2(G/Γ) 上の G のユニタリ表現の指標の表現である。ここに G はリー群で Γ は余有限 (cofinite) な離散群とする。指標は、G 上のある函数のトレースにより与えられる。
Γ が余コンパクト（英語版）な場合とは、離散的な和へ表現が分解するときのことを言う。ここで、跡公式とは、有限群の誘導表現の指標のフロベニウス公式（英語版）(Frobenius formula)の拡張である。Γ が実数 G=R の余コンパクト部分群 Z のときには、セルバーグ跡公式は本質的にポアソンの和（英語版）である。
G/Γ がコンパクトでないときは、アイゼンシュタイン級数を使い記述された連続スペクトルとなり、より難しくなる。セルバーグは、G が群 SL2(R) の非コンパクトの場合に結果をもたらし、さらに高いランクの群への拡張がアーサー・セルバーグ跡公式（英語版）(Arthur-Selberg trace formula)である。
Γ がリーマン面の基本群のとき、セルバーグ跡公式は、リーマン面の測地線の長さを意味する幾何学的データの項にラプラシアンのような微分作用素のスペクトルを書き表す。この場合にはセルバーグ跡公式は、リーマンの明示公式に似た形となり、素数のリーマンゼータ函数のゼロ点に関係し、ゼータのゼロ点はラプラシアンの固有値に対応し、素数は測地線に対応する。この類似に動機を得て、セルバーグはリーマン面のセルバーグゼータ函数を導入し、解析的な性質は、このセルバーグ跡公式にエンコードされる。
コンパクトなリーマン面（英語版） S の場合は、特に興味をもたれている場合である。1956年にアトル・セルバーグ(Atle Selberg)が最初に論文を出したときは、ラプラス微分作用素とそのベキがこの場合を扱った。ラプラシアンのベキのトレースは、セルバーグゼータ函数を使い定義することができる。この場合の興味は、得られた公式と素数の理論の L-函数の明示公式との関係である。そこでは S 上の閉じた測地線が素数の役割を担う。
同時に、ヘッケ作用素のトレースも、セルバーグとマルティン・アイヒラー（英語版）(Martin Eichler)のアイヒラー・セルバーグ跡公式(Eichler-Selberg trace formula)と関連していて、ヘッケ作用素は与えられたウェイトのモジュラー群の合同部分群（英語版）に対しカスプ形式のベクトル空間の上に作用する。ここに、同一視する作用素のトレースは、ベクトル空間の次元、すなわち、与えられたモジュラー形式の空間の次元であり、リーマン・ロッホの定理により伝統的な方法の計算で求めることができる。
跡公式は数論幾何や数論へ応用される。例えば、アイヒラー・志村の定理を使い、モジュラー曲線の{ハッセ・ヴェイユのL-函数を計算する。志村五郎の解析を使う方法は、跡公式を使うことを意味している。アイヒラーコホモロジー（放物コホモロジーとも言う）の発展は、純粋に群コホモロジーの設定に基礎を持つ代数的設定を与えるので、非コンパクトなリーマン面やモジュラ曲線のカスプを考えることができるようになった。
また、跡公式は純粋に微分幾何学への応用も持っている。例えば、ブーサー(Buser)の結果により、リーマン面の長さスペクトル（英語版）(length spectrum)は、本質的には跡公式により、同じスペクトルを持つ不変量である。
跡公式は、しばしば、リー群というよりもアデール上の代数群の上で使われる。理由は、跡公式が対応する離散部分群 Γ を、それ以前に開発されたテクニックのより容易な体の上の代数群の上に置き換えるからである。
理論の現在の一番成功している公式はアーサー・セルバーグ跡公式（英語版）(Arthur-Selberg trace formula)で、一般の半単純な G の場合に適用される。多くの跡公式の研究はラングランズ哲学の中でエンドスコピー（英語版）(endoscopy)というテクニックを使う。セルバーグの跡公式は、アーサー・セルバーグ跡公式から導き出すことが可能である。（パームを参照）
コンパクトな双曲曲面 を、軌道の空間として、次のように書くことができる。
ここに、 は の部分群で、 は上半平面であり、 へは線型分数変換として作用する。
この場合のセルバーグの跡公式は、一般の場合よりも容易である。何故ならば、曲面がコンパクトであるから、連続スペクトルが存在せず、群 Γ は（同一視を除き）放物型かもしくは楕円型となるからである。
すると、X 上のラプラス・ベルトラミ作用素のスペクトルは離散的となり、ラプラス作用素はコンパクトなレゾルベント(resolvent)を持つ自己随伴作用素であるので、スペクトルは実数となる。
ここに、固有値 はラプラシアンの Γ-不変な固有函数 である。言い換えると、
変数を代入して、
とすると、固有値はラベル付けされる。
するとセルバーグ跡公式は次のように与えられる。
上式の右辺は、群 Γ の共役類を渡る和であり、第一項は同一視の元に対応していて、残りのほかの項は共役類 を渡る和を構成している（この場合はすべて双曲的である）。函数 は 上で解析的であり、次を満たす。
ここに と は正の定数である。函数 は のフーリエ変換である。つまり、
である。
