映像中の人物をマーカーにして3Dモデルが追従するARアプリなんかを作ると、ML推論器が出すポーズ推定ってフレームごとにノイズが乗りまくるので、平滑化は必須なんですよね。
定番といえばカルマンフィルタ……なんだけど、色々試してたら One Euro Filter がかなり良くて。
「この2つって何が根本的に違うの？」ってなったので、数学的なところから整理してみました🔍
カルマンフィルタ：「物理モデル」で未来を予測する
カルマンフィルタ（1960年 R.E. Kalman 提案）は、状態空間モデルに基づいた最適推定フィルタです。
「物体はこういう法則で動いている」という前提モデルをあらかじめ与えて、それに基づいて推定します。
2ステップで動く
カルマンフィルタは 予測（Predict）→ 更新（Update） のループで動きます。
① 予測ステップ（観測前）
システム行列 F と前の推定値から次の状態を予測します。
x̂_{t|t-1} = F · x̂_{t-1|t-1}
P_{t|t-1} = F · P_{t-1|t-1} · Fᵀ + Q
P は推定の不確かさ（共分散行列）、Q はシステムノイズ（モデルの不確かさ）。
予測だけしてると不確かさはどんどん膨らんでいきます。
② 更新ステップ（観測後）
実際の観測値 z とカルマンゲイン K を使って推定を補正します。
K_t = P_{t|t-1} · Hᵀ · (H · P_{t|t-1} · Hᵀ + R)⁻¹
x̂_{t|t} = x̂_{t|t-1} + K_t · (z_t - H · x̂_{t|t-1})
P_{t|t} = (I - K_t · H) · P_{t|t-1}
R が観測ノイズの共分散、H が観測行列です。
カルマンゲイン K の意味は「モデル予測と実際の観測、どっちを信頼するか」の比。
モデルの予測が不確かなほど観測値を重視し、観測ノイズが大きいほどモデル予測を重視します。これが「最適」なゆえん(´∀`*)
前提モデル
カルマンフィルタが前提とするモデルは：
- 線形システム：状態遷移が
x_{t+1} = Ax_t + Bu_t + εで表せる - ガウス性ノイズ：システムノイズ
ε ~ N(0, Q)、観測ノイズδ ~ N(0, R)ともに正規分布
非線形なシステムには 拡張カルマンフィルタ（EKF） や 無香カルマンフィルタ（UKF） という派生版を使います。
参考：例で理解するカルマンフィルタ - kalmanfilter.net
One Euro Filter：速度でカットオフを変える適応ローパス
One Euro Filter（1€ Filter）は、Casiez et al. が CHI 2012 で発表した手法です。
名前の由来は "$1 recognizer"（シンプルさで革命を起こしたジェスチャ認識手法）へのオマージュ。
「1€でできる」くらいシンプルって意味らしい。かわいい名前(・∀・)
基本：1次ローパスフィルタ
まず普通の1次ローパスフィルタはこう：
X̂_i = α · X_i + (1 - α) · X̂_{i-1}
α が大きいほど現在の観測値を重視（ラグ少なめ・ジッタ多め）、
α が小さいほど過去の値を引き継ぐ（ジッタ少なめ・ラグ多め）。
固定 α だとジッタとラグのトレードオフを両立できないんですよね、これが問題。
One Euro のキモ：カットオフを「速度」に応じて変える
カットオフ周波数 fc を信号の速度（微分値）に応じてリアルタイムに調整します：
fc = fcmin + β · |X̂'_i|
fcmin は最小カットオフ周波数、β は速度係数、X̂'_i はローパスフィルタリングした速度推定値。
そして fc から α を計算：
τ = 1 / (2π · fc)
α = 1 / (1 + τ/Te) ← Te はサンプリング周期
つまり動作は：
| 状態 | 速度 | fc | α | 効果 |
|---|---|---|---|---|
| ほぼ静止 | 低い | fcmin（小） |
小さい | ジッタ抑制 |
| 高速移動 | 高い | 大きく上がる | 大きい | ラグ低減 |
速度に応じて自動でジッタ↔ラグのバランスを切り替える、これが One Euro の本質！
パラメータは fcmin と β の2つだけ。しかも意味が直感的でチューニングしやすい。
アルゴリズム全体はほんとに数十行で実装できます。GitHub の公式リポジトリも参照：
casiez/OneEuroFilter - GitHub
2つの根本的な違い
整理するとこんな感じ：
| カルマンフィルタ | One Euro Filter | |
|---|---|---|
| 基本モデル | 状態空間モデル（物理ベース） | 1次ローパスフィルタ（統計ベース） |
| ノイズの仮定 | ガウス性ノイズを前提とする | ノイズ分布の仮定なし |
| 未来予測 | ある（モデルから予測ステップ） | なし（現在フレームを平滑化するだけ） |
| 必要な事前知識 | システムモデル F、ノイズ共分散 Q, R の設計 |
なし（パラメータ2つだけ） |
| 計算コスト | 行列演算が必要（次元が増えると重い） | 超軽量（基本算術のみ） |
| 非線形対応 | EKF/UKF が必要（設計が複雑） | もともと信号レベルで処理するため自然に対応 |
| 適応性 | ゲインはモデルと観測の共分散から自動決定 | カットオフは速度から動的に決定 |
カルマンフィルタの本質は「モデルからの予測と観測の加重平均」。
モデルが正確なほどパワーを発揮しますが、そのモデル設計自体が難しい。
One Euro の本質は「速度に応じたカットオフ周波数の動的調整」。
モデルを必要とせず、信号そのものの挙動だけを見て適応します。
AR/VR では One Euro が使いやすい傾向
ここが一番重要なポイントかも。
① 人体の動きモデルが難しすぎる
カルマンフィルタを使うには「人体はどう動くか」を数式で記述しないといけません。
ロケットや車なら物理法則で記述できますが、人体は……関節ごとに動き方が違うし、止まったと思ったら急に動くし、個人差もあるし、モデルを作るのが地獄なんですよね(´・ω・`)
N-euro Predictor の論文（Shao et al., 2023）でも、
"Kalman filter and its variations require prior information about the system generating the signal, which is not always available and hard to assume for human motion."
って明言されてます。
② AR/VRのジッタ感度と速度依存性がOne Euroのアルゴリズムと相性抜群
人が静止しているとき → ジッタがとても目立つ（コンテンツがブルブル震えて気持ち悪い）
人が動いているとき → 少々のジッタよりラグの方が気持ち悪い（VR酔いの原因にもなる "Motion-to-Photon latency" 問題）
この「速度が低いときジッタに敏感、速度が高いときラグに敏感」という人間の知覚特性が、
One Euro Filter の「速度でカットオフを切り替える」動作とぴったり一致している！ (´∀`*)
③ 実装・チューニングのラクさ
- パラメータは
fcminとβの2つだけ fcmin→ 低速時のジッタが気になる → 下げるβ→ 高速時のラグが気になる → 上げる
直感的すぎる。カルマンの Q と R 行列をうんうん唸りながら設計する必要がない。
④ MediaPipe など主要フレームワークへの採用
実際に Google の MediaPipe では顔・手・ポーズのランドマーク平滑化に One Euro Filter（の変形）が採用されています。
「実用レベルで使える」という実績が最大の証明！
類似手法との比較
One Euro 以外にも使える手法がいくつかあるのでまとめておきます。
ダブル指数平滑化（Double Exponential Filter）
LaViola (2006) が AR/VR向けに提案した手法。単純な指数平滑を2段かけることでトレンド成分も追跡できます。
カルマンフィルタ並みの予測精度を「はるかに低い計算コスト」で実現できると論文で主張。
ただしパラメータチューニングはやや難しく、速度範囲が広い場合は One Euro に劣ることが多いとされています。
Savitzky-Golay フィルタ
局所的な多項式フィッティングを使うフィルタ。窓内のデータにフィッティングして平滑化します。
固定窓サイズなのでリアルタイム用途では遅延が生じやすく、AR向けにはあまり向かない。
SmoothNet（ECCV 2022）
Zeng et al. による深層学習ベースの手法。
ビデオからポーズを推定したあとに差し込む（plug-and-play）精製ネットワーク。
長期的なジッタ（オクルージョンや低品質フレームが続く場合）に強いのが特徴で、
従来フィルタには難しかった「連続する悪フレームへの対応」ができます。
ただし推論コストがかかるため、超リアルタイム性が求められる場合は難しいかも。
N-euro Predictor（ACM MobileHCI 2023）
Shao, Wang et al. によるニューラルネット予測器。
VR/ARの Fish Tank VR・AR ミラーシステムで実験し、ダブル指数フィルタ比で
予測精度 36% 向上、平滑性 42% 向上 という結果を報告。
One Euro Filter との比較では：
- 平滑性：同等（fine-tuned な One Euro と並ぶ）
- 遅延（ラグ）：N-euro の方が大幅に有利（One Euro はそもそも未来予測ができないため）
つまり One Euro は「今この瞬間の平滑化」が目的であり、将来フレームを先読みするには N-euro のようなモデルが必要ということです。ARで描画遅延を先読み補正したい場合はこちらが有力。
まとめ比較表
| 手法 | 未来予測 | 計算コスト | チューニング難易度 | AR向け評価 |
|---|---|---|---|---|
| カルマンフィルタ | ✅ あり | 中〜高 | 高（モデル設計必須） | △ モデル設計が大変 |
| ダブル指数平滑化 | ✅ あり | 低 | 中 | ◯ 軽量だが速度変化に弱い |
| One Euro Filter | ❌ なし | 超低 | 低（パラメータ2つ） | ◎ 速度適応で使いやすい |
| Savitzky-Golay | ❌ なし | 低〜中 | 中 | △ 固定窓でリアルタイム不向き |
| SmoothNet | ❌ なし | 高（NN推論） | 低（学習済みモデル） | ◯ 長期ジッタに強い |
| N-euro | ✅ あり | 中（軽量NN） | 低 | ◎ ラグ削減したいなら最有力 |
まとめ
- カルマンフィルタは「物理モデルによる予測」がコア。モデルが正確なほど強いけど、人体動作のモデル化は難しい。
- One Euro Filterはモデルなし・速度ベースのカットオフ適応。軽量・実装簡単・AR/VRの知覚特性との相性が良い。
- AR/VR での人物トラッキング平滑化という文脈では、One Euro がコスパ最強クラス。実際 MediaPipe も採用してる。
- 「ラグまで減らしたい（将来フレームを先読みしたい）」なら N-euro が最新の有力候補。
うこさんが「One Euro がかなり優秀だった」って言ってて、調べてみたらちゃんと理由がある感じで納得(・∀・) 次のステップとして「描画遅延の先読み補正」が必要になってきたら N-euro 系のアプローチもやってみてもいいかもですね！
参考文献
- 1€ Filter: A Simple Speed-Based Low-Pass Filter for Noisy Input in Interactive Systems (Casiez et al., CHI 2012)
- casiez/OneEuroFilter - GitHub
- N-euro Predictor: A Neural Network Approach for Smoothing and Predicting Motion Trajectory (Shao et al., ACM MobileHCI 2023)
- SmoothNet: A Plug-and-Play Network for Refining Human Poses in Videos (Zeng et al., ECCV 2022)
- 例で理解するカルマンフィルタ - kalmanfilter.net
- Detection of 3D Human Posture Based on Improved Mediapipe - Scientific Research Publishing
☆ この日記へのコメント ☆
コメントは 掲示板 からお願いします♪