Bellman Denklemi

Bellman denklemi (Bellman equation), Richard Bellman'ın 1957 kitabında (*Dynamic Programming*, Princeton University Press) formalize ettiği **optimallik ilkesinin** matematiksel ifadesidir: optimal politika, başlangıç durum ve karara bakılmaksızın, sonraki kararların kalan duruma göre optimal politika oluşturması özelliğini taşır. Sonlu-aşamalı deterministik problem için V*(s) = max_a { r(s, a) + V*(s') } biçiminde yazılır; burada V*(s) durum s'den optimal toplam getiri, r(s, a) anlık ödül, s' a kararının ardından gelen durumdur. Sonsuz-ufuklu iskontolu problem için V*(s) = max_a { r(s, a) + γ E[V*(s')] } olur — γ ∈ (0, 1) iskonto faktörü. Stokastik karar süreçleri (Markov Decision Process, MDP) için Bellman ve Dreyfus (1962), Bertsekas (1995) *Dynamic Programming and Optimal Control* standart referanstır; Hamilton-Jacobi-Bellman PDE'si sürekli-zaman stokastik kontrol problemleri için aynı ilkenin diferansiyel biçimidir. Bellman denkleminin çözümü için klasik algoritmalar: value iteration (özyinelemeli güncelleme tablo üzerinde), policy iteration (Howard 1960 alternatif), linear programming reformülasyonu (Manne 1960). Bellman denklemi envanter (Wagner-Whitin lot-sizing 1958), ekipman değişimi (Bellman 1955), gezgin satıcı (Held-Karp DP 1962), portföy seçimi (Merton 1969) ve OR/CS'deki bütün dinamik programlama uygulamalarının ortak çekirdeğidir. Stokastik dual dynamic programming (SDDP, Pereira ve Pinto 1991) ve approximate dynamic programming (Powell 2007) yüksek boyutlu Bellman denklemleri için modern yaklaşımlardır.