ОКРЕМІ ВИПАДКИ ЗАДАЧ ОПТИМАЛЬНОГО СТОХАСТИЧНОГО КЕРУВАННЯ
1.Зовнішній інтеграл
Функції
і
можуть бути довільними, а математичні сподівання можна обчислювати, якщо
як функція від
є вимірною.
Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція
може виявитися невимірною. У цьому випадку математичне сподівання невизначено.
Для розв’язання цієї проблеми застосовують два підходи. Перший полягає в накладенні на функції
і
таких обмежень, які забезпечували б вимірність підінтегральної функції на кожному кроці оптимізації
: функції
і
,
, повинні бути неперервними по своїх аргументах і повинна існувати щільність імовірності розподілу випадкової величини
, а множини
значень припустимих стратегій повинні бути компактними.
На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.
Позначимо через
простір елементарних подій, що є довільною множиною, а
– деяка система підмножин множини
.
Математичним сподіванням випадкової величини
, заданої на імовірнісному просторі
, називається число
, якщо інтеграл з правої частини існує.
Нехай
і
– борелівські простори,
,
є
-алгеброю в
. Функція
називається
-вимірною, якщо
для будь-якої множини
. Тут
– борелівська
-алгебра простору .
Для функції
, (
) зовнішній інтеграл за мірою
визначається як нижня грань інтегралів від всіх вимірних функцій
(
), що мажорують
, тобто
,
.
Тут
– функція розподілу випадкової величини
, що відповідає ймовірнісній мірі
.
Для довільної функції
має місце співвідношення:
,
де
,
, і вважають, що
.
Оскільки зовнішній інтеграл визначений для будь-якої функції, як для вимірної, так і для невимірної, то ніяких додаткових обмежень на функції
і
накладати не треба.
Для вимірних функцій обидва види математичних сподівань співпадають. Отже, у постановках задач можна замінити звичайне математичне сподівання на зовнішнє, і навіть якщо знайдена при цьому функція
виявиться вимірною, то отримана стратегія керування не перестане бути оптимальною.
Зовнішня міра множини
визначається співвідношенням
.
Для будь-якої множини
,
де
– це індикатор множини
, що визначається як
а) якщо
, то
;
б) якщо
і
, то
;
в) якщо
або
, то
;
г) якщо
задовольняє рівності
, то для будь-якої функції
має місце рівність ;
д) якщо
, то
для будь-якої функції
;
е) якщо
і
, то
. Якщо при цьому хоча б одна з функцій
або
-вимірна, то останнє співвідношення вірно зі знаком рівності.
Позначимо через
дійсну пряму, а через
– розширену дійсну пряму і надалі у всіх висновках замість дійсної прямої використовуватимемо поняття розширеної дійсної прямої.
Вважатимемо, що для розширеної дійсної прямої мають місце всі співвідношення порядку додавання і множення, які було введено для
, і припустимо, що
і
.
Позначимо через
множину всіх дійсних у розширеному розумінні функцій
, де
– простір станів.
– банахів простір всіх обмежених дійсних функцій
з нормою, що визначається за формулою
,
.
Позначатимемо
, якщо
,
,
і
, якщо
,
, .
Для будь-якої функції
і будь-якого числа
позначимо через
функцію, що приймає значення
в кожній точці
, так, що
,
.
Припущення монотонності. Для будь-яких станів
, керування
і функцій
мають місце нерівності
якщо
і
;
, якщо
і
;
, якщо
,
і .
Для будь-якого
стратегія
називається
-оптимальною при горизонті
, якщо
і
-оптимальною, якщо
Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:
· задачі детермінованого оптимального керування;
· задачі стохастичного керування зі зліченним простором збурень;
· задачі стохастичного керування із зовнішнім інтегралом;
· задачі стохастичного керування з мультиплікативним функціоналом витрат;
· задачі мінімаксного стохастичного керування.
2. Детерміноване оптимальне керування
Розглянемо відображення
, що задане формулою
,
,
,
(1)
за таких припущень:
функції
і
відображають множину
відповідно в множини
і
, тобто
,
; скаляр додатний.
За цих умов відображення
задовольняє припущенню монотонності. Якщо функція
дорівнює нулю, тобто
,
, то відповідна
-крокова задача оптимізації (1) набуває вигляду:
, (2)
. (3)
Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:
, (4)
. (5)
Границя в (4) існує, якщо має місце хоча б одна з наступних умов:
·
,
,
;
·
,
,
;
·
,
,
,
і деякого .
У задачі (4) – (5) може бути уведене додаткове обмеження на стан системи
,
. У такому разі, якщо
, позначатимемо .
3. Оптимальне стохастичне керування: зліченний простір збурень
Розглянемо відображення
, що задане формулою
, (6)
за таких припущень:
параметр
приймає значення зі зліченної множини
з заданим розподілом ймовірностей
, що залежать від
і
; функції
і
відображають множину
відповідно в множини
і
, тобто
,
; скаляр додатний.
Якщо
,
, – елементи множини
,
– довільний розподіл ймовірностей на
, а
– деяка функція, то математичне сподівання визначається за формулою
,
де
,
,
.
Оскільки
, то математичне сподівання
визначене для будь-якої функції
і будь-якого розподілу ймовірностей
на множині .
Зокрема, якщо
,
,… – розподіл ймовірностей
на множині
, то формулу (6) можна переписати так:
При використанні цього співвідношення треба пам’ятати, що для двох функцій
,
рівність
має місце, якщо виконується хоча б одна з трьох умов:
та
;
та
;
та
.
Відображення
задовольняє припущенню монотонності. Якщо функція
– тотожний нуль, тобто
,
, то за умови
,
, функцію витрат за
кроків можна подати у вигляді:
(7)
де
,
.
Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах
.
При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що
,
, і для довільних простору з мірою
, вимірної функції
і числа
має місце рівність .
Якщо виконується одна з двох нерівностей
або
,
то функцію витрат за
кроків
можна записати у вигляді:
,
де математичне сподівання обчислюється на добутку мір на
, а стани
,
, виражаються через
за допомогою рівняння .
Якщо функція
допускає подання у такому вигляді для будь-якого початкового стану
та будь-якої стратегії
, то
-крокова задача може бути сформульована так:
, (8)
. (9)
Відповідна задача з нескінченним горизонтом формулюється так:
, (10)
. (11)
Границя в (10) існує при виконанні будь-якої з трьох наступних умов:
·
,
,
, ;
·
,
,
, ;
·
,
,
,
,
і деякого .
Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл з
-алгеброю в множині
, що складається із всіх підмножин
, в залежності від вимірності або невимірності функцій.
Для багатьох практичних задач виконується припущення про зліченність множини
.
Якщо ж множина
незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання
для будь-якої функції
|