ДОПОЛНИТЕЛЬНАЯ ТЕМАТИКА

Тема А. Элементы теории вероятности

1. Понятие вероятности. Общие свойства вероятности.

2. Основные формулы теории вероятности.

3. Понятие случайной величины. Дискретная и непрерывная случайная величина.

4. Понятие распределения случайной величины. Основные законы распределения.

Краткое содержание темы

Изложение содержания данной темы в настоящей работе не представляется целесообразным, так как его можно без труда найти в широком круге литературных источников, в том числе тех, которые перечислены в данной работе.

Тема Б. Нелинейное программирование

1. Постановка общей задачи нелинейного программирования.

2. Метод множителей Лагранжа.

3. Выпуклое программирование.

4. Градиентные методы.

5. Метод штрафных функций.

Краткое содержание темы

Постановка общей задачи нелинейного программирования состоит в следующем. Определить максимум (минимум) значения функции:

f(x₁ , x₂ , ..., x_n ) (Б.1)

при условии, что переменные удовлетворяют соотношениям:

, (Б.2)

где, f и g_i некоторые известные функции, b_i - заданные числа.

Решение этой задачи X * = (x₁ *, x₂ *, ..., x_n *), удовлетворяющее (Б.1) и (Б.2), такое, что для любого другого X = (x₁ , x₂ , ..., x_n ), удовлетворяющего (Б.2), имеем:

f(x₁ *, x₂ *, ..., x_n *) ³ f(x₁ , x₂ , ..., x_n ) - для задачи максимизации;

f(x₁ *, x₂ *, ..., x_n *) £ f(x₁ , x₂ , ..., x_n ) - для задачи минимизации.

Соотношения (Б.2) называются системой ограничений. Условия неотрицательности переменных могут быть заданы непосредственно. В евклидовом пространстве E ⁿ (Б.2) определяет область допустимых решений поставленной задачи (в отличие от задач линейного программирования эта область может быть не выпуклой).

Если область допустимых решений определена, то нахождение решения задачи (Б.1)-(Б.2) сводится к определению такой точки этой области, через которую проходит гиперповерхность наивысшего (наинизшего) уровня: f(x₁ , x₂ , ..., x_n ) = h.

Эта точка может быть как на границе, так и внутри области.

Процесс решения задачи в геометрической интерпретации включает этапы:

· определение области допустимых решений, соответствующих (Б.2) (если она пуста, то решений задачи - нет);

· построение гиперповерхности f(x₁ , x₂ , ..., x_n ) = h;

· определение гиперповерхности наивысшего (наинизшего) уровня или установление неразрешимости задачи из-за неограниченности (Б.1) сверху (снизу) на множестве допустимых решений;

· нахождение точки области допустимых решений, через которую проходит гиперповерхность наивысшего (наинизшего) уровня и определение в ней значения (Б.1).

Метод множителей Лагранжа

Общая постановка задачи состоит в нахождении максимума (минимума) функции: f(x₁ , x₂ , ..., x_n ) при условии: g(x₁ , x₂ ,...,x_n ) = b_i , i = 1, 2, ..., m.

Условия неотрицательности x_j могут отсутствовать. Имеем задачу на условный экстремум - классическая задача оптимизации.

Задача решается следующим образом. Вводят набор переменных l_i (i = 1, 2, ..., m) - множителей Лагранжа и составляют функцию:

.

Далее определяют частные производные:

(j = 1, 2, ..., n) и , (i = 1, 2, ..., m).

На следующем шаге рассматривают систему n + m уравнений:

Любое решение этой системы определяет точку , в которой может иметь место экстремум функции f (x₁ , x₂ , ..., x_n ). Таким образом, разрешив построенную систему, определяют все точки, в которых функция f может иметь экстремум. Дальнейшее исследование идет как в случае безусловного экстремума.

Итак, этапы решения задачи нелинейного программирования методом множителей Лагранжа заключаются в следующем:

1.Составляют функцию Лагранжа.

2.Находят частные производные функции Лагранжа по x_j и l_i и приравнивают их 0.

3.Решая полученную систему, находят точки, в которых целевая функция задачи может иметь экстремум.

4.Среди точек, подозрительных на экстремум, находят точки, в которых достигается экстремум, вычисляют значения f(x₁ , x₂ ,...,x_n ) в этих точках и среди них выбирают те, которые удовлетворяют условиям задачи.

Выпуклое программирование

Суть общей постановки задачи состоит в определении максимального (минимального) значения функции:

f(x₁ , x₂ , ...,x_n )

при условиях:

g_i (x₁ , x₂ , ..., x_n ) £ b_i (i = 1, 2, ..., m), x_j ³ 0 (j = 1, 2, ..., n).

Универсальных методов решения поставленной задачи в общем виде не существует. Однако, при определенных ограничениях решение этой задачи может быть найдено.

Несколько определений.

Функция f(x₁ , x₂ , ..., x_n ) на выпуклом множестве X называется выпуклой, если для любых двух точек X₂ и X₁ из X и любого 0 £ l £ 1, выполнено соотношение:

f[lX₂ + (1 - l)X₁ ] ³ lf(X₂ ) + (1 - l)f(X₁ ).

Множество допустимых решений удовлетворяет условию регулярности, если существует хотя бы одна точка X_i этой области такая, что g_k (X_i ) < b_k (k = 1, 2, ..., m).

Задача выпуклого программирования возникает, если функция f является вогнутой (выпуклой), а g_i - выпуклы.

Любой локальный максимум (минимум) является глобальным максимумом (минимумом). Наиболее характерным методом решения задач выпуклого программирования является метод множителей Лагранжа. При этом точка (X₀ , L₀ ) называется седловой точкой функции Лагранжа, если:

F(x₁ , x₂ , ..., x_n , ) £ F( )£

£ F( ), для всех x_j ³ 0 и l_i ³ 0.

Для задачи выпуклого программирования, множество допустимых решений которой обладает свойством регулярности, точка X₀ = ( ) является оптимальным решением тогда, когда существует такой вектор L₀ = ( ), что точка (X₀ , L₀ ) является седловой точкой функции Лагранжа, построенной для исходной задачи.

Для задачи определения максимума, условиями седловой точки будут:

(частные производные берутся в седловой точке).

Для задачи нахождения минимума седловая точка определяется соотношениями:

F( ) £ F( )£
£ F( ).

Условия седловой точки в этой задаче представляются в виде:

,

.

Градиентные методы

Градиентными методами можно найти решение любой задачи нелинейного программирования. Однако в общем случае эти методы позволяют найти точку локального экстремума. Наиболее целесообразным является использование этих методов для решения задач выпуклого программирования, где всякий локальный экстремум является глобальным.

Суть метода заключается в том, что начиная от некоторой точки X^(k) осуществляется последовательный переход к другим точкам до тех пор, пока не будет получено приемлемого решения исходной задачи. Методы можно разделить на две группы.

Первая группа, когда исследуемые точки не выходят за пределы области допустимых решений (здесь используется метод Франка-Вулфа).

Вторая группа, когда эти точки не обязательно входят только в область допустимых решений, однако в итерационном процессе такие точки будут. (Здесь используется метод штрафных функций и метод Эрроу-Гурвица).

Нахождение решения идет итерационным процессом до тех пор, пока градиент функции f(x₁ , x₂ , ..., x_n ) в очередной точке X^(k+1) не станет равным 0, или пока | f(X^(k+1) ) - f(X^(k) ) |< e, где e достаточно малое положительное число. Эту величину часто называют точностью полученного решения.

Метод Франка-Вулфа

Найти максимум вогнутой функции: f(x₁ , x₂ , ..., x_n ), при условии:

.

Здесь имеем линейные неравенства. Эта особенность является основой для замены в окрестности исследуемой точки нелинейной функции линейной, тогда решение исходной задачи сводится к последовательному решению ряда задач линейного программирования.

Начинается процесс решения с определения точки, принадлежащей области допустимых решений. Пусть это точка X^(k) . В ней вычисляют градиент функции f:

Ñf(X^(k) ) =

и строят линейную функцию:

F = .

Находят максимум функции F при сформулированных ограничениях. Пусть решение этой задачи Z(k). Тогда за новое допустимое решение принимают:

X^(k+1) = X^(k) + l_k (Z^(k) - X^(k) ),

где l_k ‑ некоторое число, называемое шагом вычислений (0 £ l_k £ 1). Число l_k - произвольное и выбирают его так, чтобы значение функции в точке X^(k+1) , зависящее от l_k , было максимальным. Для этого надо найти решение уравнения и выбрать его наименьший корень. Если корни уравнения больше 1, то берется l_k = 1. Затем определяют X^(k+1) и f(X^(k+1) ) и выясняют необходимость перехода к точке X^(k+2) . Если такая необходимость имеется, то в точке X^(k+1) вычисляют градиент целевой функции и переходят к соответствующей задаче линейного программирования и решают ее. Определяют координаты точки X^(k+2) и необходимость дальнейших вычислений. После конечного числа шагов получают с необходимой точностью решение исходной задачи.

Итак, этапы решения задачи методом Франка-Вулфа заключаются в следующем:

1. Определяют одно из допустимых решений.

2. Находят градиент функции f в точке допустимого решения.

3. Строят функцию F и находят ее максимальное значение при условиях исходной задачи.

4. Определяют шаг вычислений.

5. По формуле X^(k+1) = X^(k) + l_k (Z^(k) - X^(k) ) находят следующее допустимое решение.

Проверяют необходимость перехода к следующему допустимому решению. В случае необходимости переходят к этапу 2, если такой необходимости нет, то приемлемое решение найдено.

Метод штрафных функций

Пусть имеем вогнутую функцию f(x₁ , x₂ , ..., x_n ). Необходимо найти максимум этой функции при условиях: g_i (x₁ , x₂ , ..., x_n ) £ b_i , (i = 1, 2, ...,m), x_j ³ 0, где g_i - выпуклые функции.

Строится функция: F (x₁ , x₂ , ..., x_n ) = f (x₁ , x₂ , ..., x_n )+H (x₁ , x₂ , ..., x_n ), где функция H(x₁ , x₂ , ..., x_n ) определяется системой ограничений и называется штрафной функцией. Она может быть построена многими способами. Чаще всего эта функция строится в виде:

, где

a_i ‑ весовые коэффициенты,

q_i = b_i - g_i .

Используя H, последовательно переходят от одной точки к другой до тех пор, пока получится приемлемое решение. При этом координаты последующей точки находят по формуле:

(Б.3)

Из (Б.3) следует, что если предыдущая точка находится в области допустимых решений, то второе слагаемое в квадратных скобках равно 0, и переход к последующей точке определяется только градиентом целевой функции. Если же предыдущая точка не принадлежит области допустимых решений, то за счет указанного слагаемого на последующих итерациях достигается возвращение в область допустимых решений. При этом, чем меньше  _i , тем быстрее находится приемлемое решение, но точность определения решения снижается. Поэтому в начале  _i берут малым, постепенно увеличивая.

Итак, процесс решения включает этапы:

1. Определяют исходное допустимое решение.

2. Выбирают шаг вычислений.

3. Находят по всем переменным частные производные от целевой функции и функций, определяющих область допустимых решений задачи.

4. По (Б.3) определяют координаты точки - возможное новое решение.

5. Проверяют, удовлетворяют ли координаты найденной точки системе ограничений задачи. Если не удовлетворяют, то переходят к следующему этапу. Если координаты найденной точки определяют допустимое решение задачи, то исследуют необходимость перехода к последующему решению. Если такой переход необходим, то переходят к пункту 2, иначе решение найдено.

6. Устанавливаются значения весовых коэффициентов и переходят к этапу 4.