Стохастическая аппроксимация — рекуррентный метод построения состоятельной последовательности оценок решений уравнений регрессии и экстремумов функций регрессии в задачах непараметрического оценивания. В биологии, химии, медицине используется для анализа результатов опытов. В теории автоматического управления применяется как средство решения задач распознавания, идентификации, обучения и адаптации^[1]. Основоположниками метода стохастической аппроксимации являются Кифер, Вольфовиц^[2], Робинс, Монро ^[3].

Поиск решения уравнения регрессии

Пусть каждому значению параметра соответствует измеряемая опытным путём случайная величина с функцией распределения , причем математическое ожидание величины при фиксированном параметре . Требуется найти решение уравнения регрессии . Предполагается, что решение уравнения регрессии единственно, а функции и неизвестны.

Процедура стохастической аппроксимации для получения оценок корня уравнения регрессии заключается в использовании полученной на основании опыта обучающей выборки измеряемых случайных величин .

Оценка искомого корня находится на основе предыдущей оценки с помощью обучающего значения измеренной случайной величины с помощью соотношения , где , - произвольное число^[3].

Если последовательность коэффициентов удовлетворяет условиям , , , то при оценка стремится по вероятности к корню уравнения .

При некоторых дополнительных требованиях к функции регрессии оценки могут сходится в среднеквадратическом к решению уравнения регрессии ^[4][5].

Примеры

• Твёрдость сплава меди с железом зависит от времени , в течение которого сплав подвергается воздействию высокой температуры. В этом случае измеряемой случайной величиной является твёрдость сплава , а задача состоит в определении времени , при котором сплав имеет заданную твёрдость ^[6].

Поиск экстремума функции регрессии

Оценка экстремального значения функции регрессии находится на основе предыдущей оценки и обучающих значений измеренной случайной величины и с помощью соотношения , где , - произвольное число, - последовательность положительных чисел, а последовательности и независимы и соответствуют значениям параметра и ^[2].

Если последовательности коэффициентов и удовлетворяют условиям , , при , , , , то при оценка стремится по вероятности к экстремальному значению функции регрессии.

При некоторых дополнительных требованиях к функции регрессии оценки могут сходится в среднеквадратическом к экстремуму функции регрессии^[5].

Примеры

• Урожайность участка земли зависит от количества удобрений . В этом случае измеряемой случайной величиной является урожайность , а задача состоит в определении количества удобрений , при котором участок земли имеет макcимальную урожайность^[6].

Примечания