Распознавание образов

1.2.3 Алгоритм наименьшей среднеквадратичной ошибки

Алгоритм персептрона и его модификации сходятся в тех случаях, когда заданные классы можно разделить поверхностью заданного типа. Если разделимость классов образов отсутствует, то рассмотренные алгоритмы не сходятся. Поскольку при наличии разделимости невозможно заранее рассчитать число шагов необходимое для сходимости алгоритма, то значит нельзя оценить наличие или отсутствие линейной разделимости заданных классов по наличию или отсутствию длинной обучающей последовательности. Поэтому актуальным является построение алгоритмов классификации, которые дают информацию о разделимости классов. Одним из таких алгоритмов и есть данный алгоритм НСКО.

По-прежнему, рассматривая постановку задачи распознавания образов в виде системы линейных неравенств (2.9), переформулируем ее следующим образом: вместо выполнения соотношения (2.9) потребуем выполнение равенства вида:

(2.15)

где , и .

Вводим целевую функцию вида:

(2.16)

где — модуль вектора .

Очевидно, что функция достигает минимума при выполнении условий (2.15), и поскольку минимизация проводится по обеим переменным и , то градиентный алгоритм первого порядка дает:

(2.17)

Т.к. на вектор не накладывается никаких ограничений, то приравняв первое из уравнений (2.60) нулю (т.е. используя необходимое условие экстремума) получим: систему нормальных уравнений:

(2.18)

Т.к. все компоненты вектора должны быть положительными, то его изменение следует производить только при выполнении этого условия, что достигается, если положить, что:

(2.19)

(2.20)

где: i — индекс компонент вектора;

с — коэффициент пропорциональности > 0.

Уравнение (2.20) в векторной форме запишется:

(2.21)

где: — вектор, составленный их абсолютных значений каждой компоненты вектора .

Из (2.18) и (2.19) следует, что:

(2.22)

(2.23)

приходим к заключительной форме алгоритма НСКО:

(2.24)

При этом:

1. Если неравенства имеют решение, то данный алгоритм сходится при , что имеет место, если , а вектор является решением задачи.

2. Если на некотором шаге k все компоненты вектора становятся неположительными (т.е. ), но не все равными нулю, то данные классы неразделимы с помощью решающих функций выбранного типа.

Высокая скорость сходимости алгоритма НСКО следует из того, что:

1. Изменение обеих векторов и производится на каждом шаге.

2. Процедура, определяемая соотношением (2.67) является адаптивной, т.к. на каждом шаге итерации учитывается информация о всех образах обоих классов.

К недостаткам следует отнести сложность вычислительной схемы, т.к. необходимо обращать матрицу (ХТХ). Данная матрица имеет обратную матрицу, если ранг матрицы Х равен n+1, что имеет место при компактном размещении классов, т.е. при наличии кластеров.

Классификация по расстоянию до ближайшего соседа

Другой подход при классификации заключается в отнесении неизвестного вектора признаков x к тому классу, к отдельному образцу которого этот вектор наиболее близок. Это правило называется правилом ближайшего соседа. Классификация по ближайшему соседу может быть более эффективна, даже если классы имеют сложную структуру или когда классы пересекаются.

При таком подходе не требуется предположений о моделях распределения векторов признаков в пространстве. Алгоритм использует только информацию об известных эталонных образцах. Метод решения основан на вычислении расстояния x до каждого образца в базе данных и нахождения минимального расстояния. Преимущества такого подхода очевидны:

  • в любой момент можно добавить новые образцы в базу данных;
  • древовидные и сеточные структуры данных позволяют сократить количество вычисляемых расстояний.

Кроме того, решение будет лучше, если искать в базе не одного ближайшего соседа, а k. Тогда при k > 1 обеспечивает наилучшую выборку распределения векторов в d-мерном пространстве. Однако эффективное использование значений k зависит от того, имеется ли достаточное количество в каждой области пространства. Если имеется больше двух классов то принять верное решение оказывается сложнее.

Что такое распознавание изображений?

Как всегда, давайте начнем с основ. Прежде всего, вы должны помнить, что распознавание и обработка изображений не являются синонимами. Обработка изображения означает преобразование изображения в цифровую форму и выполнение определенных операций с ним. В результате можно извлечь некоторую информацию из такого изображения.

Этапы обработки изображений:

  1. Обработка цветного изображения – обработка цветов.
  2. Улучшение изображения – улучшение качества изображения и извлечение скрытых деталей.
  3. Восстановление изображения – очистка изображения от пятен и других неприятных вещей.
  4. Представление и описание – визуализация данных.
  5. Получение изображения – захват и конвертация изображения.
  6. Сжатие и распаковка изображений – изменение размера и разрешения изображения.
  7. Морфологическая обработка – описание структуры объектов изображения.
  8.  Распознавание изображений – выявление особенностей объектов изображения.

Теперь вы видите, что распознавание изображений является одним из этапов обработки изображений. Те специфические особенности, которые были упомянуты, включают людей, места, здания, действия, логотипы и другие возможные переменные на изображениях. Следовательно, распознавание изображений – это процесс идентификации и обнаружения объекта в цифровом изображении и одно из применений компьютерного зрения. Иногда это также называют классификацией изображений, и это применяется в большом количестве отраслей.

Сервис для определения признаков в обучающей выборке

Мы предоставили простую возможность вычислить нужные данные с помощью данного сервиса. Использовать программы распознавания образов достаточно легко. Пользователи фактически получают доступ к нейронной сети для нужных вычислений, а также могут применять данный метод для ее обучения.

Задействуются функции правдоподобия для каждого используемого класса. В результате, объект при процедуре классификации относится к тому типу, где вероятность максимальна.

Кроме того, используется специальная формула, которая минимизирует потери от ошибок. Данная функция возвращает нужное число для полученных ошибок. Притом сервис позволяет увидеть, сколько мы теряем в среднем на основе условного и байесовского риска, для чего также используются отдельные формулы.

Такие алгоритмы распознавания применяются к задачам различной сферы. Например:

  • распознавание лиц, снятых на камеру;
  • распознавание отдельных изображений;
  • распознавание штрих-кодов, номеров машин, символов;
  • распознавание речи;
  • классификация документов и т.д.

Помимо этого, используется диагностическая матрица байесовского метода. В зависимости от заурядности признаков, в таблице появляются соответствующие столбцы на «да-нет». Выделение сегментации происходит согласно априорным диагнозам вероятностей. Именно в составлении данной таблицы, заключается процесс обучения мобильным роботом и формирование нейронов.

Само распознавание происходит благодаря принципу правдоподобия, который учитывает статистические свойства заданного вектора. Данное отношение используется также в других методах, например, Неймана-Пирсона, который применяется в случае, если априорная информация отсутствует. Однако именно способ Байеса получил свою популярность, благодаря тому, что в большинстве задач все же получается установить вероятности и потери.

С помощью сервиса пользователи смогут:

  1. Быстро решить задачу, используя обозначенный подход.
  2. Достаточно точно выполнить преобразования, даже если требуется распознавать довольно редкие диагнозы. Но в случае необходимости можно провести метод последовательного анализа, чтобы принятие решения было с определенной степенью риска.

В любом случае, обучение роботам необходимо, чтобы гипотезы, проведенные над исходными данными, получили доказательство.

1.2.1 Алгоритм персептрона и его модификации

Данный алгоритм следует из модели процесса обучения машины для распознавания двух классов, предложенный Розенблаттом и известный в виде устройства с именем персептрон.

Эта схема легко распространяется на случай разделения на несколько классов путем увеличения числа входящих в нее первичных элементов, т.е. если имеем , то:

— решающие функции(2.2)

и , если .

Основная модель персептрона может быть распространена и на случай нелинейных решающих функций введением соответствующих нелинейных преобразований.

Модель персептрона вида (2.2) сводится к следующему алгоритму: Пусть заданы два обучающих множества из классов и ; а — начальный вектор весов, выбранный произвольно.

Тогда k-й шаг обучения будет иметь вид:

1. Если и , то вектор весов заменяется:

(2.3)

где: С — корректирующее приращение.

2. Если и , то заменяется вектором:

(2.4)

3. В противном случае не изменяется, т.е.:

(2.5)

Иначе говоря, алгоритм вносит изменения в вектор весов тогда и только тогда, если образ, предъявленный на k-м шаге обучения был неправильно классифицирован с помощью соответствующего вектора весов. Очевидно, что алгоритм персептрона является процедурой типа «подкрепление-наказание», и поощрением является, по сути, отсутствие наказания. Таким образом:

1. если образ классифицирован правильно, то система подкрепляется тем, что в вектор не вносится никаких изменений.

2. если образ классифицирован неправильно и , когда должно быть > 0, то система «наказывается» увеличением значения весов на величину, пропорциональную .

3. если , когда оно должно быть < 0, то система наказывается противоположным образом.

Сходимость алгоритма наступает при правильной классификации всех образов с помощью некоторого вектора весов.

Изменяя в (2.3), (2.4) способ выбора корректирующего приращения С можно получить несколько модификаций алгоритма перцептрона среди которых выделяют: алгоритм фиксированного приращения

1. алгоритм коррекции абсолютной величины

2. алгоритм дробной коррекции

Если воспользоваться эквивалентной формой представления алгоритма перцептрона, для чего следует умножить образы одного из классов на -1 (например, класс ) в виде

(2.6)

то все указанные модификации алгоритма персептрона можно определить следующим образом:

1. коэффициент С=const >0, т.е. алгоритм фиксированного приращения

2. коэффициент С выбирается достаточно большим, что гарантирует правильную классификацию образов после коррекции коэффициентов весов, т.е. если , что соответствует неправильной классификации образов, то коэффициент С выбирается таким образом, чтобы

(2.7)

Одним из способов, обеспечивающих выполнение (2.7) является выбор С согласно следующему соотношению:

при

где: int(?) — наименьшее целое; N — число образов в выборке.

Это дает в итоге алгоритм коррекции абсолютной величины.

коэффициент С выбирается согласно соотношению, что делает алгоритм дробной коррекции:

, где (2.8)

что обеспечивает правильную классификацию образов после каждой коррекции коэффициентов весов.

Как ИИ помогает распознавать изображения?

Искусственный интеллект делает возможными все функции распознавания изображений. Чтобы дать вам лучшее понимание, вот некоторые из них:

1. Распознавание лиц.

С помощью ИИ система распознавания лиц сопоставляет черты лица с изображения, а затем сравнивает эту информацию с базой данных, чтобы найти совпадение. Распознавание лиц используется производителями мобильных телефонов (как способ разблокировки смартфона), социальными сетями (распознавание людей на изображении, которое вы загружаете, и их пометка), и т.д. Тем не менее, такие системы вызывают много проблем конфиденциальности, так как иногда данные могут быть собраны без разрешения пользователя. Кроме того, даже самые передовые системы не могут гарантировать 100% точность. Что если система распознавания лиц смешивает случайного пользователя с преступником? Это не то, чего кто-то хочет, но это все еще возможно. Однако технологии постоянно развиваются поэтому однажды эта проблема может исчезнуть.

2. Распознавание объектов.

Системы распознавания объектов выбирают и идентифицируют объекты из загруженных изображений (или видео). Визуальный поиск, вероятно, является наиболее популярным приложением этой технологии.

3. Распознавание образов.


Распознавание образов означает поиск и извлечение определенных рисунков в заданном изображении. Это могут быть текстуры, выражения лица и т.д.

4. Анализ изображения.

Вам нужно краткое изложение конкретного изображения? Используйте ИИ для анализа изображений. В результате все объекты изображения (формы, цвета и т. д.) будут проанализированы, и вы получите полезную информацию об изображении.

Задачи и методы распознавания, формула Байеса

Для того чтобы решить какую-либо задачу с минимальным количеством ошибок применяют системы распознавания образов, основанный на формуле Байеса. Обладая конечным списком, где указаны исторические данные об исследуемом объекте, сделать это намного проще. Такой метод является фундаментальным в результатах теории машинного обучения.

Формула относится к статистическим методам. Также, чтобы понять точнее, как именно работает принцип, нужно разобраться в основных понятиях вероятности. Притом если объем данных позволяет использовать именно данный метод, то он считается самым надежным и эффективным.

Основа заключается в том, что во время обработки данных при наличии априорных вероятностей, появление различных образов является случайным процессом. Притом описание события происходит следующим образом:

  • с помощью закона распределения некоего количества вероятностей;
  • используются многомерные величины, которые подаются в различной форме;
  • задав элементы выборки обучения, восстанавливаются характеристики изучаемой сферы.

Также стоит заметить, что формула может использоваться для задач распознавания образов даже в случаях, когда некоторое число признаков обладает дискретным и непрерывным распределением.

Все вычисления производятся через формулу Байеса, имеющую следующий вид:

Чтобы привести задачу к такому виду, используется определение условной вероятности:

Из чего можно сделать вывод:

Таким образом, применив соответствующие математические методы, получается нужная формула.

В ходе распознавания объектов применяется байесовский классификатор, который в качестве основы использует наблюдаемые признаки, и во время математической реализации, относит объекты к определенному классу, используя наибольшую вероятность.

Стоит также заметить, что нейросеть предполагает эффективную постройку нелинейных зависимостей. Наборы данных куда более точно описываются в результате обработки.

Существуют также другие теории распознавания образов, однако на данный момент метод Байеса является наиболее оптимальным.

Классификация

Классификация по форме

Когда встает задача выделить объекты по форме, должны быть заданы классификационные примитивы. В большинстве методов поиска в качестве примитивов используются круглые, эллиптические, прямоугольные или прямолинейные объекты.

Поиск по шаблону

Универсальным способом поиска по форме признан метод вписывания шаблона. Шаблон, имеющий форму, объекты которой необходимо выделить, перемещается по изображению, рассчитывается характеристика положения, и там, где показатель этой характеристики превышает некоторый порог – может находиться объект искомой формы.

Рис. 1. Обход картинки шаблоном

Рис. 2. Определение вероятного местоположения

Техника расчета характеристики может быть различна. Чаще всего используется среднеквадратичная разность значений яркости изображений шаблона и анализируемого кадра.

diff=∑i=∞(pixelI1i−pixelI2i)⋅(pixelI1i−pixelI2i)n−1(1){\displaystyle diff=\frac{\sqrt{\sum_{i=0}^\infty\left(pixelI1_i-pixelI2_i\right)\cdot\left(pixelI1_i-pixelI2_i\right)}}{n-1} \quad \quad {\color{Maroon}(1)} \,\!}

Недостатком этого метода является его ресурсоемкость. Требуется неоднократное непоследовательное обращение к одним и тем же фрагментам памяти изображения. К тому же, изображение шаблона не является динамически масштабируемым – то есть, если объект в кадре несколько меньше или больше шаблонного – он, скорее всего не будет выделен. Решением данной проблемы может быть поиск объектов по аналитической зависимости, описывающей их форму.

Поиск по аналитическому описанию формы

Распространена практика поиска объектов по форме, имеющей аналитическое описание. Например, эллипс (или его частный случай – окружность) могут быть описаны несложной формулой из курса аналитической геометрии.

x2a2+y2b2=R2(2){\displaystyle {\frac {x^{2}}{a^{2}}}+{\frac {y^{2}}{b^{2}}}=R^{2}\quad \quad {\color {Maroon}(2)}\,\!}

По аналогии с методом поиска по шаблону для большинства точек изображения рассматривается их характеристика – в нее включаются значения яркостей точек, положение которых удовлетворяет аналитической зависимости.


Рис. 3. Вписывание эллипса в совокупность точек

В остальном этот метод аналогичен методу поиска по шаблону. Однако, ситуация когда объект искомой формы расположен в кадре нужным образом достаточно редка. Чаще всего отдельные элементы заслоняются или просто не видны, объект повернут и вообще мало похож на свою форму по аналитической зависимости или шаблону. В такой распространенной ситуации можно пытаться выделять отдельные фрагменты формы, например прямые линии.

Классификация по положению

Одним из наиболее наполненных эвристикой направлений в теории распознавания образов являются методы поиска по положению. В частности, при поиске лиц или других фрагментов тел в области кадра принимается допущение, что искомые области представляют собой продолговатые, чаще всего вытянутые в вертикальном направлении совокупности пикселей близких по яркости. Таким же образом используется множество других допущений относительно взаимного местоположения объектов – если на некий объект были нанесены легко отыскиваемые метки, или некие детали, изначально содержимые объектом, значительно проще классифицировать, чем весь объект в целом, то, обнаружив эти метки или детали, можно классифицировать содержащий их объект. То есть, если существует устойчивый метод выделения в кадре, например, глаз человека или носа, то можно по этим деталям сделать предположение, где находится все остальное. Исключения составляют атипичные случаи, когда объект в кадре обладает нетривиальным сочетанием этих деталей в неподходящих для распознавания положениях.

Многие объекты можно классифицировать в зависимости от их цвета: они либо постоянно имеют определенную окраску, либо в некоторые моменты их окраска может быть регламентирована достаточно четко. Более того, в связи с тем, что существует множество базисов представления цветовых компонент (RGB, YUV, YCrCb, HSV и т.д.), нередки случаи, когда в том или ином базисе данный объект можно классифицировать практически безошибочно. Однако информация о том, какой базис использовать и как лучше организовать поиск объекта, имея в распоряжении изображение в данном базисе, зачастую может быть получена исключительно экспериментальным путем.

Базовые положения теории распознавания образов

Распознавание образов (объектов, сигналов, ситуаций, явлений или процессов) — задача идентификации объекта или определения каких-либо его свойств по его изображению (оптическое распознавание) или аудиозаписи (акустическое распознавание) и другим характеристикам.

Одним из базовых является не имеющее конкретной формулировки понятие множества. В компьютере множество представляется набором неповторяющихся однотипных элементов. Слово «неповторяющихся» означает, что какой-то элемент в множестве либо есть, либо его там нет. Универсальное множество включает все возможные для решаемой задачи элементы, пустое не содержит ни одного.

Образ — классификационная группировка в системе классификации, объединяющая (выделяющая) определенную группу объектов по некоторому признаку. Образы обладают характерным свойством, проявляющимся в том, что ознакомление с конечным числом явлений из одного и того же множества дает возможность узнавать сколь угодно большое число его представителей. Образы обладают характерными объективными свойствами в том смысле, что разные люди, обучающиеся на различном материале наблюдений, большей частью одинаково и независимо друг от друга классифицируют одни и те же объекты. В классической постановке задачи распознавания универсальное множество разбивается на части-образы. Каждое отображение какого-либо объекта на воспринимающие органы распознающей системы, независимо от его положения относительно этих органов, принято называть изображением объекта, а множества таких изображений, объединенные какими-либо общими свойствами, представляют собой образы.

Методика отнесения элемента к какому-либо образу называется решающим правилом

Еще одно важное понятие — метрика, способ определения расстояния между элементами универсального множества. Чем меньше это расстояние, тем более похожими являются объекты (символы, звуки и др.) — то, что мы распознаем

Обычно элементы задаются в виде набора чисел, а метрика — в виде функции. От выбора представления образов и реализации метрики зависит эффективность программы, один алгоритм распознавания с разными метриками будет ошибаться с разной частотой.

Обучением обычно называют процесс выработки в некоторой системе той или иной реакции на группы внешних идентичных сигналов путем многократного воздействия на систему внешней корректировки. Такую внешнюю корректировку в обучении принято называть «поощрениями» и «наказаниями». Механизм генерации этой корректировки практически полностью определяет алгоритм обучения. Самообучение отличается от обучения тем, что здесь дополнительная информация о верности реакции системе не сообщается.

Адаптация — это процесс изменения параметров и структуры системы, а возможно — и управляющих воздействий, на основе текущей информации с целью достижения определенного состояния системы при начальной неопределенности и изменяющихся условиях работы.

Обучение — это процесс, в результате которого система постепенно приобретает способность отвечать нужными реакциями на определенные совокупности внешних воздействий, а адаптация — это подстройка параметров и структуры системы с целью достижения требуемого качества управления в условиях непрерывных изменений внешних условий.

Примеры задач распознавания образов:

  • pаспознавание букв;
  • pаспознавание штрих-кодов;
  • pаспознавание автомобильных номеров;
  • pаспознавание лиц и других биометрических данных;
  • pаспознавание изображений;
  • pаспознавание речи.

Что такое распознавание образов?

Важность
такой постановки для технических наук
не вызывает никаких сомнений и уже это
само по себе оправдывает многочисленные
исследования в этой области. Однако
задача распознавания образов имеет и
более широкий аспект для естествознания
(впрочем, было бы странно если нечто
столь важное для искусственных
кибернетических систем не u1080 имело бы
значения для естественных)

В контекст
данной науки органично вошли и поставленные
еще древними философами вопросы о
природе нашего познания, нашей способности
распознавать образы, закономерности,
ситуации окружающего мира. В
действительности, можно практически
не сомневаться в том, что механизмы
распознавания простейших образов, типа
образов приближающегося опасного
хищника или еды, сформировались
значительно ранее, чем возник элементарный
язык и формально-логический аппарат. И
не вызывает никаких сомнений, что такие
механизмы достаточно развиты и у высших
животных, которым так же в жизнедеятельности
крайне необходима способность различения
достаточно сложной системы знаков
природы. Таким образом, в природе мы
видим, что феномен мышления и сознания
явно базируется на способностях к
распознаванию образов и дальнейший
прогресс науки об интеллекте непосредственно
связан с глубиной понимания фундаментальных
законов распознавания. Понимая тот
факт, что вышеперечисленные вопросы
выходят далеко за рамки стандартного
определения распознавания образов (в
англоязычной литературе более
распространен термин supervised learning ),
необходимо так же понимать, что они
имеют глубокие связи с этим относительно
узким(но все еще далеко неисчерпанным)
направлением.

Уже
сейчас распознавание образов плотно
вошло в повседневную жизнь и является
одним из самых насущных знаний современного
инженера. В медицине распознавание
образов помогает врачам ставить более
точные диагнозы, на заводах оно
используется для прогноза брака в
партиях товаров. Системы биометрической
идентификации личности
в качестве
своего алгоритмического ядра так же
основаны на результатах этой дисциплины.
Дальнейшее развитие искусственного
интеллекта, в частности проектирование
компьютеров пятого поколения, способных
к более непосредственному общению с
человеком на естественных для людей
языках и посредством речи, немыслимы
без распознавания. Здесь рукой подать
и до робототехники, искусственных систем
управления, содержащих в качестве
жизненно важных подсистем системы
распознавания .

Именно
поэтому к развитию распознавания образов
с самого начала было приковано немало
внимания со стороны специалистов самого
различного профиля — кибернетиков,
нейрофизиологов, психологов, математиков,
экономистов и т.д. Во многом именно по
этой причине современное распознавание
образов само питается идеями этих
дисциплин. Не претендуя на полноту (а
на нее в небольшом эссе претендовать
невозможно) опишем историю распознавания
образов, ключевые идеи.

Методы распознавания образов

В целом, можно выделить следующие методы распознавания образов:

  • Метод перебора. В этом случае производится сравнение с базой данных, где для каждого вида объектов представлены всевозможные модификации отображения. Например, для оптического распознавания образов можно применить метод перебора вида объекта под различными углами, масштабами, смещениями, деформациями и т. д. Для букв нужно перебирать шрифт, свойства шрифта и т. д. В случае распознавания звуковых образов, соответственно, происходит сравнение с некоторыми известными шаблонами (например, слово, произнесенное несколькими людьми).
  • Второй подход — производится более глубокий анализ характеристик образа. В случае оптического распознавания это может быть определение различных геометрических характеристик. Звуковой образец в этом случае подвергается частотному, амплитудному анализу и т. д.
  • Следующий метод — использование искусственных нейронных сетей (ИНС). Этот метод требует либо большого количества примеров задачи распознавания при обучении, либо специальной структуры нейронной сети, учитывающей специфику данной задачи. Тем не менее, его отличает более высокая эффективность и производительность. .
  • Экспертный метод, основанный на непрерывном обучении экспертной системы в процессе эксплатации.

Персептрон как метод распознавания образов

Ф. Розенблатт, вводя понятие о модели мозга, задача которой состоит в том, чтобы показать, как в некоторой физической системе, структура и функциональные свойства которой известны, могут возникать психологические явления — описал простейшие эксперименты по различению. Данные эксперименты целиком относятся к методам распознавания образов, но отличаются тем, что алгоритм решения не детерминированный. Простейший эксперимент, на основе которого можно получить психологически значимую информацию о некоторой системе, сводится к тому, что модели предъявляются два различных стимула и требуется, чтобы она реагировала на них различным образом. Целью такого эксперимента может быть исследование возможности их спонтанного различения системой при отсутствии вмешательства со стороны экспериментатора, или, наоборот, изучение принудительного различения, при котором экспериментатор стремится обучить систему проводить требуемую классификацию. В опыте с обучением персептрону обычно предъявляется некоторая последовательность образов, в которую входят представители каждого из классов, подлежащих различению. В соответствии с некоторым правилом модификации памяти правильный выбор реакции подкрепляется. Затем персептрону предъявляется контрольный стимул и определяется вероятность получения правильной реакции для стимулов данного класса. В зависимости от того, совпадает или не совпадает выбранный контрольный стимул с одним из образов, которые использовались в обучающей последовательности, получают различные результаты: 1. Если контрольный стимул не совпадает ни с одним из обучающих стимулов, то эксперимент связан не только с чистым различением, но включает в себя и элементы обобщения. 2. Если контрольный стимул возбуждает некоторый набор сенсорных элементов, совершенно отличных от тех элементов, которые активизировались при воздействии ранее предъявленных стимулов того же класса, то эксперимент является исследованием чистого обобщения. Персептроны не обладают способностью к чистому обобщению, но они вполне удовлетворительно функционируют в экспериментах по различению, особенно если контрольный стимул достаточно близко совпадает с одним из образов, относительно которых персептрон уже накопил определенный опыт.

Байесовский подход к принятию решения

Во многих задачах принятия решений априорная вероятностная информация о состояниях природы может быть изменение после получения новых экспертных оценок. Если рассматривать векторное представление образов, то в общем случае, вектор признаков состоит из компонент признаков, каждый из которых и их совокупность в целом характеризуют образ с той или иной степенью определенности. Эта неопределенность может, в частности, носить вероятностный характер.

Появление того или иного образа является случайным событием и вероятность этого события можно описать с помощью закона распределения вероятностей многомерной случайной величины ξ в той или иной форме. Вид и параметры функции плотности определяются конкретной средой, в которой работает система распознавания. Зная элементы обучающей выборки можно восстановить вероятностные характеристики этой среды.

Байесовский классификатор на основе наблюдаемых признаков относит объект к классу, к которому этот объект принадлежит с наибольшей вероятностью. Основной байесовского подхода в статистике является теорема Байеса. Предположим, что мы наблюдаем некоторую случайную величину X, которая имеет плотность вероятности p(x,w) с параметром w. А хотим сделать вывод о другой случайной величине w, имеющей некоторое распределение вероятности τ(w). Пусть в результате наблюдений получены статистические данные x. Из определения условной вероятности следует:

Также следует

Подставив (2) в (1) получим формулу Байеса

Для нашей задачи имеется m классов, т.е. m возможных переменных (w_1…w_m), то

Распределение Pr(w) называют априорным распределением вероятностей возможных значений w. Это распределение принимается прежде, чем получены статистические данные.

Распределение Pr(w|x) – апостериорное распределение значений w, при условии получения статистических данных. При этом w_i – гипотеза, а x – свидетельство, поддерживающее гипотезу. Если все классы w_i характеризуются собственными несовместными вероятностями, охватывающими все возможные случаи, то можно применить правило Байеса для вычисления апостериорных вероятностей каждого класса по априорным вероятностям этих классов и распределениям условной вероятности для x.

На практике необходимо каким-то образом обеспечить вычисление p(x|w_i). Эмпирический подход предполагает разбиение диапазона х, на интервалы, затем подсчет частот появления х среди значений каждого интервала и сохранение в гистограмму. Необходимо нормировать функцию вероятности так, чтобы сумма всех значений х равнялась 1. Если х похоже на одну из известных параметрических моделей, то можно представить распределение с помощью небольшого количества характеризующих его параметров.

Обычно используется распределения Пуассона, экспоненциальное и нормальное.

Непрерывная случайная величина Х имеет нормальный закон распределения (закон Гаусса) с параметрами μ и σ^2, если ее плотность вероятности имеет вид:

Пример распределения Гаусса для различных параметров µ и σ показан ниже

Применительно к классификатору: вычисляются расстояния между векторами или вероятности P(w_i |x), что по правилу Байеса можно вычислить как p(x¦w_i )P(w_i )/p(x). p(x) – одинакова для всех функциональных блоков, следовательно, ее можно игнорировать и принимать классификационное решение w_i по максимальному значению p(x¦w_i )P(w_i ). Для проектирования байесовского классификатора необходимы сведения Y об априорной вероятности каждого класса p(x¦w_i ). Знание этих характеристик позволяет принимать оптимальные решения в процессе распознавания. Однако часто бывает трудно оценить эти априорные вероятности.

Примеры использования полученной информации

Чтобы пользователям было понятнее, как выглядит сервис, предлагаем ознакомиться с примером работы.

Для начала потребуется загрузить файл в нужном формате:

После чего выбирается, какой столбец будет названием класса для последующей выборки.

Далее необходимо создать экзаменационную выборку, указав нужное число для исследования.

Классификация ОВ позволяет определить точность распознавания в процентном соотношении. Притом, как отдельных признаков, так и общее число классификации.

Классификация ЭВ действует по аналогичному принципу, пользователи также видят определение точности данных в процентном соотношении.

В конце оператору нужно будет загрузить тестируемую выборку, также в нужном формате файла.

После чего можно перейти к результатам работы.

Оцените статью
Рейтинг автора
5
Материал подготовил
Илья Коршунов
Наш эксперт
Написано статей
134
Добавить комментарий