neural network learning rules perceptron hebbian learning
Овај детаљни водич о правилима учења неуронске мреже објашњава хеббиан учење и алгоритам учења перцептрона са примерима:
У нашем претходном водичу о којем смо разговарали Вештачка неуронска мрежа што је архитектура великог броја међусобно повезаних елемената који се називају неурони.
Ови неурони обрађују примљени улаз дајући жељени излаз. Чворови или неурони су повезани улазима, тежинама везе и функцијама активације.
како играти .мкв датотеке на Виндовсима
Главна карактеристика неуронске мреже је њена способност учења. Неуронске мреже се обучавају познатим примерима. Једном када се мрежа обучи, она се може користити за решавање непознатих вредности проблема.
=> Прочитајте комплетну серију обука за машинско учење
Неуронска мрежа учи кроз различите шеме учења које су категорисане као учење под надзором или без надзора.
У алгоритмима учења под надзором, циљне вредности су познате мрежи. Покушава да смањи грешку између жељеног излаза (циља) и стварног излаза за оптималне перформансе. У алгоритмима учења без надзора, циљне вредности су непознате и мрежа учи сама идентификујући скривене обрасце на улазу формирањем кластера итд.
АНН се састоји од 3 дела, тј. Улазног, скривеног слоја и излазног слоја. Постоји један улазни и излазни слој, док можда нема скривеног слоја или 1 или више скривених слојева који могу бити присутни у мрежи. На основу ове структуре АНН се класификује у једнослојне, вишеслојне, повратне или повратне мреже.
Шта ћете научити:
- Важна АНН терминологија
- Поређење правила учења неуронске мреже
- Закључак
Важна АНН терминологија
Пре него што класификујемо различита правила учења у АНН, схватимо неке важне терминологије повезане са АНН.
# 1) Тегови: У АНН-у, сваки неурон је повезан са осталим неуронима преко веза. Ове везе имају тежину. Утег садржи информације о улазном сигналу за неурон. Пондери и улазни сигнал користе се за добијање излаза. Пондери се могу означити у матричном облику који се назива и Везна матрица.
Сваки неурон је повезан са свим осталим неуронима следећег слоја преко тежина везе. Дакле, ако постоји „н“ чворова и сваки чвор има „м“ тежине, тада ће матрица тежине бити:
В1 представља вектор тежине почев од чвора 1. В11 представља вектор тежине од 1стчвор претходног слоја до 1стчвор следећег слоја. Слично томе, виј представља вектор тежине од „и-тог“ елемента за обраду (неурона) до „ј-тог“ елемента за обраду следећег слоја.
# 2) Предрасуде : Пристрасност се додаје мрежи додавањем улазног елемента к (б) = 1 у улазни вектор. Предрасуда такође носи тежину означену са в (б).
Пристрасност игра важну улогу у израчунавању излаза неурона. Предрасуде могу бити позитивне или негативне. Позитивна пристрасност повећава нето улазну тежину, док негативна пристраност смањује нето улазну тежину.
# 3) Праг: Вредност прага се користи у функцији активирања. Нето улаз се упоређује са прагом да би се добио излаз. У НН, функција активирања се дефинише на основу вредности прага и израчунава се излаз.
Вредност прага је:
# 4) Стопа учења : Означава се алфа?. Стопа учења се креће од 0 до 1. Користи се за прилагођавање тежине током процеса учења НН.
# 5) Фактор импулса : Додан је за брже приближавање резултата. Фактор импулса додаје се тежини и обично се користи у мрежама за размножавање.
Поређење правила учења неуронске мреже
Методе учења -> | Градиент Десцент | Хеббиан | Конкурентан | Стохастично | |||||||
---|---|---|---|---|---|---|---|---|---|---|---|
ЕПОЦХ 2 | |||||||||||
Тип архитектуре || | |||||||||||
Једнослојни повратни сигнал | АДАЛИНЕ Хопфиелд Перцептрон | Асоцијативни Меморија Хопфиелд | Линеарни вектор Квантизација | ||||||||
Вишеслојно увлачење унапред | Цасцаде Корелација Вишеслојна феед Напред Радиал Биас Функција | Неокогнитрон | |||||||||
повратан | Понављајући неуронски Мрежа | Двосмерни ауто Асоцијативни Меморија Мозак-држава-у-кутији Хопфиелд | Прилагодљив Теорија резонанце | Болтзманн Машина Цауцхи Машина |
Класификација различитих врста учења АНН приказана је у наставку.
Класификација алгоритама учења под надзором
- Градиент Десцент
- Стохастично
# 1) Градиент Десцент Леарнинг
У овој врсти учења смањење грешака се одвија уз помоћ пондера и функције активирања мреже. Функција активације треба да се разликује.
Прилагођавање тежина зависи од градијента грешке Е у овом учењу. Правило повратног размножавања пример је ове врсте учења. Стога је подешавање тежине дефинисано као
# 2) Стохастичко учење
У овом учењу тежине се прилагођавају на пробабилистички начин.
Класификација алгоритама учења без надзора
- Хеббиан
- Конкурентан
# 1) Хеббиан учење
Ово учење је предложио Хебб 1949. године. Заснива се на корелацијском прилагођавању тежина. Парови улазних и излазних образаца повезани су са матрицом тежине, В.
Транспозиција излаза узима се за подешавање тежине.
# 2) Конкурентско учење
Победник узима све стратегије. У овој врсти учења, када се улазни образац пошаље у мрежу, сви неурони у слоју се такмиче и само победнички неурони имају подешавања тежине.
Мц Цуллоцх-Питтс Неурон
Познат и као М-П Неурон, ово је најранија неуронска мрежа која је откривена 1943. У овом моделу неурони су повезани тежинама везе, а функција активирања се користи у бинарном систему. Праг се користи за одређивање да ли ће се неурон активирати или не.
Функција М-П неурона је:
Хеббиан алгоритам учења
Хебб Нетворк изјавио је Доналд Хебб 1949. Према Хеббовом правилу утврђено је да се пондери повећавају пропорционално производу улаза и излаза. То значи да у Хеббовој мрежи ако су два неурона међусобно повезана онда тежине повезане са тим неуронима могу да се повећају променама у синаптичком јазу.
Ова мрежа је погодна за биполарне податке. Хебијско правило учења се генерално примењује на логичка врата.
Пондери се ажурирају као:
В (ново) = в (старо) + к * и
Алгоритам тренинга за хеббијско правило учења
Кораци обуке алгоритма су следећи:
- У почетку су пондери подешени на нулу, тј. В = 0 за све улазе и = 1 до н и н је укупан број улазних неурона.
- Нека је с излаз. Функција активирања улаза је обично постављена као функција идентитета.
- Функција активирања за излаз је такође постављена на и = т.
- Подешавања тежине и пристрасност прилагођавају се:
- Кораци 2 до 4 се понављају за сваки улазни вектор и излаз.
Пример хеббијског правила учења
Применимо логичку функцију И са биполарним улазима користећи Хеббиан Леарнинг
Кс1 и Кс2 су улази, б је пристраност узета као 1, циљна вредност је излаз логичког И рада над улазима.
Улазни | Улазни | Склоност | Циљ |
---|---|---|---|
Кс1 | Кс2 | б | И. |
1 | 1 | 1 | 1 |
1 | -1 | 1 | -1 |
-1 | 1 | 1 | -1 |
-1 | -1 | 1 | -1 |
# 1) У почетку су тежине постављене на нулу, а пристрасност је такође постављена на нулу.
В1 = в2 = б = 0
#два) Први улазни вектор се узима као [к1 к2 б] = [1 1 1], а циљана вредност је 1.
Нове тежине биће:
# 3) Горе наведени тегови су коначни нови тегови. Када се прође други улаз, они постају почетни пондери.
# 4) Узмите други улаз = [1 -1 1]. Циљ је -1.
# 5) Слично томе, израчунавају се и други улази и тежине.
Табела испод приказује сав улаз:
Улази | Склоност | Циљни излаз | Промене тежине | Промене пристрасности | Нев Веигхтс | ||||
---|---|---|---|---|---|---|---|---|---|
Кс1 | Кс2 | б | И. | ? в1 | ? в2 | ? б | В1 | В2 | б |
1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
1 | -1 | 1 | -1 | -1 | 1 | -1 | 0 | два | 0 |
-1 | 1 | 1 | -1 | 1 | -1 | -1 | 1 | 1 | -1 |
-1 | -1 | 1 | -1 | 1 | 1 | -1 | два | два | -два |
Хебб Нет за функцију АНД
Алгоритам учења перцептрона
Перцептрон Нетворкс су једнослојне мреже за прослеђивање унапред. Они се такође називају појединачне мреже перцептрона. Перцептрон се састоји од улазног слоја, скривеног слоја и излазног слоја.
Улазни слој је повезан са скривеним слојем преко пондера који могу бити инхибиторни или узбудљиви или нула (-1, +1 или 0). Функција активације која се користи је бинарна функција корака за улазни слој и скривени слој.
Излаз је
И = ф (и)
Функција активације је:
Ажурирање тежине се одвија између скривеног слоја и излазног слоја како би се подударало са циљним излазом. Грешка се израчунава на основу стварног излаза и жељеног излаза.
Ако се излаз подудара са циљем, не долази до ажурирања тежине. Пондери се у почетку постављају на 0 или 1 и узастопно се прилагођавају док се не пронађе оптимално решење.
Пондери у мрежи могу се у почетку подесити на било које вредности. Перцептрон учење конвергираће се у вектор тежине који даје тачне резултате за све обрасце тренинга уноса, а то учење се одвија у коначном броју корака.
Правило Перцептрон се може користити и за бинарне и за биполарне улазе.
Правило учења за једноструки излазни перцептрон
# 1) Нека постоје „н“ улазни вектори за обуку и к (н) и т (н) су повезани са циљним вредностима.
#два) Иницијализујте тежине и пристрасност. Подесите их на нулу ради једноставног израчунавања.
# 3) Нека стопа учења буде 1.
# 4) Улазни слој има функцију активирања идентитета, па је к (и) = с (и).
# 5) Да бисте израчунали излаз мреже:
# 6) Функција активације се примењује преко нето улаза да би се добио излаз.
# 7) Сада на основу резултата упоредите жељену циљну вредност (т) и стварни излаз.
# 8) Наставите са понављањем док не дође до промене тежине. Престаните када се овај услов постигне.
Правило учења за вишеструки излазни перцептрон
# 1) Нека постоје „н“ улазни вектори за обуку и к (н) и т (н) су повезани са циљним вредностима.
#два) Иницијализујте тежине и пристрасност. Подесите их на нулу ради једноставног израчунавања.
# 3) Нека стопа учења буде 1.
# 4) Улазни слој има функцију активирања идентитета, па је к (и) = с (и).
# 5) Да би се израчунао излаз сваког излазног вектора од ј = 1 до м, нето улаз је:
# 6) Функција активације се примењује преко нето улаза да би се добио излаз.
# 7) Сада на основу учинка упоредите жељену циљну вредност (т) и стварни учинак и извршите подешавања тежине.
в је вектор тежине веза веза између и-ог улазног и ј-тог излазног неурона, а т циљни излаз за излазну јединицу ј.
# 8) Наставите са понављањем док не дође до промене тежине. Престаните када се овај услов постигне.
бесплатни ДВД риппер за Виндовс 8.1
Пример правила учења Перцептрона
Имплементација функције АНД помоћу мреже Перцептрон за биполарне улазе и излазе.
Узорак уноса биће к1, к2 и пристрасност б. Нека почетни пондери буду 0, а пристрасност 0. Праг је постављен на нулу, а стопа учења је 1.
И Капија
Кс1 | Кс2 | Циљ |
---|---|---|
1 | 1 | 1 |
1 | -1 | -1 |
-1 | 1 | -1 |
-1 | -1 | -1 |
# 1) Кс1 = 1, Кс2 = 1 и циљни излаз = 1
В1 = в2 = вб = 0 и к1 = к2 = б = 1, т = 1
Нето унос = и = б + к1 * в1 + к2 * в2 = 0 + 1 * 0 + 1 * 0 = 0
Стога је праг нула:
Одавде добијамо, оутпут = 0. Сада проверите да ли је оутпут (и) = таргет (т).
и = 0, али т = 1, што значи да то нису исти, те се стога врши ажурирање тежине.
Нове тежине су 1, 1 и 1 након што је представљен први улазни вектор.
#два) Кс1 = 1 Кс2 = -1, б = 1 и циљ = -1, В1 = 1, В2 = 2, Вб = 1
Нето улаз = и = б + к1 * в1 + к2 * в2 = 1 + 1 * 1 + (-1) * 1 = 1
Нето излаз за инпут = 1 биће 1 из:
Стога се опет циљ = -1 не подудара са стварним излазом = 1. Ажурирање тежине се врши.
Сада су нови пондери в1 = 0 в2 = 2 и вб = 0
Слично томе, настављајући са следећим низом улаза, добићемо следећу табелу:
Улазни | Склоност | Циљ | Нето улаз | Израчунати излаз | Промене тежине | Нев Веигхтс | |||||
---|---|---|---|---|---|---|---|---|---|---|---|
Кс1 | Кс2 | б | т | јин | И. | ? в1 | ? в2 | ? б | В1 | В2 | вб |
ЕПОЦХ 1 | |||||||||||
1 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 |
1 | -1 | 1 | -1 | 1 | 1 | -1 | 1 | -1 | 0 | два | 0 |
-1 | 1 | 1 | -1 | два | 1 | 1 | -1 | -1 | 1 | 1 | -1 |
-1 | -1 | 1 | -1 | -3 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 | 1 | -1 |
1 | -1 | 1 | -1 | -1 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
-1 | 1 | 1 | -1 | -1 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
-1 | -1 | 1 | -1 | -3 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
ЕПОЦХС су циклус улазних образаца који се уносе у систем све док није потребна промена тежине и понављање се заустави.
Алгоритам учења Видров Хофф-а
Такође познат као Делта правило , следи правило градијентног спуштања за линеарну регресију.
Ажурира тежине везе с разликом између циљне и излазне вредности. То је најмање средње квадратни алгоритам учења који спада у категорију надзираног алгоритма учења.
Ово правило слиједе АДАЛИНЕ (Адаптиве Линеар Неурал Нетворкс) и МАДАЛИНЕ. За разлику од Перцептрона, понављања мрежа Адалине се не заустављају, већ конвергира смањењем најмање средње грешке квадрата. МАДАЛИНЕ је мрежа више од једног АДАЛИНЕ.
Мотив правила делта учења је да минимизира грешку између резултата и циљног вектора.
Пондери у АДАЛИНЕ мрежама се ажурирају:
Најмања средња квадратна грешка = (т- иу)два, АДАЛИНЕ конвергира када се достигне најмања средња квадратна грешка.
Закључак
У овом упутству смо разговарали о два алгоритма, тј. Хеббиан Леарнинг Руле и Перцептрон Леарнинг Руле. Хебијево правило се заснива на правилу да се вектор тежине повећава пропорционално улазном и сигналном знаку, тј. Излазном. Пондери се увећавају додавањем производа улазних и излазних вредности старој тежини.
В (ново) = в (старо) + к * и
Примена Хеббових правила лежи у проблемима удруживања образаца, класификације и категоризације.
Правило учења Перцептрон може се применити и на мрежу са једним излазом и на више класа излаза. Циљ мреже перцептрона је да класификује улазни образац у одређену класу чланова. Улазни и излазни неурони су повезани преко веза које имају тежину.
Пондери се прилагођавају тако да одговарају стварном излазу циљаној вредности. Стопа учења подешена је од 0 до 1 и одређује скалабилност пондера.
Пондери се ажурирају према:
Осим ових правила учења, алгоритми машинског учења уче и кроз многе друге методе, тј. Надгледано, ненадзирано, ојачање. Неки од осталих уобичајених МЛ алгоритама су Бацк Пропагатион, АРТ, Кохонен Селф Организинг Мапс итд.
Надамо се да сте уживали у свим упутствима из ове серије о машинском учењу !!
=> Посетите овде за ексклузивну серију машинског учења
Препоручено читање
- Комплетан водич за вештачку неуронску мрежу у машинском учењу
- Врсте машинског учења: Надзирано против ненадгледаног учења
- Рударство података против машинског учења против вештачке интелигенције против дубоког учења
- Тестирање мрежне сигурности и најбољи алати за мрежну сигурност
- 11 Најпопуларнијих софтверских алата за машинско учење 2021
- Водич за машинско учење: Увод у МЛ и његове примене
- 15 најбољих алата за мрежно скенирање (мрежни и ИП скенер) из 2021
- Топ 30 алата за мрежно тестирање (алати за дијагностику мрежних перформанси)