Նեյրոնային ցանցերը հնչում են առեղծվածային, մինչև որ այլևս չեն հնչում։ Եթե երբևէ մտածել եք, թե ինչ է նեյրոնային ցանցը արհեստական բանականության մեջ, և արդյոք դա պարզապես մաթեմատիկա է՝ շքեղ գլխարկով, ապա ճիշտ տեղում եք։ Մենք կպահպանենք գործնականությունը, կներառենք փոքրիկ շեղումներ և, այո, մի քանի էմոջիներ։ Դուք կհեռանաք՝ իմանալով, թե ինչ են այս համակարգերը, ինչու են դրանք աշխատում, որտեղ են դրանք ձախողվում և ինչպես խոսել դրանց մասին առանց ձեռքով թափահարելու։
Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո.
🔗 Ի՞նչ է արհեստական բանականության կողմնակալությունը
Արհեստական բանականության համակարգերում կողմնակալության ըմբռնումը և արդարությունն ապահովելու ռազմավարությունները։
🔗 Ի՞նչ է կանխատեսող արհեստական բանականությունը
Ինչպես է կանխատեսող արհեստական բանականությունը օգտագործում օրինաչափությունները ապագա արդյունքները կանխատեսելու համար։
🔗 Ի՞նչ է արհեստական բանականության մարզիչը
Արհեստական բանականություն մարզող մասնագետների դերի և պարտականությունների ուսումնասիրություն։
🔗 Ի՞նչ է համակարգչային տեսողությունը արհեստական բանականության մեջ
Ինչպես է արհեստական բանականությունը մեկնաբանում և վերլուծում տեսողական տվյալները համակարգչային տեսողության միջոցով։
Ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ։ 10 վայրկյանի պատասխանը ⏱️
Նեյրոնային ցանցը պարզ հաշվարկային միավորների՝ նեյրոնների կույտ է, որոնք թվերը փոխանցում են առաջ, մարզման ընթացքում կարգավորում են իրենց կապի ուժգնությունը և աստիճանաբար սովորում տվյալների մեջ առկա օրինաչափությունները: Երբ լսում եք խորը ուսուցում , դա սովորաբար նշանակում է բազմաթիվ կուտակված շերտերով նեյրոնային ցանց, որը սովորում է գործառույթները ավտոմատ կերպով, այլ ոչ թե դուք դրանք ձեռքով կոդավորում եք: Այլ կերպ ասած՝ շատ փոքրիկ մաթեմատիկական կտորներ, խելացիորեն դասավորված, մարզված տվյալների վրա մինչև դրանք օգտակար դառնալը [1]:
Ի՞նչն է նեյրոնային ցանցը դարձնում օգտակար։ ✅
-
Ներկայացման հզորություն . Ճիշտ ճարտարապետության և չափի դեպքում ցանցերը կարող են մոտավորել չափազանց բարդ ֆունկցիաներ (տե՛ս Համընդհանուր մոտավորության թեորեմը) [4]:
-
Ամբողջական ուսուցում . ձեռքով նախագծելու փոխարեն, մոդելը հայտնաբերում է դրանք [1]:
-
Ընդհանրացում . Լավ կարգավորված ցանցը ոչ միայն անգիր է անում, այլև աշխատում է նոր, անտեսանելի տվյալների հիման վրա [1]:
-
Մասշտաբայնություն . Ավելի մեծ տվյալների հավաքածուները գումարած ավելի մեծ մոդելները հաճախ շարունակում են բարելավել արդյունքները… մինչև գործնական սահմանները, ինչպիսիք են հաշվարկները և տվյալների որակը [1]:
-
Փոխանցելիություն . մեկ առաջադրանքի ընթացքում սովորած առանձնահատկությունները կարող են օգնել մյուսին (փոխանցումային ուսուցում և ճշգրտում) [1]:
Փոքրիկ դաշտային նշում (օրինակելի սցենար). արտադրանքի դասակարգման փոքր թիմը ձեռքով կառուցված գործառույթները փոխարինում է կոմպակտ CNN-ով, ավելացնում է պարզ լրացումներ (շրջել/կտրել) և հետևում է վավերացման սխալի անկմանը, ոչ թե այն պատճառով, որ ցանցը «կախարդական» է, այլ որովհետև այն ավելի օգտակար գործառույթներ է սովորել անմիջապես պիքսելներից։
«Ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ»՝ պարզ անգլերենով, կասկածելի փոխաբերությամբ 🍞
Պատկերացրեք հացաբուլկեղենի արտադրության գիծ։ Բաղադրիչները մտնում են, աշխատողները փոփոխում են բաղադրատոմսը, համտեսողները բողոքում են, և թիմը կրկին թարմացնում է բաղադրատոմսը։ Ցանցում մուտքային տվյալները հոսում են շերտերով, կորստի ֆունկցիան գնահատում է արդյունքը, իսկ գրադիենտները կշիռները մղում են հաջորդ անգամ ավելի լավ արդյունքի հասնելու համար։ Որպես փոխաբերություն՝ կատարյալ չէ. հացը դիֆերենցիալի չէ, բայց այն կպչում է [1]:
Նեյրոնային ցանցի անատոմիան 🧩
-
Նեյրոններ ՝ փոքրիկ հաշվիչներ, որոնք կիրառում են կշռված գումար և ակտիվացման ֆունկցիա։
-
Կշիռներ և թեքումներ . Կարգավորելի կոճակներ, որոնք սահմանում են, թե ինչպես են ազդանշանները միավորվում:
-
Շերտեր . Մուտքային շերտը ստանում է տվյալներ, թաքնված շերտերը վերափոխում են դրանք, իսկ ելքային շերտը կատարում է կանխատեսումը։
-
Ակտիվացման ֆունկցիաներ . ոչ գծային պտույտները, ինչպիսիք են ReLU-ն, sigmoid-ը, tanh-ը և softmax-ը, ուսուցումը դարձնում են ճկուն։
-
Կորստի ֆունկցիա . կանխատեսման սխալության գնահատական (խաչաձև էնտրոպիա՝ դասակարգման համար, MSE՝ ռեգրեսիայի համար):
-
Օպտիմիզատոր . SGD-ի կամ Adam-ի նման ալգորիթմները գրադիենտներ են օգտագործում կշիռները թարմացնելու համար։
-
Կանոնավորացում . մոդելի դուրս մնալու կամ քաշի նվազեցման նման տեխնիկաներ՝ մոդելի գերհարմարվելուց խուսափելու համար։
«Խորը ուսուցում » բաց դասագիրքը ներառում է ամբողջ փաթեթը՝ մաթեմատիկայի հիմունքներ, օպտիմալացում և ընդհանրացում [1]:
Ակտիվացման գործառույթներ, կարճ, բայց օգտակար ⚡
-
ReLU ՝ զրո բացասականների համար, գծային դրականների համար։ Պարզ, արագ, արդյունավետ։
-
Սիգմոիդ . սեղմում է 0-ից 1 արժեքները՝ օգտակար է, բայց կարող է հագեցնել։
-
Տանհ ՝ սիգմոիդի նման, բայց զրոյի շուրջ սիմետրիկ։
-
Softmax ՝ Դասերի միջև հում միավորները վերածում է հավանականությունների։
Անհրաժեշտ չէ անգիր սովորել կորի յուրաքանչյուր ձևը՝ պարզապես իմացեք փոխզիջումները և տարածված լռելյայն արժեքները [1, 2]:
Ինչպես է իրականում տեղի ունենում ուսուցումը. ֆոնային, բայց ոչ վախենալու 🔁
-
Առաջ անցում . Տվյալների հոսքերը շերտ առ շերտ՝ կանխատեսում ստանալու համար։
-
Հաշվարկել կորուստը . Համեմատեք կանխատեսումը ճշմարտության հետ։
-
Հետադարձ տարածում . Հաշվարկեք կորստի գրադիենտները յուրաքանչյուր քաշի նկատմամբ՝ օգտագործելով շղթայի կանոնը։
-
Թարմացում . Օպտիմալիզատորը մի փոքր փոխում է կշիռները։
-
Կրկնել ՝ Շատ դարաշրջաններ։ Մոդելը աստիճանաբար սովորում է։
Տեսողական նյութերով և կոդին հարակից բացատրություններով գործնական ինտուիցիայի համար տե՛ս CS231n-ի դասական նշումները հետադարձ կապի և օպտիմալացման վերաբերյալ [2]:
Նեյրոնային ցանցերի հիմնական ընտանիքները՝ մեկ հայացքով 🏡
-
Հղումային ցանցեր (MLP) . Ամենապարզ տեսակը։ Տվյալները միայն առաջ են շարժվում։
-
Կոնվոլյուցիոն նեյրոնային ցանցեր (CNN) . Հիանալի է պատկերների համար՝ շնորհիվ եզրեր, հյուսվածքներ, ձևեր հայտնաբերող տարածական ֆիլտրերի [2]:
-
Կրկնվող նեյրոնային ցանցեր (ՌՆՑ) և տարբերակներ . կառուցված են տեքստի կամ ժամանակային շարքերի նման հաջորդականությունների համար՝ պահպանելով կարգուկանոնի զգացումը [1]:
-
Տրանսֆորմերներ . Ուշադրություն դարձրեք հաջորդականության մեջ դիրքերի միջև փոխհարաբերությունների մոդելավորմանը միաժամանակ՝ գերիշխող լինելով լեզվի և դրանից դուրս [3]:
-
Գրաֆիկական նեյրոնային ցանցեր (ԳՆՑ) . Աշխատում են գրաֆի հանգույցների և եզրերի վրա՝ օգտակար է մոլեկուլների, սոցիալական ցանցերի համար, խորհուրդ [1]:
-
Ավտոկոդերներ և VAE-ներ . Սովորեք սեղմված ներկայացումներ և ստեղծեք տարբերակներ [1]:
-
Գեներատիվ մոդելներ . GAN-ներից մինչև դիֆուզիոն մոդելներ, որոնք օգտագործվում են պատկերների, աուդիոյի, նույնիսկ կոդի համար [1]:
CS231n-ի նոտաները հատկապես հարմար են CNN-ների համար, մինչդեռ Transformer-ի թուղթը ուշադրության վրա հիմնված մոդելների հիմնական աղբյուրն է [2, 3]:
Համեմատական աղյուսակ. տարածված նեյրոնային ցանցերի տեսակները, ում համար են դրանք նախատեսված, արժեքի տատանումները և ինչու են դրանք աշխատում 📊
| Գործիք / Տեսակ | Լսարան | Գինու չափ | Ինչու է այն աշխատում |
|---|---|---|---|
| Հղում դեպի առաջ (MLP) | Սկսնակներ, վերլուծաբաններ | Ցածր-միջին | Պարզ, ճկուն, պատշաճ բազային գծեր |
| CNN | Տեսողության թիմեր | Միջին | Տեղական օրինաչափություններ + պարամետրերի փոխանակում |
| RNN / LSTM / GRU | Հաջորդականություն, մարդիկ | Միջին | Ժամանակավոր հիշողությունը նման է… որսում է կարգը |
| Տրանսֆորմատոր | NLP, բազմամոդալ | Միջին-բարձր | Ուշադրությունը կենտրոնանում է համապատասխան հարաբերությունների վրա |
| GNN | Գիտնականներ, վերականգնողներ | Միջին | Գրաֆիկների միջոցով հաղորդագրությունների փոխանցումը բացահայտում է կառուցվածքը |
| Ավտոկոդեր / VAE | Հետազոտողներ | Ցածր-միջին | Սովորում է սեղմված ներկայացումներ |
| GAN / Դիֆուզիա | Ստեղծագործական լաբորատորիաներ | Միջին-բարձր | Հակառակորդական կամ կրկնվող աղմուկը վերացնող մոգություն |
Նշումներ. գները հաշվարկների և ժամանակի մասին են. ձեր կիլոմետրաժը տարբեր է: Մեկ կամ երկու բջջային հեռախոսը դիտավորյալ շատախոս է:
«Ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ» ընդդեմ դասական մեքենայական ուսուցման ալգորիթմների ⚖️
-
Հատկանիշների ճարտարագիտություն . Դասական մեքենայական ուսուցումը հաճախ հենվում է ձեռքով կատարվող գործառույթների վրա: Նեյրոնային ցանցերը սովորում են գործառույթները ավտոմատ կերպով՝ մեծ հաղթանակ բարդ տվյալների համար [1]:
-
Տվյալների պակաս . ցանցերը հաճախ փայլում են ավելի շատ տվյալներով. փոքր տվյալները կարող են նախապատվությունը տալ ավելի պարզ մոդելներին [1]:
-
Հաշվարկներ . ցանցերը սիրում են արագացուցիչներ, ինչպիսիք են գրաֆիկական պրոցեսորները [1]:
-
Արդյունավետության առաստաղ . չկառուցված տվյալների (պատկերներ, աուդիո, տեքստ) դեպքում գերակշռում են խորը ցանցերը [1, 2]:
Ուսուցման աշխատանքային հոսք, որն իրականում գործում է գործնականում 🛠️
-
Սահմանեք նպատակը ՝ դասակարգում, ռեգրեսիա, վարկանիշ, գեներացիա՝ ընտրեք համապատասխան կորուստ։
-
Տվյալների մշակում . Բաժանում գնացքի/վավերացման/փորձարկման։ Նորմալացնում է գործառույթները։ Հավասարակշռում է դասերը։ Պատկերների համար դիտարկվում են լրացումները, ինչպիսիք են շրջումները, կտրվածքները, փոքր աղմուկը։
-
Ճարտարապետության ընտրություն . Սկսեք պարզից։ Ավելացրեք հզորություն միայն անհրաժեշտության դեպքում։
-
Մարզման ցիկլ . տվյալների խմբաքանակային մշակում: Առաջ անցում: կորստի հաշվարկ: հետընթաց շարժ: թարմացում: չափանիշների գրանցում:
-
Կանոնավորել ՝ դուրս մնալը, քաշի կորուստը, վաղաժամ դադարեցումը։
-
Գնահատել . Օգտագործեք հիպերպարամետրերի վավերացման հավաքածուն: Վերջնական ստուգման համար պահեք թեստային հավաքածու:
-
Զգուշորեն առաքեք . վերահսկեք շեղումը, ստուգեք թեքությունը, պլանավորեք հետադարձումները։
Ամբողջական, կոդային կողմնորոշմամբ և ամուր տեսությամբ ձեռնարկների համար բաց դասագիրքը և CS231n նշումները հուսալի հիմքեր են [1, 2]:
Չափից շատ հարմարվելը, ընդհանրացումը և այլ գրեմլիններ 👀
-
Գերհարմարեցում . Մոդելը անգիր է պահում մարզման առանձնահատկությունները: Ուղղեք ավելի շատ տվյալներով, ավելի ուժեղ կանոնավորացմամբ կամ ավելի պարզ ճարտարապետություններով:
-
Թերմարմնավորում . Մոդելը չափազանց պարզ է, կամ մարզումը չափազանց ամաչկոտ է։ Բարձրացրեք հզորությունը կամ ավելի երկար մարզվեք։
-
Տվյալների արտահոսք . թեստային հավաքածուից տեղեկատվությունը աննկատ անցնում է մարզման։ Եռակի ստուգեք ձեր բաժանումները։
-
Վատ կալիբրացիա . Վստահ, բայց սխալվող մոդելը վտանգավոր է։ Դիտարկեք կալիբրացումը կամ կորստի տարբեր կշռումները։
-
Բաշխման տեղաշարժ . իրական աշխարհի տվյալների տեղաշարժեր։ Մոնիթորինգ և հարմարեցում։
Ընդհանրացման և կանոնավորացման տեսության համար հենվեք ստանդարտ հղումների վրա [1, 2]:
Անվտանգություն, մեկնաբանելիություն և պատասխանատու տեղակայում 🧭
Նեյրոնային ցանցերը կարող են կայացնել բարձր ռիսկային որոշումներ: Բավարար չէ, որ նրանք լավ հանդես գան վարկանիշային աղյուսակում: Ձեզ անհրաժեշտ են կառավարման, չափման և մեղմացման քայլեր ողջ կյանքի ցիկլի ընթացքում: NIST AI ռիսկերի կառավարման շրջանակը ուրվագծում է գործնական գործառույթներ՝ ԿԱՌԱՎԱՐԵԼ, ՔԱՐՏԵԶԱՎՈՐԵԼ, ՉԱՓԵԼ, ԿԱՌԱՎԱՐԵԼ ՝ թիմերին օգնելու ինտեգրել ռիսկերի կառավարումը նախագծման և տեղակայման մեջ [5]:
Մի քանի արագ հուշումներ՝
-
Կողմնակալության ստուգումներ . գնահատում բոլոր ժողովրդագրական շերտերի համար, որտեղ դա նպատակահարմար է և օրինական։
-
Մեկնաբանելիություն . Օգտագործեք այնպիսի տեխնիկաներ, ինչպիսիք են ակնառուությունը կամ առանձնահատկությունների վերագրումը: Դրանք անկատար են, բայց օգտակար:
-
Մոնիթորինգ . Սահմանեք ծանուցումներ մետրիկայի հանկարծակի անկումների կամ տվյալների շեղումների համար:
-
Մարդկային վերահսկողություն . մարդկանց տեղեկացված պահեք ազդեցություն ունեցող որոշումների վերաբերյալ։ Ոչ մի հերոսություն, միայն հիգիենա։
Հաճախ տրվող հարցեր, որոնք գաղտնի ունեցել եք 🙋
Արդյո՞ք նեյրոնային ցանցը հիմնականում ուղեղ է։
Այո՛, ուղեղներից ոգեշնչված, բայց պարզեցված։ Ցանցերում նեյրոնները մաթեմատիկական ֆունկցիաներ են. կենսաբանական նեյրոնները՝ բարդ դինամիկայով կենդանի բջիջներ։ Նմանատիպ թրթռումներ, շատ տարբեր ֆիզիկա [1]:
Քանի՞ շերտ է ինձ անհրաժեշտ։
Սկսեք փոքրից։ Եթե թերմարզվում եք, ավելացրեք լայնություն կամ խորություն։ Եթե գերմարզվում եք, կանոնավորեք կամ նվազեցրեք տարողունակությունը։ Կախարդական թիվ չկա. կան միայն հաստատման կորեր և համբերություն [1]:
Մի՞շտ է ինձ անհրաժեշտ GPU-ն։
Ոչ միշտ։ Փոքր մոդելները համեստ տվյալների վրա կարող են մարզվել պրոցեսորների վրա, սակայն պատկերների, մեծ տեքստային մոդելների կամ մեծ տվյալների հավաքածուների համար արագացուցիչները խնայում են մեծ քանակությամբ ժամանակ [1]:
Ինչո՞ւ են մարդիկ ասում, որ ուշադրությունը հզոր է։
Քանի որ ուշադրությունը թույլ է տալիս մոդելներին կենտրոնանալ մուտքային տվյալների ամենակարևոր մասերի վրա՝ առանց խիստ հերթականությամբ շարժվելու։ Այն արտացոլում է գլոբալ հարաբերությունները, ինչը մեծ նշանակություն ունի լեզվի և բազմամոդալ առաջադրանքների համար [3]:
«Ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ» հարցը տարբերվում է «ի՞նչ է խորը ուսուցումը» հարցից։
Խորը ուսուցումը ավելի լայն մոտեցում է, որն օգտագործում է խորը նեյրոնային ցանցեր: Այսպիսով, հարցնելը՝ « Ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ», նման է գլխավոր հերոսի մասին հարցնելուն. խորը ուսուցումը ամբողջ ֆիլմն է [1]:
Գործնական, մի փոքր կարծիքային խորհուրդներ 💡
-
Նախապատվությունը տվեք պարզ բազային գծերին ։ Նույնիսկ փոքր բազմաշերտ պերսեպտրոնը կարող է ասել, թե արդյոք տվյալները կարելի է սովորել։
-
Պահպանեք ձեր տվյալների խողովակաշարի վերարտադրելիությունը ։ Եթե չեք կարող այն վերագործարկել, չեք կարող վստահել դրան։
-
Սովորելու տեմպն ավելի կարևոր է, քան դուք կարծում եք։ Փորձեք ժամանակացույց կազմել։ Տաքացումը կարող է օգնել։
-
խմբաքանակի չափի փոխզիջումներ : Ավելի մեծ խմբաքանակները կայունացնում են գրադիենտները, բայց կարող են տարբեր կերպ ընդհանրացվել:
-
Երբ շփոթված եք, գծեք կորստի կորերը և քաշի նորմերը ։ Դուք կզարմանաք, թե որքան հաճախ է պատասխանը գտնվում գծագրերում։
-
Փաստաթղթավորեք ենթադրությունները։ Ապագան՝ դուք մոռանում եք բաները՝ արագ [1, 2]:
Խորը վերլուծություն. տվյալների դերը, կամ ինչու՞ աղբը ներսում նշանակում է աղբը դուրս 🗑️➡️✨
Նեյրոնային ցանցերը կախարդականորեն չեն շտկում թերի տվյալները: Թերի պիտակները, ծանոթագրության սխալները կամ նեղ նմուշառումը կանդրադառնան մոդելի վրա: Կազմեք, աուդիտեք և լրացրեք: Եվ եթե դուք վստահ չեք, թե ձեզ ավելի շատ տվյալներ են պետք, թե ավելի լավ մոդել, պատասխանը հաճախ նյարդայնացնողորեն պարզ է. երկուսն էլ, բայց սկսեք տվյալների որակից [1]:
«Ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ» - կարճ սահմանումներ, որոնք կարող եք վերօգտագործել 🧾
-
Նեյրոնային ցանցը շերտավոր ֆունկցիաների մոտարկիչ է, որը սովորում է բարդ օրինաչափություններ՝ գրադիենտային ազդանշանների միջոցով կշիռները կարգավորելով [1, 2]:
-
Դա մի համակարգ է, որը հաջորդական ոչ գծային քայլերի միջոցով մուտքային տվյալները վերածում է ելքային տվյալների, որը մարզված է կորուստը նվազագույնի հասցնելու համար [1]:
-
Սա ճկուն, տվյալների մեծ պահանջարկ ունեցող մոդելավորման մոտեցում է, որը ծաղկում է կառուցվածքային մուտքային տվյալների, ինչպիսիք են պատկերները, տեքստը և աուդիոն [1, 2, 3] հիման վրա։
Շատ երկար է, չեմ կարդացել և եզրափակիչ դիտողություններ 🎯
Եթե ձեզ հարցնեն՝ ի՞նչ է նեյրոնային ցանցը արհեստական բանականության մեջ, ահա թեման. նեյրոնային ցանցը պարզ միավորների կույտ է, որը քայլ առ քայլ փոխակերպում է տվյալները՝ սովորելով փոխակերպումը՝ նվազագույնի հասցնելով կորուստը և հետևելով գրադիենտներին: Դրանք հզոր են, քանի որ մասշտաբավորվում են, ավտոմատ կերպով սովորում են գործառույթները և կարող են ներկայացնել շատ բարդ ֆունկցիաներ [1, 4]: Դրանք ռիսկային են, եթե անտեսում եք տվյալների որակը, կառավարումը կամ մոնիթորինգը [5]: Եվ դրանք կախարդանք չեն: Պարզապես մաթեմատիկա, հաշվարկներ և լավ ինժեներիա՝ մի փոքր ճաշակով:
Լրացուցիչ ընթերցանություն, ուշադիր ընտրված (առանց մեջբերումների լրացուցիչ նյութեր)
-
Սթենֆորդի CS231n նշումներ՝ մատչելի և գործնական՝ https://cs231n.github.io/
-
DeepLearningBook.org - կանոնիկ հղումներ՝ https://www.deeplearningbook.org/
-
NIST արհեստական բանականության ռիսկերի կառավարման շրջանակ - պատասխանատու արհեստական բանականության ուղեցույց՝ https://www.nist.gov/itl/ai-risk-management-framework
-
«Ուշադրությունն այն ամենն է, ինչ ձեզ պետք է» - «Տրանսֆորմեր» հոդվածը՝ https://arxiv.org/abs/1706.03762
Հղումներ
[1] Գուդֆելոու, Ի., Բենջիո, Յ., և Կուրվիլ, Ա. Խորը ուսուցում ։ MIT Press։ Անվճար առցանց տարբերակ՝ կարդալ ավելին
[2] Սթենֆորդ CS231n. Տեսողական ճանաչման կոնվոլյուցիոն նեյրոնային ցանցեր (դասընթացի նշումներ). կարդալ ավելին
[3] Վասվանի, Ա., Շազիր, Ն., Պարմար, Ն. և այլք (2017): Ուշադրությունն այն ամենն է, ինչ ձեզ անհրաժեշտ է : NeurIPS: arXiv: կարդալ ավելին
[4] Ցիբենկո, Գ. (1989): Սիգմոիդ ֆունկցիայի մոտավոր հաշվարկը վերադրումներով : Կառավարման, ազդանշանների և համակարգերի մաթեմատիկա , 2, 303–314: Springer: կարդալ ավելին
[5] NIST. Արհեստական բանականության ռիսկերի կառավարման շրջանակ (AI RMF) . կարդալ ավելին