Կարճ պատասխան. Հիմնադրման մոդելները մեծ, ընդհանուր նշանակության արհեստական բանականության մոդելներ են, որոնք մարզվում են հսկայական, լայն տվյալների բազաների վրա, այնուհետև հարմարեցվում են բազմաթիվ աշխատանքների (գրել, որոնել, կոդավորել, պատկերներ)՝ հուշումների, նուրբ կարգավորումների, գործիքների կամ որոնման միջոցով: Եթե ձեզ անհրաժեշտ են հուսալի պատասխաններ, համատեղեք դրանք հիմնավորման (օրինակ՝ RAG), հստակ սահմանափակումների և ստուգումների հետ, այլ ոչ թե թույլ տվեք, որ դրանք իմպրովիզացվեն:
Հիմնական եզրակացություններ՝
Սահմանում . Մեկ լայնորեն մարզված բազային մոդել, որը վերօգտագործվում է բազմաթիվ առաջադրանքների համար, այլ ոչ թե մեկ առաջադրանք յուրաքանչյուր մոդելի համար։
Ադապտացիա . օգտագործեք հուշումներ, նուրբ կարգավորում, LoRA/ադապտերներ, RAG և գործիքներ՝ վարքագիծը ուղղորդելու համար։
Գեներատիվ համապատասխանություն . Դրանք նպաստում են տեքստի, պատկերի, աուդիոյի, կոդի և մուլտիմոդալ բովանդակության ստեղծմանը։
Որակի ազդանշաններ . առաջնահերթություն տվեք կառավարելիությանը, հալյուցինացիաների քանակի նվազեցմանը, բազմամոդալ կարողությանը և արդյունավետ եզրակացության:
Ռիսկերի վերահսկում . պլանավորել հալյուցինացիաները, կողմնակալությունը, գաղտնիության արտահոսքը և արագ ներարկել կառավարման և թեստավորման միջոցով։
Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո
🔗 Ի՞նչ է արհեստական բանականության ընկերությունը
Հասկացեք, թե ինչպես են արհեստական բանականության ընկերությունները ստեղծում ապրանքներ, թիմեր և եկամտի մոդելներ։.
🔗 Ինչ տեսք ունի արհեստական բանականության կոդը
Տեսեք արհեստական բանականության կոդի օրինակներ՝ Python մոդելներից մինչև API-ներ։.
🔗 Ի՞նչ է արհեստական բանականության ալգորիթմը
Իմացեք, թե ինչ են արհեստական բանականության ալգորիթմները և ինչպես են դրանք որոշումներ կայացնում։.
🔗 Ի՞նչ է արհեստական բանականության տեխնոլոգիան
Ուսումնասիրեք ավտոմատացման, վերլուծության և ինտելեկտուալ հավելվածների վրա հիմնված հիմնական արհեստական բանականության տեխնոլոգիաները։.
1) Հիմքի մոդելներ՝ առանց մառախուղի սահմանում 🧠
Հիմնադրամային մոդելը մեծ, ընդհանուր նշանակության արհեստական բանականության մոդել է, որը մարզվում է լայնածավալ տվյալների (սովորաբար մեծ քանակությամբ) վրա, ուստի այն կարող է հարմարեցվել բազմաթիվ խնդիրների, այլ ոչ թե միայն մեկի ( NIST , Սթենֆորդի CRFM ):
Առանձին մոդել կառուցելու փոխարեն՝
-
էլեկտրոնային նամակներ գրելը
-
պատասխանելով հարցերին
-
PDF-ների ամփոփում
-
պատկերների ստեղծում
-
աջակցության տոմսերի դասակարգում
-
թարգմանող լեզուներ
-
կոդի առաջարկներ անելը
...դուք մարզում եք մեկ մեծ բազային մոդել, որը «սովորում է աշխարհը» անորոշ վիճակագրական եղանակով, այնուհետև հարմարեցնում որոշակի աշխատանքների՝ օգտագործելով հուշումներ, ճշգրտումներ կամ լրացուցիչ գործիքներ ( Բոմմասանի և այլք, 2021 ):
Այլ կերպ ասած՝ դա ընդհանուր շարժիչ , որը կարող եք կառավարել։
Եվ այո, բանալի բառը «ընդհանուր» է։ Ահա թե ինչն է ամբողջ հնարքը։.
2) Ի՞նչ են Հիմնարար Մոդելները Գեներատիվ Արհեստական Ինտելեկտում (Ինչպե՞ս են դրանք համապատասխանում կոնկրետ) 🎨📝
Այսպիսով, ի՞նչ են գեներատիվ արհեստական բանականության հիմքային մոդելները: Դրանք հիմքում ընկած մոդելներն են, որոնք հզորացնում են այն համակարգերը, որոնք կարող են ստեղծել նոր բովանդակություն՝ տեքստ, պատկերներ, աուդիո, կոդ, տեսանյութ և ավելի ու ավելի… այս բոլորի խառնուրդներ ( NIST , NIST Generative AI Profile ):
Գեներատիվ արհեստական բանականությունը միայն «սպամ / ոչ սպամ» պիտակների կանխատեսումը չէ։ Այն այնպիսի արդյունքների ստեղծում է, որոնք նման են մարդու կողմից ստեղծվածի։.
-
պարբերություններ
-
բանաստեղծություններ
-
ապրանքի նկարագրությունները
-
նկարազարդումներ
-
մեղեդիներ
-
հավելվածի նախատիպեր
-
սինթետիկ ձայներ
-
և երբեմն անհավանականորեն վստահ անհեթեթություններ 🙃
Հիմքի մոդելները հատկապես լավն են այստեղ, քանի որ՝
-
նրանք լայն օրինաչափություններ են կլանել հսկայական տվյալների հավաքածուներից ( Բոմմասանի և այլք, 2021 ):
-
դրանք կարող են ընդհանրացնել նոր հուշումների (նույնիսկ տարօրինակների) ( Բրաուն և այլք, 2020 )
-
դրանք կարող են վերաօգտագործվել տասնյակ արդյունքների համար՝ առանց զրոյից վերափոխման ( Բոմմասանի և այլք, 2021 ):
Դրանք «հիմնական շերտն» են՝ ինչպես հացի խմորը։ Կարող եք թխել բագետի, պիցցայի կամ դարչնով գլանափաթեթների տեսքով… ոչ կատարյալ փոխաբերություն, բայց հասկացաք ինձ 😄
3) Ինչո՞ւ նրանք ամեն ինչ փոխեցին (և ինչու՞ մարդիկ չեն դադարում նրանց մասին խոսելուց) 🚀
Հիմնադրման մոդելներից առաջ արհեստական բանականության մեծ մասը հատուկ էր առաջադրանքների համար
-
մարզել տրամադրության վերլուծության մոդել
-
մեկ ուրիշին թարգմանության համար մարզել
-
մարզել մեկ ուրիշին պատկերների դասակարգման համար
-
մարզել մեկ ուրիշին անվանակոչված էակի ճանաչման համար
Դա աշխատեց, բայց դանդաղ էր, թանկ և մի տեսակ… փխրուն։.
Հիմնադրամի մոդելները շրջեցին այն
-
մեկ անգամ նախնական մարզում (մեծ ջանք)
-
վերօգտագործում ամենուր (մեծ վարձատրություն) ( Bommasani et al., 2021 )
Այդ վերօգտագործումը բազմապատկիչն է։ Ընկերությունները կարող են մեկ մոդելային ընտանիքի վրա կառուցել 20 հատկանիշ, այլ ոչ թե 20 անգամ վերափոխել անիվը։.
Բացի այդ, օգտագործողի փորձը դարձել է ավելի բնական
-
դուք չեք «օգտագործում դասակարգիչ»
-
Դու մոդելի հետ խոսում ես այնպես, կարծես նա օգտակար գործընկեր լինի, որը երբեք չի քնում ☕🤝
Երբեմն դա նաև նման է գործընկերոջ, որը վստահորեն ամեն ինչ սխալ է հասկանում, բայց հեյ։ Աճ։.
4) Հիմնական գաղափարը՝ նախնական մարզում + հարմարվողականություն 🧩
Գրեթե բոլոր հիմնադրամի մոդելները հետևում են որոշակի օրինաչափության ( Սթենֆորդի CRFM , NIST ):
Նախնական մարզում («ինտերնետի յուրացման» փուլ) 📚
Մոդելը մարզվում է հսկայական, լայն տվյալների բազաների վրա՝ օգտագործելով ինքնակառավարվող ուսուցում ( NIST ): Լեզվական մոդելների համար դա սովորաբար նշանակում է բացակայող բառերի կամ հաջորդ թոքենի կանխատեսում ( Դևլին և այլք, 2018 , Բրաուն և այլք, 2020 ):
Խնդիրը նրան մեկ առաջադրանք սովորեցնելը չէ։ Խնդիրը նրան ընդհանուր ներկայացումներ ։
-
քերականություն
-
փաստեր (մի տեսակ)
-
դատողության ձևեր (երբեմն)
-
գրելու ոճեր
-
կոդի կառուցվածքը
-
մարդկային ընդհանուր մտադրություն
Հարմարեցում («գործնական դարձնելու» փուլ) 🛠️
Այնուհետև դուք այն հարմարեցնում եք՝ օգտագործելով հետևյալներից մեկը կամ մի քանիսը
-
հուշում (հրահանգներ պարզ լեզվով)
-
հրահանգների կարգավորում (հրահանգներին հետևելու վարժեցում) ( Վեյ և այլք, 2021 )
-
նուրբ կարգավորում (ձեր տիրույթի տվյալների վերաբերյալ ուսուցում)
-
LoRA / ադապտերներ (թեթև կարգավորման մեթոդներ) ( Հու և այլք, 2021 )
-
RAG (վերականգնման-ընդլայնված սերունդ - մոդելը խորհրդակցում է ձեր փաստաթղթերի հետ) ( Լյուիս և այլք, 2020 )
-
գործիքների օգտագործում (ֆունկցիաների կանչ, ներքին համակարգերի զննում և այլն)
Ահա թե ինչու նույն բազային մոդելը կարող է գրել սիրավեպի տեսարան… ապա օգնել վրիպազերծել SQL հարցումը հինգ վայրկյան անց 😭
5) Ի՞նչն է հիմքի մոդելի լավ տարբերակը դարձնում։ ✅
Սա այն հատվածն է, որը մարդիկ բաց են թողնում, իսկ հետո զղջում։.
«Լավ» հիմքի մոդելը պարզապես «ավելի մեծ» չէ։ Ավելի մեծը, անշուշտ, օգնում է… բայց դա միակ բանը չէ։ Հիմքի մոդելի լավ տարբերակը սովորաբար ունի
Հզոր ընդհանրացում 🧠
Այն լավ է կատարում բազմաթիվ առաջադրանքներ՝ առանց առաջադրանքին հատուկ վերապատրաստման անհրաժեշտության ( Բոմմասանի և այլք, 2021 ):
Ղեկավարում և կառավարելիություն 🎛️
Այն կարող է հուսալիորեն հետևել հրահանգներին, ինչպիսիք են՝
-
«եղիր հակիրճ»
-
«Օգտագործեք կետեր»
-
«Գրեք բարեկամական տոնով»
-
«Մի՛ բացահայտեք գաղտնի տեղեկություններ»
Որոշ մոդելներ խելացի են, բայց սայթաքուն։ Ինչպես ցնցուղի տակ օճառի կտոր բռնելու փորձը։ Օգտակար է, բայց անկանոն 😅
Հալյուցինացիաների ցածր հակում (կամ առնվազն անկեղծ անորոշություն) 🧯
Ոչ մի մոդել ապահովագրված չէ հալյուցինացիաներից, բայց լավերը՝
-
ավելի քիչ հալյուցինացիաներ ունենալ
-
ավելի հաճախ ընդունեք անորոշությունը
-
Վերականգնման ժամանակ մնացեք տրամադրված համատեքստին ավելի մոտ ( Ջի և այլք, 2023 , Լյուիս և այլք, 2020 )
Լավ մուլտիմոդալ ունակություն (անհրաժեշտության դեպքում) 🖼️🎧
Եթե դուք ստեղծում եք օգնականներ, որոնք կարդում են պատկերներ, մեկնաբանում են գրաֆիկներ կամ հասկանում են աուդիո, մուլտիմոդալությունը մեծ նշանակություն ունի ( Ռադֆորդ և այլք, 2021 ):
Արդյունավետ եզրակացություն ⚡
Լատենտությունը և արժեքը կարևոր են։ Հզոր, բայց դանդաղ մոդելը նման է սպորտային մեքենայի, որի անվադողը պայթել է։.
Անվտանգություն և կարգապահություն 🧩
Ոչ միայն «հրաժարվել ամեն ինչից», այլև՝
-
խուսափեք վնասակար հրահանգներից
-
նվազեցնել կողմնակալությունը
-
զգայուն թեմաները զգուշորեն վարվել
-
դիմադրել jailbreak-ի հիմնական փորձերին (մոտավորապես…) ( NIST AI RMF 1.0 , NIST Generative AI Profile )
Փաստաթղթավորում + էկոհամակարգ 🌱
Սա չոր է հնչում, բայց իրական է
-
գործիքավորում
-
գնահատման ամրագոտիներ
-
տեղակայման տարբերակներ
-
ձեռնարկության վերահսկողություն
-
նուրբ կարգավորման աջակցություն
Այո՛, «էկոհամակարգը» անորոշ բառ է։ Ես էլ եմ այն ատում։ Բայց այն կարևոր է։.
6) Համեմատական աղյուսակ - հիմնադրամի մոդելի տարածված տարբերակներ (և ինչի համար են դրանք օգտակար) 🧾
Ստորև բերված է գործնական, մի փոքր անկատար համեմատական աղյուսակ։ Սա «միակ ճշմարիտ ցանկը» չէ, այլ ավելի շատ այն է, թե ինչ են մարդիկ ընտրում բնության գրկում։.
| գործիքի / մոդելի տեսակը | լսարան | գնի նման | ինչու է այն աշխատում |
|---|---|---|---|
| Սեփականատիրական իրավունքի լիցենզիա (զրուցարանի ոճով) | թիմեր, որոնք ցանկանում են արագություն + հղկում | օգտագործման վրա հիմնված / բաժանորդագրության վրա հիմնված | Հրահանգների հիանալի հետևողականություն, ընդհանուր առմամբ լավ կատարողականություն, սովորաբար լավագույնս արվում է «տուփից հանած» վիճակում 😌 |
| Բաց քաշի LLM (ինքնահոսթինգի ենթակա) | շինարարներ, ովքեր ցանկանում են վերահսկողություն | ենթակառուցվածքների արժեքը (և գլխացավերը) | Կարգավորելի, գաղտնիության պահպանման համար հարմար, կարող է գործարկվել տեղական մակարդակով… եթե սիրում եք կեսգիշերին խաղալ |
| Դիֆուզիոն պատկերի գեներատոր | ստեղծագործողներ, դիզայներական թիմեր | անվճարից մինչև վճարովի | Գերազանց պատկերի սինթեզ, ոճի բազմազանություն, իտերատիվ աշխատանքային հոսքեր (նաև՝ մատները կարող են շեղված լինել) ✋😬 ( Հո և այլք, 2020 , Ռոմբախ և այլք, 2021 ) |
| Բազմամոդալ «տեսողական լեզվի» մոդել | Ծրագրեր, որոնք կարդում են պատկերներ + տեքստ | օգտագործման վրա հիմնված | Թույլ է տալիս հարցեր տալ պատկերների, էկրանի նկարների, դիագրամների վերաբերյալ՝ զարմանալիորեն հարմար ( Ռադֆորդ և այլք, 2021 ) |
| Ներկառուցված հիմքի մոդել | որոնում + RAG համակարգեր | ցածր գին մեկ զանգի համար | Տեքստը վերածում է վեկտորների՝ իմաստային որոնման, կլաստերացման, առաջարկության համար՝ MVP-ի հանգիստ էներգիա ( Կարպուխին և այլք, 2020 , Դուզե և այլք, 2024 ): |
| Խոսքի տեքստի վերածման հիմքի մոդել | զանգերի կենտրոններ, ստեղծողներ | օգտագործման վրա հիմնված / տեղական | Արագ տառադարձում, բազմալեզու աջակցություն, բավականաչափ լավ է աղմկոտ աուդիոյի համար (սովորաբար) 🎙️ ( Շշուկ ) |
| Տեքստի խոսքի վերածման հիմքի մոդել | արտադրանքի թիմեր, լրատվամիջոցներ | օգտագործման վրա հիմնված | Բնական ձայնի առաջացումը, ձայնային ոճերը, պատմությունը՝ կարող են սարսափելի իրական դառնալ ( Շեն և այլք, 2017 ): |
| Կոդային LLM | մշակողները | օգտագործման վրա հիմնված / բաժանորդագրության վրա հիմնված | Ավելի լավ է կոդի ձևանմուշների, վրիպազերծման, վերափոխման մեջ… այնուամենայնիվ, մտքեր կարդացող չէ 😅 |
Ուշադրություն դարձրեք, որ «հիմնային մոդելը» չի նշանակում միայն «չաթբոտ»։ Ներդրումները և խոսքի մոդելները նույնպես կարող են լինել հիմնային, քանի որ դրանք լայն են և կարող են վերօգտագործվել տարբեր առաջադրանքներում ( Բոմմասանի և այլք, 2021 , NIST ):
7) Ավելի մանրամասն. ինչպես են լեզվի հիմունքների մոդելները սովորում (վիբ տարբերակը) 🧠🧃
Լեզվի հիմքի մոդելները (հաճախ անվանում են LLM) սովորաբար մարզվում են տեքստի հսկայական հավաքածուների վրա։ Դրանք սովորում են՝ կանխատեսելով տոկենները ( Բրաուն և այլք, 2020 )։ Այսքանը։ Ոչ մի գաղտնի բան։
Բայց կախարդանքն այն է, որ տոկենների կանխատեսումը ստիպում է մոդելին սովորել կառուցվածքը ( CSET ):
-
քերականություն և շարահյուսություն
-
թեմատիկ հարաբերություններ
-
դատողության նման օրինաչափություններ (երբեմն)
-
մտքի ընդհանուր հաջորդականություններ
-
ինչպես են մարդիկ բացատրում բաները, վիճում, ներողություն խնդրում, բանակցում, սովորեցնում
Դա նման է միլիոնավոր զրույցներ ընդօրինակել սովորելուն՝ առանց «հասկանալու» այն, թե ինչպես են մարդիկ դա անում։ Ինչը, կարծես, չպետք է աշխատի… և այնուամենայնիվ, շարունակում է աշխատել։.
Մի փոքր չափազանցություն. դա, ըստ էության, նման է մարդկային գրվածքը հսկայական հավանականային ուղեղի մեջ սեղմելուն։
Մյուս կողմից, այդ փոխաբերությունը մի փոքր անիծյալ է։ Բայց մենք շարժվում ենք 😄
8) Ավելի մանրամասն. դիֆուզիոն մոդելներ (ինչու են պատկերները տարբեր կերպ աշխատում) 🎨🌀
Պատկերի հիմքի մոդելները հաճախ օգտագործում են դիֆուզիոն մեթոդներ ( Հո և այլք, 2020 , Ռոմբախ և այլք, 2021 ):
Մոտավոր գաղափարը
-
պատկերներին աղմուկ ավելացրեք մինչև դրանք գրեթե հեռուստացույցի ստատիկ դառնան
-
մարզեք մոդելին՝ քայլ առ քայլ այդ աղմուկը շրջելու համար
-
սերնդի ժամանակ սկսել աղմուկով և «աղմուկը հանել» պատկերի՝ առաջնորդվելով հուշումով ( Հո և այլք, 2020 ):
Ահա թե ինչու պատկերի ստեղծումը լուսանկարի «մշակման» նման է, բացառությամբ այն բանի, որ լուսանկարում սուպերմարկետի միջանցքում սպորտային կոշիկներով վիշապ է 🛒🐉
Դիֆուզիոն մոդելները լավն են, քանի որ՝
-
նրանք ստեղծում են բարձրորակ տեսողական նյութեր
-
նրանք կարող են ուժեղորեն առաջնորդվել տեքստով
-
դրանք աջակցում են իտերատիվ կատարելագործմանը (տարբերակներ, ներկում, մասշտաբի բարձրացում) ( Ռոմբախ և այլք, 2021 ):
Նրանք նաև երբեմն դժվարանում են
-
տեքստի մատուցում պատկերների ներսում
-
նուրբ անատոմիայի մանրամասներ
-
կերպարի հետևողական ինքնություն տեսարաններում (այն բարելավվում է, բայց միևնույն է)
9) Ավելի մանրամասն. բազմամոդալ հիմքի մոդելներ (տեքստ + պատկերներ + աուդիո) 👀🎧📝
Բազմամոդալ հիմքի մոդելները նպատակ ունեն հասկանալ և ստեղծել բազմաթիվ տվյալների տեսակների միջև՝
-
տեքստ
-
պատկերներ
-
աուդիո
-
տեսանյութ
-
երբեմն սենսորային մուտքեր ( NIST Generative AI Profile )
Ինչու է սա կարևոր իրական կյանքում
-
հաճախորդների աջակցությունը կարող է մեկնաբանել էկրանի պատկերները
-
Հասանելիության գործիքները կարող են նկարագրել պատկերները
-
Կրթական հավելվածները կարող են բացատրել դիագրամները
-
Ստեղծողները կարող են արագ վերամիացնել ձևաչափերը
-
Բիզնես գործիքները կարող են «կարդալ» վահանակի էկրանի նկարը և ամփոփել այն
Ներքևում, մուլտիմոդալ համակարգերը հաճախ համաձայնեցնում են ներկայացումները
-
պատկերը վերածել ներդրված տարրերի
-
տեքստը վերածել ներդրված տարրերի
-
սովորեք համատեղ տարածք ստեղծել, որտեղ «կատու» բառը համապատասխանում է կատվի պիքսելներին 😺 ( Ռադֆորդ և այլք, 2021 )
Այն միշտ չէ, որ նրբագեղ է։ Երբեմն այն կարվում է ինչպես ծածկոց։ Բայց աշխատում է։.
10) Նուրբ կարգավորում vs հուշում vs RAG (ինչպես եք հարմարեցնում հիմնական մոդելը) 🧰
Եթե փորձում եք հիմքի մոդելը գործնական դարձնել որոշակի ոլորտի համար (իրավաբանական, բժշկական, հաճախորդների սպասարկում, ներքին գիտելիքներ), ապա ունեք մի քանի լծակներ
Հուշում 🗣️
Ամենաարագը և ամենապարզը։.
-
Առավելություններ՝ զրոյական մարզում, ակնթարթային կրկնություն
-
թերություններ՝ կարող է անհամապատասխան լինել, համատեքստի սահմանափակումներ, արագացնել փխրունությունը
Նուրբ կարգավորում 🎯
Մոդելը շարունակեք մարզել ձեր օրինակների վրա։.
-
Առավելություններ՝ ավելի հետևողական վարքագիծ, ավելի լավ դոմեյնային լեզու, կարող է կրճատել հարցման տևողությունը
-
թերություններ՝ արժեք, տվյալների որակի պահանջներ, գերբեռնվածության ռիսկ, սպասարկում
Թեթև կարգաբերում (LoRA / ադապտերներ) 🧩
Ավելի արդյունավետ տարբերակ նուրբ կարգավորման համար ( Հու և այլք, 2021 ):
-
Առավելություններ՝ ավելի էժան, մոդուլային, ավելի հեշտ է փոխարինել
-
թերություններ՝ դեռևս անհրաժեշտ է վերապատրաստման և գնահատման գործընթաց
RAG (վերականգնման-ընդլայնված սերունդ) 🔎
Մոդելը ձեր գիտելիքների բազայից վերցնում է համապատասխան փաստաթղթերը և պատասխանում դրանց միջոցով ( Լյուիս և այլք, 2020 ):
-
Առավելություններ՝ արդիական գիտելիքներ, ներքին հղումներ (եթե դուք դրանք կիրառեք), ավելի քիչ վերապատրաստում
-
թերություններ՝ որոնման որակը կարող է վճռորոշ լինել կամ չեղյալ համարել այն, անհրաժեշտ է լավ մասնատում + ներդրումներ
Իրական խոսք. շատ հաջողակ համակարգեր համատեղում են հուշումը + RAG-ը։ Նուրբ կարգավորումը հզոր է, բայց միշտ չէ, որ անհրաժեշտ է։ Մարդիկ չափազանց արագ են դիմում դրան, քանի որ տպավորիչ է թվում 😅
11) Ռիսկերը, սահմանափակումները և «խնդրում եմ սա կուրորեն չկիրառել» բաժինը 🧯😬
Հիմնադրամի մոդելները հզոր են, բայց դրանք կայուն չեն, ինչպես ավանդական ծրագրերը։ Դրանք ավելի շատ նման են… տաղանդավոր ինտերնի, ով ունի վստահության խնդիր։.
Պլանավորման հիմնական սահմանափակումները
Հալյուցինացիաներ 🌀
Մոդելները կարող են հորինել
-
կեղծ աղբյուրներ
-
սխալ փաստեր
-
հավանական, բայց սխալ քայլեր ( Ջի և այլք, 2023 )
Մեղմացնող միջոցներ՝
-
Հիմնավորված համատեքստով RAG ( Լյուիս և այլք, 2020 )
-
սահմանափակված ելքեր (սխեմաներ, գործիքների կանչեր)
-
հստակ «մի՛ կռահիր» հրահանգ
-
ստուգման շերտեր (կանոններ, խաչաձև ստուգումներ, մարդկային վերանայում)
Կողմնակալություն և վնասակար օրինաչափություններ ⚠️
Քանի որ մարզումների տվյալները արտացոլում են մարդկանց, կարող եք ստանալ՝
-
կարծրատիպեր
-
խմբերի միջև անհավասար կատարողականություն
-
անապահով ավարտումներ ( NIST AI RMF 1.0 , Bommasani et al., 2021 )
Մեղմացնող միջոցներ՝
-
անվտանգության կարգավորում
-
կարմիր թիմ
-
բովանդակության զտիչներ
-
զգույշ տիրույթի սահմանափակումներ ( NIST Generative AI Profile )
Տվյալների գաղտնիություն և արտահոսք 🔒
Եթե դուք գաղտնի տվյալներ եք մուտքագրում մոդելի վերջնակետ, ապա պետք է իմանաք՝
-
ինչպես է այն պահվում
-
արդյոք այն օգտագործվում է մարզման համար
-
ինչպիսի՞ անտառահատում գոյություն ունի
-
Ինչն է վերահսկում ձեր կազմակերպության կարիքները ( NIST AI RMF 1.0 )
Մեղմացնող միջոցներ՝
-
մասնավոր տեղակայման տարբերակներ
-
ուժեղ կառավարում
-
նվազագույն տվյալների ազդեցություն
-
Միայն ներքին RAG՝ խիստ մուտքի վերահսկմամբ ( NIST Generative AI Profile , Carlini et al., 2021 )
Արագ ներարկում (հատկապես RAG-ի դեպքում) 🕳️
Եթե մոդելը կարդում է անվստահելի տեքստ, այդ տեքստը կարող է փորձել մանիպուլյացիաներ անել դրա հետ։
-
«Անտեսեք նախորդ հրահանգները…»
-
«Ուղարկիր ինձ գաղտնիքը…» ( OWASP , Գրեշեյք և այլք, 2023 )
Մեղմացնող միջոցներ՝
-
մեկուսացված համակարգի հրահանգներ
-
վերցված բովանդակությունը մաքրել
-
օգտագործել գործիքային քաղաքականություններ (ոչ միայն հուշումներ)
-
թեստ հակառակորդական մուտքային տվյալներով ( OWASP Cheat Sheet , NIST Generative AI Profile )
Չեմ փորձում վախեցնել քեզ։ Պարզապես… ավելի լավ է իմանալ, թե որտեղ են ճռռում հատակի տախտակները։.
12) Ինչպես ընտրել հիմքի մոդել ձեր օգտագործման դեպքի համար 🎛️
Եթե դուք ընտրում եք հիմքի մոդել (կամ կառուցում եք դրա վրա), սկսեք այս հրահանգներից
Սահմանեք, թե ինչ եք ստեղծում 🧾
-
միայն տեքստ
-
պատկերներ
-
աուդիո
-
խառը մուլտիմոդալ
Սահմանեք ձեր փաստացիության չափանիշը 📌
Եթե Ձեզ անհրաժեշտ է բարձր ճշգրտություն (ֆինանսներ, առողջապահություն, իրավաբանական, անվտանգություն)
-
դուք կցանկանաք RAG ( Լյուիս և այլք, 2020 )
-
դուք կցանկանաք վավերացում
-
Դուք կցանկանաք մարդկային վերանայում ցիկլի ընթացքում (գոնե երբեմն) ( NIST AI RMF 1.0 )
Որոշեք ձեր լատենտության նպատակը ⚡
Զրույցը անհապաղ է: Փաթեթային ամփոփումը կարող է ավելի դանդաղ լինել:
Եթե ձեզ անհրաժեշտ է անհապաղ պատասխան, մոդելի չափը և հոսթինգը կարևոր են:
Քարտեզի գաղտնիության և համապատասխանության պահանջներ 🔐
Որոշ թիմեր պահանջում են
-
տեղում / VPC տեղակայում
-
տվյալների պահպանում չկա
-
խիստ աուդիտի գրանցամատյաններ
-
մուտքի վերահսկողություն մեկ փաստաթղթի համար ( NIST AI RMF 1.0 , NIST Generative AI Profile )
Հավասարակշռված բյուջե - և համբերություն 😅
Ինքնահոսթինգը տալիս է վերահսկողություն, բայց ավելացնում է բարդություն:
Կառավարվող API-ները հեշտ են, բայց կարող են թանկ լինել և ավելի քիչ հարմարեցվող:
Փոքրիկ գործնական խորհուրդ. նախ ստեղծեք նախատիպ՝ օգտագործելով հեշտ բան, ապա ավելի ուշ կարծրացրեք։ «Կատարյալ» կարգավորումից սկսելը սովորաբար ամեն ինչ դանդաղեցնում է։.
13) Ի՞նչ են գեներատիվ արհեստական բանականության հիմքային մոդելները (արագ մտածողության մոդել) 🧠✨
Եկեք վերադառնանք դրան։ Ի՞նչ են Հիմնարար Մոդելները Գեներատիվ Արհեստական Ինտելեկտում։
Դրանք են՝
-
լայնածավալ տվյալների վրա մարզված մեծ, ընդհանուր մոդելներ ( NIST , Սթենֆորդի CRFM )
-
կարող է ստեղծել բովանդակություն (տեքստ, պատկերներ, աուդիո և այլն) ( NIST Generative AI Profile )
-
հարմարվողական է բազմաթիվ առաջադրանքների համար՝ հուշումների, նուրբ կարգավորման և վերականգնման միջոցով ( Բոմմասանի և այլք, 2021 )
-
հիմնական շերտը, որը սնուցում է ժամանակակից գեներատիվ արհեստական բանականության արտադրանքի մեծ մասը
Դրանք մեկ առանձին ճարտարապետություն կամ ապրանքանիշ չեն։ Դրանք մոդելների մի կատեգորիա են, որոնք գործում են որպես հարթակ։.
Հիմքի մոդելը ավելի շատ խոհանոցի և ավելի շատ հաշվիչի նման է։ Դրանում կարելի է շատ ուտեստներ պատրաստել։ Կարող եք նաև այրել տոստը, եթե ուշադիր չեք… բայց խոհանոցը դեռևս բավականին հարմար է 🍳🔥
14) Ամփոփում և տանելու համար ✅🙂
Հիմնադրամային մոդելները գեներատիվ արհեստական բանականության վերօգտագործելի շարժիչներն են։ Դրանք լայնորեն մարզվում են, ապա հարմարեցվում են որոշակի առաջադրանքների՝ հուշումների, նուրբ կարգավորման և վերականգնման միջոցով ( NIST , Սթենֆորդի CRFM ): Դրանք կարող են լինել զարմանալի, անկարգ, հզոր և երբեմն ծիծաղելի՝ բոլորը միաժամանակ։
Ամփոփում
-
Հիմքի մոդել = ընդհանուր նշանակության բազային մոդել ( NIST )
-
Գեներատիվ արհեստական բանականություն = բովանդակության ստեղծում, ոչ միայն դասակարգում ( NIST գեներատիվ արհեստական բանականության պրոֆիլ )
-
Հարմարվողականության մեթոդները (հուշում, RAG, կարգավորում) այն դարձնում են գործնական ( Լյուիս և այլք, 2020 , Հու և այլք, 2021 ):
-
Մոդելի ընտրությունը կախված է փոխզիջումներից՝ ճշգրտություն, արժեք, լատենտություն, գաղտնիություն, անվտանգություն ( NIST AI RMF 1.0 ):
Եթե դուք ինչ-որ բան կառուցում եք գեներատիվ արհեստական բանականությամբ, հիմքի մոդելները հասկանալը պարտադիր չէ։ Դա ամբողջ հարկն է, որի վրա շենքը կանգնած է… և այո, երբեմն հատակը մի փոքր տատանվում է 😅
Հաճախակի տրվող հարցեր
Հիմքի մոդելներ, պարզ լեզվով
Հիմնադրամային մոդելը մեծ, ընդհանուր նշանակության արհեստական բանականության մոդել է, որը մարզվում է լայն տվյալների վրա, որպեսզի այն կարողանա վերօգտագործվել բազմաթիվ առաջադրանքների համար: Յուրաքանչյուր առաջադրանքի համար մեկ մոդել կառուցելու փոխարեն, դուք սկսում եք ուժեղ «հիմնային» մոդելից և հարմարեցնում այն անհրաժեշտության դեպքում: Այդ հարմարեցումը հաճախ տեղի է ունենում հուշումների, նուրբ կարգավորման, վերականգնման (RAG) կամ գործիքների միջոցով: Կենտրոնական գաղափարը լայնությունն ու կառավարելիությունն է:.
Ինչպես են հիմնադրամի մոդելները տարբերվում ավանդական առաջադրանքների համար նախատեսված արհեստական բանականության մոդելներից
Ավանդական արհեստական բանականությունը հաճախ յուրաքանչյուր առաջադրանքի համար առանձին մոդել է մարզում, օրինակ՝ տրամադրության վերլուծության կամ թարգմանության համար: Հիմնադրամի մոդելները շրջում են այդ օրինաչափությունը՝ մեկ անգամ նախնական մարզում, ապա վերօգտագործում բազմաթիվ գործառույթների և ապրանքների համար: Սա կարող է նվազեցնել կրկնակի ջանքերը և արագացնել նոր հնարավորությունների մատուցումը: Փոխզիջումն այն է, որ դրանք կարող են ավելի քիչ կանխատեսելի լինել, քան դասական ծրագրակազմը, եթե չավելացնեք սահմանափակումներ և փորձարկումներ:.
Հիմնարար մոդելներ գեներատիվ արհեստական բանականության մեջ
Գեներատիվ արհեստական բանականության մեջ հիմքային մոդելները բազային համակարգեր են, որոնք կարող են ստեղծել նոր բովանդակություն, ինչպիսիք են տեքստը, պատկերները, աուդիոն, կոդը կամ բազմամոդալ ելքային տվյալները: Դրանք չեն սահմանափակվում միայն պիտակավորմամբ կամ դասակարգմամբ. դրանք ստեղծում են մարդու կողմից ստեղծված աշխատանքին նմանվող պատասխաններ: Քանի որ դրանք նախնական ուսուցման ընթացքում սովորում են լայն օրինաչափություններ, կարող են կառավարել բազմաթիվ հուշումների տեսակներ և ձևաչափեր: Դրանք ժամանակակից գեներատիվ փորձառությունների մեծ մասի «բազային շերտն» են:.
Ինչպես են հիմքային մոդելները սովորում նախնական ուսուցման ընթացքում
Լեզվի հիմունքների մոդելների մեծ մասը սովորում է կանխատեսելով տոկեններ, ինչպիսիք են հաջորդ բառը կամ տեքստում բացակայող բառերը: Այդ պարզ նպատակը նրանց դրդում է ներքնայնացնել այնպիսի կառուցվածքներ, ինչպիսիք են քերականությունը, ոճը և բացատրության տարածված օրինաչափությունները: Նրանք կարող են նաև ներծծել աշխարհի մասին մեծ քանակությամբ գիտելիքներ, թեև ոչ միշտ հուսալիորեն: Արդյունքը ուժեղ ընդհանուր ներկայացում է, որը հետագայում կարող եք ուղղորդել դեպի կոնկրետ աշխատանք:.
Հուշման, նուրբ կարգավորման, LoRA-ի և RAG-ի միջև տարբերությունը
Հուշումը վարքագիծը հրահանգների միջոցով ուղղորդելու ամենաարագ միջոցն է, բայց այն կարող է փխրուն լինել: Նուրբ կարգավորումը ձեր օրինակների վրա մոդելը ավելի լավ է մարզում՝ ավելի հետևողական վարքագիծ ապահովելու համար, բայց դա ավելացնում է ծախսեր և սպասարկում: LoRA/ադապտերները ավելի թեթև նուրբ կարգավորման մոտեցում են, որը հաճախ ավելի էժան է և ավելի մոդուլային: RAG-ը վերցնում է համապատասխան փաստաթղթերը և ստանում է մոդելի պատասխանը՝ օգտագործելով այդ համատեքստը, ինչը նպաստում է թարմացմանը և հիմնավորմանը:.
Ե՞րբ օգտագործել RAG-ը՝ նուրբ կարգավորման փոխարեն
RAG-ը հաճախ լավ ընտրություն է, երբ ձեզ անհրաժեշտ են պատասխաններ, որոնք հիմնված են ձեր ներկայիս փաստաթղթերի կամ ներքին գիտելիքների բազայի վրա: Այն կարող է նվազեցնել «կռահումները»՝ մոդելին տրամադրելով համապատասխան համատեքստ ստեղծման պահին: Նուրբ կարգավորումն ավելի լավ է համապատասխանում, երբ ձեզ անհրաժեշտ է հետևողական ոճ, տիրույթային արտահայտություն կամ վարքագիծ, որը հուշումը չի կարող հուսալիորեն ստեղծել: Շատ գործնական համակարգեր համատեղում են հուշումը + RAG-ը, նախքան նուրբ կարգավորմանը դիմելը:.
Ինչպես նվազեցնել հալյուցինացիաները և ստանալ ավելի հուսալի պատասխաններ
Տարածված մոտեցում է մոդելը հիմնել վերականգնման (RAG) միջոցով, որպեսզի այն մոտ մնա տրամադրված համատեքստին: Կարող եք նաև սահմանափակել ելքային տվյալները սխեմաներով, պահանջել գործիքների կանչեր հիմնական քայլերի համար և ավելացնել հստակ «չկռահել» հրահանգներ: Հաստատման շերտերը նույնպես կարևոր են, ինչպիսիք են կանոնների ստուգումները, խաչաձև ստուգումը և մարդկային վերանայումը բարձր ռիսկերի օգտագործման դեպքերի համար: Մոդելին վերաբերվեք որպես հավանականային օգնականի, այլ ոչ թե ճշմարտության աղբյուրի՝ լռելյայն:.
Արտադրության մեջ հիմքային մոդելների հետ կապված ամենամեծ ռիսկերը
Հաճախ հանդիպող ռիսկերից են հալյուցինացիաները, մարզման տվյալներից առաջացող կողմնակալ կամ վնասակար օրինաչափությունները և գաղտնիության արտահոսքը, եթե զգայուն տվյալները վատ են մշակվում: Համակարգերը կարող են նաև խոցելի լինել հուշումների ներարկման նկատմամբ, հատկապես, երբ մոդելը փաստաթղթերից կամ վեբ բովանդակությունից կարդում է անվստահելի տեքստ: Մեղմացման միջոցառումները սովորաբար ներառում են կառավարում, կարմիր թիմավորում, մուտքի վերահսկում, ավելի անվտանգ հուշումների օրինաչափություններ և կառուցվածքային գնահատում: Այս ռիսկերը նախապես պլանավորեք, այլ ոչ թե ավելի ուշ թարմացրեք:.
Արագ ներարկում և դրա կարևորությունը RAG համակարգերում
Հուշումների ներարկումը տեղի է ունենում, երբ անվստահելի տեքստը փորձում է անտեսել հրահանգները, օրինակ՝ «անտեսել նախորդ հրահանգները» կամ «բացահայտել գաղտնիքները»: RAG-ում ստացված փաստաթղթերը կարող են պարունակել այդ չարամիտ հրահանգները, և մոդելը կարող է հետևել դրանց, եթե զգույշ չլինեք: Հաճախակի մոտեցում է համակարգային հրահանգները մեկուսացնելը, ստացված բովանդակությունը մաքրելը և միայն հուշումների փոխարեն գործիքային քաղաքականությունների վրա հույսը դնելը: Հակառակորդական մուտքային տվյալներով փորձարկումը օգնում է բացահայտել թույլ կողմերը:.
Ինչպես ընտրել հիմքի մոդելը ձեր օգտագործման դեպքի համար
Սկսեք նրանից, թե ինչ է ձեզ անհրաժեշտ ստեղծել՝ տեքստ, պատկերներ, աուդիո, կոդ կամ բազմամոդալ արդյունքներ: Այնուհետև սահմանեք ձեր փաստացիության չափանիշը. բարձր ճշգրտության տիրույթները հաճախ կարիք ունեն հիմնավորման (RAG), վավերացման և երբեմն մարդկային վերանայման: Հաշվի առեք լատենտությունը և արժեքը, քանի որ դանդաղ կամ թանկ ուժեղ մոդելը կարող է դժվար լինել իրականացնել: Վերջապես, քարտեզագրման գաղտնիությունը և համապատասխանությունը պետք է համապատասխանեն տեղակայման տարբերակներին և կառավարմանը:.
Հղումներ
-
Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտ (NIST) - Հիմնադրամի մոդել (բառարանային տերմին) - csrc.nist.gov
-
Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտ (NIST) - NIST AI 600-1. Գեներատիվ արհեստական բանականության պրոֆիլ - nvlpubs.nist.gov
-
Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտ (NIST) - NIST AI 100-1: Արհեստական ինտելեկտի ռիսկերի կառավարման շրջանակ (AI RMF 1.0) - nvlpubs.nist.gov
-
Ստենֆորդի հիմնադրամի մոդելների հետազոտական կենտրոն (CRFM) - Հաշվետվություն - crfm.stanford.edu
-
arXiv - Հիմնադրամի մոդելների հնարավորությունների և ռիսկերի մասին (Bommasani et al., 2021) - arxiv.org
-
arXiv - Լեզվական մոդելները քիչ թվով սովորողներ են (Բրաուն և այլք, 2020) - arxiv.org
-
arXiv - Վերականգնման-ընդլայնված գեներացիա գիտելիքների վրա հիմնված NLP առաջադրանքների համար (Լյուիս և այլք, 2020) - arxiv.org
-
arXiv - LoRA. Մեծ լեզվական մոդելների ցածրակարգ ադապտացիա (Հու և այլք, 2021) - arxiv.org
-
arXiv - BERT. Լեզվի ըմբռնման համար խորը երկկողմանի տրանսֆորմատորների նախնական ուսուցում (Դևլին և այլք, 2018) - arxiv.org
-
arXiv - Լեզվի նուրբ մոդելները զրոյական հնարավորություններով սովորողներ են (Վեյ և այլք, 2021) - arxiv.org
-
ACM թվային գրադարան - Հալյուցինացիաների հետազոտություն բնական լեզվի ստեղծման մեջ (Ջի և այլք, 2023) - dl.acm.org
-
arXiv - Բնական լեզվի վերահսկողությունից փոխանցելի տեսողական մոդելների ուսուցում (Ռադֆորդ և այլք, 2021) - arxiv.org
-
arXiv - Աղմուկից ազատող դիֆուզիոն հավանականային մոդելներ (Հո և այլք, 2020) - arxiv.org
-
arXiv - Բարձր թույլտվությամբ պատկերի սինթեզ՝ օգտագործելով թաքնված դիֆուզիոն մոդելներ (Ռոմբախ և այլք, 2021) - arxiv.org
-
arXiv - Խիտ հատվածների որոնում բաց տիրույթում հարց ու պատասխանի համար (Կարպուխին և այլք, 2020) - arxiv.org
-
arXiv - Faiss գրադարան (Douze et al., 2024) - arxiv.org
-
OpenAI - Ներկայացնում ենք Whisper-ը - openai.com
-
arXiv - Բնական TTS սինթեզ՝ WaveNet-ը Մելի սպեկտրոգրաֆի կանխատեսումների վրա պայմանավորելով (Shen et al., 2017) - arxiv.org
-
Անվտանգության և զարգացող տեխնոլոգիաների կենտրոն (CSET), Ջորջթաունի համալսարան - Հաջորդ բառի կանխատեսման զարմանալի ուժը. մեծ լեզվական մոդելների բացատրություն (մաս 1) - cset.georgetown.edu
-
USENIX - Ուսուցման տվյալների արդյունահանում մեծ լեզվական մոդելներից (Carlini et al., 2021) - usenix.org
-
OWASP - LLM01: Արագ ներարկում - genai.owasp.org
-
arXiv - Ավելին, քան դուք խնդրել եք. կիրառական ինտեգրված մեծ լեզվական մոդելների համար նորարարական արագ ներարկման սպառնալիքների համապարփակ վերլուծություն (Գրեշեյք և այլք, 2023) - arxiv.org
-
OWASP-ի խորհրդատվական թերթիկների շարք - LLM արագ ներարկման կանխարգելման խորհրդատվական թերթիկ - cheatsheetseries.owasp.org