Կարճ պատասխան. Գեներատիվ արհեստական բանականություն օգտագործող մշակողները պատասխանատու են ամբողջ համակարգի համար, այլ ոչ թե միայն մոդելի արդյունքի: Երբ արհեստական բանականությունը ազդում է որոշումների, կոդի, գաղտնիության կամ օգտատիրոջ վստահության վրա, նրանք պետք է ընտրեն անվտանգ ծրագրեր, ստուգեն արդյունքները, պաշտպանեն տվյալները, նվազեցնեն վնասը և ապահովեն, որ մարդիկ կարողանան վերանայել, չեղարկել և ուղղել սխալները:
Հիմնական եզրակացություններ՝
Հաստատում . Հղկված արդյունքները համարեք անվստահելի, մինչև աղբյուրները, թեստերը կամ մարդկային վերանայումը հաստատեն դրանք:
Տվյալների պաշտպանություն . նվազագույնի հասցնել արագ տվյալները, հեռացնել նույնականացուցիչները և պաշտպանել գրանցամատյանները, մուտքի վերահսկիչները և մատակարարները։
Արդարություն . փորձարկում տարբեր ժողովրդագրական խմբերի և համատեքստերի միջոցով՝ կարծրատիպերը և անհավասար ձախողման օրինաչափությունները հայտնաբերելու համար։
Թափանցիկություն . հստակորեն նշեք արհեստական բանականության օգտագործումը, բացատրեք դրա սահմանափակումները և առաջարկեք մարդկային վերանայում կամ բողոքարկում։
Հաշվետվողականություն . մեկնարկից առաջ նշանակեք հստակ սեփականատերեր տեղակայման, միջադեպերի, մոնիթորինգի և չեղարկման համար։

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո
🔗 Ծրագրավորողների համար լավագույն արհեստական բանականության գործիքները. արհեստական բանականությամբ աշխատող լավագույն կոդավորման օգնականներ
Համեմատեք արհեստական բանականության լավագույն կոդավորման օգնականները՝ ավելի արագ և մաքուր մշակման աշխատանքային հոսքերի համար։.
🔗 Մշակողների համար արհեստական ինտելեկտի 10 լավագույն գործիքներ՝ արտադրողականությունը բարձրացնելու համար
Ավելի խելացի կոդավորման և արագության համար մշակողների արհեստական բանականության գործիքների վարկանիշային ցանկ։.
🔗 Ինչու՞ արհեստական բանականությունը կարող է վնասակար լինել հասարակության և վստահության համար
Բացատրում է իրական աշխարհի վնասները՝ կողմնակալություն, գաղտնիություն, աշխատատեղեր և ապատեղեկատվության ռիսկեր։.
🔗 Արդյո՞ք արհեստական բանականությունը չափազանց հեռու է գնացել բարձր խաղադրույքներով որոշումներ կայացնելիս։
Սահմանում է, թե երբ է արհեստական բանականությունը անցնում սահմանները՝ հսկողություն, խորը կեղծիքներ, համոզում, համաձայնության բացակայություն։.
Ինչու է գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունն ավելի կարևոր, քան մարդիկ կարծում են
Ծրագրային բազմաթիվ սխալներ նյարդայնացնող են։ Մի կոճակ կոտրվում է։ Էջը դանդաղ է բեռնվում։ Ինչ-որ բան խափանվում է, և բոլորը տնքում են։.
Գեներատիվ արհեստական բանականության խնդիրները կարող են տարբեր լինել։ Դրանք կարող են լինել նուրբ։.
Մոդելը կարող է վստահ թվալ, միաժամանակ սխալվելով։ NIST GenAI պրոֆիլ Այն կարող է վերարտադրել կողմնակալությունը առանց ակնհայտ նախազգուշական նշանների։ NIST GenAI պրոֆիլ Այն կարող է բացահայտել զգայուն տվյալներ, եթե անզգուշորեն օգտագործվի։ OWASP-ի լավագույն 10-յակը LLM կիրառությունների համար ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության վերաբերյալ Այն կարող է ստեղծել աշխատող կոդ՝ մինչև այն ձախողվի արտադրության մեջ որևէ խորապես ամոթալի ձևով։ OWASP-ի լավագույն 10-յակը LLM կիրառությունների համար Մի փոքր նման է շատ ոգևորված պրակտիկանտի վարձելուն, ով երբեք չի քնում և ժամանակ առ ժամանակ փաստեր է հորինում զարմանալի վստահությամբ։
Ահա թե ինչու գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունն ավելի մեծ է, քան պարզապես իրականացումը։ Մշակողները այլևս միայն տրամաբանական համակարգեր չեն կառուցում։ Նրանք կառուցում են հավանականային համակարգեր՝ մշուշոտ եզրերով, անկանխատեսելի արդյունքներով և իրական սոցիալական հետևանքներով։ NIST AI RMF
Սա նշանակում է, որ պատասխանատվությունը ներառում է
-
NIST AI RMF մոդելի սահմանների հասկացումը
-
օգտատիրոջ գաղտնիության պաշտպանություն, ICO ուղեցույց արհեստական բանականության և տվյալների պաշտպանության վերաբերյալ
-
NIST GenAI պրոֆիլի վնասակար ելքերի նվազեցում
-
Վստահություն տրամադրելուց առաջ ճշգրտության ստուգում NIST GenAI պրոֆիլ
-
մարդու դերի հստակեցումը՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներում
-
Արհեստական բանականության ձախողման դեպքում պահեստային ուղիների նախագծում OECD AI սկզբունքներ NCSC անվտանգ արհեստական բանականության ուղեցույցներ
-
Համակարգի հստակ փաստաթղթավորումը՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքների համաձայն
Գիտեք, թե ինչպես է ստացվում. երբ գործիքը կախարդական է թվում, մարդիկ դադարում են այն կասկածի տակ դնել։ Մշակողները չեն կարող այդքան անտարբեր լինել։.
Ի՞նչն է դարձնում գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվության լավ տարբերակը։ 🛠️
Պատասխանատվության լավ տարբերակը կատարողական չէ։ Այն պարզապես ներքևում հրաժարագիր ավելացնելը և այն էթիկա անվանելը չէ։ Այն դրսևորվում է դիզայնի ընտրություններում, փորձարկման սովորույթներում և արտադրանքի վարքագծում։.
Ահա, թե ինչպիսին է սովորաբար գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվության
-
NIST AI RMF-ի միտումնավոր օգտագործումը
-
Արհեստական բանականությունն օգտագործվում է իրական խնդրի լուծման համար, այլ ոչ թե ներմուծվում է արտադրանքի մեջ, որովհետև այն նորաձև է թվում։.
-
-
Մարդկային վերահսկողություն՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
Մարդիկ կարող են վերանայել, ուղղել, անտեսել կամ մերժել արդյունքները։.
-
-
Անվտանգություն նախագծմամբ NCSC անվտանգ արհեստական ինտելեկտի ուղեցույցներ
-
Ռիսկերի վերահսկման միջոցները ներդրվում են վաղ փուլում, այլ ոչ թե հետագայում կպչուն ժապավենով։.
-
-
Թափանցիկություն Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ Եվրոպական հանձնաժողով արհեստական բանականության մասին օրենքի ակնարկ
-
Օգտատերերը հասկանում են, թե երբ է բովանդակությունը ստեղծված արհեստական բանականության կողմից, թե՝ աջակցությամբ։.
-
-
Տվյալների խնամքի ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության համար
-
Զգայուն տեղեկատվությունը զգուշորեն է մշակվում, և հասանելիությունը սահմանափակ է։.
-
-
Արդարության ստուգումներ NIST GenAI պրոֆիլ ICO ուղեցույց արհեստական բանականության և տվյալների պաշտպանության վերաբերյալ
-
Համակարգը ստուգվում է կողմնակալության, անհավասար աշխատանքի և վնասակար օրինաչափությունների առկայության համար։.
-
-
NIST AI RMF NCSC անվտանգ AI ուղեցույցների շարունակական մոնիթորինգ
-
Մեկնարկը վերջնագիծը չէ։ Այն ավելի շատ նման է մեկնարկային սուլոցի։.
-
Եթե դա շատ է թվում, ապա... այդպես է։ Բայց դա այդպես է, երբ աշխատում ես այնպիսի տեխնոլոգիաների հետ, որոնք կարող են ազդել որոշումների, համոզմունքների և վարքագծի վրա մեծ մասշտաբով։ կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
Համեմատական աղյուսակ - գեներատիվ արհեստական բանականություն օգտագործող մշակողների հիմնական պարտականությունը մեկ հայացքով 📋
| Պատասխանատվության ոլորտ | Ում վրա է դա ազդում | Ամենօրյա մշակողի պրակտիկա | Ինչու է դա կարևոր |
|---|---|---|---|
| Ճշգրտություն և ստուգում | օգտատերեր, թիմեր, հաճախորդներ | Վերանայեք արդյունքները, ավելացրեք վավերացման շերտեր, փորձարկեք եզրային դեպքերը | Արհեստական բանականությունը կարող է սահուն լինել և միևնույն ժամանակ խիստ սխալվել, ինչը մոտավոր համադրություն է։ NIST GenAI պրոֆիլ |
| Գաղտնիության պաշտպանություն | օգտատերեր, հաճախորդներ, ներքին անձնակազմ | Նվազագույնի հասցնել զգայուն տվյալների օգտագործումը, սկանավորել հուշումները, վերահսկել գրանցամատյանները | Երբ անձնական տվյալները արտահոսում են, ատամի մածուկը դուրս է գալիս խողովակից 😬 ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության վերաբերյալ OWASP-ի լավագույն 10-ը LLM կիրառությունների համար |
| Կողմնակալություն և արդարություն | թերներկայացված խմբեր, բոլոր օգտատերերը իրականում | Աուդիտի արդյունքներ, տարբեր մուտքային տվյալների փորձարկում, պաշտպանության միջոցների կարգավորում | Վնասը միշտ չէ, որ բարձր է լինում՝ երբեմն այն համակարգված և լուռ է։ NIST GenAI Profile ICO ուղեցույց արհեստական ինտելեկտի և տվյալների պաշտպանության վերաբերյալ։ |
| Անվտանգություն | ընկերության համակարգեր, օգտատերեր | Սահմանափակել մոդելի մուտքը, պաշտպանվել արագ ներարկումից, պաշտպանվել «sandbox» ռիսկային գործողություններից | Մեկ խելացի շահարկումը կարող է արագորեն խաթարել վստահությունը։ OWASP-ի լավագույն 10-յակը իրավաբանության ոլորտի կիրառությունների համար։ NCSC-ն արհեստական բանականության և կիբերանվտանգության վերաբերյալ։ |
| Թափանցիկություն | վերջնական օգտագործողներ, կարգավորող մարմիններ, աջակցության թիմեր | Հստակորեն պիտակավորեք արհեստական բանականության վարքագիծը, բացատրեք սահմանափակումները, փաստաթղթավորեք օգտագործումը | Մարդիկ արժանի են իմանալ, թե երբ է մեքենան օգնում։ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ։ Արհեստական բանականության կողմից ստեղծված բովանդակության նշագրման և պիտակավորման վերաբերյալ գործելակերպի կանոնագիրք։ |
| Հաշվետվողականություն | արտադրանքի սեփականատերեր, իրավաբանական մասնագետներ, մշակողների թիմեր | Սահմանել սեփականության իրավունքը, միջադեպերի կառավարումը, էսկալացիայի ուղիները | «Արհեստական բանականությունն է արել»-ը մեծահասակների պատասխան չէ՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) սկզբունքներ |
| Հուսալիություն | բոլորը, ովքեր դիպչում են ապրանքին | Վերահսկեք ձախողումները, սահմանեք վստահության շեմեր, ստեղծեք պահեստային տրամաբանություն | Մոդելները շեղվում են, անսպասելիորեն ձախողվում և ժամանակ առ ժամանակ ունենում դրամատիկ փոքրիկ դրվագներ։ NIST AI RMF NCSC անվտանգ AI ուղեցույցներ։ |
| Օգտատիրոջ բարեկեցություն | հատկապես խոցելի օգտատերերի | Խուսափեք մանիպուլյատիվ դիզայնից, սահմանափակեք վնասակար արդյունքները, վերանայեք բարձր ռիսկային օգտագործման դեպքերը | Այն, որ ինչ-որ բան կարող է ստեղծվել, չի նշանակում, որ այն պետք է համապատասխանի OECD AI սկզբունքներին, NIST AI RMF-ին։ |
Մի փոքր անհարթ սեղան, իհարկե, բայց դա համապատասխանում է թեմային։ Իրական պատասխանատվությունը նույնպես անհարթ է։.
Պատասխանատվությունը սկսվում է առաջին հուշումից առաջ՝ ճիշտ օգտագործման դեպքի ընտրություն 🎯
Մշակողների ամենամեծ պարտականություններից մեկը գեներատիվ արհեստական բանականության օգտագործման վերաբերյալ ։ NIST AI RMF
Սա ակնհայտ է հնչում, բայց այն անընդհատ բաց է թողնվում։ Թիմերը տեսնում են մոդելը, ոգևորվում և սկսում են այն ներառել աշխատանքային հոսքերում, որոնք ավելի լավ կկարգավորվեն կանոններով, որոնմամբ կամ սովորական ծրագրային տրամաբանությամբ։ Ոչ բոլոր խնդիրներին է անհրաժեշտ լեզվական մոդել։ Որոշ խնդիրների համար անհրաժեշտ է տվյալների բազա և հանգիստ կեսօր։.
Կառուցելուց առաջ կառուցապատողները պետք է հարցնեն
-
Առաջադրանքը բաց ավարտի՞ է, թե՞ դետերմինիստական։
-
Կարո՞ղ է սխալ արտածումը վնաս հասցնել։
-
Օգտատերերին պե՞տք է ստեղծագործականություն, կանխատեսում, ամփոփում, ավտոմատացում, թե՞ պարզապես արագություն։
-
Արդյո՞ք մարդիկ չափազանց կվստահեն արդյունքին։ NIST GenAI պրոֆիլ
-
Կարո՞ղ է մարդը իրատեսորեն վերանայել արդյունքները: Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքները
-
Ի՞նչ է պատահում, երբ մոդելը սխալ է։ OECD-ի արհեստական բանականության սկզբունքները
Պատասխանատու մշակողը պարզապես չի հարցնում. «Կարո՞ղ ենք սա կառուցել»։ Նրանք հարցնում են. «Արդյո՞ք սա պե՞տք է այսպես կառուցվի»։ NIST AI RMF
Այդ հարցն ինքնին կանխում է բազմաթիվ փայլուն անհեթեթություններ։.
Ճշգրտությունը պատասխանատվություն է, այլ ոչ թե լրացուցիչ հատկանիշ ✅
Եկեք հստակ լինենք. գեներատիվ արհեստական ինտելեկտի ամենամեծ թակարդներից մեկը ճարտասանությունը ճշմարտության հետ շփոթելն է: Մոդելները հաճախ տալիս են պատասխաններ, որոնք հնչում են հղկված, կառուցվածքային և խորապես համոզիչ: Ինչը հիանալի է, մինչև բովանդակությունը անհեթեթություն չդառնա՝ փաթաթված գաղտնիության մեջ: NIST GenAI պրոֆիլ
Այսպիսով, գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունը ներառում է ստուգման համար կառուցում:
Դա նշանակում է
-
հնարավորության դեպքում օգտագործելով վերականգնում կամ հողանցում NIST GenAI պրոֆիլ
-
Ստեղծված բովանդակության առանձնացումը հաստատված փաստերից՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
զգուշորեն ավելացնելով վստահության շեմերը NIST AI RMF-ում
-
բարձր ռիսկային արդյունքների վերանայման աշխատանքային հոսքերի ստեղծում՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
կանխելով մոդելի իմպրովիզացիան կրիտիկական համատեքստերում NIST GenAI պրոֆիլ
-
Թեստավորման հրահանգներ, որոնք փորձում են կոտրել կամ մոլորեցնել համակարգը։ OWASP-ի լավագույն 10 իրավունքի կառավարման ծրագրերի համար
Սա շատ կարևոր է այնպիսի ոլորտներում, ինչպիսիք են՝
-
առողջապահություն
-
ֆինանսներ
-
իրավական աշխատանքային հոսքեր
-
կրթություն
-
հաճախորդների աջակցություն
-
ձեռնարկության ավտոմատացում
-
կոդի ստեղծում
Օրինակ՝ ստեղծված կոդը կարող է կոկիկ տեսք ունենալ՝ թաքցնելով անվտանգության թերությունները կամ տրամաբանական սխալները: Մշակողը, որը կուրորեն պատճենում է այն, արդյունավետ չէ. նա պարզապես ռիսկերը փոխանցում է ավելի գեղեցիկ ձևաչափով: OWASP-ի լավագույն 10 իրավունքի կառավարման ծրագրերի համար NCSC-ն արհեստական բանականության և կիբերանվտանգության վերաբերյալ
Մոդելը կարող է օգնել։ Արդյունքը դեռևս մշակողի ձեռքում է։ OECD AI սկզբունքներ
Գաղտնիության և տվյալների կառավարման հարցերը քննարկման ենթակա չեն 🔐
Ահա թե որտեղ է իրավիճակը արագ լրջանում։ Գեներացնող արհեստական բանականության համակարգերը հաճախ հենվում են հուշումների, գրանցամատյանների, համատեքստային պատուհանների, հիշողության շերտերի, վերլուծությունների և երրորդ կողմի ենթակառուցվածքների վրա։ Սա ստեղծում է բազմաթիվ հնարավորություններ, որ զգայուն տվյալները արտահոսեն, պահպանվեն կամ վերօգտագործվեն այնպիսի եղանակներով, որոնք օգտատերերը երբեք չեն սպասել։ ICO-ի ութ հարցերը գեներացնող արհեստական բանականության վերաբերյալ OWASP-ի լավագույն 10-յակը իրավագիտության մագիստրոսական ծրագրերի համար
Մշակողները պարտավոր են պաշտպանել
-
անձնական տեղեկություններ
-
ֆինանսական գրառումներ
-
բժշկական մանրամասներ
-
ընկերության ներքին տվյալները
-
առևտրային գաղտնիքներ
-
նույնականացման տոկեններ
-
հաճախորդների հետ հաղորդակցություն
Պատասխանատու գործելակերպերը ներառում են
-
նվազագույնի հասցնելով այն տվյալները, որոնք մտնում են մոդելային ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության համար
-
NIST GenAI պրոֆիլի նույնականացուցիչների քողարկում կամ հեռացում
-
Արհեստական բանականության և տվյալների պաշտպանության վերաբերյալ ICO ուղեցույցի սահմանափակում
-
վերահսկելով, թե ով կարող է մուտք գործել հուշումներին և արդյունքներին։ OWASP-ի լավագույն 10-յակը LLM կիրառությունների համար։
-
ուշադիր վերանայելով մատակարարի կարգավորումները NCSC-ի անվտանգ արհեստական ինտելեկտի ուղեցույցները
-
Բարձր ռիսկի աշխատանքային հոսքերի մեկուսացում NCSC-ի անվտանգ արհեստական բանականության ուղեցույցներում
-
Գաղտնիության վարքագիծը օգտատերերի համար տեսանելի դարձնելը։ ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության վերաբերյալ։
Սա այն ոլորտներից մեկն է, որտեղ «մենք մոռացել ենք դրա մասին մտածել» արտահայտությունը փոքր սխալ չէ։ Դա վստահությունը խաթարող ձախողում է։.
Եվ վստահությունը, մեկ անգամ ճաքելուց հետո, տարածվում է ինչպես ընկած ապակին։ Հնարավոր է՝ սա ամենաճշգրիտ փոխաբերությունը չէ, բայց հասկացաք։.
Կողմնակալություն, արդարություն և ներկայացուցչություն՝ ավելի լուռ պարտականություններ ⚖️
Գեներատիվ արհեստական ինտելեկտի մեջ կողմնակալությունը հազվադեպ է մուլտֆիլմային չարագործի դեր խաղում։ Այն սովորաբար ավելի անկայուն է, քան դա։ Մոդելը կարող է ստեղծել կարծրատիպային աշխատանքային նկարագրություններ, անհավասար մոդերացիայի որոշումներ, միակողմանի առաջարկություններ կամ մշակութային առումով նեղ ենթադրություններ՝ առանց ակնհայտ տագնապներ առաջացնելու։ NIST GenAI պրոֆիլ
Ահա թե ինչու գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունը ներառում է ակտիվ արդարության աշխատանք։
Մշակողները պետք է
-
Թեստային հուշումներ տարբեր ժողովրդագրական խմբերից և համատեքստերից ՝ NIST GenAI պրոֆիլ
-
վերանայել կարծրատիպերի և բացառման արդյունքները NIST GenAI պրոֆիլում
-
գնահատման ընթացքում ներառել բազմազան տեսակետներ NIST AI RMF
-
ուշադրություն դարձրեք անհավասար ձախողման օրինաչափություններին NIST GenAI պրոֆիլ
-
Խուսափեք ենթադրելուց, որ մեկ լեզվական ոճը կամ մշակութային նորմը համապատասխանում է բոլորին։ ICO ուղեցույց արհեստական բանականության և տվյալների պաշտպանության վերաբերյալ։
-
NIST AI RMF վնասակար արդյունքի մասին հաղորդման ալիքներ
Համակարգը կարող է ընդհանուր առմամբ լավ աշխատել, մինչդեռ որոշ օգտատերերի մշտապես ավելի վատ է սպասարկում, քան մյուսներին։ Սա ընդունելի չէ միայն այն պատճառով, որ միջին արդյունավետությունը լավ է երևում վահանակի վրա։ ICO ուղեցույց արհեստական ինտելեկտի և տվյալների պաշտպանության վերաբերյալ NIST GenAI պրոֆիլ
Եվ այո, արդարությունն ավելի դժվար է, քան կոկիկ ստուգաթերթիկը։ Այն պարունակում է դատողություն։ Համատեքստ։ Փոխզիջումներ։ Նաև որոշակի անհարմարություն։ Բայց դա պատասխանատվությունը չի վերացնում, այլ հաստատում է այն։ ICO ուղեցույց արհեստական ինտելեկտի և տվյալների պաշտպանության վերաբերյալ
Անվտանգությունն այժմ մասամբ արագ նախագծում է, մասամբ՝ ճարտարագիտական կարգապահություն 🧱
Գեներատիվ արհեստական բանականության անվտանգությունն իր յուրահատուկ «հրեշն» է: Ավանդական հավելվածների անվտանգությունը, իհարկե, դեռևս կարևոր է, բայց արհեստական բանականության համակարգերը ավելացնում են անսովոր հարձակման մակերեսներ՝ արագ ներարկում, անուղղակի արագ մանիպուլյացիա, գործիքների անվտանգ օգտագործում, տվյալների արտահոսք համատեքստի միջոցով և մոդելի չարաշահում ավտոմատացված աշխատանքային հոսքերի միջոցով: OWASP-ի լավագույն 10-յակը իրավաբանության ոլորտի կիրառությունների համար՝ NCSC-ն արհեստական բանականության և կիբերանվտանգության վերաբերյալ
Մշակողները պատասխանատու են ամբողջ համակարգի անվտանգության համար, այլ ոչ թե միայն ինտերֆեյսի: NCSC-ի անվտանգ արհեստական ինտելեկտի ուղեցույցներ
Հիմնական պարտականությունները այստեղ ներառում են
-
Անվստահելի մուտքագրման ախտահանում OWASP-ի լավագույն 10-յակը LLM կիրառությունների համար
-
սահմանափակում է, թե որ գործիքները կարող է մոդելը անվանել OWASP-ի լավագույն 10-յակը LLM կիրառությունների համար
-
Ֆայլերի և ցանցային մուտքի սահմանափակում NCSC անվտանգ արհեստական բանականության ուղեցույցներ
-
թույլտվությունների հստակ տարանջատում NCSC-ի անվտանգ արհեստական բանականության ուղեցույցներում
-
NCSC-ի անվտանգ արհեստական ինտելեկտի ուղեցույցների չարաշահման օրինաչափությունների մոնիթորինգ
-
Թանկարժեք կամ ռիսկային գործողություններ, որոնք սահմանափակում են գինը։ OWASP-ի լավագույն 10 LLM դիմումները։
-
OWASP-ի 10 լավագույն իրավաբանության դիմումների համար հակառակորդական հուշումների փորձարկում
-
ստեղծելով անվտանգ պահեստային տարբերակներ, երբ հրահանգները հակասում են OECD արհեստական բանականության սկզբունքներին
Մի անհարմար ճշմարտություն այն է, որ օգտատերերը՝ և՛ հարձակվողները, անպայման կփորձեն այնպիսի բաներ, որոնք մշակողները չեն սպասում։ Ոմանք հետաքրքրասիրությունից դրդված, ոմանք չարամտությունից դրդված, ոմանք էլ՝ որովհետև ժամը 2-ին սխալ բանի վրա են սեղմել։ Դա պատահում է։.
Գեներատիվ արհեստական բանականության անվտանգությունը պակաս նման է պատ կառուցելուն, այլ ավելի շատ նման է շատախոս դարպասապահի կառավարմանը, ում երբեմն խաբում են արտահայտություններով։.
Թափանցիկությունն ու օգտատիրոջ համաձայնությունը ավելի կարևոր են, քան աչքի ընկնող UX-ը 🗣️
Երբ օգտատերերը փոխազդում են արհեստական բանականության հետ, նրանք պետք է տեղյակ լինեն դրա մասին։ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ, արհեստական բանականության կողմից ստեղծված բովանդակության նշագրման և պիտակավորման վերաբերյալ գործելակերպի կանոնագիրք։
Ոչ թե անորոշ։ Ոչ թե տերմիններով թաղված։ Ակնհայտ է։.
Գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվության հիմնական մասն է ապահովել, որ օգտատերերը հասկանան.
-
Երբ է արհեստական բանականությունը կիրառվում։ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքները
-
Ինչ կարող է և ինչ չի կարող անել արհեստական բանականությունը ՝ OECD AI սկզբունքներ
-
արդյոք արդյունքները վերանայվում են մարդկանց կողմից։ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
Ինչպես են մշակվում նրանց տվյալները։ ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության համար։
-
Ինչպիսի՞ վստահություն պետք է ունենան նրանք NIST AI RMF-ի
-
Ինչպես հաղորդել խնդիրների կամ բողոքարկել որոշումները OECD AI սկզբունքներ NIST AI RMF
Թափանցիկությունը օգտատերերին վախեցնելու մասին չէ։ Այն նրանց հարգելու մասին է։.
Լավ թափանցիկությունը կարող է ներառել
-
բովանդակության նշագրման և պիտակավորման վերաբերյալ վարքագծի կանոնագիրք, ինչպիսիք են՝ արհեստական բանականության կողմից ստեղծված կամ արհեստական բանականության կողմից օժանդակվող
-
պարզ լեզվով բացատրություններ՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
տեսանելի խմբագրումների պատմություններ, որտեղ դրանք համապատասխան են
-
AI գործառույթները անջատելու տարբերակներ
-
Անհրաժեշտության դեպքում մարդուն ներգրավելու էսկալացիա Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
Եվրոպական հանձնաժողովի արհեստական բանականության մասին օրենքի ակնարկ՝ բարձր ռիսկայնության առաջադրանքների վերաբերյալ համառոտ նախազգուշացումներ
Շատ արտադրանքի թիմեր անհանգստանում են, որ անկեղծությունը գործառույթը կդարձնի պակաս կախարդական։ Հնարավոր է։ Բայց կեղծ վստահությունն ավելի վատ է։ Հարթ ինտերֆեյսը, որը թաքցնում է ռիսկը, ըստ էության, հղկված խառնաշփոթ է։.
Մշակողները մնում են պատասխանատու՝ նույնիսկ երբ մոդելն է «որոշում» 👀
Այս մասը շատ կարևոր է։ Պատասխանատվությունը չի կարող փոխանցվել մոդելի մատակարարին, մոդելի քարտին, հուշագրի ձևանմուշին կամ մեքենայական ուսուցման խորհրդավոր մթնոլորտին։ OECD AI սկզբունքներ NIST AI RMF
Մշակողները դեռևս պատասխանատու են։ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքները
Դա նշանակում է, որ թիմի անդամներից մեկը պետք է ունենա
-
մոդելի ընտրություն NIST AI RMF
-
փորձարկման ստանդարտներ NIST GenAI պրոֆիլ
-
թողարկման չափանիշներ NIST GenAI պրոֆիլ
-
NCSC-ի անվտանգ արհեստական ինտելեկտի ուղեցույցներ միջադեպերին արձագանքելու համար
-
Օգտատերերի բողոքների մշակում NIST AI RMF
-
հետկանչման ընթացակարգեր՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
-
փոփոխությունների հետևում OECD արհեստական բանականության սկզբունքներ
-
փաստաթղթեր՝ Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
Պետք է լինեն հստակ պատասխաններ այնպիսի հարցերի, ինչպիսիք են՝
-
Ո՞վ է հաստատում տեղակայումը: NIST GenAI պրոֆիլ
-
Ո՞վ է վերանայում վնասակար ելքային միջադեպերը: NIST GenAI պրոֆիլ
-
Ո՞վ կարող է անջատել գործառույթը: Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքները
-
Ո՞վ է հետևում ռեգրեսիաներին։ NIST AI RMF
-
Ո՞վ է շփվում օգտատերերի հետ, երբ ինչ-որ բան խափանվում է: Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքները
Առանց սեփականության զգացողության, պատասխանատվությունը վերածվում է մշուշի։ Բոլորը ենթադրում են, որ ինչ-որ մեկն է զբաղվում դրանով... և այդ դեպքում ոչ ոք չի զբաղվում։.
Այդ օրինաչափությունն իրականում ավելի հին է, քան արհեստական բանականությունը։ Արհեստական բանականությունն այն պարզապես ավելի վտանգավոր է դարձնում։.
Պատասխանատու մշակողները կառուցում են ուղղման, այլ ոչ թե կատարելության համար 🔄
Ահա այս ամենի փոքրիկ նրբերանգը. պատասխանատու արհեստական բանականության մշակումը չի նշանակում ձևացնել, թե համակարգը կատարյալ կլինի։ Այն ենթադրում է, որ այն ինչ-որ կերպ կձախողվի և նախագծվում է այդ իրականության հիման վրա։ NIST AI RMF
Դա նշանակում է կառուցել այնպիսի արտադրանք, որը
-
աուդիտի ենթակա OECD արհեստական բանականության սկզբունքներ
-
որոշումներն ու արդյունքները կարող են վերանայվել ավելի ուշ
-
-
ընդհատվող OECD արհեստական բանականության սկզբունքներ
-
Մարդիկ կարող են դադարեցնել կամ չեղյալ համարել վատ վարքագիծը
-
-
Վերականգնվող OECD արհեստական բանականության սկզբունքներ
-
կա պահեստային տարբերակ, երբ արհեստական բանականության արդյունքը սխալ է
-
-
վերահսկվող NCSC անվտանգ արհեստական ինտելեկտի ուղեցույցներ NIST AI RMF
-
թիմերը կարող են նկատել օրինաչափությունները, նախքան դրանք աղետների վերածվեն
-
-
բարելավվող NIST GenAI պրոֆիլ
-
հետադարձ կապի օղակներ գոյություն ունեն, և ինչ-որ մեկը կարդում է դրանք
-
Ահա թե ինչ տեսք ունի հասունությունը։ Ոչ թե փայլուն դեմոներ։ Ոչ թե շնչահեղձ մարքեթինգային տեքստեր։ Իրական համակարգեր՝ պաշտպանիչ ցանկապատերով, գրանցամատյաններով, հաշվետվողականությամբ և բավականաչափ համեստությամբ՝ ընդունելու համար, որ մեքենան կախարդ չէ։ NCSC անվտանգ արհեստական ինտելեկտի ուղեցույցներ OECD արհեստական ինտելեկտի սկզբունքներ
Որովհետև դա այդպես չէ։ Այն գործիք է։ Հզոր գործիք, այո։ Բայց միևնույն է, գործիք է։.
Ամփոփիչ քննարկում գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվության վերաբերյալ 🌍
Այսպիսով, ո՞րն է գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունը ։
Դա նշանակում է զգուշությամբ կառուցել։ Հարցականի տակ դնել, թե որտեղ է համակարգը օգնում և որտեղ է վնասում։ Պաշտպանել գաղտնիությունը։ Ստուգել կողմնակալությունը։ Ստուգել արդյունքները։ Ապահովել աշխատանքային հոսքը։ Լինել թափանցիկ օգտատերերի հետ։ Մարդկանց պահել իմաստալից վերահսկողությունը։ Մնալով պատասխանատու, երբ ինչ-որ բան այնպես չի ընթանում։ NIST AI RMF OECD AI սկզբունքներ
Դա կարող է ծանր թվալ, և այդպես էլ է։ Բայց սա նաև այն է, ինչը տարբերակում է մտածված մշակումը անխոհեմ ավտոմատացումից։.
Գեներատիվ արհեստական բանականություն օգտագործող լավագույն մշակողները նրանք չեն, ովքեր մոդելին ստիպում են ամենաշատ հնարքները կատարել։ Նրանք են, ովքեր հասկանում են այդ հնարքների հետևանքները և համապատասխանաբար նախագծում են։ Նրանք գիտեն, որ արագությունը կարևոր է, բայց վստահությունն է իրական արդյունքը։ Հատկանշական է, որ այդ հինաձև գաղափարը դեռևս արդիական է։ NIST AI RMF
Ի վերջո, պատասխանատվությունը նորարարության խոչընդոտ չէ։ Այն է, ինչը թույլ չի տալիս նորարարությունը վերածվել թանկարժեք, անհանգիստ տարածման՝ հղկված ինտերֆեյսով և վստահության խնդրով 😬✨
Եվ գուցե սա դրա ամենապարզ տարբերակն է։.
Կառուցեք համարձակորեն, իհարկե, բայց կառուցեք այնպես, կարծես մարդիկ կարող են տուժել, որովհետև նրանք տուժում են: Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական բանականության սկզբունքներ
Հաճախակի տրվող հարցեր
Ի՞նչ պատասխանատվություն են կրում մշակողները գործնականում գեներատիվ արհեստական բանականություն օգտագործողների համար։
Գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունը տարածվում է գործառույթների արագ մատակարարումից շատ ավելի հեռու։ Այն ներառում է ճիշտ օգտագործման դեպքի ընտրությունը, արդյունքների փորձարկումը, գաղտնիության պաշտպանությունը, վնասակար վարքագծի նվազեցումը և համակարգը օգտատերերի համար հասկանալի դարձնելը։ Գործնականում մշակողները մնում են պատասխանատու գործիքի նախագծման, վերահսկման, ուղղման և կառավարման համար, երբ այն խափանվում է։.
Ինչո՞ւ է գեներատիվ արհեստական բանականությունը պահանջում ավելի մեծ մշակողի պատասխանատվություն, քան սովորական ծրագրակազմը։
Ավանդական սխալները հաճախ ակնհայտ են, բայց արհեստական բանականության գեներատիվ ձախողումները կարող են հնչել հղկված, միևնույն ժամանակ սխալ, կողմնակալ կամ ռիսկային լինել։ Դա դժվարացնում է խնդիրները նկատելը և հեշտացնում է օգտատերերի համար սխալմամբ վստահելը։ Մշակողները աշխատում են հավանականային համակարգերի հետ, ուստի պատասխանատվությունը ներառում է անորոշության կառավարումը, վնասի սահմանափակումը և անկանխատեսելի արդյունքներին նախապատրաստվելը թողարկումից առաջ։.
Ինչպե՞ս են մշակողները իմանում, թե երբ չպետք է օգտագործել գեներատիվ արհեստական բանականություն։
Հաճախակի մեկնարկային կետ է հարցնել, թե արդյոք առաջադրանքը բաց է, թե ավելի լավ է լուծվել կանոններով, որոնմամբ կամ ստանդարտ ծրագրային տրամաբանությամբ։ Մշակողները պետք է նաև հաշվի առնեն, թե որքան վնաս կարող է պատճառել սխալ պատասխանը և արդյոք մարդը կարող է իրատեսորեն վերանայել արդյունքները։ Պատասխանատու օգտագործումը երբեմն նշանակում է ընդհանրապես չօգտագործել գեներատիվ արհեստական բանականություն։.
Ինչպե՞ս կարող են մշակողները նվազեցնել հալյուցինացիաները և սխալ պատասխանները գեներատիվ արհեստական բանականության համակարգերում։
Ճշգրտությունը պետք է նախագծվի, այլ ոչ թե ենթադրվի։ Շատ խողովակաշարերում դա նշանակում է արդյունքների հիմնավորում վստահելի աղբյուրների վրա, ստեղծված տեքստը ստուգված փաստերից առանձնացնելը և վերանայման աշխատանքային հոսքերի օգտագործումը բարձր ռիսկային առաջադրանքների համար։ Մշակողները պետք է նաև փորձարկեն համակարգը շփոթեցնող կամ մոլորեցնող հուշումներ, հատկապես կոդի, աջակցության, ֆինանսների, կրթության և առողջապահության նման ոլորտներում։.
Ի՞նչ պատասխանատվություն են կրում գեներատիվ արհեստական բանականություն օգտագործող մշակողները գաղտնիության և զգայուն տվյալների համար։
Գեներատիվ արհեստական բանականություն օգտագործող մշակողների պատասխանատվությունը ներառում է մոդել մուտքագրվող տվյալների նվազագույնի հասցնելը և հուշումները, գրանցամատյանները և ելքային տվյալները որպես զգայուն համարելը: Մշակողները պետք է հնարավորության դեպքում հեռացնեն նույնականացուցիչները, սահմանափակեն պահպանումը, վերահսկեն մուտքը և ուշադիր վերանայեն մատակարարի կարգավորումները: Օգտատերերը պետք է նաև կարողանան հասկանալ, թե ինչպես են մշակվում իրենց տվյալները, այլ ոչ թե հետագայում բացահայտեն ռիսկերը:.
Ինչպե՞ս պետք է մշակողները կարգավորեն կողմնակալությունն ու արդարությունը գեներատիվ արհեստական բանականության արդյունքների մեջ։
Կողմնակալության աշխատանքը պահանջում է ակտիվ գնահատում, այլ ոչ թե ենթադրություններ: Գործնական մոտեցումը տարբեր ժողովրդագրական խմբերի, լեզուների և համատեքստերի վրա հուշումների փորձարկումն է, այնուհետև արդյունքների վերանայումը՝ կարծրատիպերի, բացառման կամ անհավասար ձախողման օրինաչափությունների առկայության համար: Մշակողները պետք է նաև ստեղծեն եղանակներ, որոնց միջոցով օգտատերերը կամ թիմերը կարող են հաղորդել վնասակար վարքագծի մասին, քանի որ համակարգը կարող է ընդհանուր առմամբ ուժեղ թվալ, միաժամանակ որոշակի խմբերի անընդհատ ձախողելով:.
Ի՞նչ անվտանգության ռիսկերի մասին պետք է մտածեն մշակողները գեներատիվ արհեստական բանականության հետ կապված։
Գեներատիվ արհեստական բանականությունը ներմուծում է հարձակման նոր մակերեսներ, ներառյալ արագ ներարկումը, գործիքների անվտանգ օգտագործումը, համատեքստի միջոցով տվյալների արտահոսքը և ավտոմատացված գործողությունների չարաշահումը: Մշակողները պետք է մաքրեն անվստահելի մուտքագրումները, սահմանափակեն գործիքների թույլտվությունները, սահմանափակեն ֆայլերի և ցանցի մուտքը և վերահսկեն չարաշահման օրինաչափությունները: Անվտանգությունը միայն ինտերֆեյսի մասին չէ. այն վերաբերում է մոդելի շուրջ ամբողջ աշխատանքային հոսքին:.
Ինչո՞ւ է թափանցիկությունը կարևոր գեներատիվ արհեստական բանականությամբ կառուցելիս։
Օգտատերերը պետք է հստակ իմանան, թե երբ է արհեստական բանականությունը ներգրավված, ինչ կարող է անել և որտեղ են դրա սահմանները: Լավ թափանցիկությունը կարող է ներառել այնպիսի պիտակներ, ինչպիսիք են՝ արհեստական բանականության կողմից ստեղծված կամ արհեստական բանականության կողմից օժանդակվող, պարզ բացատրություններ և մարդկային աջակցության հստակ ուղիներ: Այդպիսի անկեղծությունը չի թուլացնում ապրանքը. այն օգնում է օգտատերերին կարգավորել վստահությունը և ավելի լավ որոշումներ կայացնել:.
Ո՞վ է պատասխանատու, երբ գեներատիվ արհեստական բանականության գործառույթը վնաս է պատճառում կամ ինչ-որ սխալ բան է անում։
Մշակողներն ու արտադրանքի թիմերը դեռևս պատասխանատու են արդյունքի համար, նույնիսկ երբ մոդելն է տալիս պատասխանը։ Սա նշանակում է, որ պետք է լինի հստակ պատասխանատվություն տեղակայման հաստատման, միջադեպերի կառավարման, հետկանչի, մոնիթորինգի և օգտատերերի հետ հաղորդակցության համար։ «Մոդելը որոշել է» որոշումը բավարար չէ, քանի որ պատասխանատվությունը պետք է մնա համակարգը նախագծած և գործարկած մարդկանց վրա։.
Ինչպիսի՞ն է պատասխանատու գեներատիվ արհեստական բանականության մշակումը գործարկումից հետո։
Պատասխանատու զարգացումը շարունակվում է թողարկումից հետո՝ մոնիթորինգի, հետադարձ կապի, վերանայման և ուղղման միջոցով: Հզոր համակարգերը աուդիտի ենթակա են, ընդհատվող, վերականգնվող և նախագծված են պահեստային ուղիներով, երբ արհեստական բանականությունը խափանվում է: Նպատակը կատարելությունը չէ. այն այնպիսի բանի ստեղծումն է, որը կարող է ուսումնասիրվել, բարելավվել և անվտանգ կերպով կարգավորվել իրական աշխարհի խնդիրների ի հայտ գալուն պես:.
Հղումներ
-
Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտ (NIST) - NIST GenAI պրոֆիլ - nvlpubs.nist.gov
-
OWASP - OWASP-ի լավագույն 10-ը LLM դիմումների համար - owasp.org
-
Տեղեկատվության հանձնակատարի գրասենյակ (ICO) - ICO-ի ութ հարցերը գեներատիվ արհեստական բանականության վերաբերյալ - ico.org.uk