Ի՞նչ է բացատրելի արհեստական ​​բանականությունը։

Ի՞նչ է բացատրելի արհեստական ​​բանականությունը։

«Բացատրելի արհեստական ​​բանականությունը» այն արտահայտություններից մեկն է, որը հիանալի է հնչում ընթրիքի ժամանակ և դառնում է կենսականորեն կարևոր այն պահին, երբ ալգորիթմը հրում է բժշկական ախտորոշում, հաստատում վարկ կամ նշում է առաքման մասին: Եթե երբևէ մտածել եք՝ լավ, բայց ինչո՞ւ է մոդելը դա արել… դուք արդեն գտնվում եք «Բացատրելի արհեստական ​​բանականության» տարածքում: Եկեք բացատրենք գաղափարը պարզ լեզվով՝ ոչ մի կախարդանք, միայն մեթոդներ, փոխզիջումներ և մի քանի դառը ճշմարտություններ:

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո.

🔗 Ի՞նչ է արհեստական ​​բանականության կողմնակալությունը։
Հասկացեք արհեստական ​​բանականության կողմնակալությունը, դրա աղբյուրները, ազդեցությունը և մեղմացման ռազմավարությունները։

🔗 Ի՞նչ է կանխատեսող արհեստական ​​բանականությունը։
Ուսումնասիրեք կանխատեսող արհեստական ​​բանականությունը, դրա տարածված կիրառությունները, առավելությունները և գործնական սահմանափակումները։

🔗 Ի՞նչ է մարդանման ռոբոտի արհեստական ​​բանականությունը։
Իմացեք, թե ինչպես է արհեստական ​​բանականությունը հզորացնում մարդանման ռոբոտներին, նրանց հնարավորությունները, օրինակները և մարտահրավերները։

🔗 Ի՞նչ է արհեստական ​​բանականության մարզիչը։
Բացահայտեք, թե ինչ են անում արհեստական ​​բանականության մարզիչները, պահանջվող հմտությունները և կարիերայի ուղիները։

Ի՞նչ է իրականում նշանակում բացատրելի արհեստական ​​բանականությունը

Բացատրելի արհեստական ​​բանականությունը արհեստական ​​բանականության համակարգերի նախագծման և օգտագործման պրակտիկա է, որպեսզի դրանց արդյունքները հասկանալի լինեն մարդկանց՝ որոշումների ազդեցության տակ գտնվող կամ դրանց համար պատասխանատու կոնկրետ մարդկանց, այլ ոչ թե միայն մաթեմատիկոսների կողմից։ NIST-ը սա բաժանում է չորս սկզբունքների՝ տալ բացատրություն , դարձնել այն իմաստալից լսարանի համար, ապահովել բացատրության ճշգրտությունը (հավատարիմ մոդելին) և հարգել գիտելիքների սահմանները (չգերագնահատել համակարգի իմացածը) [1]:

Կարճ պատմական ակնարկ. անվտանգության համար կարևորագույն ոլորտները վաղուց են առաջ քաշվել՝ նպատակ ունենալով ստեղծել մոդելներ, որոնք կմնան ճշգրիտ, բայց միևնույն ժամանակ բավականաչափ մեկնաբանելի՝ «ցիկլի մեջ վստահելու» համար: Հյուսիսային աստղը չի փոխել օգտագործելի բացատրությունները ՝ առանց վատթարացնելու կատարողականությունը:

Ինչու է բացատրելի արհեստական ​​բանականությունը ավելի կարևոր, քան դուք կարծում եք 💡

  • Վստահություն և ընդունում - Մարդիկ ընդունում են համակարգեր, որոնցում կարող են հարցումներ կատարել, հարցեր տալ և ուղղել։

  • Ռիսկ և անվտանգություն - բացատրություններ մակերեսային ձախողման ռեժիմների մասին, նախքան դրանք ձեզ զարմացնեն մասշտաբով։

  • Կարգավորող սպասումներ - ԵՄ-ում արհեստական ​​բանականության մասին օրենքը սահմանում է թափանցիկության հստակ պարտականություններ, օրինակ՝ մարդկանց տեղեկացնել, թե երբ են նրանք որոշակի համատեքստերում փոխազդում արհեստական ​​բանականության հետ և համապատասխանաբար պիտակավորել արհեստական ​​բանականության կողմից ստեղծված կամ մանիպուլացված բովանդակությունը [2]:

Եկեք անկեղծ լինենք. գեղեցիկ վահանակները բացատրություններ չեն։ Լավ բացատրությունը օգնում է մարդուն որոշել, թե ինչ անել հաջորդը։

Ի՞նչն է Explainable AI-ը դարձնում օգտակար ✅

Երբ գնահատում եք որևէ XAI մեթոդ, հարցրեք.

  1. Հավատարմություն - Արդյո՞ք բացատրությունը արտացոլում է մոդելի վարքագիծը, թե՞ պարզապես պատմում է մխիթարական պատմություն:

  2. Օգտակարություն լսարանի համար . տվյալագետները ցանկանում են գրադիենտներ, կլինիցիստները՝ հակափաստեր կամ կանոններ, իսկ հաճախորդները՝ պարզ լեզվով հիմնավորումներ և հաջորդ քայլեր։

  3. Կայունություն - Փոքրիկ մուտքային փոփոխությունները չպետք է պատմությունը A-ից Z շրջեն։

  4. Գործողության հնարավորություն - Եթե արդյունքը անցանկալի է, ի՞նչ կարող էր փոխվել։

  5. Անկեղծություն անորոշության վերաբերյալ . Բացատրությունները պետք է բացահայտեն սահմանները, այլ ոչ թե ներկեն դրանք։

  6. Շրջանակի պարզություն . սա մեկ կանխատեսման տեղական մոդելի վարքագծի գլոբալ

Եթե ​​միայն մեկ բան հիշեք. օգտակար բացատրությունը փոխում է մարդու որոշումը, ոչ միայն տրամադրությունը։

Հիմնական հասկացություններ, որոնք շատ կլսեք 🧩

  • Մեկնաբանելիությունն ընդդեմ բացատրելիության - Մեկնաբանելիություն. մոդելը բավականաչափ պարզ է կարդալու համար (օրինակ՝ փոքր ծառ): Բացատրելիություն. վերևում ավելացրեք մեթոդ՝ բարդ մոդելը ընթեռնելի դարձնելու համար:

  • Տեղականն ընդդեմ գլոբալի - Տեղականը բացատրում է մեկ որոշում, իսկ գլոբալը՝ ընդհանուր առմամբ ամփոփում է վարքագիծը։

  • Հետհոկ vs ներքին - Հետհոկը բացատրում է մարզված սև արկղը. ներքինը օգտագործում է բնույթով մեկնաբանելի մոդելներ։

Այո՛, այս սահմանները մշուշոտ են։ Դա նորմալ է. լեզուն զարգանում է, իսկ ռիսկերի գրանցամատյանը՝ ոչ։

Հայտնի բացատրելի արհեստական ​​ինտելեկտի մեթոդներ - շրջագայություն 🎡

Ահա մի մրրիկ շրջագայություն՝ թանգարանի աուդիոուղեցույցի մթնոլորտով, բայց ավելի կարճ։

1) Հավելյալ հատկանիշների վերագրումներ

  • SHAP - Խաղերի տեսության գաղափարների միջոցով յուրաքանչյուր առանձնահատկությանը վերագրում է որոշակի կանխատեսման մեջ ներդրում: Սիրված է հստակ հավելյալ բացատրությունների և մոդելների միջև միասնական տեսակետի համար [3]:

2) Տեղական փոխարինող մոդելներ

  • LIME - Պատրաստում է պարզ, տեղային մոդել՝ բացատրվող օրինակի շուրջ: Արագ, մարդու համար ընթեռնելի ամփոփումներ այն մասին, թե որ հատկանիշներն են կարևոր մոտակայքում: Հիանալի է ցուցադրությունների համար, օգտակար է մարզումների և դիտումների կայունության համար [4]:

3) Գրադիենտային մեթոդներ խորը ցանցերի համար

  • Ինտեգրված գրադիենտներ - Կարևորություն է հաղորդում՝ ինտեգրելով գրադիենտները բազային գծից մինչև մուտքային տվյալները։ Հաճախ օգտագործվում է տեսողական և տեքստային տվյալների համար։ Խելամիտ աքսիոմներ. անհրաժեշտ է զգուշություն բազային գծերի և աղմուկի հետ [1]:

4) Օրինակների վրա հիմնված բացատրություններ

  • Հակափաստեր - «Ի՞նչ նվազագույն փոփոխություն կարող էր փոխել արդյունքը»: Հիանալի է որոշումների կայացման համար, քանի որ դա բնականաբար կիրառելի է. արեք X՝ Y ստանալու համար [1]:

5) Նախատիպեր, կանոններ և մասնակի կախվածություն

  • Նախատիպերը ցույց են տալիս ներկայացուցչական օրինակներ. կանոնները արտացոլում են այնպիսի օրինաչափություններ, ինչպիսիք են ՝ եթե եկամուտը > X և պատմությունը = մաքուր, ապա հաստատված . մասնակի կախվածությունը ցույց է տալիս հատկանիշի միջին ազդեցությունը որոշակի տիրույթում: Պարզ գաղափարներ, որոնք հաճախ թերագնահատված են:

6) Լեզվական մոդելների համար

  • Թոքենների/տարածքների վերագրումներ, վերցված օրինակներ և կառուցվածքային հիմնավորումներ։ Օգտակար է, սովորական նախազգուշացմամբ. կոկիկ ջերմային քարտեզները չեն երաշխավորում պատճառահետևանքային դատողությունը [5]:

Արագ (համակցված) դեպք դաշտից 🧪

Միջին չափի վարկատուն ներկայացնում է վարկային որոշումների կայացման համար գրադիենտային ուժեղացված մոդել: Տեղական SHAP-ը օգնում է գործակալներին բացատրել անբարենպաստ արդյունքը («Պարտքի և եկամտի հարաբերակցությունը և վարկի վերջին օգտագործումը հիմնական շարժիչ ուժերն էին») [3]: Հակափաստական ​​շերտը ենթադրում է իրագործելի միջոցառում («Նվազեցրեք շրջանառու միջոցների օգտագործումը մոտ 10%-ով կամ ավելացրեք 1,500 ֆունտ ստեռլինգ ստուգված ավանդներ՝ որոշումը փոխելու համար») [1]: Ներքին մակարդակով թիմը պատահականացման թեստեր որակի ապահովման մեջ օգտագործվող կարևորության ոճի տեսողական նյութերի վրա՝ համոզվելու համար, որ կարևորագույն կետերը պարզապես քողարկված եզրային դետեկտորներ չեն [5]: Նույն մոդելը, տարբեր բացատրություններ տարբեր լսարանների համար՝ հաճախորդներ, օպերատորներ և աուդիտորներ:

Անհարմար մասը. բացատրությունները կարող են մոլորեցնել 🙃

Որոշ ակնառու մեթոդներ համոզիչ են թվում նույնիսկ այն դեպքում, երբ դրանք կապված չեն մարզված մոդելի կամ տվյալների հետ: Առողջության ստուգումները ցույց են տվել, որ որոշակի մեթոդներ կարող են ձախողել հիմնական թեստերը՝ տալով սխալ հասկացողություն: Թարգմանություն՝ գեղեցիկ նկարները կարող են լինել մաքուր թատրոն: Ձեր բացատրական մեթոդների համար ներառեք վավերացման թեստեր [5]:

Նաև, նոսր ≠ անկեղծ։ Մեկ նախադասությունից բաղկացած պատճառը կարող է թաքցնել մեծ փոխազդեցությունները։ Բացատրության մեջ աննշան հակասությունները կարող են ազդարարել իրական մոդելի անորոշության կամ պարզապես աղմուկի մասին։ Ձեր աշխատանքն է ասել, թե որն է որը։

Կառավարում, քաղաքականություն և թափանցիկության բարձրացող չափանիշ 🏛️

Քաղաքականության մշակողները ակնկալում են համատեքստին համապատասխան թափանցիկություն: ԵՄ-ում « Արհեստական ​​բանականության մասին» օրենքը սահմանում է այնպիսի պարտավորություններ, ինչպիսիք են՝ մարդկանց տեղեկացնելը, երբ նրանք փոխազդում են արհեստական ​​բանականության հետ որոշակի դեպքերում, և արհեստական ​​բանականության կողմից ստեղծված կամ մանիպուլացված բովանդակության պիտակավորումը համապատասխան ծանուցումներով և տեխնիկական միջոցներով՝ բացառություններով (օրինակ՝ օրինական օգտագործում կամ պաշտպանված արտահայտություն) [2]: Ինժեներական առումով, NIST-ը տրամադրում է սկզբունքներին ուղղված ուղեցույց՝ օգնելու թիմերին մշակել բացատրություններ, որոնք մարդիկ կարող են իրականում օգտագործել [1]:

Ինչպես ընտրել բացատրելի արհեստական ​​բանականության մոտեցում՝ արագ քարտեզ 🗺️

  1. Սկսե՛ք որոշումից ՝ ո՞ւմ է պետք բացատրությունը և ի՞նչ գործողության համար։

  2. Համապատասխանեցրեք մեթոդը մոդելին և միջավայրին

    • Գրադիենտային մեթոդներ տեսողության կամ NLP-ի խորը ցանցերի համար [1]:

    • SHAP կամ LIME աղյուսակային մոդելների համար, երբ ձեզ անհրաժեշտ են հատկանիշների վերագրումներ [3][4]:

    • Հակափաստարկներ հաճախորդների հետ շփման մեջ գտնվող խնդիրների լուծման և բողոքարկումների համար [1]:

  3. Որակի դարպասների հավաքածու - Հավաստիության ստուգումներ, կայունության թեստեր և մարդկային կապի վերլուծություններ [5]:

  4. Մակարդակի պլան - Բացատրությունները պետք է լինեն գրանցելի, ստուգելի և աուդիտի ենթակա։

  5. Փաստաթղթավորեք սահմանափակումները . Ոչ մի մեթոդ կատարյալ չէ. գրեք հայտնի ձախողման ռեժիմները։

Փոքրիկ մի փոքր նշենք. եթե չեք կարող ստուգել բացատրությունները այնպես, ինչպես փորձարկում եք մոդելները, հնարավոր է, որ բացատրություններ չունենաք, միայն տպավորություններ։

Համեմատական ​​աղյուսակ - Բացատրելի արհեստական ​​ինտելեկտի ընդհանուր տարբերակներ 🧮

Միտումնավոր մի փոքր տարօրինակ է, իրական կյանքը խառնաշփոթ է։

Գործիք / մեթոդ Լավագույն լսարանը Գինը Ինչու է դա աշխատում նրանց համար
ՇԱՊ Տվյալների գիտնականներ, աուդիտորներ Անվճար/բաց Հավելյալ վերագրումներ՝ համապատասխան, համեմատելի [3]:
ԼԱՅՄ Արտադրանքի թիմեր, վերլուծաբաններ Անվճար/բաց Արագ տեղական փոխարինիչներ, հեշտ է որոնել, երբեմն աղմկոտ [4]:
Ինտեգրված գրադիենտներ ML ինժեներներ խորը ցանցերում Անվճար/բաց Գրադիենտային վերագրումներ՝ խելամիտ աքսիոմներով [1]:
Հակափաստարկներ Վերջնական օգտատերեր, համապատասխանություն, գործողություններ Խառը Անմիջապես պատասխանում է, թե ինչ պետք է փոխել. գերգործնական է [1]:
Կանոնների ցանկեր / Ծառեր Ռիսկի սեփականատերեր, կառավարիչներ Անվճար/բաց Ներքին մեկնաբանելիություն; գլոբալ ամփոփումներ։
Մասնակի կախվածություն Մոդելների մշակողներ, որակի ստուգում Անվճար/բաց Վիզուալացնում է միջին էֆեկտները տարբեր տիրույթներում։
Նախատիպեր և նմուշներ Դիզայներներ, քննադատներ Անվճար/բաց Կոնկրետ, մարդու համար հարմար օրինակներ. կապելի։
Գործիքավորման հարթակներ Հարթակի թիմեր, կառավարում Առևտրային Մոնիթորինգ + բացատրություն + աուդիտ մեկ տեղում։

Այո՛, բջիջները անհարթ են։ Ահա թե ինչ է կյանքը։

Պարզ աշխատանքային հոսք՝ արտադրության մեջ բացատրելի արհեստական ​​բանականության համար 🛠️

Քայլ 1 - Սահմանեք հարցը։
Որոշեք, թե ում կարիքներն են ամենակարևորը։ Տվյալների գիտնականի համար բացատրելիությունը նույնը չէ, ինչ հաճախորդին ուղղված բողոքարկման նամակը։

Քայլ 2 - Ընտրեք մեթոդը համատեքստից ելնելով։

  • Վարկերի համար աղյուսակային ռիսկի մոդել - սկսեք SHAP-ից տեղական և գլոբալի համար, ավելացրեք հակափաստարկներ՝ հետադարձ օգնության համար [3][1]:

  • Տեսողության դասակարգիչ - օգտագործեք ինտեգրված գրադիենտներ կամ նմանատիպ մեթոդներ. ավելացրեք առողջ բանականության ստուգումներ՝ ակնառուության թակարդներից խուսափելու համար [1][5]:

Քայլ 3 - Հաստատեք բացատրությունները:
Կատարեք բացատրությունների համապատասխանության թեստեր, խանգարեք մուտքագրված տվյալներին, ստուգեք, որ կարևոր հատկանիշները համապատասխանում են ոլորտի գիտելիքներին: Եթե ձեր հիմնական հատկանիշները կտրուկ շեղվում են յուրաքանչյուր վերապատրաստումից հետո, դադարեցրեք:

Քայլ 4 - Բացատրությունները դարձրեք օգտագործելի:
Պարզ լեզվով հիմնավորումներ՝ գծապատկերների կողքին: Ներառեք հաջորդ լավագույն գործողությունները: Առաջարկեք հղումներ՝ արդյունքները վիճարկելու համար, որտեղ դա նպատակահարմար է. սա հենց այն է, ինչ թափանցիկության կանոնները նպատակ ունեն աջակցել [2]:

Քայլ 5 - Հետևեք և գրանցեք
բացատրությունների կայունությունը ժամանակի ընթացքում: Մոլորեցնող բացատրությունները ռիսկի ազդանշան են, այլ ոչ թե կոսմետիկ թերություն:

Խորը վերլուծություն 1. Տեղական ընդդեմ գլոբալ բացատրությունների գործնականում 🔍

  • «Տեղականը» օգնում է անձին հասկանալ, թե ինչու իր գործը ստացել այդ որոշումը, ինչը կարևոր է զգայուն համատեքստերում։

  • Global-ը օգնում է ձեր թիմին ապահովել, որ մոդելի սովորած վարքագիծը համապատասխանի քաղաքականությանը և ոլորտի գիտելիքներին։

Անեք երկուսն էլ։ Կարող եք սկսել տեղական մակարդակով ծառայությունների մատուցման համար, այնուհետև ավելացնել գլոբալ մոնիթորինգ՝ շեղման և արդարության վերանայման համար։

Խորը վերլուծություն 2. Հակափաստարկներ բողոքարկման և վերաքննիչ բողոքների համար 🔄

Մարդիկ ուզում են իմանալ նվազագույն փոփոխությունը՝ ավելի լավ արդյունքի հասնելու համար: Հակափաստական ​​բացատրությունները հենց դա են անում՝ փոխում են այս կոնկրետ գործոնները, և արդյունքը փոխվում է [1]: Զգուշացե՛ք. հակափաստականները պետք է հաշվի առնեն իրագործելիության և արդարության սկզբունքները: Անփոփոխ ատրիբուտը փոխելու համար ինչ-որ մեկին հրահանգելը պլան չէ, այլ կարմիր դրոշ:

Խորը վերլուծություն 3. Առողջության ստուգում 🧪

Եթե ​​օգտագործում եք ակնառուության քարտեզներ կամ գրադիենտներ, կատարեք առողջ բանականության ստուգումներ: Որոշ տեխնիկաներ ստեղծում են գրեթե նույնական քարտեզներ, նույնիսկ երբ դուք պատահականացնում եք մոդելի պարամետրերը, ինչը նշանակում է, որ դրանք կարող են ընդգծել եզրեր և հյուսվածքներ, այլ ոչ թե ձեռք բերված ապացույցներ: Հիասքանչ ջերմային քարտեզներ, մոլորեցնող պատմություն: Կառուցեք ավտոմատացված ստուգումներ CI/CD-ում [5]:

Հաճախակի տրվող հարցեր, որոնք ի հայտ են գալիս յուրաքանչյուր հանդիպման ժամանակ 🤓

Հարց. Բացատրելի արհեստական ​​բանականությունը նույնն է, ինչ արդարությունը:
Պատասխան. Ոչ: Բացատրությունները օգնում են տեսնել վարքագիծը. արդարությունը հատկություն է, որը դուք պետք է փորձարկեք և կիրառեք : Կապակցված է, ոչ թե նույնական:

Հարց. Արդյո՞ք պարզ մոդելները միշտ ավելի լավն են:
Պատասխան. Երբեմն: Բայց պարզը և սխալը միևնույն է սխալ է: Ընտրեք ամենապարզ մոդելը, որը համապատասխանում է կատարողականի և կառավարման պահանջներին:

Հարց. Արդյո՞ք բացատրությունները կարտահոսեն մտավոր սեփականության մասին:
Պատասխան. Կարող են: Հաշվարկեք մանրամասները ըստ լսարանի և ռիսկի. փաստաթղթավորեք, թե ինչ եք բացահայտում և ինչու:

Հարց. Կարո՞ղ ենք պարզապես ցույց տալ առանձնահատկությունների կարևորությունը և ավարտել այն:
Պատասխան. Ոչ այնքան: Կարևորության սյուները, որոնք չունեն համատեքստ կամ ռեսուրս, զարդարանք են:

Չափազանց երկար, չկարդացած տարբերակ և եզրափակիչ դիտողություններ 🌯

Բացատրելի արհեստական ​​բանականությունը (AI) մոդելի վարքագիծը հասկանալի և օգտակար դարձնելու ոլորտ է այն մարդկանց համար, ովքեր ապավինում են դրան: Լավագույն բացատրություններն ունեն ճշգրտություն, կայունություն և հստակ լսարան: SHAP, LIME, ինտեգրված գրադիենտներ և հակափաստարկներ նման մեթոդներն ունեն իրենց ուժեղ կողմերը. օգտագործեք դրանք միտումնավոր, խստորեն փորձարկեք և ներկայացրեք այնպիսի լեզվով, որի վրա մարդիկ կարող են գործել: Եվ հիշեք, որ սահուն տեսողականները կարող են թատրոն լինել. պահանջեք ապացույցներ, որոնք ձեր բացատրությունները արտացոլում են մոդելի իրական վարքագիծը: Ներդրեք բացատրելիությունը ձեր մոդելի կյանքի ցիկլում. դա փայլուն լրացում չէ, այլ ձեր պատասխանատու առաքման մի մասն է:

Անկեղծ ասած, դա մի փոքր նման է ձեր մոդելին ձայն տալուն։ Երբեմն այն մռմռում է, երբեմն չափազանցնում է, երբեմն ասում է հենց այն, ինչ դուք պետք է լսեիք։ Ձեր աշխատանքն է օգնել նրան ասել ճիշտ բանը, ճիշտ մարդուն, ճիշտ պահին։ Եվ ավելացրեք մեկ կամ երկու լավ պիտակ։ 🎯

Հղումներ

[1] NIST IR 8312 - Բացատրելի արհեստական ​​բանականության չորս սկզբունքներ ։ Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտ։ Կարդալ ավելին

[2] Կանոնակարգ (ԵՄ) 2024/1689 - Արհեստական ​​բանականության մասին օրենք (Պաշտոնական տեղեկագիր/EUR-Lex) : կարդալ ավելին

[3] Լունդբերգ և Լի (2017) - «Մոդելային կանխատեսումների մեկնաբանման միասնական մոտեցում»: arXiv. կարդալ ավելին

[4] Ռիբեյրո, Սինգհ և Գուեստրին (2016) - «Ինչո՞ւ պետք է վստահեմ ձեզ»։ Բացատրելով ցանկացած դասակարգչի կանխատեսումները։ arXiv. կարդալ ավելին

[5] Ադեբայո և այլք (2018) - «Հոգեբանական ստուգումներ կարևորության քարտեզների համար»: NeurIPS (թղթային PDF): կարդալ ավելին

Գտեք արհեստական ​​բանականության վերջին նորույթները պաշտոնական արհեստական ​​բանականության օգնականների խանութում

Մեր մասին

Վերադառնալ բլոգ