Ինչպես փորձարկել արհեստական ​​բանականության մոդելները

Ինչպես փորձարկել արհեստական ​​բանականության մոդելները

Կարճ պատասխան. Արհեստական ​​բանականության մոդելները լավ գնահատելու համար սկսեք սահմանելով, թե ինչ է «լավը» թվում իրական օգտատիրոջ և կայացված որոշման համար: Այնուհետև կառուցեք կրկնվող գնահատականներ՝ օգտագործելով ներկայացուցչական տվյալներ, արտահոսքի խիստ վերահսկում և բազմաթիվ չափանիշներ: Ավելացրեք սթրեսի, կողմնակալության և անվտանգության ստուգումներ, և երբ որևէ բան փոխվի (տվյալներ, հուշումներ, քաղաքականություն), վերագործարկեք համակարգը և շարունակեք մոնիթորինգը գործարկումից հետո:

Հիմնական եզրակացություններ՝

Հաջողության չափանիշներ . չափանիշներ ընտրելուց առաջ սահմանեք օգտատերերին, որոշումները, սահմանափակումները և ամենավատ դեպքերի ձախողումները։

Կրկնելիություն . կառուցեք գնահատման համակարգ, որը կրկնում է համեմատելի թեստեր յուրաքանչյուր փոփոխության հետ։

Տվյալների հիգիենա . պահպանեք կայուն բաժանումներ, կանխեք կրկնօրինակումները և վաղաժամ կանխեք գործառույթների արտահոսքը։

Վստահության ստուգումներ . սթրես-թեստերի կայունություն, արդարության շերտեր և իրավունքի կառավարման (LLM) անվտանգության վարքագծեր՝ հստակ ռուբրիկաներով։

Կյանքի ցիկլի կարգապահություն . Փուլերով իրականացում, շեղումների և միջադեպերի մոնիթորինգ, ինչպես նաև հայտնի բացթողումների փաստաթղթավորում։

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո

🔗 Ի՞նչ է արհեստական ​​բանականության էթիկան
Ուսումնասիրեք պատասխանատու արհեստական ​​բանականության նախագծման, օգտագործման և կառավարման սկզբունքները։.

🔗 Ի՞նչ է արհեստական ​​բանականության կողմնակալությունը
Իմացեք, թե ինչպես են կողմնակալ տվյալները աղավաղում արհեստական ​​բանականության որոշումներն ու արդյունքները։.

🔗 Ի՞նչ է արհեստական ​​բանականության մասշտաբայնությունը
Հասկացեք արհեստական ​​բանականության համակարգերի մասշտաբավորումը՝ արդյունավետության, արժեքի և հուսալիության համար։.

🔗 Ի՞նչ է արհեստական ​​բանականությունը
Արհեստական ​​բանականության, տեսակների և իրական աշխարհում կիրառությունների հստակ ակնարկ։.

1) Սկսեք «լավ»-ի ոչ այնքան հմայիչ սահմանումից 

Չափանիշներից, վահանակներից, ցանկացած չափանիշի ճկունությունից առաջ՝ որոշեք, թե ինչպիսին է հաջողությունը։.

Պարզաբանել՝

  • Օգտատեր՝ ներքին վերլուծաբան, հաճախորդ, կլինիցիստ, վարորդ, հոգնած աջակցության գործակալ ժամը 16:00-ին…

  • Որոշումը՝ հաստատել վարկը, նշել խարդախությունը, առաջարկել բովանդակություն, ամփոփել նշումները

  • Առավել կարևոր ձախողումները

    • Կեղծ դրականներ (անհանգստացնող) vs կեղծ բացասականներ (վտանգավոր)

  • Սահմանափակումները՝ լատենտություն, մեկ հարցման արժեքը, գաղտնիության կանոնները, բացատրելիության պահանջները, մատչելիությունը

Սա այն հատվածն է, երբ թիմերը սկսում են օպտիմալացնել «գեղեցիկ չափանիշը»՝ «նշանակալի արդյունքի» փոխարեն։ Սա հաճախ է պատահում։ Օրինակ… հաճախ։.

Այս ռիսկի գիտակցումը (և ոչ թե թրթռումների վրա հիմնված) պահելու հուսալի միջոց է թեստավորումը կազմակերպել վստահելիության և կյանքի ցիկլի ռիսկերի կառավարման շուրջ, ինչպես դա անում է NIST-ը արհեստական ​​բանականության ռիսկերի կառավարման շրջանակում (AI RMF 1.0) [1]:

 

Արհեստական ​​բանականության մոդելների փորձարկում

2) Ի՞նչն է «ինչպես փորձարկել արհեստական ​​բանականության մոդելները» տարբերակի լավ տարբերակը դարձնում ✅

Հստակ փորձարկման մոտեցումն ունի մի քանի անվիճելի կողմեր

  • Ներկայացուցչական տվյալներ (ոչ միայն մաքուր լաբորատոր տվյալներ)

  • Մաքուր ճեղքեր ՝ արտահոսքի կանխարգելմամբ (ավելի մանրամասն՝ մեկ վայրկյան անց)

  • Հիմնական գծեր (պարզ մոդելներ, որոնք պետք է գերազանցեք. կեղծ գնահատիչները գոյություն ունեն որոշակի պատճառով [4])

  • Բազմաթիվ չափանիշներ (քանի որ մեկ թիվը ձեզ ստում է, քաղաքավարի, ձեր դեմքին)

  • Սթրեսի թեստեր (եզրային դեպքեր, անսովոր մուտքային տվյալներ, հակառակորդական սցենարներ)

  • Մարդկային վերանայման ցիկլեր (հատկապես գեներատիվ մոդելների համար)

  • Մոնիթորինգ մեկնարկից հետո (քանի որ աշխարհը փոխվում է, խողովակաշարերը խափանվում են, և օգտատերերը… ստեղծագործ են [1])

Նաև՝ լավ մոտեցումը ներառում է այն փաստագրումը, թե ինչ եք փորձարկել, ինչ չեք փորձարկել և ինչից եք նյարդայնանում: Այդ «ինչի համար եմ նյարդայնանում» բաժինը անհարմար է թվում, և հենց այստեղ է, որ վստահությունը սկսում է կուտակվել:.

Երկու փաստաթղթավորման ձևանմուշ, որոնք մշտապես օգնում են թիմերին անկեղծ մնալ

  • Մոդելային քարտեր (ինչի համար է մոդելը, ինչպես է այն գնահատվել, որտեղ է այն ձախողվել) [2]

  • Տվյալների հավաքածուների տվյալների թերթիկներ (ինչ են տվյալները, ինչպես են դրանք հավաքագրվել, ինչի՞ համար պետք է/չպետք է օգտագործվեն) [3]

3) Գործիքների իրականությունը. ինչ են մարդիկ օգտագործում գործնականում 🧰

Գործիքները կամավոր են։ Լավ գնահատման սովորույթները՝ ոչ։.

Եթե ​​​​ցանկանում եք պրագմատիկ դասավորություն, թիմերի մեծ մասը ի վերջո ունենում է երեք դույլ

  1. Փորձերի հետևում (գործարկումներ, կարգավորումներ, արտեֆակտներ)

  2. Գնահատման գործիքակազմ (կրկնելի անցանց թեստեր + ռեգրեսիոն հավաքածուներ)

  3. Մոնիթորինգ (շեղման ազդանշաններ, կատարողականի պրոքսիներ, միջադեպերի մասին ահազանգեր)

Օրինակներ, որոնք շատ կտեսնեք (ոչ թե հավանություններ, և այո՝ առանձնահատկությունների/գնի փոփոխություն). MLflow, Weights & Biases, Great Expectations, Evidently, Deepchecks, OpenAI Evals, TruLens, LangSmith։.

​​այս բաժնից ընտրում եք միայն մեկ գաղափար կառուցեք կրկնվող գնահատման համակարգ ։ Դուք ուզում եք «սեղմել կոճակը → ստանալ համեմատելի արդյունքներ», այլ ոչ թե «վերագործարկել տետրը և աղոթել»։

4) Կառուցեք ճիշտ թեստային հավաքածուն (և դադարեցրեք տվյալների արտահոսքը) 🚧

«Հիանալի» մոդելների ցնցող թիվը պատահաբար խաբում է։.

Ստանդարտ ML-ի համար

Մի քանի ոչ սեքսուալ կանոններ, որոնք փրկում են կարիերան

  • Պահպանեք մարզման/վավերացման/փորձարկման բաժանումները կայուն (և գրեք բաժանման տրամաբանությունը)

  • Կանխել կրկնօրինակումները բաժանումների միջև (նույն օգտատերը, նույն փաստաթուղթը, նույն արտադրանքը, գրեթե կրկնօրինակները)

  • Հետևեք գործառույթների արտահոսքին (ապագա տեղեկատվությունը ներթափանցում է «ընթացիկ» գործառույթների մեջ)

  • Օգտագործեք բազային գծեր (կեղծ գնահատիչներ), որպեսզի չտոնեք հաղթանակը… ոչինչ [4]

Արտահոսքի սահմանում (արագ տարբերակ). վերապատրաստման/գնահատման ընթացքում ցանկացած բան, որը մոդելին հասանելիություն է տալիս այնպիսի տեղեկատվության, որը այն չէր ունենա որոշման պահին: Այն կարող է լինել ակնհայտ («ապագայի պիտակ») կամ աննկատելի («իրադարձությունից հետո ժամանակի նշման դույլ»):

Իրավագիտության բակալավրիատի և գեներատիվ մոդելների համար

Դուք կառուցում եք հուշումների և քաղաքականության համակարգ , այլ ոչ թե պարզապես «մոդել»։

  • Ստեղծեք ոսկե հավաքածու (փոքր, բարձրորակ, կայուն)

  • Ավելացրեք վերջին իրական նմուշներ (անանուն + գաղտնիության համար անվտանգ)

  • Պահպանեք կոպիտ տառատեսակի փաթեթ ՝ տպագրական սխալներ, ժարգոնային սխալներ, ոչ ստանդարտ ձևաչափում, դատարկ մուտքագրումներ, բազմալեզու անակնկալներ 🌍

Գործնականում ես տեսել եմ մի բան, որը տեղի է ունեցել մեկից ավելի անգամ. թիմը գալիս է «ուժեղ» անցանց միավորով, ապա հաճախորդների աջակցության ծառայությունն ասում է. «Հիանալի է։ Այն վստահորեն բաց է թողնում մեկ կարևոր նախադասությունը»։ Լուծումը «ավելի մեծ մոդելը» չէր։ Այն ավելի լավ թեստային հուշումներ , ավելի հստակ ռուբրիկաներ և ռեգրեսիոն հավաքածու էր, որը պատժում էր հենց այդ ձախողման ռեժիմը։ Պարզ։ Արդյունավետ։

5) Անցանց գնահատում. չափանիշներ, որոնք ինչ-որ բան են նշանակում 📏

Չափանիշները լավ են։ Մետրիկ մոնոմշակույթը՝ ոչ։.

Դասակարգում (սպամ, խարդախություն, մտադրություն, տեսակավորում)

Օգտագործեք ավելին, քան ճշգրտությունը։.

  • Ճշգրտություն, հետկանչ, F1

  • Շեմային կարգավորում (ձեր ծախսերի համար սահմանված շեմը հազվադեպ է «ճիշտ» լինում) [4]

  • Շփոթության մատրիցներ ըստ հատվածի (տարածաշրջան, սարքի տեսակ, օգտագործողի խումբ)

Ռեգրեսիա (կանխատեսում, գնագոյացում, գնահատում)

  • MAE / RMSE (ընտրեք՝ հիմնվելով սխալները պատժելու ձեր ցանկության վրա)

  • Կալիբրացման նման ստուգումներ, երբ ելքային տվյալները օգտագործվում են որպես «միավորներ» (արդյո՞ք միավորները համապատասխանում են իրականությանը):

Վարկանիշային/առաջարկողական համակարգեր

  • NDCG, MAP, MRR

  • Կտրվածք ըստ հարցման տեսակի (գլխավոր vs պոչ)

Համակարգչային տեսողություն

  • mAP, IoU

  • Դասընթացի արդյունքներ (հազվագյուտ դասընթացներում մոդելները ձեզ ամաչեցնում են)

Գեներատիվ մոդելներ (LLM)

Ահա թե որտեղ են մարդիկ սկսում… փիլիսոփայել 😵💫

Գործնական տարբերակներ, որոնք աշխատում են իրական թիմերում

  • Մարդկային գնահատում (լավագույն ազդանշան, ամենադանդաղ ցիկլ)

  • Զույգերի նախապատվություն / հաղթանակի մակարդակ (A-ն ընդդեմ B-ի ավելի հեշտ է, քան բացարձակ միավորների հաշվարկը)

  • Ավտոմատացված տեքստային չափանիշներ (հարմար է որոշ առաջադրանքների համար, մոլորեցնող՝ մյուսների համար)

  • Առաջադրանքների վրա հիմնված ստուգումներ. «Արդյո՞ք այն ճիշտ դաշտեր է հանել»։ «Արդյո՞ք այն հետևել է քաղաքականությանը»։ «Արդյո՞ք այն անհրաժեշտության դեպքում աղբյուրներ է մեջբերել»։

Եթե ​​ցանկանում եք կառուցվածքային «բազմաչափ, բազմաթիվ սցենարներով» հենակետ, HELM-ը լավ խարիսխ է. այն ճշգրտությունից այն կողմ գնահատումը մղում է այնպիսի բաների, ինչպիսիք են կալիբրացիան, կայունությունը, կողմնակալությունը/թունավորությունը և արդյունավետության փոխզիջումները [5]:.

Փոքրիկ շեղում. գրելու որակի ավտոմատացված չափանիշները երբեմն նման են սենդվիչի կշռադատմանը։ Դա ոչինչ չէ, բայց… եկեք 🥪

6) Հաստության փորձարկում. մի փոքր քրտնաջան աշխատեք 🥵🧪

Եթե ​​ձեր մոդելը աշխատում է միայն կոկիկ մուտքերի դեպքում, ապա այն, ըստ էության, ապակե ծաղկաման է։ Գեղեցիկ, փխրուն, թանկ։.

Փորձարկում

  • Աղմուկ՝ տպագրական սխալներ, բացակայող արժեքներ, ոչ ստանդարտ Յունիկոդ, ձևաչափման սխալներ

  • Բաշխման փոփոխություն. նոր ապրանքային կատեգորիաներ, նոր ժարգոն, նոր սենսորներ

  • Ծայրահեղ արժեքներ՝ տիրույթից դուրս թվեր, հսկայական բեռներ, դատարկ տողեր

  • «Հակառակորդական» մուտքային տվյալներ, որոնք նման չեն ձեր մարզումների հավաքածուին, բայց նման են օգտատերերի։

Իրավագիտության բակալավրի աստիճանի համար ներառեք՝

  • Արագ ներարկման փորձեր (հրահանգները թաքնված են օգտատիրոջ բովանդակության մեջ)

  • «Անտեսել նախորդ հրահանգները» օրինաչափությունները

  • Գործիքի օգտագործման եզրային դեպքեր (վատ URL-ներ, ժամանակի սպառում, մասնակի արդյունքներ)

Հուսալիության այն հատկություններից մեկն է, որը հնչում է վերացական, մինչև միջադեպեր չլինեն։ Այդ դեպքում այն ​​դառնում է… շատ շոշափելի [1]:.

7) Կողմնակալություն, արդարություն և թե ում համար է այն աշխատում ⚖️

Մոդելը կարող է ընդհանուր առմամբ «ճշգրիտ» լինել, մինչդեռ որոշակի խմբերի համար մշտապես ավելի վատը լինել։ Սա փոքր թերություն չէ։ Սա ապրանքի և վստահության խնդիր է։.

Գործնական քայլեր՝

  • Գնահատեք կատարողականը նշանակալի հատվածներով (իրավաբանորեն/էթիկապես նպատակահարմար է չափելու համար)

  • Համեմատեք սխալների մակարդակները և կալիբրացիան խմբերի միջև

  • Ստուգեք պրոքսիի գործառույթները (փոստային ինդեքս, սարքի տեսակ, լեզու), որոնք կարող են կոդավորել զգայուն հատկանիշներ

Եթե ​​դուք սա չեք փաստաթղթավորում որևէ տեղ, ապա դուք, ըստ էության, խնդրում եք ապագային՝ առանց քարտեզի, վրիպակել վստահության ճգնաժամը։ Մոդելային քարտերը հուսալի տեղ են դա տեղադրելու համար [2], իսկ NIST-ի վստահելիության շրջանակը ձեզ տալիս է հստակ ստուգաթերթիկ այն մասին, թե ինչ պետք է ներառի «լավը» [1]:.

8) Անվտանգության և պաշտպանվածության թեստավորում (հատկապես իրավագիտության բակալավրիատի համար) 🛡️

Եթե ​​ձեր մոդելը կարող է բովանդակություն ստեղծել, ապա դուք ստուգում եք ոչ միայն ճշգրտությունը։ Դուք ստուգում եք վարքագիծը։.

Ներառեք հետևյալ թեստերը՝

  • Արգելված բովանդակության ստեղծում (քաղաքականության խախտումներ)

  • Գաղտնիության արտահոսք (արդյո՞ք դա գաղտնիքներ է պարունակում):

  • Հալյուցինացիաներ բարձր ռիսկային տիրույթներում

  • Չափից շատ մերժում (մոդելը մերժում է սովորական հարցումները)

  • Թունավորության և ոտնձգության հետևանքները

  • Տվյալների արտազատման փորձեր արագ ներարկման միջոցով

Հիմնավորված մոտեցումը հետևյալն է՝ սահմանել քաղաքականության կանոններ → կառուցել թեստային հուշումներ → գնահատել արդյունքները մարդկային + ավտոմատացված ստուգումներով → գործարկել այն ամեն անգամ, երբ ինչ-որ բան փոխվում է: Այդ «ամեն անգամ» մասը վարձավճարն է:.

Սա հիանալի կերպով տեղավորվում է կյանքի ցիկլի ռիսկի մտածելակերպի մեջ՝ կառավարել, քարտեզագրել համատեքստը, չափել, կառավարել, կրկնել [1]:.

9) Առցանց փորձարկում. փուլային թողարկումներ (որտեղ ճշմարտությունն է ապրում) 🚀

Անհրաժեշտ են անցանց թեստեր։ Առցանց շփումը այն վայրն է, որտեղ իրականությունը դրսևորվում է ցեխոտ կոշիկներով։.

Դուք պարտավոր չեք շքեղ լինել։ Պարզապես պետք է կարգապահ լինեք։

  • Գործարկել ստվերային ռեժիմով (մոդելը գործում է, չի ազդում օգտատերերի վրա)

  • Աստիճանական ներդրում (սկզբում՝ փոքր երթևեկություն, ապա ընդլայնում, եթե երթևեկությունը լավ վիճակում է)

  • Հետևեք արդյունքներին և միջադեպերին (բողոքներ, սրացումներ, քաղաքականության ձախողումներ)

Նույնիսկ եթե չեք կարողանում անմիջապես պիտակներ ստանալ, կարող եք վերահսկել պրոքսի ազդանշանները և գործառնական վիճակը (լատենտություն, ձախողումների մակարդակ, ծախս): Հիմնական կետը հետևյալն է. դուք ցանկանում եք վերահսկվող միջոց՝ ձախողումները հայտնաբերելու համար, նախքան ձեր ամբողջ օգտատերերի բազան դա կանի [1]:

10) Տեղակայումից հետո մոնիթորինգ՝ տեղաշարժ, քայքայում և լուռ ձախողում 📉👀

Դուք փորձարկած մոդելը այն մոդելը չէ, որի հետ դուք ապրում եք։ Տվյալները փոխվում են։ Օգտատերերը փոխվում են։ Աշխարհը փոխվում է։ Խողովակաշարը խափանվում է ժամը 2-ին։ Դուք գիտեք, թե ինչպես է դա…

Մոնիտոր՝

  • Մուտքային տվյալների շեղում (սխեմաների փոփոխություններ, բացակայություններ, բաշխման տեղաշարժեր)

  • Արդյունքի շեղում (դասի հաշվեկշռի տեղաշարժեր, միավորների տեղաշարժեր)

  • Արդյունավետության ցուցիչներ (քանի որ պիտակների ուշացումները իրական են)

  • Հետադարձ կապի ազդանշաններ (բութ մատը ներքև, վերախմբագրումներ, սրացումներ)

  • Սեգմենտային մակարդակի ռեգրեսիաներ (լուռ մարդասպաններ)

Եվ սահմանեք տագնապի շեմեր, որոնք չափազանց ցնցող չեն։ Մշտապես գոռացող մոնիտորը անտեսվում է՝ ինչպես քաղաքում մեքենայի տագնապը։.

Այս «մոնիթորինգ + ժամանակի ընթացքում բարելավում» ցիկլը պարտադիր չէ, եթե դուք կարևորում եք վստահելիությունը [1]:.

11) Գործնական աշխատանքային հոսք, որը կարող եք պատճենել 🧩

Ահա մի պարզ ցիկլ, որը մասշտաբավորվում է՝

  1. Սահմանել հաջողության + ձախողման ռեժիմները (ներառյալ արժեքը/լատենտությունը/անվտանգությունը) [1]

  2. Ստեղծեք տվյալների հավաքածուներ՝

    • ոսկեգույն հավաքածու

    • եզրային պատյանների փաթեթ

    • վերջին իրական նմուշներ (գաղտնիության համար անվտանգ)

  3. Ընտրեք չափանիշներ՝

    • առաջադրանքի չափանիշներ (F1, MAE, հաղթանակի մակարդակ) [4][5]

    • անվտանգության չափանիշներ (քաղաքականության հաջողության մակարդակ) [1][5]

    • գործառնական չափանիշներ (լատենտություն, ծախս)

  4. Կառուցեք գնահատման լար (աշխատում է յուրաքանչյուր մոդելի/հուշման փոփոխության վրա) [4][5]

  5. Ավելացնել սթրեսային թեստեր + հակառակորդական թեստեր [1][5]

  6. Նմուշի մարդկային վերանայում (հատկապես LLM արդյունքների համար) [5]

  7. Առաքում ստվերային + փուլային տարածման միջոցով [1]

  8. Հսկողություն + զգոնություն + վերապատրաստում՝ կարգապահությամբ [1]

  9. Փաստաթղթի արդյունքները մոդելային քարտի ոճով գրառման տեսքով են [2][3]

Ուսուցումը շքեղ է։ Թեստավորումը վարձատրվող է։.

12) Եզրափակիչ նշումներ + կարճ ամփոփում 🧠✨

Եթե ​​հիշում եք միայն մի քանի բան արհեստական ​​բանականության մոդելների փորձարկման .

  • Օգտագործեք ներկայացուցչական փորձարկման տվյալներ և խուսափեք արտահոսքից [4]

  • Ընտրեք իրական արդյունքների հետ կապված մի քանի չափանիշներ

  • Իրավագիտության մագիստրոսների համար հենվեք մարդկային ակնարկների + հաղթանակի մակարդակի ոճերի համեմատությունների [5]

  • Թեստի կայունություն - անսովոր մուտքային տվյալները քողարկված նորմալ մուտքային տվյալներ են [1]

  • Անվտանգ գլորեք և վերահսկեք, քանի որ մոդելները շեղվում են, իսկ խողովակաշարերը կոտրվում են [1]

  • Փաստաթղթավորեք, թե ինչ եք փորձարկել և ինչ չեք փորձարկել (անհարմար է, բայց հզոր) [2][3]

Թեստավորումը պարզապես «ապացուցելն» է։ Այն «գտնելն է, թե ինչպես է այն ձախողվում, նախքան ձեր օգտատերերը դա կանեն»։ Այո, դա այնքան էլ գրավիչ չէ, բայց դա այն մասն է, որը ձեր համակարգը կանգուն է պահում, երբ իրերը անկայուն են դառնում… 🧱🙂

Հաճախակի տրվող հարցեր

Արհեստական ​​բանականության մոդելները փորձարկելու լավագույն միջոցը, որպեսզի դրանք համապատասխանեն իրական օգտագործողի կարիքներին

Սկսեք «լավը» սահմանելով իրական օգտատիրոջ և մոդելի կողմից աջակցվող որոշման տեսանկյունից, այլ ոչ թե պարզապես վարկանիշային աղյուսակի չափանիշի։ Նույնականացրեք ամենաբարձր արժեք ունեցող ձախողման ռեժիմները (կեղծ դրականներն ընդդեմ կեղծ բացասականների) և նշեք խիստ սահմանափակումներ, ինչպիսիք են լատենտությունը, արժեքը, գաղտնիությունը և բացատրելիությունը։ Այնուհետև ընտրեք չափանիշներ և փորձարկման դեպքեր, որոնք արտացոլում են այդ արդյունքները։ Սա ձեզ թույլ չի տալիս օպտիմալացնել «գեղեցիկ չափանիշը», որը երբեք չի վերածվում ավելի լավ արտադրանքի։.

Հաջողության չափանիշների սահմանում գնահատման չափանիշներ ընտրելուց առաջ

Գրեք, թե ով է օգտատերը, ինչ որոշում է մոդելը նախատեսված աջակցելու համար, և ինչպիսին է «ամենավատ դեպքում ձախողումը» արտադրության մեջ: Ավելացրեք գործառնական սահմանափակումներ, ինչպիսիք են ընդունելի լատենտությունը և մեկ հարցման արժեքը, գումարած կառավարման կարիքները, ինչպիսիք են գաղտնիության կանոնները և անվտանգության քաղաքականությունը: Երբ դրանք հստակ լինեն, չափանիշները դառնում են ճիշտը չափելու միջոց: Առանց այդ շրջանակի, թիմերը հակված են օպտիմալացնել այն, ինչը ամենահեշտն է չափել:.

Մոդելի գնահատման ժամանակ տվյալների արտահոսքի և պատահական խաբեության կանխարգելում

Պահպանեք վերապատրաստման/վավերացման/փորձարկման բաժանումները կայուն և փաստաթղթավորեք բաժանման տրամաբանությունը, որպեսզի արդյունքները վերարտադրելի մնան: Ակտիվորեն արգելափակեք կրկնօրինակները և գրեթե կրկնօրինակները բաժանումների միջև (նույն օգտատերը, փաստաթուղթը, ապրանքը կամ կրկնվող օրինաչափությունները): Ուշադրություն դարձրեք հատկանիշների արտահոսքին, երբ «ապագա» տեղեկատվությունը մուտքագրման մեջ է մտնում ժամանակային նշագրերի կամ իրադարձությունից հետո դաշտերի միջոցով: Հզոր բազային գիծը (նույնիսկ կեղծ գնահատիչները) օգնում է ձեզ նկատել, թե երբ եք գովաբանում աղմուկը:.

Ինչ պետք է ներառի գնահատման գործիքակազմը, որպեսզի թեստերը կրկնելի մնան փոփոխությունների ընթացքում

Գործնական ամրակը վերստին կատարում է համեմատելի թեստեր յուրաքանչյուր մոդելի, հարցման կամ քաղաքականության փոփոխության վրա՝ օգտագործելով նույն տվյալների հավաքածուները և գնահատման կանոնները: Այն սովորաբար ներառում է ռեգրեսիայի հավաքածու, հստակ չափանիշների վահանակներ և պահպանված կարգավորումներ և արտեֆակտներ՝ հետևելիության համար: LLM համակարգերի համար այն նաև կարիք ունի հարցման կայուն «ոսկե հավաքածուի» և եզրային փաթեթի: Նպատակն է «սեղմել կոճակը → համեմատելի արդյունքներ», այլ ոչ թե «վերստին գործարկել տետրը և աղոթել»:

Արհեստական ​​բանականության մոդելների ճշգրտությունից դուրս փորձարկման չափանիշներ

Օգտագործեք մի քանի չափանիշներ, քանի որ մեկ թիվը կարող է թաքցնել կարևոր փոխզիջումները: Դասակարգման համար զուգակցեք ճշգրտությունը/հիշողությունը/F1-ը շեմային կարգավորման և շփոթության մատրիցների հետ՝ ըստ հատվածի: Ռեգրեսիայի համար ընտրեք MAE կամ RMSE՝ հիմնվելով սխալների նկատմամբ ձեր ցանկության վրա, և ավելացրեք կալիբրացման ոճի ստուգումներ, երբ ելքային տվյալները գործում են որպես միավորներ: Դասակարգման համար օգտագործեք NDCG/MAP/MRR և կտրեք ըստ գլխի և պոչի հարցումների՝ անհավասար արդյունավետությունը նկատելու համար:.

LLM արդյունքների գնահատում, երբ ավտոմատացված չափանիշները թերի են

Վերաբերվեք դրան որպես հուշումների և քաղաքականության համակարգ և գնահատեք վարքագիծը, այլ ոչ թե պարզապես տեքստի նմանությունը: Շատ թիմեր համատեղում են մարդկային գնահատումը զույգային նախընտրության հետ (A/B հաղթանակի մակարդակ), գումարած առաջադրանքների վրա հիմնված ստուգումներ, ինչպիսիք են՝ «արդյո՞ք այն ճիշտ դաշտեր է հանել» կամ «արդյո՞ք այն հետևել է քաղաքականությանը»: Ավտոմատացված տեքստային չափանիշները կարող են օգնել նեղ դեպքերում, բայց դրանք հաճախ բաց են թողնում այն, ինչի մասին հետաքրքրում են օգտատերերը: Հստակ ռուբրիկաները և ռեգրեսիայի հավաքածուն սովորաբար ավելի կարևոր են, քան մեկ գնահատականը:.

Հզորության թեստեր՝ մոդելը աղմկոտ մուտքային ազդանշանների դեպքում չխափանելու համար

Մոդելը սթրեսային թեստավորեք՝ օգտագործելով տպագրական սխալներ, բացակայող արժեքներ, տարօրինակ ձևաչափում և ոչ ստանդարտ յունիկոդ, քանի որ իրական օգտատերերը հազվադեպ են կոկիկ լինում: Ավելացրեք բաշխման տեղաշարժի դեպքեր, ինչպիսիք են նոր կատեգորիաները, ժարգոնը, սենսորները կամ լեզվական օրինաչափությունները: Ավելացրեք ծայրահեղ արժեքներ (դատարկ տողեր, հսկայական բեռնվածություն, միջակայքից դուրս թվեր)՝ փխրուն վարքագիծը ցույց տալու համար: Իրավունքի մագիստրոսների համար նաև ստուգեք հուշումների ներարկման օրինաչափությունները և գործիքների օգտագործման ձախողումները, ինչպիսիք են ժամանակի ավարտը կամ մասնակի ելքերը:.

Կողմնակալության և արդարության հարցերի ստուգում՝ առանց տեսության մեջ կորչելու

Գնահատեք արդյունավետությունը նշանակալի հատվածների վրա և համեմատեք սխալների մակարդակները և կարգաբերումը խմբերի միջև, որտեղ դա իրավաբանորեն և էթիկապես նպատակահարմար է չափել: Փնտրեք պրոքսի հատկանիշներ (օրինակ՝ փոստային ինդեքս, սարքի տեսակ կամ լեզու), որոնք կարող են անուղղակիորեն կոդավորել զգայուն հատկանիշներ: Մոդելը կարող է «ընդհանուր առմամբ ճշգրիտ» տեսք ունենալ, մինչդեռ որոշակի խմբերի համար կայունորեն ձախողվել: Փաստաթղթավորեք չափածը և չչափածը, որպեսզի ապագա փոփոխությունները աննկատ չվերադառնան ռեգրեսիաների:.

Անվտանգության և պաշտպանվածության թեստեր, որոնք պետք է ներառվեն գեներատիվ արհեստական ​​բանականության և իրավունքի կառավարման համակարգերի համար։

Ստուգեք արգելված բովանդակության ստեղծումը, գաղտնիության արտահոսքը, բարձր ռիսկային տիրույթներում հալյուցինացիաները և չափազանց մերժումը, երբ մոդելը արգելափակում է սովորական հարցումները: Ներառեք արագ ներարկման և տվյալների արտահոսքի փորձերը, հատկապես, երբ համակարգը օգտագործում է գործիքներ կամ վերականգնում է բովանդակություն: Հիմնավորված աշխատանքային հոսքը հետևյալն է. սահմանեք քաղաքականության կանոններ, կառուցեք թեստային հարցումների հավաքածու, գնահատեք մարդկային և ավտոմատացված ստուգումներով և վերագործարկեք այն, երբ հարցումները, տվյալները կամ քաղաքականությունը փոխվում են: Հետևողականությունը վարձավճարն է, որը դուք վճարում եք:.

Արհեստական ​​բանականության մոդելների ներդրում և մոնիթորինգ գործարկումից հետո՝ շեղումները և միջադեպերը հայտնաբերելու համար

Օգտագործեք փուլային տեղակայման մոդելներ, ինչպիսիք են ստվերային ռեժիմը և աստիճանական երթևեկության թեքահարթակները՝ ձախողումները գտնելու համար, նախքան ձեր ամբողջ օգտատերերի բազան դա կանի: Վերահսկեք մուտքային տվյալների շեղումը (սխեմաների փոփոխություններ, բացակայող տվյալներ, բաշխման տեղաշարժեր) և ելքային տվյալների շեղումը (միավորների տեղաշարժեր, դասի հավասարակշռության տեղաշարժեր), գումարած գործառնական առողջությունը, ինչպիսիք են լատենտությունը և արժեքը: Հետևեք հետադարձ կապի ազդանշաններին, ինչպիսիք են խմբագրումները, սրացումները և բողոքները, և դիտեք հատվածային մակարդակի ռեգրեսիաները: Երբ որևէ բան փոխվում է, վերագործարկեք նույն համակարգը և շարունակեք մոնիթորինգը:.

Հղումներ

[1] NIST - Արհեստական ​​բանականության ռիսկերի կառավարման շրջանակ (AI RMF 1.0) (PDF)
[2] Միտչել և այլք - «Մոդելային քարտեր մոդելային հաշվետվությունների համար» (arXiv:1810.03993)
[3] Գեբրու և այլք - «Տվյալների հավաքածուների տվյալների թերթիկներ» (arXiv:1803.09010)
[4] scikit-learn - «Մոդելի ընտրության և գնահատման» փաստաթղթավորում
[5] Լիանգ և այլք - «Լեզվական մոդելների ամբողջական գնահատում» (arXiv:2211.09110)

Գտեք արհեստական ​​բանականության վերջին նորույթները պաշտոնական արհեստական ​​բանականության օգնականների խանութում

Մեր մասին

Վերադառնալ բլոգ