ինչ են անում արհեստական ​​բանականության ինժեներները

Ի՞նչ են անում արհեստական ​​բանականության ինժեներները։

Երբևէ մտածե՞լ եք, թե ինչ է թաքնված «AI Engineer» հայտնի բառի հետևում։ Ես էլ եմ մտածել։ Արտաքինից այն փայլուն է թվում, բայց իրականում դա հավասարապես բաղկացած է դիզայներական աշխատանքից, խառնաշփոթ տվյալների խառնումից, համակարգերի միացումից և մոլուցքով ստուգումից, թե արդյոք իրերն անում են այն, ինչ պետք է անեն։ Եթե ուզում եք մեկ տողանոց տարբերակը, ապա դրանք մշուշոտ խնդիրները վերածում են գործող AI համակարգերի, որոնք չեն փլուզվում, երբ իրական օգտատերերը հայտնվում են։ Ավելի երկար, մի փոքր ավելի քաոսային տարբերակը՝ դա ստորև է։ Վերցրեք կոֆեին։ ☕

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո.

🔗 Արհեստական ​​բանականության գործիքներ ինժեներների համար. արդյունավետության և նորարարության խթանում
Բացահայտեք հզոր արհեստական ​​բանականության գործիքներ, որոնք բարձրացնում են ինժեներական արտադրողականությունն ու ստեղծագործականությունը։

🔗 Արդյո՞ք ծրագրային ապահովման ինժեներներին կփոխարինի արհեստական ​​բանականությունը։
Ուսումնասիրեք ծրագրային ապահովման ճարտարագիտության ապագան ավտոմատացման դարաշրջանում։

🔗 Արհեստական ​​բանականության ինժեներական կիրառությունները՝ վերափոխելով արդյունաբերությունները
Իմացեք, թե ինչպես է արհեստական ​​բանականությունը վերաձևավորում արդյունաբերական գործընթացները և խթանում նորարարությունը։

🔗 Ինչպես դառնալ արհեստական ​​բանականության ինժեներ
Քայլ առ քայլ ուղեցույց՝ արհեստական ​​բանականության ճարտարագիտության ոլորտում կարիերայի ձեր ճանապարհը սկսելու համար։

Հակիրճ ակնարկ. ինչ իրականում անում արհեստական ​​բանականության ինժեները 💡

Ամենապարզ մակարդակում, արհեստական ​​բանականության ինժեները նախագծում, կառուցում, առաքում և սպասարկում է արհեստական ​​բանականության համակարգեր: Ամենօրյա աշխատանքը սովորաբար ներառում է.

  • Անորոշ ապրանքի կամ բիզնեսի կարիքները թարգմանել այնպիսի բանի, որը մոդելներն իրականում կարող են կարգավորել։

  • Տվյալների հավաքագրում, պիտակավորում, մաքրում և, անխուսափելիորեն, վերստուգում, երբ դրանք սկսում են անհետանալ։

  • Մոդելների ընտրություն և մարզում, դրանց գնահատում ճիշտ չափանիշներով և նշում, թե որտեղ դրանք կձախողվեն։

  • Ամբողջը փաթեթավորել MLOps խողովակաշարերի մեջ, որպեսզի այն կարողանա փորձարկվել, տեղակայվել, դիտարկվել։

  • Դիտել այն բնության գրկում. ճշգրտություն, անվտանգություն, արդարություն… և ճշգրտում, նախքան այն խափանվի։

Եթե ​​մտածում եք՝ «սա ծրագրային ապահովման ճարտարագիտություն է գումարած տվյալագիտություն՝ ապրանքային մտածողության մի փոքր հավելումով», այո, դա մոտավորապես այդպես է։

Ի՞նչն է լավ արհեստական ​​բանականության ինժեներներին տարբերում մնացածից ✅

Դուք կարող եք իմանալ 2017 թվականից ի վեր հրատարակված բոլոր ճարտարապետական ​​աշխատանքները և միևնույն է, ստեղծել փխրուն խառնաշփոթ։ Մարդիկ, ովքեր հաջողության են հասնում այս դերում, սովորաբար՝

  • Մտածեք համակարգերի միջոցով։ Նրանք տեսնում են ամբողջ ցիկլը՝ մուտքագրված տվյալները, ելքագրված որոշումները, ամեն ինչ հետևելի է։

  • Սկզբում մի՛ հետապնդեք կախարդանքը։ Բարդությունը կուտակելուց առաջ բազային գծեր և պարզ ստուգումներ։

  • Հաշվի առեք արձագանքները։ Վերապատրաստումը և հետկանչը լրացուցիչ բաներ չեն, դրանք դիզայնի մի մասն են։

  • Գրի առեք ամեն ինչ։ Փոխզիջումներ, ենթադրություններ, սահմանափակումներ՝ ձանձրալի, բայց հետո՝ ոսկի։

  • Լուրջ վերաբերվեք պատասխանատու արհեստական ​​բանականությանը։ Ռիսկերը լավատեսությամբ չեն վերանում, դրանք գրանցվում և կառավարվում են։

Մինի-պատմություն. Մի աջակցության թիմ սկսեց անմիտ կանոններով + վերականգնման բազայինով։ Դա նրանց տվեց հստակ ընդունման թեստեր, այնպես որ, երբ նրանք հետագայում փոխարինեցին մեծ մոդելը, նրանք ունեցան մաքուր համեմատություններ և հեշտ պահեստային տարբերակ, երբ այն վատ էր գործում։

Կյանքի ցիկլը՝ խառնաշփոթ իրականություն ընդդեմ կոկիկ դիագրամների 🔁

  1. Սահմանեք խնդիրը։ Սահմանեք նպատակները, առաջադրանքները և թե ինչ է նշանակում «բավականաչափ լավը»։

  2. Կատարեք տվյալների մշակումը։ Մաքրեք, պիտակավորեք, բաժանեք, տարբերակեք։ Անվերջ ստուգեք՝ սխեմայի շեղումը հայտնաբերելու համար։

  3. Մոդելային փորձեր։ Փորձեք պարզ, ստուգեք բազային գծերը, կրկնեք, փաստաթղթավորեք։

  4. Առաքեք այն։ CI/CD/CT խողովակաշարեր, անվտանգ տեղակայումներ, կանարիներ, հետադարձ ալիքներ։

  5. Հետևեք։ Հետևեք ճշգրտությանը, լատենտությանը, շեղմանը, արդարությանը, օգտատիրոջ արդյունքներին։ Այնուհետև վերապատրաստեք։

Սլայդի վրա սա կոկիկ շրջանի տեսք ունի։ Գործնականում դա ավելի շատ նման է սպագետիով ժոնգլյորության։

Պատասխանատու արհեստական ​​բանականություն, երբ ռետինը ճանապարհին է 🧭

Խոսքը գեղեցիկ սահադաշտերի մասին չէ։ Ինժեներները հենվում են շրջանակների վրա՝ ռիսկը իրական դարձնելու համար։

  • NIST AI RMF- ը կառուցվածք է տրամադրում նախագծման ընթացքում ռիսկերը հայտնաբերելու, չափելու և կառավարելու համար՝ տեղակայման միջոցով [1]:

  • Տնտեսական համագործակցության և զարգացման կազմակերպության սկզբունքները ավելի շատ կողմնացույցի նման են գործում՝ ընդհանուր ուղեցույցներ, որոնց շատ կազմակերպություններ համահունչ են [2]:

Շատ թիմեր նաև ստեղծում են իրենց սեփական ստուգաթերթիկները (գաղտնիության վերանայումներ, մարդկային կապի դարպասներ), որոնք արտացոլվում են այս կյանքի ցիկլերի մեջ։

Փաստաթղթեր, որոնք լրացուցիչ չեն թվում. մոդելային քարտեր և տվյալների թերթիկներ 📝

Երկու փաստաթուղթ, որոնց համար հետագայում շնորհակալ կլինեք ինքներդ ձեզ.

  • Մոդելային քարտեր → մանրամասն նկարագրում են նախատեսված օգտագործումը, գնահատման համատեքստերը, նախազգուշացումները։ Գրված է այնպես, որ ապրանքի/իրավաբանական անձինք նույնպես կարողանան հետևել [3]:

  • Տվյալների հավաքածուների տվյալների թերթիկներ → բացատրեք, թե ինչու են տվյալները գոյություն ունենում, ինչ է պարունակում դրանք, հնարավոր կողմնակալությունները և անվտանգ ու ոչ անվտանգ օգտագործումը [4]:

Ապագա. դու (և ապագա թիմակիցները) լուռ կգովաբանեք քեզ դրանք գրելու համար։

Խորը ուսումնասիրություն. տվյալների փոխանցման խողովակներ, պայմանագրեր և տարբերակներավորում 🧹📦

Տվյալները դառնում են անկառավարելի։ Խելացի արհեստական ​​բանականության ինժեներները կիրառում են պայմանագրերը, մշակում են չեկեր և պահում տարբերակները կապված կոդի հետ, որպեսզի դուք կարողանաք հետագայում հետ գնալ։

  • Հաստատում → կոդավորել սխեման, միջակայքերը, թարմությունը, ավտոմատ կերպով ստեղծել փաստաթղթեր։

  • Տարբերակների մշակում → համաձայնեցրեք տվյալների հավաքածուները և մոդելները Git-ի «commits»-ների միջոցով, որպեսզի ունենաք փոփոխությունների գրանցամատյան, որին կարող եք իրականում վստահել։

Փոքրիկ օրինակ. մեկ մանրածախ վաճառող սխալմամբ սխալմամբ արգելափակեց մատակարարների կողմից զրոյական տվյալներով լի հոսքերը։ Այդ միակ անջատիչը կանխեց recall@k-ի կրկնվող անկումները, նախքան հաճախորդները նկատեին։

Խորը ուսումնասիրություն. առաքում և մասշտաբավորում 🚢

Prod-ում մոդելի աշխատեցումը միայն model.fit() ֆունկցիան ։ Այստեղ գործիքակազմը ներառում է.

  • Docker՝ հետևողական փաթեթավորման համար։

  • Kubernetes ՝ նվագախմբման, մասշտաբավորման և անվտանգ տեղակայման համար։

  • MLOps շրջանակներ կանարիների համար, A/B բաժանումներ, արտառոց տվյալների հայտնաբերում։

Վարագույրի ետևում դա առողջության ստուգումներ են, հետևողականություն, CPU-ի և GPU-ի ժամանակացույցի համադրություն, ժամանակի ավարտի կարգավորում։ Ոչ թե շքեղ, այլ բացարձակապես անհրաժեշտ։

Խորը ուսումնասիրություն. GenAI համակարգեր և RAG 🧠📚

Գեներացնող համակարգերը բերում են մեկ այլ շրջադարձ՝ վերականգնման հողանցում։

  • Ներդրումներ + վեկտորային որոնում՝ նմանության արագ որոնումների համար։

  • Օրկեստրացիոն գրադարաններ՝ շղթայական որոնման, գործիքների օգտագործման, հետմշակման համար։

Ընտրություններ՝ խմբավորման, վերադասակարգման, գնահատման հարցում. այս փոքր որոշումներն են որոշում՝ դուք կունենաք անհարմար չաթբոտ, թե՞ օգտակար օգնական։

Հմտություններ և գործիքներ. ի՞նչ կա իրականում հավաքածուի մեջ 🧰

Դասական մեքենայական ուսուցման և խորը ուսուցման սարքավորումների խառը հավաքածու.

  • Շրջանակներ՝ PyTorch, TensorFlow, scikit-learn:

  • Խողովակաշարեր. Օդի հոսք և այլն, նախատեսված աշխատանքների համար:

  • Արտադրություն՝ Docker, K8s, սպասարկող շրջանակներ։

  • Դիտարկելիություն՝ դրեյֆի մոնիտորներ, լատենտության հետևորդներ, արդարության ստուգումներ։

ամեն ինչ չի օգտագործում ։ Հնարքն այն է, որ կյանքի ողջ ցիկլի ընթացքում բավականաչափ գիտելիքներ ունենաս՝ խելամիտ դատողություն անելու համար։

Գործիքների սեղան. ինչի՞ են իրականում ձգտում ինժեներները 🧪

Գործիք Լսարան Գինը Ինչու է դա հարմար
PyTorch Հետազոտողներ, ինժեներներ Բաց կոդով Ճկուն, պիթոնիկ, հսկայական համայնքային, պատվերով պատրաստված ցանցեր։
TensorFlow Արտադրանքի վրա կենտրոնացած թիմեր Բաց կոդով Էկոհամակարգի խորություն, TF սպասարկում և Lite տեղակայման համար։
scikit-learn Դասական ML օգտատերեր Բաց կոդով Հիանալի բազային գծեր, կոկիկ API, նախապես մշակված։
MLflow Թիմեր բազմաթիվ փորձերով Բաց կոդով Կազմակերպված է պահում վազքերը, մոդելները, արտեֆակտները։
Օդի հոսք Խողովակաշարերի մասնագետներ Բաց կոդով DAG-ները, ժամանակացույցը, դիտարկելիությունը բավականաչափ լավ են։
Դոկեր Հիմնականում բոլորը Ազատ միջուկ Նույն միջավայրը (հիմնականում): Ավելի քիչ «աշխատում է միայն իմ նոութբուքի վրա» մարտեր:
Կուբեռնետես Ինֆրակարմիր ծանր թիմեր Բաց կոդով Ավտոմատ մասշտաբավորում, տեղակայումներ, ձեռնարկությունների մակարդակի հզորություն։
Մոդել, որը ծառայում է K8-ների վրա K8s մոդելի օգտատերեր Բաց կոդով Ստանդարտ մատուցում, դրեյֆտ կեռիկներ, մասշտաբային։
Վեկտորային որոնման գրադարաններ RAG շինարարներ Բաց կոդով Արագ նմանություն, GPU-ի համար հարմար։
Կառավարվող վեկտորային պահեստներ Ձեռնարկությունների RAG թիմեր Վճարովի մակարդակներ Առանց սերվերի ինդեքսներ, ֆիլտրում, մասշտաբային հուսալիություն։

Այո, ձևակերպումը անհավասար է թվում։ Գործիքների ընտրությունը սովորաբար անհավասար է։

Չափել հաջողությունը՝ առանց թվերի մեջ խեղդվելու 📏

Կարևոր չափանիշները կախված են համատեքստից, բայց սովորաբար դրանք հետևյալի համադրությունն են՝

  • Կանխատեսման որակը՝ ճշգրտություն, հիշելիություն, F1, կալիբրացում։

  • Համակարգ + օգտատեր. լատենտություն, p95/p99, փոխակերպման աճ, ավարտման մակարդակներ։

  • Արդարության ցուցանիշներ՝ հավասարություն, անհամաչափ ազդեցություն՝ օգտագործված զգուշորեն [1][2]:

Գոյություն ունեն չափանիշներ, որոնք թույլ են տալիս հասկանալ, թե ինչ փոխզիջումներ կան։ Եթե դրանք չկան, փոխարինեք դրանք։

Համագործակցության մոդելներ. սա թիմային սպորտ է 🧑🤝🧑

Արհեստական ​​​​ինտելեկտի ինժեներները սովորաբար նստում են խաչմերուկում՝

  • Արտադրանքի և տիրույթի մասնագետներ (սահմանեք հաջողությունը, պաշտպանիչ ցանկապատերը):

  • Տվյալների ինժեներներ (աղբյուրներ, սխեմաներ, SLA-ներ):

  • Անվտանգություն/իրավական (գաղտնիություն, համապատասխանություն):

  • Դիզայն/հետազոտություն (օգտատիրոջ կողմից թեստավորում, մասնավորապես GenAI-ի համար):

  • Գործողություն/ՍՊԵ (աշխատունակության և հրդեհային վարժանքներ):

Ակնկալեք խզբզոցներով ծածկված սպիտակ տախտակներ և պարբերաբար բուռն մետրիկական բանավեճեր՝ դա առողջարար է։

Թակարդներ՝ տեխնիկական պարտքի ճահիճը 🧨

ML համակարգերը ներգրավում են թաքնված պարտքեր՝ խճճված կարգավորումներ, փխրուն կախվածություններ, մոռացված սոսնձվող սկրիպտներ: Մասնագետները ստեղծում են պաշտպանիչ ցանկապատեր՝ տվյալների թեստեր, մուտքագրված կարգավորումներ, հետադարձ կարգավորումներ՝ նախքան ճահիճը մեծանա: [5]

Առողջության պահպանման միջոցներ. օգտակար սովորություններ 📚

  • Սկսեք փոքրից։ Ապացուցեք, որ խողովակաշարը գործում է, նախքան մոդելները բարդացնելը։

  • MLOps խողովակաշարեր: CI՝ տվյալների/մոդելների համար, CD՝ ծառայությունների համար, CT՝ վերապատրաստման համար:

  • Պատասխանատու արհեստական ​​բանականության ստուգաթերթիկներ։ Համապատասխանեցված է ձեր կազմակերպությանը՝ մոդելային քարտերի և տվյալների թերթիկների նման փաստաթղթերով [1][3][4]:

Հաճախակի տրվող հարցերի արագ կրկնություն. մեկ նախադասությամբ պատասխան 🥡

Արհեստական ​​​​ինտելեկտի ինժեներները կառուցում են ամբողջական համակարգեր, որոնք օգտակար են, ստուգելի, տեղակայելի և որոշ չափով անվտանգ՝ միաժամանակ հստակեցնելով փոխզիջումները, որպեսզի ոչ ոք անտեղյակ չմնա։

TL;DR 🎯

  • Նրանք լուծում են անորոշ խնդիրներ → հուսալի արհեստական ​​բանականության համակարգեր՝ տվյալների աշխատանքի, մոդելավորման, MLOps-ների, մոնիթորինգի միջոցով։

  • Լավագույնն այն է, որ նախ ամեն ինչ պարզ պահեն, անդադար չափեն և փաստաթղթավորեն ենթադրությունները։

  • Արտադրական արհեստական ​​բանականություն = խողովակաշարեր + սկզբունքներ (ինժեներական համագործակցություն/ձեռնարկատիրական աջակցություն/փոխադրում, անհրաժեշտության դեպքում արդարություն, ռիսկի մտածողության ներդրում):

  • Գործիքները պարզապես գործիքներ են։ Օգտագործեք այն նվազագույնը, որը կօգնի ձեզ անցնել գնացք → ռելս → ծառայել → դիտարկել։

Հղումներ

  1. NIST AI RMF (1.0): Հղում

  2. Տնտեսական համագործակցության և զարգացման կազմակերպության (OECD) արհեստական ​​բանականության սկզբունքներ։ Հղում։

  3. Մոդելային քարտեր (Միտչել և այլք, 2019): Հղում

  4. Տվյալների հավաքածուների տվյալների թերթիկներ (Գեբրու և այլք, 2018/2021): Հղում

  5. Թաքնված տեխնիկական պարտք (Սկալի և այլք, 2015): Հղում

Գտեք արհեստական ​​բանականության վերջին նորույթները պաշտոնական արհեստական ​​բանականության օգնականների խանութում

Մեր մասին

Վերադառնալ բլոգ