Ինչպես դառնալ արհեստական ​​բանականության մշակող։ Հիմնական տեղեկություններ։

Դուք այստեղ չեք եկել անհեթեթությունների համար։ Դուք ուզում եք հստակ ուղի՝ իմանալու, թե ինչպես դառնալ արհեստական ​​բանականության մշակող՝ առանց խեղդվելու անվերջ թվանշանների, ժարգոնային ապուրի կամ վերլուծության կաթվածահարության մեջ։ Լավ է։ Այս ուղեցույցը ձեզ կտա հմտությունների քարտեզ, իրականում կարևոր գործիքներ, հետադարձ զանգեր ստացող նախագծեր և սովորություններ, որոնք տարբերակում են շտկումները առաքումից։ Եկեք սկսենք կառուցել։

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո.

🔗 Ինչպես սկսել արհեստական ​​բանականության ընկերություն
Քայլ առ քայլ ուղեցույց ձեր արհեստական ​​ինտելեկտի ստարտափը կառուցելու, ֆինանսավորելու և գործարկելու համար։

🔗 Ինչպես ստեղծել արհեստական ​​ինտելեկտ ձեր համակարգչում
Սովորեք հեշտությամբ ստեղծել, մարզել և գործարկել արհեստական ​​բանականության մոդելներ տեղում։

🔗 Ինչպես ստեղծել արհեստական ​​բանականության մոդել
Արհեստական ​​բանականության մոդելի ստեղծման համապարփակ վերլուծություն՝ կոնցեպտից մինչև տեղակայում։

🔗 Ի՞նչ է խորհրդանշական արհեստական ​​բանականությունը
Ուսումնասիրեք, թե ինչպես է գործում խորհրդանշական արհեստական ​​բանականությունը և ինչու է այն դեռևս կարևոր այսօր։

Ի՞նչն է դարձնում արհեստական ​​բանականության մշակողին գերազանց✅

Լավ արհեստական ​​բանականության մշակողը նա չէ, ով անգիր է սովորում բոլոր օպտիմիզատորները։ Այն նա է, ով կարող է վերցնել անորոշ խնդիր, այն շրջանակել , միացնել տվյալներն ու մոդելները, ստեղծել ինչ-որ բան, որը կաշխատի, այն ազնիվ չափել և կրկնել առանց դրամայի։ Մի քանի նշիչներ՝

• Հարմարավետություն ամբողջ ցիկլի հետ. տվյալներ → մոդել → գնահատում → տեղակայում → մոնիթորինգ։

• Կողմնակալություն արագ փորձարկումների համար՝ անաղարտ տեսության փոխարեն... բավարար տեսությամբ՝ ակնհայտ թակարդներից խուսափելու համար։

• Պորտֆոլիո, որը կապացուցի, որ դուք կարող եք արդյունքներ ապահովել, ոչ միայն տետրերով։

• Պատասխանատու մտածելակերպ՝ ռիսկի, գաղտնիության և արդարության շուրջ՝ ոչ թե կատարողական, այլ գործնական: Արդյունաբերական կառուցվածքը, ինչպիսիք են NIST AI ռիսկերի կառավարման շրջանակը և OECD AI սկզբունքները, օգնում է ձեզ խոսել նույն լեզվով, ինչ վերանայողները և շահագրգիռ կողմերը: [1][2]

Փոքրիկ խոստովանություն. երբեմն դուք կարող եք մոդել ուղարկել, ապա հասկանալ, որ բազային գիծը հաղթանակ է տանում: Այդ խոնարհությունը, տարօրինակ կերպով, գերուժ է:

Կարճ ակնարկ. թիմը ստեղծեց գեղեցիկ դասակարգիչ աջակցության տեսակավորման համար. բազային բանալի բառերի կանոնները գերազանցեցին այն առաջին արձագանքի ժամանակ: Նրանք պահպանեցին կանոնները, օգտագործեցին մոդելը եզրային դեպքերի համար և գործարկեցին երկուսն էլ: Ավելի քիչ կախարդանք, ավելի շատ արդյունքներ:

Արհեստական ​​բանականության մշակող դառնալու ուղեցույց 🗺️

Ահա պարզ, իտերատիվ ուղի։ Կրկնեք այն մի քանի անգամ, երբ բարձրանում եք մակարդակը։

1. ծրագրավորման սահուն իմացություն , գումարած DS հիմնական գրադարաններ՝ NumPy, pandas, scikit-learn: Թերթեք պաշտոնական ուղեցույցները, ապա կառուցեք փոքրիկ սկրիպտներ, մինչև ձեր մատները չհիշեն դրանք: Scikit-learn օգտագործողի ուղեցույցը նաև զարմանալիորեն գործնական դասագիրք է: [3]

2. Մաթեմատիկական մեքենայական ուսուցման հիմունքները կառուցվածքային ծրագրի միջոցով՝ գծային մոդելներ, կանոնավորացում, խաչաձև վավերացում, չափանիշներ: Դասական դասախոսությունների նշումները և գործնական արագացված դասընթացի համադրությունը լավ են աշխատում:

3. Խորը ուսուցման գործիքակազմ . ընտրեք PyTorch կամ TensorFlow և սովորեք բավականաչափ՝ մոդելներ մարզելու, պահպանելու և բեռնելու, տվյալների բազմություններ մշակելու և ձևի տարածված սխալները շտկելու համար: Սկսեք PyTorch-ի պաշտոնական ձեռնարկներից, եթե սիրում եք «սկզբում կոդը» [4]:

4. Իրականում առաքվող նախագծեր ՝ փաթեթավորվում են Docker-ով, հետևում են աշխատանքներին (նույնիսկ CSV գրանցամատյանը ոչինչ չի գերազանցում) և տեղակայվում է նվազագույն API: Սովորեք Kubernetes-ը, երբ գերազանցեք մեկ տուփի տեղակայումները. նախ Docker-ը: [5]

5. Պատասխանատու արհեստական ​​բանականության շերտ . ընդունում է NIST/OECD-ի ոգեշնչմամբ թեթև ռիսկերի ստուգաթերթիկ (վավերականություն, հուսալիություն, թափանցիկություն, արդարություն): Այն քննարկումները դարձնում է կոնկրետ, իսկ աուդիտները՝ ձանձրալի (լավ իմաստով): [1][2]

6. Մի փոքր մասնագիտացեք . NLP՝ տրանսֆորմերներով, տեսլական՝ ժամանակակից կոնվերսներով/ViT-ներով, խորհուրդատուներ կամ LLM հավելվածներ և գործակալներ: Ընտրեք մեկ ուղղություն, կառուցեք երկու փոքր նախագծեր, ապա ճյուղավորվեք:

Դուք ընդմիշտ կվերադառնաք 2-6 քայլերին։ Անկեղծ ասած, դա է աշխատանքը։

Հմտությունների կույտ, որը դուք իրականում կօգտագործեք օրերի մեծ մասում 🧰

• Python + Տվյալների վերլուծություն . զանգվածների կտրում, միացումներ, խմբային փոխակերպումներ, վեկտորացում: Եթե կարողանաք պանդաներին պարել ստիպել, մարզումն ավելի պարզ է, իսկ գնահատումը՝ ավելի մաքուր:

• Core ML : գնացքի և թեստի բաժանումներ, արտահոսքի կանխարգելում, մետրիկ գրագիտություն: Scikit-learn ուղեցույցը անկասկած լավագույն տեքստերից մեկն է: [3]

• DL շրջանակ . ընտրեք մեկը, սկսեք աշխատել ամբողջ ծավալով, ապա ավելի ուշ նայեք մյուսին: PyTorch-ի փաստաթղթերը մտավոր մոդելը դարձնում են հստակ: [4]

• Փորձերի հիգիենա . մրցուղու վազքուղիներ, պարամետրեր և արտեֆակտներ: Ապագան՝ դուք ատում եք հնագիտությունը:

• Կոնտեյներացում և օրկեստրացիա . Docker-ը՝ ձեր ստեքը փաթեթավորելու համար. Kubernetes-ը՝ կրկնօրինակների, ավտոմատ մասշտաբավորման և շարունակական թարմացումների անհրաժեշտության դեպքում: Սկսեք այստեղից: [5]

• Գրաֆիկական պրոցեսորի հիմունքներ . իմացեք, թե երբ վարձակալել այն, ինչպես է խմբաքանակի չափը ազդում թողունակության վրա և ինչու են որոշ գործողություններ սահմանափակված հիշողության մեջ։

• Պատասխանատու արհեստական ​​բանականություն . փաստաթղթավորել տվյալների աղբյուրները, գնահատել ռիսկերը և պլանավորել մեղմացման միջոցառումներ՝ օգտագործելով հստակ հատկություններ (վավերականություն, հուսալիություն, թափանցիկություն, արդարություն): [1]

Սկզբնական ուսումնական ծրագիր. այն մի քանի հղումները, որոնք իրենց քաշից վեր են 🔗

• Մաթեմատիկական մեքենայական ուսուցման հիմունքներ . տեսական նշումներով լի նշումների հավաքածու + գործնական արագացված դասընթաց։ Համատեղեք դրանք scikit-learn-ի պրակտիկայի հետ։ [3]

• Շրջանակներ ՝ PyTorch-ի ձեռնարկներ (կամ TensorFlow-ի ուղեցույց, եթե նախընտրում եք Keras-ը): [4]

• Տվյալագիտության հիմունքներ . scikit-learn-ի օգտագործողի ուղեցույց ՝ չափանիշների, խողովակաշարերի և գնահատման ներքինացման համար: [3]

• Առաքում . Docker-ի «Սկսել» ուղին «աշխատում է իմ մեքենայի վրա» վերածվում է «աշխատում է ամենուրեք» ուղու։ [5]

Նշեք սրանք էջանիշներում։ Երբ խրված լինեք, կարդացեք մեկ էջ, փորձեք մեկ բան, կրկնեք։

Երեք պորտֆոլիո նախագծեր, որոնք հարցազրույցի են արժանանում 📁

1. Ձեր սեփական տվյալների բազայի վրա որոնման միջոցով լրացված հարց ու պատասխան

   • Քերեք/ներմուծեք խորշային գիտելիքների բազա, կառուցեք ներդրված տվյալներ + որոնեք տվյալներ, ավելացրեք թեթև UI։

   • Հետևեք լատենտությանը, հետաձգված հարց ու պատասխանի ճշգրտությանը և օգտատիրոջ արձագանքին։

   • Ներառեք կարճ «ձախողման դեպքեր» բաժին։

2. Տեսողության մոդել՝ իրական տեղակայման սահմանափակումներով

   • Դասակարգիչ կամ դետեկտոր մարզել, FastAPI-ի միջոցով սպասարկել, կոնտեյներացնել Docker-ի միջոցով, գրառել, թե ինչպես եք մասշտաբավորելու։ [5]

   • Փաստաթղթերի շեղման հայտնաբերում (հատկանիշների պարզ բնակչության վիճակագրությունը լավ սկիզբ է):

3. Պատասխանատու արհեստական ​​բանականության դեպքի ուսումնասիրություն

   • Ընտրեք հանրային տվյալների հավաքածու՝ զգայուն հատկանիշներով: Կատարեք չափանիշների և մեղմացման ցուցանիշների գրառում՝ համապատասխանեցնելով դրանք NIST հատկություններին (վավերականություն, հուսալիություն, արդարություն): [1]

Յուրաքանչյուր նախագծի համար անհրաժեշտ է՝ 1 էջանոց README, դիագրամ, վերարտադրելի սկրիպտներ և փոքրիկ փոփոխությունների ցանկ։ Ավելացրեք մի քիչ էմոջիի երանգ, քանի որ, ինչպես ասում են, մարդիկ նույնպես կարդում են դրանք 🙂

MLOps, տեղակայում և այն մասը, որը ոչ ոք չի սովորեցնում ձեզ 🚢

Առաքումը հմտություն է։ Նվազագույն հոսք։

• կոնտեյներացրեք Docker-ի միջոցով, որպեսզի dev ≈ prod-ը լինի։ Սկսեք պաշտոնական Getting Started փաստաթղթերից, տեղափոխվեք Compose՝ բազմածառայողական կարգավորումների համար։ [5]

• Հետևեք փորձերին (նույնիսկ տեղական մակարդակով): Պարամետրերը, չափանիշները, արտեֆակտները և «հաղթող» պիտակը աբլյացիաները դարձնում են ազնիվ, իսկ համագործակցությունը՝ հնարավոր:

• համագործակցեք Kubernetes-ի հետ։ Սկզբում սովորեք տեղակայումները, ծառայությունները և հայտարարական կարգավորումը. դիմադրեք անորոշության ձգտմանը։

• Ամպային աշխատանքային ժամանակներ . Colab նախատիպերի ստեղծման համար, կառավարվող հարթակներ (SageMaker/Azure ML/Vertex) խաղալիք հավելվածները փոխանցելուց հետո։

• Գրաֆիկական գրաֆիկական գրագիտություն . ձեզ հարկավոր չէ CUDA միջուկներ գրել, դուք պետք է հասկանաք, թե երբ է տվյալների բեռնիչը ձեր խոչընդոտը։

Փոքրիկ թերի փոխաբերություն. մտածեք MLO-ների մասին որպես թթխմորով նախուտեստի. սնուցեք այն ավտոմատացմամբ և մոնիթորինգով, թե չէ այն հոտ կգա։

Պատասխանատու արհեստական ​​բանականությունը ձեր մրցակցային խրամատն է 🛡️

Թիմերը ճնշման տակ են՝ ապացուցելու իրենց վստահելիությունը։ Եթե դուք կարողանաք կոնկրետ խոսել ռիսկի, փաստաթղթավորման և կառավարման մասին, դուք կդառնաք այն անձը, որին մարդիկ ցանկանում են ներկա գտնվել սենյակում։

• Օգտագործեք հաստատված շրջանակ . համապատասխանեցրեք պահանջները NIST հատկություններին (վավերականություն, հուսալիություն, թափանցիկություն, արդարություն), այնուհետև դրանք վերածեք ստուգաթերթիկի կետերի և ընդունման չափանիշների PR-ներում: [1]

• Հիմնավորեք ձեր սկզբունքները . OECD-ի արհեստական ​​բանականության սկզբունքները շեշտը դնում են մարդու իրավունքների և ժողովրդավարական արժեքների վրա՝ օգտակար է փոխզիջումների քննարկման ժամանակ: [2]

• Մասնագիտական ​​էթիկա . դիզայնի փաստաթղթերում էթիկայի կանոնագրքին կարճ հղումը հաճախ տարբերություն է ստեղծում «մենք մտածել ենք դրա մասին» և «մենք դա թևավորել ենք» արտահայտությունների միջև։

Սա բյուրոկրատիա չէ։ Սա արհեստ է։

Մի փոքր մասնագիտացեք. ընտրեք արահետ և սովորեք դրա գործիքները 🛣️

• Իրավագիտության մագիստրոսներ և ՆԼԳ . տոկենիզացիայի թակարդներ, համատեքստային պատուհաններ, RAG, BLEU-ից այն կողմ գնահատում: Սկսեք բարձր մակարդակի խողովակաշարերից, ապա հարմարեցրեք դրանք:

• Տեսլական . տվյալների լրացում, պիտակավորման հիգիենա և տեղակայում եզրային սարքերում, որտեղ լատենտությունը թագուհի է։

• Առաջարկվողներ ՝ անուղղակի հետադարձ կապի առանձնահատկություններ, սառը մեկնարկի ռազմավարություններ և RMSE-ին չհամապատասխանող բիզնես KPI-ներ։

• Գործակալների և գործիքների օգտագործում . ֆունկցիաների կանչ, սահմանափակված վերծանում և անվտանգության ռելսեր։

Անկեղծ ասած, կիրակի առավոտյան ընտրեք այն դոմեյնը, որը ձեզ հետաքրքրասեր է դարձնում։

Համեմատական ​​աղյուսակ. Ինչպես դառնալ արհեստական ​​բանականության մշակող 📊

Այո, հեռավորությունը մի փոքր անհավասար է։ Իսկական սեղանները հազվադեպ են կատարյալ լինում։

Ուսումնասիրեք օղակներ, որոնք իրականում կպչում են 🔁

• Երկու ժամ տևողությամբ ցիկլեր ՝ 20 րոպե փաստաթղթերի ընթերցում, 80 րոպե կոդավորում, 20 րոպե ձախողվածը գրի առնելը։

• Մեկ էջանոց գրառումներ . յուրաքանչյուր մինի-նախագծից հետո բացատրեք խնդրի ձևակերպումը, բազային ցուցանիշները, չափանիշները և ձախողման եղանակները։

• Միտումնավոր սահմանափակումներ ՝ մարզել միայն CPU-ի վրա, կամ նախնական մշակման համար արտաքին գրադարաններ չօգտագործել, կամ բյուջեն սահմանել ճիշտ 200 տող։ Սահմանափակումները, ինչ-որ կերպ, ծնում են ստեղծագործականություն։

• Թղթե սպրինտներ . իրականացրեք միայն կորուստը կամ տվյալների բեռնիչը։ Շատ բան սովորելու համար SOTA-ի կարիք չկա։

Եթե ​​ուշադրությունը շեղվում է, դա նորմալ է։ Բոլորը տատանվում են։ Զբոսանք կատարեք, վերադարձեք, ուղարկեք ինչ-որ փոքրիկ բան։

Հարցազրույցի նախապատրաստություն՝ առանց թատերականացված աշխատանքների 🎯

• Պորտֆոլիոն նախ . իրական պահոցները գերազանցում են սլայդների հավաքածուներին: Տեղադրեք առնվազն մեկ փոքրիկ դեմո տարբերակ:

• Բացատրեք փոխզիջումները . պատրաստ եղեք ծանոթանալու չափանիշների ընտրությանը և այն բանին, թե ինչպես կլուծեք ձախողումը։

• Համակարգային մտածողություն . ուրվագծել տվյալներ → մոդել → API → մոնիտորի դիագրամ և պատմել այն։

• Պատասխանատու արհեստական ​​բանականություն . պահպանեք պարզ ստուգաթերթիկ, որը համապատասխանում է NIST AI RMF-ին. այն ազդարարում է հասունության մասին, այլ ոչ թե նորաձև բառերի։ [1]

• Շրջանակի սահունություն . ընտրեք մեկ շրջանակ և վտանգավոր եղեք դրա հետ։ Պաշտոնական փաստաթղթերը հարցազրույցների ժամանակ թույլատրելի են։ [4]

Փոքրիկ խոհարարական գիրք. ձեր առաջին ամբողջական նախագիծը մեկ շաբաթավերջին 🍳

1. Տվյալներ ՝ ընտրեք մաքուր տվյալների հավաքածու։

2. Հիմնական գիծ ՝ scikit-learn մոդել խաչաձև վավերացմամբ; գրանցեք հիմնական չափանիշները։ [3]

3. DL pass : նույն առաջադրանքը PyTorch-ում կամ TensorFlow-ում. համեմատեք խնձորները խնձորների հետ։ [4]

4. Հետևում . գրանցել վազքերը (նույնիսկ պարզ CSV + ժամանակային դրոշմանիշներ): Նշեք հաղթողին:

5. Սպասարկել ՝ կանխատեսումը փաթեթավորել FastAPI երթուղում, դոկերիզացնել, տեղական գործարկել։ [5]

6. Մտածեք . որ չափանիշն է կարևոր օգտատիրոջ համար, ինչ ռիսկեր կան և ինչի վրա պետք է կենտրոնանաք թողարկումից հետո՝ փոխառեք NIST AI RMF-ի պայմանները՝ այն հստակ պահելու համար։ [1]

Սա՞ է կատարյալ։ Ոչ։ Ավելի լավ է, քան կատարյալ դասընթացին սպասելը։ Անշուշտ։

Հաճախակի թակարդներ, որոնցից կարող եք խուսափել վաղ փուլում ⚠️

• Ուսուցումը ձեռնարկներով չափազանց շատ տեղավորելը . հիանալի է սկսելու համար, բայց շուտով անցեք խնդրին նախևառաջ ուշադրություն դարձնելու մտածողությանը։

• Գնահատման դիզայնի բացթողում . սահմանեք հաջողությունը մարզումից առաջ։ Խնայում է ժամեր։

• Տվյալների պայմանագրերի անտեսում . սխեմայի շեղումը ավելի շատ համակարգեր է խափանում, քան մոդելները։

• Տեղակայման վախ . Docker-ը ավելի բարեկամական է, քան թվում է։ Սկսեք փոքրից. ընդունեք, որ առաջին կառուցվածքը կլինի անհարմար։ [5]

• Էթիկան երկար է տևում . ավելի ուշ այն ամուր կպցնելով, այն վերածվում է համապատասխանության խնդրի: Դիզայնի մեջ ներդնելով այն՝ ավելի թեթև, ավելի լավ: [1][2]

TL;DR 🧡

Եթե ​​հիշում եք մեկ բան. արհեստական ​​բանականության մշակող դառնալը տեսություն կուտակելու կամ փայլուն մոդելներ հետապնդելու մասին չէ։ Այն իրական խնդիրներ բազմիցս լուծելու մասին է՝ սերտ ցիկլով և պատասխանատու մտածելակերպով։ Սովորեք տվյալների կույտը, ընտրեք մեկ DL շրջանակ, ուղարկեք փոքրիկ բաներ Docker-ի միջոցով, հետևեք ձեր արարքներին և ձեր ընտրությունները կապեք NIST-ի և OECD-ի նման հարգված ուղեցույցների հետ։ Կառուցեք երեք փոքր, սիրելի նախագծեր և խոսեք դրանց մասին՝ որպես թիմակից, այլ ոչ թե որպես կախարդ։ Այսքանը՝ հիմնականում։

Եվ այո, բարձրաձայն ասեք արտահայտությունը, եթե այն օգնում է. « Ես գիտեմ, թե ինչպես դառնալ արհեստական ​​բանականության մշակող» : Ապա գնացեք և ապացուցեք դա այսօր՝ մեկ ժամ կենտրոնացած կառուցելով:

Հղումներ

[1] NIST. Արհեստական ​​բանականության ռիսկերի կառավարման շրջանակ (AI RMF 1.0) : (PDF) - Հղում
[2] OECD. OECD AI սկզբունքներ - Ընդհանուր տեսք - Հղում
[3] scikit-learn. Օգտագործողի ուղեցույց (կայուն) - Հղում
[4] PyTorch. Ուսուցողական նյութեր (սովորեք հիմունքները և այլն) - Հղում
[5] Docker. Սկսեք - Հղում