Արհեստական ​​բանականություն ներդրված համակարգերի համար. Ինչու է այն փոխում ամեն ինչ

Արհեստական ​​բանականությունը նախկինում ապրում էր մեծ սերվերների և ամպային գրաֆիկական պրոցեսորների վրա։ Հիմա այն փոքրանում է և սահում սենսորների կողքին։ Ներկառուցված համակարգերի համար արհեստական ​​բանականությունը հեռավոր խոստում չէ. այն արդեն իսկ գործում է սառնարանների, անօդաչու թռչող սարքերի, կրելի սարքերի… նույնիսկ այն սարքերի ներսում, որոնք ընդհանրապես «խելացի» տեսք չունեն։

Ահա, թե ինչու է այս փոփոխությունը կարևոր, ինչն է այն դժվարացնում, և որ տարբերակներն են արժանի ձեր ժամանակին։.

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո

🔗 Արհեստական ​​բանականության կառավարման լավագույն գործիքները, որոնք ապահովում են էթիկական համապատասխանություն և թափանցիկ արհեստական ​​բանականության համակարգեր
Ուղեցույց գործիքների, որոնք օգնում են պահպանել էթիկական, համապատասխան և թափանցիկ արհեստական ​​բանականություն։.

🔗 Արհեստական ​​բանականության համար օբյեկտների պահպանում. ընտրություններ, ընտրություններ, ընտրություններ
Արհեստական ​​բանականության աշխատանքային բեռների համար հարմարեցված օբյեկտների պահեստավորման տարբերակների համեմատություն։.

🔗 Արհեստական ​​բանականության տվյալների պահպանման պահանջները. ինչ դուք իսկապես պետք է իմանաք
Արհեստական ​​​​տվյալների պահպանումը պլանավորելիս հաշվի առնելու հիմնական գործոնները։.

Արհեստական ​​բանականություն ներդրված համակարգերի համար🌱

Ներկառուցված սարքերը փոքր են, հաճախ աշխատում են մարտկոցներով և սահմանափակ ռեսուրսներով։ Այնուամենայնիվ, արհեստական ​​բանականությունը մեծ հաղթանակներ է բերում

• Իրական ժամանակի որոշումներ՝ առանց ամպային երկկողմանի ուղևորությունների։

• Գաղտնիություն նախագծված է . չմշակված տվյալները կարող են մնալ սարքում։

• Ավելի ցածր լատենտություն , երբ միլիվայրկյանները կարևոր են։

• Էներգիայի վրա հիմնված եզրակացություն՝ զգույշ մոդելի + սարքավորումների ընտրության միջոցով։

Սրանք աննկատելի առավելություններ չեն. հաշվարկային հնարավորությունները եզրին հասցնելը նվազեցնում է ցանցային կախվածությունը և ամրապնդում գաղտնիությունը բազմաթիվ օգտագործման դեպքերում [1]:.

Հնարքը կոպիտ ուժի կիրառումը չէ, այլ սահմանափակ ռեսուրսներով խելացի լինելը։ Պատկերացրեք՝ մարաթոն վազել մեջքի պայուսակով… և ինժեներները շարունակում են աղյուսներ հանել։.

Ներկառուցված համակարգերի համար արհեստական ​​բանականության արագ համեմատական ​​աղյուսակ 📝

(Այո, անհավասար։ Իրականությունն էլ նույնն է։)

Ինչու է ներդրված սարքերում արհեստական ​​բանականությունը կարևոր արդյունաբերության համար 🏭

Ոչ միայն աղմուկ. գործարանային արտադրամասերում կոմպակտ մոդելները հայտնաբերում են թերությունները, գյուղատնտեսությունում ցածր հզորությամբ հանգույցները վերլուծում են հողը դաշտում, տրանսպորտային միջոցներում անվտանգության առանձնահատկությունները չեն կարող «զանգահարել տուն» արգելակելուց առաջ: Երբ լատենտությունը և գաղտնիությունը անվիճելի են , հաշվողականությունը եզրին տեղափոխելը ռազմավարական լծակ է [1]:

TinyML՝ ներդրված արհեստական ​​բանականության լուռ հերոսը 🐜

TinyML-ը մոդելներ է գործարկում միկրոկառավարիչների վրա՝ կիլոբայթից մինչև մի քանի մեգաբայթ օպերատիվ հիշողությամբ, բայց միևնույն ժամանակ կարողանում է գտնել բանալի բառեր, ճանաչել ժեստերը, հայտնաբերել անոմալիաներ և այլն: Դա նման է մկնիկի կողմից աղյուս բարձրացնելուն: Տարօրինակորեն գոհացնող է:

Արագ մտավոր մոդել

• Տվյալների հետքեր ՝ փոքր, հոսքային սենսորային մուտքեր։

• Մոդելներ ՝ կոմպակտ CNN/RNN, դասական ML կամ սպարսիֆիկացված/քվանտացված ցանցեր։

• Բյուջեներ ՝ միլիվատտ, ոչ թե վատտ; KB–MB, ոչ թե GB։

Սարքավորումների ընտրություն. Արժեքն ընդդեմ Արդյունավետության ⚔️

Շատ նախագծերի համար դժվար է ընտրել սարքավորումների ընտրության հարցը

• Raspberry Pi դաս . բարեկամական, ընդհանուր նշանակության պրոցեսոր; հուսալի նախատիպերի համար։

• NVIDIA Jetson . հատուկ կառուցված եզրային արհեստական ​​բանականության մոդուլներ (օրինակ՝ Orin), որոնք ապահովում են տասնյակներից մինչև հարյուրավոր TOPS-ներ խիտ տեսողության կամ բազմամոդելային կույտերի համար՝ հիանալի, բայց ավելի թանկ և ավելի էներգախնայող [4]:

• Google Coral (Edge TPU) . ASIC արագացուցիչ, որը քվանտացված մոդելների համար ապահովում է մոտ 4 TOPS հզորություն մոտ 2 Վտ-ով (~2 TOPS/Վտ) ՝ հիանալի կատարողականություն/Վտ, երբ ձեր մոդելը համապատասխանում է սահմանափակումներին [3]:

• Սմարթֆոնի SoC-ներ (Snapdragon) . մատակարարվում են NPU-ներով և SDK-ներով՝ մոդելները սարքի վրա արդյունավետորեն աշխատեցնելու համար։

Հիմնական կանոն՝ հավասարակշռել արժեքը, ջերմային ցուցանիշները և հաշվարկները: «Բավականաչափ լավ, ամենուր» հաճախ ավելի լավ է, քան «առաջադեմ, ոչ մի տեղ» սկզբունքը:

Արհեստական ​​բանականության տարածված մարտահրավերները ներդրված համակարգերի համար 🤯

Ինժեներները պարբերաբար բախվում են հետևյալ խնդիրներին

• Սեղմ հիշողություն . փոքր սարքերը չեն կարող հյուրընկալել հսկա մոդելներ։

• Մարտկոցի բյուջե . յուրաքանչյուր միլիամպեր կարևոր է։

• Մոդելի օպտիմալացում:

  • Քվանտացում → ավելի փոքր, ավելի արագ int8/float16 կշիռներ/ակտիվացումներ։

  • Էտում → հեռացնել աննշան կշիռները նոսրության դեպքում։

  • Կլաստերացում/կշիռների բաշխում → հետագա սեղմում։
    Սրանք սարքի վրա արդյունավետության ստանդարտ տեխնիկաներ են [2]:

• Մասշտաբի ընդլայնում . դասարանային Arduino-ի ցուցադրություն ≠ ավտոմոբիլային արտադրության համակարգ՝ անվտանգության, պաշտպանվածության և կյանքի ցիկլի սահմանափակումներով։

Սխալների վերծանում։ Պատկերացրեք՝ գիրք եք կարդում բանալու անցքից… ձեռնոցներով։.

Գործնական կիրառություններ, որոնց մասին շուտով ավելին կտեսնեք 🚀

• Խելացի կրելի սարքեր, որոնք սարքի վրա տվյալներ են տրամադրում առողջության վերաբերյալ։

• IoT տեսախցիկները նշում են իրադարձությունները՝ առանց հում կադրերը հոսքային հեռարձակելու։

• Անլար ձայնային օգնականներ ՝ ձեռքերը ազատ կառավարելու համար՝ առանց ամպային կախվածության։

• Ինքնավար անօդաչու թռչող սարքեր ստուգման, առաքման և ճշգրիտ գյուղատնտեսության համար։

Ամփոփելով՝ արհեստական ​​բանականությունը բառացիորեն ավելի է մոտենում՝ մեր դաստակներին, մեր խոհանոցներին և մեր ենթակառուցվածքներին։.

Ինչպես կարող են սկսել մշակողները 🛠️

1. Սկսեք TensorFlow Lite- լայն գործիքավորման և MCU → բջջային ծածկույթի համար, կիրառեք քվանտացումը/կտրումը վաղ [2]:

2. Եթե ​​ապրում եք PyTorch-ի աշխարհում և ձեզ անհրաժեշտ է սարքի վրա աշխատունակ ժամանակ՝ ինչպես բջջային, այնպես էլ ներդրված համակարգերի համար [5], ուսումնասիրեք ExecuTorch-ը

3. Փորձեք Arduino + TinyML հավաքածուները արագ և հաճելի նախատիպերի ստեղծման համար։

4. Նախընտրո՞ւմ եք տեսողական խողովակաշարեր: Edge Impulse-ը նվազեցնում է խոչընդոտը՝ տվյալների հավաքագրման, ուսուցման և տեղակայման միջոցով:

5. Սարքավորումները վերաբերեք որպես առաջին կարգի քաղաքացու՝ նախատիպը տեղադրեք պրոցեսորների վրա, այնուհետև ստուգեք ձեր թիրախային արագացուցիչի վրա (Edge TPU, Jetson, NPU)՝ լատենտությունը, ջերմային ցուցանիշները և ճշգրտության դելտաները հաստատելու համար։.

Մինի-վինետ. Թիմը տեղադրում է տատանումների անոմալիայի դետեկտոր մետաղադրամ-բջիջային սենսորի վրա: Float32 մոդելը չի ​​համապատասխանում էներգիայի բյուջեին. int8 քվանտացումը կրճատում է էներգիան յուրաքանչյուր եզրակացության համար, կրճատումը կրճատում է հիշողությունը, և MCU-ի աշխատանքային ցիկլավորումն ավարտում է աշխատանքը՝ ցանցային կապ չի պահանջվում [2,3]:

Արհեստական ​​բանականության լուռ հեղափոխությունը ներդրված համակարգերի համար 🌍

Փոքր, էժան պրոցեսորները սովորում են զգալ → մտածել → գործել ՝ տեղայնորեն։ Մարտկոցի լիցքը միշտ կհետապնդի մեզ, բայց հետագիծը հստակ է՝ ավելի ճշգրիտ մոդելներ, ավելի լավ կոմպիլյատորներ, ավելի խելացի արագացուցիչներ։ Արդյունքը. տեխնոլոգիա, որն ավելի անհատականացված է թվում և արձագանքում է, քանի որ այն ոչ միայն կապված է, այլև ուշադրություն է դարձնում։

Հղումներ

[1] ETSI (Բազմամուտք եզրային հաշվարկներ) - Լատենտության/գաղտնիության առավելությունները և արդյունաբերության համատեքստը։
ETSI MEC. Նոր սպիտակ թղթի ակնարկ

[2] Google TensorFlow մոդելի օպտիմալացման գործիքակազմ - Քվանտացում, կտրում, կլաստերացում սարքի վրա արդյունավետության համար:
TensorFlow մոդելի օպտիմալացման ուղեցույց

[3] Google Coral Edge TPU - Perf/W չափորոշիչներ եզրերի արագացման համար։
Edge TPU չափորոշիչներ

[4] NVIDIA Jetson Orin (պաշտոնական) - Edge AI մոդուլներ և կատարողականության շրջանակներ։
Jetson Orin մոդուլների ակնարկ

[5] PyTorch ExecuTorch (Պաշտոնական փաստաթղթեր) - PyTorch-ի գործարկման միջավայր՝ տեղադրված սարքի վրա՝ բջջային և Edge համակարգերի համար:
ExecuTorch-ի ակնարկ

Գտեք արհեստական ​​բանականության վերջին նորույթները պաշտոնական արհեստական ​​բանականության օգնականների խանութում

Մեր մասին