Ի՞նչ է Edge AI-ը։

Edge AI-ը ինտելեկտը տարածում է այնտեղ, որտեղ տվյալները ծնվում են։ Հնչում է շքեղ, բայց հիմնական գաղափարը պարզ է՝ մտածեք անմիջապես սենսորի կողքին, որպեսզի արդյունքները երևան հիմա, ոչ թե ուշ։ Դուք ստանում եք արագություն, հուսալիություն և պատշաճ գաղտնիության պատմություն՝ առանց ամպային համակարգի կողմից յուրաքանչյուր որոշման խնամքի։ Եկեք բացատրենք՝ ներառյալ կարճ ճանապարհներն ու կողմնակի առաջադրանքները։ 😅

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո.

🔗 Ի՞նչ է գեներատիվ արհեստական ​​բանականությունը
Գեներատիվ արհեստական ​​բանականության, դրա աշխատանքի և գործնական կիրառությունների հստակ բացատրություն։

🔗 Ի՞նչ է գործակալական արհեստական ​​բանականությունը
Գործակալական արհեստական ​​բանականության, ինքնավար վարքագծի և իրական աշխարհի կիրառման օրինաչափությունների ակնարկ։

🔗 Ի՞նչ է արհեստական ​​բանականության մասշտաբայնությունը
Սովորեք, թե ինչպես հուսալիորեն, արդյունավետորեն և ծախսարդյունավետ կերպով մասշտաբավորել արհեստական ​​բանականության համակարգերը։

🔗 Ի՞նչ է արհեստական ​​բանականության համար նախատեսված ծրագրային շրջանակը
Արհեստական ​​​​ինտելեկտի ծրագրային շրջանակների, ճարտարապետության առավելությունների և իրականացման հիմունքների վերլուծություն։

Ի՞նչ է Edge AI-ը։ Հակիրճ սահմանում 🧭

Edge AI-ն մեքենայական ուսուցման մոդելների վարժեցված մոդելների աշխատեցման պրակտիկա է անմիջապես տվյալներ հավաքող սարքերի վրա կամ դրանց մոտակայքում՝ հեռախոսներ, տեսախցիկներ, ռոբոտներ, մեքենաներ, կրելի սարքեր, արդյունաբերական կառավարիչներ և այլն: Հեռավոր սերվերներ վերլուծության համար հում տվյալները ուղարկելու փոխարեն, սարքը մշակում է մուտքային տվյալները տեղում և ուղարկում է միայն ամփոփումներ կամ ընդհանրապես ոչինչ: Ավելի քիչ երկկողմանի ուղևորություններ, ավելի քիչ ուշացում, ավելի շատ վերահսկողություն: Եթե ցանկանում եք մաքուր, մատակարարից չեզոք բացատրություն, սկսեք այստեղից: [1]

Ի՞նչն է Edge AI-ը դարձնում իրականում օգտակար։ 🌟

• Ցածր լատենտություն - որոշումները կայացվում են սարքի վրա, ուստի արձագանքները ակնթարթային են ընկալման առաջադրանքների համար, ինչպիսիք են օբյեկտի հայտնաբերումը, արթնացող բառերի հայտնաբերումը կամ անոմալիաների մասին ծանուցումները: [1]

• Գաղտնիություն ըստ տեղանքի . զգայուն տվյալները կարող են մնալ սարքում, նվազեցնելով դրանց ազդեցությունը և օգնելով տվյալների նվազագույնի հասցնելու քննարկումներին: [1]

• Թողունակության խնայողություն - ուղարկեք հատկանիշներ կամ իրադարձություններ՝ հում հոսքերի փոխարեն։ [1]

• Դիմացկունություն - աշխատում է անկայուն կապի դեպքում։

• Ծախսերի վերահսկում - ավելի քիչ ամպային հաշվարկային ցիկլեր և ավելի ցածր ելք։

• Համատեքստի գիտակցում . սարքը «զգում» է միջավայրը և հարմարվում է։

Կարճ պատմություն. մանրածախ առևտրի օդաչուն տեսախցիկի անընդհատ բեռնումները փոխարինեց սարքի վրա գտնվող անձի և օբյեկտի դասակարգմամբ և ուղարկեց միայն ժամային հաշվարկներ և բացառությունների տեսագրություններ: Արդյունք. 200 մվ-ից պակաս ազդանշաններ դարակի եզրին և վերբեռնման երթևեկության մոտ 90% անկում՝ առանց խանութի WAN պայմանագրերը փոխելու: (Մեթոդ. տեղական եզրակացություն, իրադարձությունների խմբաքանակ, միայն անոմալիաներ):

Edge AI vs cloud AI - արագ հակադրություն 🥊

• Հաշվարկի վայրը ՝ եզր = սարքի վրա/սարքի մոտ; ամպ = հեռակա տվյալների կենտրոններ։

• Լատենտություն ՝ եզր ≈ իրական ժամանակում; ամպն ունի երկկողմանի երթուղիներ։

• Տվյալների տեղաշարժ . եզրը նախ ֆիլտրում/սեղմում է. ամպային տեխնոլոգիաները սիրում են լիարժեք ճշգրտությամբ վերբեռնումներ։

• Հուսալիություն . Edge-ը շարունակում է աշխատել անցանց ռեժիմով, ամպային սերվերներին անհրաժեշտ է միացում։

• Կառավարում . Edge-ը աջակցում է տվյալների նվազագույնի հասցնելուն, ամպային տեխնոլոգիաները կենտրոնացնում են վերահսկողությունը։ [1]

Սա կամ-կամ չէ։ Խելացի համակարգերը համատեղում են երկուսն էլ՝ արագ տեղական որոշումներ, ավելի խորը վերլուծություններ և կենտրոնացված ուսուցում նավատորմի վրա։ Հիբրիդային պատասխանը և՛ ձանձրալի է, և՛ ճիշտ։

Ինչպես է Edge AI-ն իրականում աշխատում ներսից 🧩

1. Սենսորները գրանցում են հում ազդանշաններ՝ աուդիո կադրեր, տեսախցիկի պիքսելներ, IMU-ի թակոցներ, տատանումների հետքեր։

2. Նախնական մշակումը վերաձևավորում է այդ ազդանշանները՝ դարձնելով դրանք մոդելին հարմար հատկանիշներ։

3. Inference runtime-ը սարքի վրա կատարում է կոմպակտ մոդել՝ օգտագործելով արագացուցիչներ, երբ դրանք հասանելի են։

4. Հետմշակումը ելքային տվյալները վերածում է իրադարձությունների, պիտակների կամ կառավարման գործողությունների:

5. Հեռաչափությունը վերբեռնում է միայն օգտակար տվյալները՝ ամփոփումներ, անոմալիաներ կամ պարբերական հետադարձ կապ։

Սարքի վրա առկա աշխատաժամանակի տարբերակներից են Google-ի LiteRT-ը (նախկինում՝ TensorFlow Lite), ONNX Runtime-ը և Intel-ի OpenVINO-ն : Այս գործիքակազմերը քվանտացման և օպերատորների միաձուլման նման հնարքներով խնայում են թողունակությունը՝ օգտագործելով սահմանափակ հզորության/հիշողության բյուջեներ: Եթե ձեզ դուր են գալիս մանրամասները, ապա դրանց փաստաթղթերը հուսալի են: [3][4]

Որտեղ է այն երևում. իրական օգտագործման դեպքեր, որոնք կարող եք մատնանշել 🧯🚗🏭

• Տեսողություն եզրին . դռան զանգի տեսախցիկներ (մարդիկ ընդդեմ կենդանիների), խանութների դարակների սկանավորում, անօդաչու սարքերի կողմից թերությունների հայտնաբերում։

• Սարքի վրա ձայնագրություն . արթնացման բառեր, թելադրանք, բույսերի արտահոսքի հայտնաբերում:

• Արդյունաբերական Ինտերնետի իրերի համակարգ . շարժիչներն ու պոմպերը վերահսկվում են տատանումների անոմալիաների հայտնաբերման համար՝ խափանումից առաջ։

• Ավտոմոբիլային ՝ վարորդի մոնիթորինգ, երթևեկության գոտիների հայտնաբերում, կայանման օժանդակ միջոցներ՝ վայրկյանից մի փոքր պակաս կամ կանգառի դեպքում։

• Առողջապահություն . կրելի սարքերը տեղում են նշում առիթմիաները, համաժամեցրեք ամփոփագրերը ավելի ուշ։

• Սմարթֆոններ . լուսանկարների բարելավում, սպամ-զանգերի հայտնաբերում, «ինչպե՞ս է իմ հեռախոսը դա արել անցանց ռեժիմում» պահեր։

Ֆորմալ սահմանումների (և «մշուշն ընդդեմ եզրի» զրույցի) համար տե՛ս NIST կոնցեպտուալ մոդելը։ [2]

Սարքավորումներ, որոնք այն դարձնում են արագաշարժ 🔌

Մի քանի հարթակներ հաճախ են ստուգվում անուններով՝

• NVIDIA Jetson - GPU-ով աշխատող մոդուլներ ռոբոտների/տեսախցիկների համար՝ շվեյցարական բանակային դանակի ոճով ներկառուցված արհեստական ​​բանականության համար։

• Google Edge TPU + LiteRT - արդյունավետ ամբողջ թվերի եզրակացություն և օպտիմալացված աշխատանքային ժամանակ գերցածր էներգիայի նախագծերի համար: [3]

• Apple Neural Engine (ANE) - iPhone-ի, iPad-ի և Mac-ի համար նախատեսված սարքի վրա հիմնված ML։ Apple-ը հրապարակել է գործնական աշխատանք ANE-ում տրանսֆորմատորների արդյունավետ տեղակայման վերաբերյալ։ [5]

• Intel պրոցեսորներ/iGPU-ներ/NPU-ներ OpenVINO-ով - «գրեք մեկ անգամ, տեղակայեք ցանկացած վայրում» Intel սարքավորումների վրա. օգտակար օպտիմալացման անցումներ։

• ONNX Runtime ամենուրեք - չեզոք runtime՝ հեռախոսների, համակարգիչների և դարպասների համար միացվող կատարման մատակարարներով։ [4]

Ձեզ բոլորն էլ պե՞տք են։ Իրականում ոչ։ Ընտրեք մեկ ուժեղ ուղի, որը համապատասխանում է ձեր նավատորմին և հետևեք դրան. թիմերի արտահոսքը ներդրված թիմերի թշնամին է։

Ծրագրային ապահովման փաթեթ - կարճ շրջագայություն 🧰

• Մոդելի սեղմում . քվանտացում (հաճախ մինչև int8), կտրում, թորում։

• Օպերատորի մակարդակի արագացում . միջուկները կարգավորվել են ձեր սիլիցիումին։

• Գործողության ժամկետներ ՝ LiteRT, ONNX Runtime, OpenVINO: [3][4]

• Տեղակայման փաթաթաններ ՝ կոնտեյներներ/հավելվածների փաթեթներ; երբեմն միկրոսերվիսներ դարպասների վրա։

• MLOps եզրերի համար . OTA մոդելի թարմացումներ, A/B թողարկում, հեռաչափման ցիկլեր։

• Գաղտնիության և անվտանգության վերահսկում . սարքի վրա կոդավորում, անվտանգ բեռնում, հավաստագրում, անկլավներ։

Փոքր դեպք. ստուգող անօդաչու թռչող սարքի թիմը ծանր դետեկտորը ներմուծեց LiteRT-ի համար նախատեսված քվանտացված ուսանողական մոդելի մեջ, այնուհետև միացրեց NMS-ը սարքի վրա: Թռիչքի ժամանակը բարելավվեց մոտ 15%-ով՝ հաշվողական ծախսերի նվազման շնորհիվ. բացառության շրջանակներում վերբեռնման ծավալը կրճատվեց: (Մեթոդ. տվյալների հավաքագրում տեղում, հետքվանտային կարգաբերում, ստվերային ռեժիմ A/B՝ լրիվ տեղակայումից առաջ):

Համեմատական ​​աղյուսակ - Edge AI-ի հայտնի տարբերակներ 🧪

Իրական խոսք. այս սեղանը կարծիքային է և մի փոքր անկարգ՝ ճիշտ ինչպես իրական աշխարհը։

Ինչպես ընտրել Edge AI ուղի՝ փոքրիկ որոշումների ծառ 🌳

• Դժվար է իրական ժամանակում ապրել ձեր կյանքը։ Սկսեք արագացուցիչներից + քվանտացված մոդելներից։

• Շատ սարքերի տեսակներ՞։ Փոխադրելիության համար նախընտրեք ONNX Runtime-ը կամ OpenVINO-ն։ [4]

• Բջջային հավելված ուղարկելը՞։ LiteRT-ը նվազագույն դիմադրության ուղին է։ [3]

• Ռոբոտաշինությո՞ւն, թե՞ տեսախցիկի վերլուծություն: Jetson-ի GPU-ի հետ հարմարեցված գործողությունները խնայում են ժամանակ:

• Խիստ գաղտնիության քաղաքականություն՞: Պահեք տվյալները տեղական, կոդավորեք հանգստի վիճակում, գրանցեք ագրեգատներ, այլ ոչ թե հում կադրեր:

• Փոքր թիմ ունե՞ք։ Խուսափեք էկզոտիկ գործիքաշղթաներից. ձանձրալի լինելը գեղեցիկ է։

• Մոդելները հաճախ կփոխվե՞ն։ Առաջին օրվանից պլանավորեք OTA-ն և հեռաչափումը։

Ռիսկերը, սահմանափակումները և ձանձրալի, բայց կարևոր մանրամասները 🧯

• Մոդելի շեղում - միջավայրերի փոփոխություն; բաշխումների մոնիթորինգ, ստվերային ռեժիմների գործարկում, պարբերաբար վերապատրաստում։

• Հաշվարկային առաստաղներ - հիշողության/հզորության սահմանափակությունը պարտադրում է ավելի փոքր մոդելներ կամ թույլ ճշգրտություն։

• Անվտանգություն - ենթադրեք ֆիզիկական մուտք; օգտագործեք անվտանգ բեռնում, ստորագրված արտեֆակտներ, ատեստավորում, ամենաքիչ արտոնություններով ծառայություններ:

• Տվյալների կառավարում . տեղական մշակումը օգնում է, բայց ձեզ դեռ անհրաժեշտ է համաձայնություն, պահպանում և շրջանակային հեռաչափում:

• Ֆլոտացիայի գործողություններ - սարքերը անջատվում են ամենավատ ժամանակներին. նախագծեք հետաձգված թարմացումներ և վերսկսվող վերբեռնումներ:

• Տաղանդների խառնուրդ - ներդրված + մեքենայական ուսուցման + DevOps-ը խայտաբղետ անձնակազմ է. վաղ փուլում խաչաձև վերապատրաստում։

Գործնական ուղեցույց՝ օգտակար բան առաքելու համար 🗺️

1. Ընտրեք մեկ օգտագործման դեպք՝ 3-րդ տողում չափելի արժեք-թերության հայտնաբերմամբ, խելացի բարձրախոսի վրա արթնացման բառով և այլն։

2. Հավաքեք կոկիկ տվյալների բազմություն, որը արտացոլում է թիրախային միջավայրը, ներարկեք աղմուկ՝ իրականությանը համապատասխանեցնելու համար։

3. Նախատիպ մշակողի հավաքածուի վրա, որը մոտ է արտադրական սարքավորումներին։

4. Սեղմեք մոդելը քվանտացման/կտրման միջոցով, չափեք ճշգրտության կորուստը ազնվորեն։ [3]

5. Եզրակացությունը փաթեթավորեք մաքուր API-ում ՝ հետադարձ ճնշման և հսկիչների միջոցով, քանի որ սարքերը կախվում են ժամը 2-ին։

6. Նախագծեք հեռաչափություն , որը հարգում է գաղտնիությունը. ուղարկումների քանակ, հիստոգրամներ, եզրերից արդյունահանված հատկանիշներ։

7. Harden անվտանգություն . ստորագրված երկուական ֆայլեր, անվտանգ բեռնում, նվազագույն ծառայություններ բաց են։

8. OTA պլան ՝ աստիճանական տեղակայումներ, կանարիներ, ակնթարթային հետադարձ կապ։

9. օդաչուն նետեք անհարթ անկյունային պատյանի մեջ. եթե այն այնտեղ դիմանա, ապա կդիմանա ամենուր։

10. Մասշտաբավորվեք ձեռնարկի միջոցով . ինչպես ավելացնել մոդելներ, պտտել բանալիները, արխիվացնել տվյալները, որպեսզի #2 նախագիծը քաոս չլինի։

Հաճախակի տրվող հարցեր - կարճ պատասխաններ «Ի՞նչ է Edge AI-ի հետաքրքրասիրությունները» թեմայի շուրջ։

Արդյո՞ք Edge AI-ը պարզապես փոքր մոդել է աշխատեցնում փոքրիկ համակարգչի վրա:
Մեծ մասամբ՝ այո, բայց չափը ամբողջ պատմությունը չէ: Այն նաև վերաբերում է լատենտության բյուջեներին, գաղտնիության խոստումներին և բազմաթիվ սարքերի տեղական, բայց գլոբալ մակարդակով աշխատելուն: [1]

Կարո՞ղ եմ մարզվել նաև եզրային հատվածում:
Թեթև սարքի վրա մարզումը/անհատականացումը գոյություն ունի, ավելի ծանր մարզումները դեռևս կենտրոնացված են: ONNX Runtime-ը փաստաթղթավորում է սարքի վրա մարզման տարբերակները, եթե դուք արկածախնդիր եք: [4]

Ի՞նչ է Edge AI-ը ընդդեմ fog computing-ի:
Fog-ը և edge-ը զարմիկներ են: Երկուսն էլ հաշվողական տեխնիկան ավելի են մոտեցնում տվյալների աղբյուրներին, երբեմն՝ մոտակա դարպասների միջոցով: Պաշտոնական սահմանումների և համատեքստի համար տե՛ս NIST: [2]

Արդյո՞ք Edge AI-ը միշտ է բարելավում գաղտնիությունը։
Այն օգնում է, բայց դա կախարդանք չէ։ Ձեզ դեռ անհրաժեշտ է նվազագույնի հասցնել, անվտանգ թարմացման ուղիներ և ուշադիր գրանցում։ Գաղտնիությանը վերաբերվեք որպես սովորության, այլ ոչ թե որպես նշման վանդակի։

Խորը վերլուծություններ, որոնք կարող եք կարդալ 📚

1) Մոդելի օպտիմալացում, որը չի խաթարում ճշգրտությունը

Քվանտացումը կարող է կրճատել հիշողությունը և արագացնել գործողությունները, բայց չափաբերեք ներկայացուցչական տվյալներով, հակառակ դեպքում մոդելը կարող է սկյուռիկներ տեսնել այնտեղ, որտեղ կան երթևեկության կոներ: Թորումը, երբ ուսուցիչը ուղղորդում է ավելի փոքր աշակերտին, հաճախ պահպանում է իմաստաբանությունը: [3]

2) Եզրային եզրակացության կատարման ժամանակները գործնականում

LiteRT-ի մեկնաբանիչը միտումնավոր կերպով անստատիկ հիշողության կորուստ է կատարում կատարման ժամանակ: ONNX-ի կատարման ժամանակը միանում է տարբեր արագացուցիչների կատարման մատակարարների միջոցով: Երկուսն էլ հուսալի են. երկուսն էլ հզոր մուրճեր են: [3][4]

3) Կայունություն վայրի բնության մեջ

Ջերմություն, փոշի, անկայուն հոսանք, անփույթ Wi-Fi. կառուցեք հսկիչներ, որոնք վերագործարկում են խողովակաշարերը, պահպանում որոշումները և համաձայնեցնում ցանցի վերադարձի դեպքում: Ավելի քիչ հմայիչ, քան ուշադրության կենտրոնները, սակայն ավելի կարևոր են:

Արտահայտություն, որը դուք կկրկնեք հանդիպումների ժամանակ - Ի՞նչ է Edge AI-ը 🗣️

Edge AI-ն ինտելեկտը մոտեցնում է տվյալներին՝ բավարարելու համար լատենտության, գաղտնիության, թողունակության և հուսալիության գործնական սահմանափակումները: Կախարդանքը մեկ չիպի կամ շրջանակի մեջ չէ, այլ իմաստուն կերպով ընտրելն է՝ ինչը որտեղ հաշվարկել:

Վերջնական դիտողություններ - Շատ երկար է, չեմ կարդացել 🧵

Edge AI-ը մոդելները գործարկում է տվյալների մոտ, որպեսզի արտադրանքը արագ, գաղտնի և կայուն զգա։ Դուք կհամատեղեք տեղական եզրակացությունը ամպային վերահսկողության հետ՝ երկու աշխարհների լավագույնը ստանալու համար։ Ընտրեք ձեր սարքերին համապատասխանող աշխատանքային ժամանակ, հենվեք արագացուցիչների վրա, երբ հնարավոր է, մոդելները պահեք կոկիկ՝ սեղմելով, և նախագծեք նավատորմի գործողությունները այնպես, կարծես ձեր աշխատանքը կախված է դրանից, որովհետև, այո, կարող է։ Եթե ինչ-որ մեկը հարցնի՝ ի՞նչ է Edge AI-ը , ասեք՝ խելացի որոշումներ, որոնք կայացվում են տեղում, ժամանակին։ Այնուհետև ժպտացեք և թեման փոխեք մարտկոցների վրա։ 🔋🙂

Հղումներ

1. IBM - Ի՞նչ է Edge AI-ը (սահմանում, առավելություններ):
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Մշուշի հաշվարկման կոնցեպտուալ մոդել (մշուշի/եզրի ֆորմալ համատեքստ):
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (նախկինում՝ TensorFlow Lite) (աշխատանքային ժամանակ, քվանտացում, միգրացիա):
   https://ai.google.dev/edge/littert

4. ONNX Runtime - Սարքի վրա աշխատեցում (շարժական աշխատեցում + եզրային սարքերի վրա աշխատեցում):
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Apple-ի մեքենայական ուսուցման հետազոտություն - Տրանսֆորմատորների տեղակայում Apple-ի նեյրոնային շարժիչի վրա (ANE արդյունավետության նշումներ):
   https://machinelearning.apple.com/research/neural-engine-transformers

Գտեք արհեստական ​​բանականության վերջին նորույթները պաշտոնական արհեստական ​​բանականության օգնականների խանութում

Մեր մասին