Ի՞նչ է Edge AI-ը։

Ի՞նչ է Edge AI-ը։

Edge AI-ը ինտելեկտը տարածում է այնտեղ, որտեղ տվյալները ծնվում են։ Հնչում է շքեղ, բայց հիմնական գաղափարը պարզ է՝ մտածեք անմիջապես սենսորի կողքին, որպեսզի արդյունքները երևան հիմա, ոչ թե ուշ։ Դուք ստանում եք արագություն, հուսալիություն և պատշաճ գաղտնիության պատմություն՝ առանց ամպային համակարգի կողմից յուրաքանչյուր որոշման խնամքի։ Եկեք բացատրենք՝ ներառյալ կարճ ճանապարհներն ու կողմնակի առաջադրանքները։ 😅

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո

🔗 Ի՞նչ է գեներատիվ արհեստական ​​բանականությունը
Գեներատիվ արհեստական ​​բանականության, դրա աշխատանքի և գործնական կիրառությունների հստակ բացատրություն։

🔗 Ի՞նչ է գործակալական արհեստական ​​բանականությունը
Գործակալական արհեստական ​​բանականության, ինքնավար վարքագծի և իրական աշխարհի կիրառման օրինաչափությունների ակնարկ։

🔗 Ի՞նչ է արհեստական ​​բանականության մասշտաբայնությունը
Սովորեք, թե ինչպես հուսալիորեն, արդյունավետորեն և ծախսարդյունավետ կերպով մասշտաբավորել արհեստական ​​բանականության համակարգերը։

🔗 Ի՞նչ է արհեստական ​​բանականության համար նախատեսված ծրագրային շրջանակը
Արհեստական ​​​​ինտելեկտի ծրագրային շրջանակների, ճարտարապետության առավելությունների և իրականացման հիմունքների վերլուծություն։

Ի՞նչ է Edge AI-ը։ Հակիրճ սահմանում 🧭

Edge AI-ն մեքենայական ուսուցման մոդելների վարժեցված մոդելների աշխատեցման պրակտիկա է անմիջապես տվյալներ հավաքող սարքերի վրա կամ դրանց մոտակայքում՝ հեռախոսներ, տեսախցիկներ, ռոբոտներ, մեքենաներ, կրելի սարքեր, արդյունաբերական կառավարիչներ և այլն: Հեռավոր սերվերներ վերլուծության համար հում տվյալները ուղարկելու փոխարեն, սարքը մշակում է մուտքային տվյալները տեղում և ուղարկում է միայն ամփոփումներ կամ ընդհանրապես ոչինչ: Ավելի քիչ երկկողմանի ուղևորություններ, ավելի քիչ ուշացում, ավելի շատ վերահսկողություն: Եթե ցանկանում եք մաքուր, մատակարարից չեզոք բացատրություն, սկսեք այստեղից: [1]

 

Edge AI

Ի՞նչն է Edge AI-ը դարձնում իրականում օգտակար։ 🌟

  • Ցածր լատենտություն - որոշումները կայացվում են սարքի վրա, ուստի արձագանքները ակնթարթային են ընկալման առաջադրանքների համար, ինչպիսիք են օբյեկտի հայտնաբերումը, արթնացող բառերի հայտնաբերումը կամ անոմալիաների մասին ծանուցումները: [1]

  • Գաղտնիություն ըստ տեղանքի . զգայուն տվյալները կարող են մնալ սարքում, նվազեցնելով դրանց ազդեցությունը և օգնելով տվյալների նվազագույնի հասցնելու քննարկումներին: [1]

  • Թողունակության խնայողություն - ուղարկեք հատկանիշներ կամ իրադարձություններ՝ հում հոսքերի փոխարեն։ [1]

  • Դիմացկունություն - աշխատում է անկայուն կապի դեպքում։

  • Ծախսերի վերահսկում - ավելի քիչ ամպային հաշվարկային ցիկլեր և ավելի ցածր ելք։

  • Համատեքստի գիտակցում . սարքը «զգում» է միջավայրը և հարմարվում է։

Կարճ պատմություն. մանրածախ առևտրի օդաչուն տեսախցիկի անընդհատ բեռնումները փոխարինեց սարքի վրա գտնվող անձի և օբյեկտի դասակարգմամբ և ուղարկեց միայն ժամային հաշվարկներ և բացառությունների տեսագրություններ: Արդյունք. 200 մվ-ից պակաս ազդանշաններ դարակի եզրին և վերբեռնման երթևեկության մոտ 90% անկում՝ առանց խանութի WAN պայմանագրերը փոխելու: (Մեթոդ. տեղական եզրակացություն, իրադարձությունների խմբաքանակ, միայն անոմալիաներ):

Edge AI vs cloud AI - արագ հակադրություն 🥊

  • Հաշվարկի վայրը՝ եզր = սարքի վրա/սարքի մոտ; ամպ = հեռակա տվյալների կենտրոններ։

  • Լատենտություն՝ եզր ≈ իրական ժամանակում; ամպն ունի երկկողմանի երթուղիներ։

  • Տվյալների տեղաշարժ. եզրը նախ ֆիլտրում/սեղմում է. ամպային տեխնոլոգիաները սիրում են լիարժեք ճշգրտությամբ վերբեռնումներ։

  • Հուսալիություն. Edge-ը շարունակում է աշխատել անցանց ռեժիմով, ամպային սերվերներին անհրաժեշտ է միացում։

  • Կառավարում. Edge-ը աջակցում է տվյալների նվազագույնի հասցնելուն, ամպային տեխնոլոգիաները կենտրոնացնում են վերահսկողությունը։ [1]

Սա կամ-կամ չէ։ Խելացի համակարգերը համատեղում են երկուսն էլ՝ արագ տեղական որոշումներ, ավելի խորը վերլուծություններ և կենտրոնացված ուսուցում նավատորմի վրա։ Հիբրիդային պատասխանը և՛ ձանձրալի է, և՛ ճիշտ։

Ինչպես է Edge AI-ն իրականում աշխատում ներսից 🧩

  1. Սենսորները գրանցում են հում ազդանշաններ՝ աուդիո կադրեր, տեսախցիկի պիքսելներ, IMU-ի թակոցներ, տատանումների հետքեր։

  2. Նախնական մշակումը վերաձևավորում է այդ ազդանշանները՝ դարձնելով դրանք մոդելին հարմար հատկանիշներ։

  3. Inference runtime-ը սարքի վրա կատարում է կոմպակտ մոդել՝ օգտագործելով արագացուցիչներ, երբ դրանք հասանելի են։

  4. Հետմշակումը ելքային տվյալները վերածում է իրադարձությունների, պիտակների կամ կառավարման գործողությունների:

  5. Հեռաչափությունը վերբեռնում է միայն օգտակար տվյալները՝ ամփոփումներ, անոմալիաներ կամ պարբերական հետադարձ կապ։

Սարքի վրա առկա աշխատաժամանակի տարբերակներից են Google-ի LiteRT-ը (նախկինում՝ TensorFlow Lite), ONNX Runtime-ըև Intel-ի OpenVINO-ն: Այս գործիքակազմերը քվանտացման և օպերատորների միաձուլման նման հնարքներով խնայում են թողունակությունը՝ օգտագործելով սահմանափակ հզորության/հիշողության բյուջեներ: Եթե ձեզ դուր են գալիս մանրամասները, ապա դրանց փաստաթղթերը հուսալի են: [3][4]

Որտեղ է այն երևում. իրական օգտագործման դեպքեր, որոնք կարող եք մատնանշել 🧯🚗🏭

  • Տեսողություն եզրին. դռան զանգի տեսախցիկներ (մարդիկ ընդդեմ կենդանիների), խանութների դարակների սկանավորում, անօդաչու սարքերի կողմից թերությունների հայտնաբերում։

  • Սարքի վրա ձայնագրություն. արթնացման բառեր, թելադրանք, բույսերի արտահոսքի հայտնաբերում:

  • Արդյունաբերական Ինտերնետի իրերի համակարգ. շարժիչներն ու պոմպերը վերահսկվում են տատանումների անոմալիաների հայտնաբերման համար՝ խափանումից առաջ։

  • Ավտոմոբիլային՝ վարորդի մոնիթորինգ, երթևեկության գոտիների հայտնաբերում, կայանման օժանդակ միջոցներ՝ վայրկյանից մի փոքր պակաս կամ կանգառի դեպքում։

  • Առողջապահություն. կրելի սարքերը տեղում են նշում առիթմիաները, համաժամեցրեք ամփոփագրերը ավելի ուշ։

  • Սմարթֆոններ. լուսանկարների բարելավում, սպամ-զանգերի հայտնաբերում, «ինչպե՞ս է իմ հեռախոսը դա արել անցանց ռեժիմում» պահեր։

Ֆորմալ սահմանումների (և «մշուշն ընդդեմ եզրի» զրույցի) համար տե՛ս NIST կոնցեպտուալ մոդելը։ [2]

Սարքավորումներ, որոնք այն դարձնում են արագաշարժ 🔌

Մի քանի հարթակներ հաճախ են ստուգվում անուններով՝

  • NVIDIA Jetson - GPU-ով աշխատող մոդուլներ ռոբոտների/տեսախցիկների համար՝ շվեյցարական բանակային դանակի ոճով ներկառուցված արհեստական ​​բանականության համար։

  • Google Edge TPU + LiteRT - արդյունավետ ամբողջ թվերի եզրակացություն և օպտիմալացված աշխատանքային ժամանակ գերցածր էներգիայի նախագծերի համար: [3]

  • Apple Neural Engine (ANE) - iPhone-ի, iPad-ի և Mac-ի համար նախատեսված սարքի վրա հիմնված ML։ Apple-ը հրապարակել է գործնական աշխատանք ANE-ում տրանսֆորմատորների արդյունավետ տեղակայման վերաբերյալ։ [5]

  • Intel պրոցեսորներ/iGPU-ներ/NPU-ներ OpenVINO-ով - «գրեք մեկ անգամ, տեղակայեք ցանկացած վայրում» Intel սարքավորումների վրա. օգտակար օպտիմալացման անցումներ։

  • ONNX Runtime ամենուրեք - չեզոք runtime՝ հեռախոսների, համակարգիչների և դարպասների համար միացվող կատարման մատակարարներով։ [4]

Ձեզ բոլորն էլ պե՞տք են։ Իրականում ոչ։ Ընտրեք մեկ ուժեղ ուղի, որը համապատասխանում է ձեր նավատորմին և հետևեք դրան. թիմերի արտահոսքը ներդրված թիմերի թշնամին է։

Ծրագրային ապահովման փաթեթ - կարճ շրջագայություն 🧰

  • Մոդելի սեղմում. քվանտացում (հաճախ մինչև int8), կտրում, թորում։

  • Օպերատորի մակարդակի արագացում. միջուկները կարգավորվել են ձեր սիլիցիումին։

  • Գործողության ժամկետներ՝ LiteRT, ONNX Runtime, OpenVINO: [3][4]

  • Տեղակայման փաթաթաններ՝ կոնտեյներներ/հավելվածների փաթեթներ; երբեմն միկրոսերվիսներ դարպասների վրա։

  • MLOps եզրերի համար. OTA մոդելի թարմացումներ, A/B թողարկում, հեռաչափման ցիկլեր։

  • Գաղտնիության և անվտանգության վերահսկում. սարքի վրա կոդավորում, անվտանգ բեռնում, հավաստագրում, անկլավներ։

Փոքր դեպք. ստուգող անօդաչու թռչող սարքի թիմը ծանր դետեկտորը ներմուծեց LiteRT-ի համար նախատեսված քվանտացված ուսանողական մոդելի մեջ, այնուհետև միացրեց NMS-ը սարքի վրա: Թռիչքի ժամանակը բարելավվեց մոտ 15%-ով՝ հաշվողական ծախսերի նվազման շնորհիվ. բացառության շրջանակներում վերբեռնման ծավալը կրճատվեց: (Մեթոդ. տվյալների հավաքագրում տեղում, հետքվանտային կարգաբերում, ստվերային ռեժիմ A/B՝ լրիվ տեղակայումից առաջ):

Համեմատական ​​աղյուսակ - Edge AI-ի հայտնի տարբերակներ 🧪

Իրական խոսք. այս սեղանը կարծիքային է և մի փոքր անկարգ՝ ճիշտ ինչպես իրական աշխարհը։

Գործիք / Հարթակ Լավագույն լսարանը Փրայս մարզադաշտ Ինչու է այն աշխատում եզրին
LiteRT (նախկինում՝ TFLite) Android, մշակողներ, ներդրված $-ից $$ Lean runtime, հզոր փաստաթղթեր, բջջային սարքերի համար նախատեսված օպերացիոն համակարգեր։ Հիանալի աշխատում է նաև անցանց ռեժիմում։ [3]
ONNX-ի աշխատանքային ժամանակ Խաչաձև հարթակային թիմեր $ Չեզոք ձևաչափ, միացվող սարքավորումներով հագեցած ներքին համակարգ՝ ապագայի համար հարմար։ [4]
ԲացելՎԻՆՈ Intel-կենտրոն տեղակայումներ $ Մեկ գործիքակազմ, Intel-ի բազմաթիվ թիրախներ. հարմար օպտիմալացման անցումներ։
NVIDIA Jetson Ռոբոտաշինություն, տեսողական ծանրաբեռնվածություն $$-ից մինչև $$$ GPU արագացում ճաշի տուփում. լայն էկոհամակարգ։
Apple ANE iOS/iPadOS/macOS հավելվածներ սարքի արժեքը Հզոր սարքային/ծրագրային ապահովման ինտեգրացիա; լավ փաստաթղթավորված ANE տրանսֆորմատորային աշխատանք: [5]
Edge TPU + LiteRT Գերցածր էներգիայի նախագծեր $ Արդյունավետ int8 եզրակացություն եզրին. փոքր, բայց հզոր։ [3]

Ինչպես ընտրել Edge AI ուղի՝ փոքրիկ որոշումների ծառ 🌳

  • Դժվար է իրական ժամանակում ապրել ձեր կյանքը։ Սկսեք արագացուցիչներից + քվանտացված մոդելներից։

  • Շատ սարքերի տեսակներ՞։ Փոխադրելիության համար նախընտրեք ONNX Runtime-ը կամ OpenVINO-ն։ [4]

  • Բջջային հավելված ուղարկելը՞։ LiteRT-ը նվազագույն դիմադրության ուղին է։ [3]

  • Ռոբոտաշինությո՞ւն, թե՞ տեսախցիկի վերլուծություն: Jetson-ի GPU-ի հետ հարմարեցված գործողությունները խնայում են ժամանակ:

  • Խիստ գաղտնիության քաղաքականություն՞: Պահեք տվյալները տեղական, կոդավորեք հանգստի վիճակում, գրանցեք ագրեգատներ, այլ ոչ թե հում կադրեր:

  • Փոքր թիմ ունե՞ք։ Խուսափեք էկզոտիկ գործիքաշղթաներից. ձանձրալի լինելը գեղեցիկ է։

  • Մոդելները հաճախ կփոխվե՞ն։ Առաջին օրվանից պլանավորեք OTA-ն և հեռաչափումը։

Ռիսկերը, սահմանափակումները և ձանձրալի, բայց կարևոր մանրամասները 🧯

  • Մոդելի շեղում - միջավայրերի փոփոխություն; բաշխումների մոնիթորինգ, ստվերային ռեժիմների գործարկում, պարբերաբար վերապատրաստում։

  • Հաշվարկային առաստաղներ - հիշողության/հզորության սահմանափակությունը պարտադրում է ավելի փոքր մոդելներ կամ թույլ ճշգրտություն։

  • Անվտանգություն - ենթադրեք ֆիզիկական մուտք; օգտագործեք անվտանգ բեռնում, ստորագրված արտեֆակտներ, ատեստավորում, ամենաքիչ արտոնություններով ծառայություններ:

  • Տվյալների կառավարում . տեղական մշակումը օգնում է, բայց ձեզ դեռ անհրաժեշտ է համաձայնություն, պահպանում և շրջանակային հեռաչափում:

  • Ֆլոտացիայի գործողություններ - սարքերը անջատվում են ամենավատ ժամանակներին. նախագծեք հետաձգված թարմացումներ և վերսկսվող վերբեռնումներ:

  • Տաղանդների խառնուրդ - ներդրված + մեքենայական ուսուցման + DevOps-ը խայտաբղետ անձնակազմ է. վաղ փուլում խաչաձև վերապատրաստում։

Գործնական ուղեցույց՝ օգտակար բան առաքելու համար 🗺️

  1. Ընտրեք մեկ օգտագործման դեպք՝ 3-րդ տողում չափելի արժեք-թերության հայտնաբերմամբ, խելացի բարձրախոսի վրա արթնացման բառով և այլն։

  2. Հավաքեք կոկիկ տվյալների բազմություն, որը արտացոլում է թիրախային միջավայրը, ներարկեք աղմուկ՝ իրականությանը համապատասխանեցնելու համար։

  3. Նախատիպ մշակողի հավաքածուի վրա, որը մոտ է արտադրական սարքավորումներին։

  4. Սեղմեք մոդելը քվանտացման/կտրման միջոցով, չափեք ճշգրտության կորուստը ազնվորեն։ [3]

  5. Եզրակացությունը փաթեթավորեք մաքուր API-ում ՝ հետադարձ ճնշման և հսկիչների միջոցով, քանի որ սարքերը կախվում են ժամը 2-ին։

  6. Նախագծեք հեռաչափություն , որը հարգում է գաղտնիությունը. ուղարկումների քանակ, հիստոգրամներ, եզրերից արդյունահանված հատկանիշներ։

  7. Harden անվտանգություն. ստորագրված երկուական ֆայլեր, անվտանգ բեռնում, նվազագույն ծառայություններ բաց են։

  8. OTA պլան՝ աստիճանական տեղակայումներ, կանարիներ, ակնթարթային հետադարձ կապ։

  9. օդաչուն նետեք անհարթ անկյունային պատյանի մեջ. եթե այն այնտեղ դիմանա, ապա կդիմանա ամենուր։

  10. Մասշտաբավորվեք ձեռնարկի միջոցով. ինչպես ավելացնել մոդելներ, պտտել բանալիները, արխիվացնել տվյալները, որպեսզի #2 նախագիծը քաոս չլինի։

Հաճախակի տրվող հարցեր - կարճ պատասխաններ «Ի՞նչ է Edge AI-ի հետաքրքրասիրությունները» թեմայի շուրջ։

Արդյո՞ք Edge AI-ը պարզապես փոքր մոդել է աշխատեցնում փոքրիկ համակարգչի վրա:
Մեծ մասամբ՝ այո, բայց չափը ամբողջ պատմությունը չէ: Այն նաև վերաբերում է լատենտության բյուջեներին, գաղտնիության խոստումներին և բազմաթիվ սարքերի տեղական, բայց գլոբալ մակարդակով աշխատելուն: [1]

Կարո՞ղ եմ մարզվել նաև եզրային հատվածում:
Թեթև սարքի վրա մարզումը/անհատականացումը գոյություն ունի, ավելի ծանր մարզումները դեռևս կենտրոնացված են: ONNX Runtime-ը փաստաթղթավորում է սարքի վրա մարզման տարբերակները, եթե դուք արկածախնդիր եք: [4]

Ի՞նչ է Edge AI-ը ընդդեմ fog computing-ի:
Fog-ը և edge-ը զարմիկներ են: Երկուսն էլ հաշվողական տեխնիկան ավելի են մոտեցնում տվյալների աղբյուրներին, երբեմն՝ մոտակա դարպասների միջոցով: Պաշտոնական սահմանումների և համատեքստի համար տե՛ս NIST: [2]

Արդյո՞ք Edge AI-ը միշտ է բարելավում գաղտնիությունը։
Այն օգնում է, բայց դա կախարդանք չէ։ Ձեզ դեռ անհրաժեշտ է նվազագույնի հասցնել, անվտանգ թարմացման ուղիներ և ուշադիր գրանցում։ Գաղտնիությանը վերաբերվեք որպես սովորության, այլ ոչ թե որպես նշման վանդակի։

Խորը վերլուծություններ, որոնք կարող եք կարդալ 📚

1) Մոդելի օպտիմալացում, որը չի խաթարում ճշգրտությունը

Քվանտացումը կարող է կրճատել հիշողությունը և արագացնել գործողությունները, բայց չափաբերեք ներկայացուցչական տվյալներով, հակառակ դեպքում մոդելը կարող է սկյուռիկներ տեսնել այնտեղ, որտեղ կան երթևեկության կոներ: Թորումը, երբ ուսուցիչը ուղղորդում է ավելի փոքր աշակերտին, հաճախ պահպանում է իմաստաբանությունը: [3]

2) Եզրային եզրակացության կատարման ժամանակները գործնականում

LiteRT-ի մեկնաբանիչը միտումնավոր կերպով անստատիկ հիշողության կորուստ է կատարում կատարման ժամանակ: ONNX-ի կատարման ժամանակը միանում է տարբեր արագացուցիչների կատարման մատակարարների միջոցով: Երկուսն էլ հուսալի են. երկուսն էլ հզոր մուրճեր են: [3][4]

3) Կայունություն վայրի բնության մեջ

Ջերմություն, փոշի, անկայուն հոսանք, անփույթ Wi-Fi. կառուցեք հսկիչներ, որոնք վերագործարկում են խողովակաշարերը, պահպանում որոշումները և համաձայնեցնում ցանցի վերադարձի դեպքում: Ավելի քիչ հմայիչ, քան ուշադրության կենտրոնները, սակայն ավելի կարևոր են:

Արտահայտություն, որը դուք կկրկնեք հանդիպումների ժամանակ - Ի՞նչ է Edge AI-ը 🗣️

Edge AI-ն ինտելեկտը մոտեցնում է տվյալներին՝ բավարարելու համար լատենտության, գաղտնիության, թողունակության և հուսալիության գործնական սահմանափակումները: Կախարդանքը մեկ չիպի կամ շրջանակի մեջ չէ, այլ իմաստուն կերպով ընտրելն է՝ ինչը որտեղ հաշվարկել:

Վերջնական դիտողություններ - Շատ երկար է, չեմ կարդացել 🧵

Edge AI-ը մոդելները գործարկում է տվյալների մոտ, որպեսզի արտադրանքը արագ, գաղտնի և կայուն զգա։ Դուք կհամատեղեք տեղական եզրակացությունը ամպային վերահսկողության հետ՝ երկու աշխարհների լավագույնը ստանալու համար։ Ընտրեք ձեր սարքերին համապատասխանող աշխատանքային ժամանակ, հենվեք արագացուցիչների վրա, երբ հնարավոր է, մոդելները պահեք կոկիկ՝ սեղմելով, և նախագծեք նավատորմի գործողությունները այնպես, կարծես ձեր աշխատանքը կախված է դրանից, որովհետև, այո, կարող է։ Եթե ինչ-որ մեկը հարցնի՝ ի՞նչ է Edge AI-ը, ասեք՝ խելացի որոշումներ, որոնք կայացվում են տեղում, ժամանակին։ Այնուհետև ժպտացեք և թեման փոխեք մարտկոցների վրա։ 🔋🙂

Հղումներ

  1. IBM - Ի՞նչ է Edge AI-ը (սահմանում, առավելություններ):
    https://www.ibm.com/think/topics/edge-ai

  2. NIST - SP 500-325: Մշուշի հաշվարկման կոնցեպտուալ մոդել (մշուշի/եզրի ֆորմալ համատեքստ):
    https://csrc.nist.gov/pubs/sp/500/325/final

  3. Google AI Edge - LiteRT (նախկինում՝ TensorFlow Lite) (աշխատանքային ժամանակ, քվանտացում, միգրացիա):
    https://ai.google.dev/edge/littert

  4. ONNX Runtime - Սարքի վրա աշխատեցում (շարժական աշխատեցում + եզրային սարքերի վրա աշխատեցում):
    https://onnxruntime.ai/docs/get-started/training-on-device.html

  5. Apple-ի մեքենայական ուսուցման հետազոտություն - Տրանսֆորմատորների տեղակայում Apple-ի նեյրոնային շարժիչի վրա (ANE արդյունավետության նշումներ):
    https://machinelearning.apple.com/research/neural-engine-transformers

Գտեք արհեստական ​​բանականության վերջին նորույթները պաշտոնական արհեստական ​​բանականության օգնականների խանութում

Մեր մասին

Վերադառնալ բլոգ