Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին։

Կարճ պատասխան. Արհեստական բանականությունը չի փոխարինի տվյալների ինժեներներին ամբողջությամբ. այն կավտոմատացնի կրկնվող աշխատանքները, ինչպիսիք են SQL նախագծումը, խողովակաշարերի կառուցումը, թեստավորումը և փաստաթղթավորումը: Եթե ձեր դերը հիմնականում ցածր պատասխանատվություն պահանջող, տոմսերի վրա հիմնված աշխատանք է, այն ավելի բացահայտ է. եթե դուք տիրապետում եք հուսալիությանը, սահմանումներին, կառավարմանը և միջադեպերին արձագանքմանը, արհեստական բանականությունը հիմնականում ձեզ ավելի արագ է դարձնում:

Հիմնական եզրակացություններ՝

Սեփականատիրություն . առաջնահերթություն տվեք արդյունքների համար պատասխանատվությանը, այլ ոչ թե պարզապես կոդի արագ ստեղծմանը։

Որակ . Կառուցեք թեստեր, դիտարկելիություն և պայմանագրեր, որպեսզի խողովակաշարերը մնան հուսալի։

Կառավարում . գաղտնիությունը, մուտքի վերահսկողությունը, պահպանումը և աուդիտի հետքերը պահել մարդու սեփականության ներքո։

Չարաշահման դիմադրություն . արհեստական բանականության արդյունքները համարեք սևագրեր, վերանայեք դրանք՝ վստահ սխալներից խուսափելու համար։

Դերերի փոփոխություն . ավելի քիչ ժամանակ ծախսեք ստանդարտ ձևակերպումների վրա և ավելի շատ ժամանակ՝ դիմացկուն համակարգեր նախագծելու վրա։

Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին։ Ինֆոգրաֆիկա

Եթե տվյալների թիմերի հետ աշխատելիս հինգ րոպեից ավելի եք անցկացրել, ապա լսել եք հետևյալ կրկներգը՝ երբեմն շշնջալով, երբեմն՝ հանդիպման ընթացքում սյուժետային շրջադարձի պես արտասանված. Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին։

Եվ… ես հասկանում եմ։ Արհեստական բանականությունը կարող է ստեղծել SQL, կառուցել խողովակաշարեր, բացատրել կուտակման հետքերը, նախագծել dbt մոդելներ, նույնիսկ առաջարկել պահեստի սխեմաներ՝ անհանգստացնող վստահությամբ։ GitHub Copilot SQL-ի համար dbt մոդելների մասին GitHub Copilot
Այն զգացողությունն է, կարծես դիտում ես, թե ինչպես է բեռնամբարձիչը սովորում ժոնգլյորություն անել։ Տպավորիչ է, մի փոքր անհանգստացնող, և դու լիովին վստահ չես, թե դա ինչ է նշանակում քո աշխատանքի համար 😅

Բայց ճշմարտությունն այնքան էլ կոկիկ չէ, որքան վերնագիրը։ Արհեստական բանականությունը բացարձակապես փոխում է տվյալների ճարտարագիտությունը։ Այն ավտոմատացնում է ձանձրալի, կրկնվող մասերը։ Այն արագացնում է «ես գիտեմ, թե ինչ եմ ուզում, բայց չեմ կարողանում հիշել շարահյուսությունը» պահերը։ Այն նաև ծնում է քաոսի բոլորովին նոր տեսակներ։.

Այսպիսով, եկեք այն ճիշտ դասավորենք՝ առանց ձեռքի ալիքաձև լավատեսության կամ կործանարար խուճապի։.

Հոդվածներ, որոնք կարող են ձեզ դուր գալ կարդալ սրանից հետո.

🔗 Արդյո՞ք արհեստական բանականությունը կփոխարինի ռադիոլոգներին։
Ինչպես է պատկերման արհեստական բանականությունը փոխում աշխատանքային հոսքը, ճշգրտությունը և ապագա դերերը։.

🔗 Արդյո՞ք արհեստական բանականությունը կփոխարինի հաշվապահներին։
Տեսեք, թե հաշվապահական որ առաջադրանքներն է արհեստական բանականությունը ավտոմատացնում և որոնք մնում են մարդկային։.

🔗 Արդյո՞ք արհեստական բանականությունը կփոխարինի ներդրումային բանկիրներին։
Հասկացեք արհեստական բանականության ազդեցությունը գործարքների, հետազոտությունների և հաճախորդների հետ հարաբերությունների վրա։.

🔗 Արդյո՞ք արհեստական բանականությունը կփոխարինի ապահովագրական գործակալներին։
Իմացեք, թե ինչպես է արհեստական բանականությունը վերափոխում անդերռայթինգը, վաճառքը և հաճախորդների սպասարկումը։.

Ինչո՞ւ է «արհեստական բանականությունը փոխարինում տվյալների ինժեներներին» հարցը շարունակում վերստին ի հայտ գալ 😬

Վախը գալիս է շատ կոնկրետ տեղից. տվյալների ճարտարագիտությունը շատ կրկնվող աշխատանք ունի ։

SQL-ի գրում և վերափոխում
Ստեղծելով ընդունման սկրիպտներ
Դաշտերի քարտեզագրումը մեկ սխեմայից մյուսին
Թեստերի և հիմնական փաստաթղթերի ստեղծում
Խողովակաշարերի խափանումների վրիպազերծում, որոնք… մի տեսակ կանխատեսելի են

Արհեստական բանականությունը անսովոր լավ է կրկնվող օրինաչափությունների հարցում։ Եվ տվյալների ճարտարագիտության մի մասը հենց դա է՝ օրինաչափություններ, որոնք դարսված են օրինաչափությունների վրա։ GitHub Copilot կոդի առաջարկներ

Բացի այդ, գործիքների էկոհամակարգն արդեն «թաքցնում» է բարդությունը

Կառավարվող ELT միակցիչներ Fivetran փաստաթղթեր
Առանց սերվերի հաշվարկ AWS Lambda (առանց սերվերի հաշվարկ)
Մեկ սեղմումով պահեստի մատակարարում
Ավտոմատ մասշտաբավորման օրկեստրացիայի Apache Airflow փաստաթղթեր
Հռչակագրային փոխակերպման շրջանակներ Ի՞նչ է dbt-ն։

Այսպիսով, երբ արհեստական բանականությունը հայտնվում է, այն կարող է թվալ վերջին կտորը։ Եթե կույտն արդեն աբստրակտացված է, և արհեստական բանականությունը կարող է գրել սոսնձի կոդը… ի՞նչ է մնում։ 🤷

Բայց ահա թե ինչն են մարդիկ բաց թողնում. տվյալների ճարտարագիտությունը հիմնականում մեքենագրություն չէ ։ Մեքենագրելը հեշտ մասն է։ Դժվարը մշուշոտ, քաղաքական, փոփոխվող բիզնես իրականությունը հուսալի համակարգի պես վարելն է։

Եվ արհեստական բանականությունը դեռ պայքարում է այդ մթության հետ։ Մարդիկ նույնպես դժվարանում են. նրանք պարզապես ավելի լավ են իմպրովիզացնում։.

Ինչ են իրականում անում տվյալների ինժեներները ամբողջ օրը (անճաշակ ճշմարտությունը) 🧱

Անկեղծ լինենք. «Տվյալների ինժեներ» պաշտոնի անվանումը հնչում է այնպես, կարծես դուք հրթիռային շարժիչներ եք կառուցում մաքուր մաթեմատիկայից։ Գործնականում դուք վստահություն ։

Սովորական օրը պակաս «նոր ալգորիթմներ հորինելու» և ավելին է

Բանակցություններ տվյալների սահմանումների վերաբերյալ վերևում գտնվող թիմերի հետ (ցավոտ, բայց անհրաժեշտ)
Հետազոտելով, թե ինչու է որևէ չափանիշ փոխվել (և արդյոք այն իրական է)
Սխեմայի շեղման և «մեկը կեսգիշերին սյունակ է ավելացրել» անակնկալների կառավարումը
Ապահովել, որ խողովակաշարերը նույնական են, վերականգնվող, դիտարկելի
Պաշտպանիչ ցանկապատերի ստեղծում, որպեսզի ներքևի հոսանքի վերլուծաբանները պատահաբար չկառուցեն անհեթեթ վահանակներ
Ծախսերի կառավարում, որպեսզի ձեր պահեստը չվերածվի փողի խարույկի 🔥
Մուտքի, աուդիտի, համապատասխանության, պահպանման քաղաքականությունների ապահովում, GDPR սկզբունքներ (Եվրոպական հանձնաժողով), Պահպանման սահմանափակում (ICO):
Ստեղծելով տվյալների արտադրանք, որը մարդիկ կարող են իրականում օգտագործել առանց ձեզ անձնական հաղորդագրություն ուղարկելու՝ 20 հարց

Աշխատանքի մեծ մասը սոցիալական և գործառնական է

«Ո՞ւմ է պատկանում այս սեղանը»։
«Այս սահմանումը դեռևս ուժի՞մ է»։
«Ինչո՞ւ է CRM համակարգը արտահանում կրկնօրինակներ»։
«Կարո՞ղ ենք այս չափանիշը ուղարկել գործադիրներին առանց ամաչելու»։ 😭

Արհեստական բանականությունը, անշուշտ, կարող է օգնել որոշ հարցերում։ Բայց դրա լրիվ փոխարինումը… դժվար է։.

Ի՞նչն է դարձնում տվյալների ինժեների դերի ուժեղ տարբերակը։ ✅

Այս բաժինը կարևոր է, քանի որ փոխարինման մասին խոսակցությունները սովորաբար ենթադրում են, որ տվյալների ինժեներները հիմնականում «խողովակաշարեր կառուցողներ» են։ Դա նույնն է, թե ենթադրենք, որ խոհարարները հիմնականում «բանջարեղեն են կտրատում»։ Դա աշխատանքի մի մասն է, բայց ոչ թե աշխատանք։.

Տվյալների ինժեների ուժեղ տարբերակը սովորաբար նշանակում է, որ նրանք կարող են անել հետևյալներից շատերը.

Փոփոխության համար դիզայն
։ Տվյալները փոխվում են։ Թիմերը փոխվում են։ Գործիքները փոխվում են։ Լավ ինժեները կառուցում է համակարգեր, որոնք չեն փլուզվում ամեն անգամ, երբ իրականությունը փռշտում է 🤧
Սահմանեք պայմանագրերը և սպասումները
Ի՞նչ է նշանակում «հաճախորդ»։ Ի՞նչ է նշանակում «ակտիվ»։ Ի՞նչ է պատահում, երբ հերթը ուշանում է։ Պայմանագրերը ավելի շատ են կանխում քաոսը, քան գեղեցիկ կոդը։ Բաց տվյալների պայմանագրային ստանդարտ (ODCS) ODCS (GitHub)
Ամեն ինչի մեջ ներդնել դիտարկելիություն։
Ոչ միայն «արդյո՞ք այն աշխատեց», այլև «արդյո՞ք այն ճիշտ աշխատեց»։ Թարմություն, ծավալի անոմալիաներ, զրոյական պայթյուններ, բաշխման տեղաշարժեր։ Տվյալների դիտարկելիություն (Dynatrace): Ի՞նչ է տվյալների դիտարկելիությունը։
Մեծահասակի պես փոխզիջումներ կատարեք՝
արագությունն ընդդեմ ճշգրտության, արժեքը ընդդեմ լատենտության, ճկունությունն ընդդեմ պարզության: Կատարյալ խողովակաշար չկա, միայն խողովակաշարեր, որոնց հետ կարող եք ապրել:
Գործարար կարիքները վերածեք կայուն համակարգերի։
Մարդիկ խնդրում են չափանիշներ, բայց նրանց անհրաժեշտ է տվյալների արտադրանք։ Արհեստական բանականությունը կարող է մշակել կոդը, բայց այն չի կարող կախարդականորեն իմանալ բիզնեսի ականապատ տարածքները։
Տվյալները գաղտնի պահեք։
Տվյալների հարթակի համար ամենաբարձր գնահատականն այն է, որ ոչ ոք դրա մասին չի խոսում։ Անխափան տվյալները լավ տվյալներ են։ Ինչպես ջրմուղագործությունը։ Դուք դրանք նկատում եք միայն այն ժամանակ, երբ դրանք խափանվում են 🚽

«Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին» հարցը սկսում է մի փոքր տարօրինակ հնչել։ Արհեստական բանականությունը կարող է փոխարինել առաջադրանքներին , այլ ոչ թե սեփականությանը ։

Որտեղ արհեստական բանականությունն արդեն օգնում է տվյալների ինժեներներին (և դա իսկապես հիանալի է) 🤖✨

Արհեստական բանականությունը պարզապես մարքեթինգ չէ։ Լավ օգտագործվող դեպքում այն ուժի օրինական բազմապատկիչ է։.

1) Ավելի արագ SQL և փոխակերպման աշխատանք

Բարդ միացումների նախագծում
Պատուհանի ֆունկցիաների գրում, որոնց մասին դուք չեք ուզում մտածել
Պարզ լեզվի տրամաբանությունը վերածելով հարցումների կմախքների
Անճաշակ հարցումների վերափոխումը ընթեռնելի CTE-ների GitHub Copilot for SQL

Սա շատ կարևոր է, քանի որ նվազեցնում է «դատարկ էջի» էֆեկտը։ Դուք դեռ պետք է վավերացնեք, բայց սկսում եք 70%-ից՝ 0%-ի փոխարեն։.

2) Սխալների վերացում և հացի փշրանքների արմատային պատճառի վերացում

Արհեստական բանականությունը լավ է հետևյալում

Սխալի հաղորդագրությունների բացատրություն
Առաջարկելով, թե որտեղ փնտրել
«Սխեմայի անհամապատասխանության ստուգման» տեսակի քայլերի խորհուրդ GitHub Copilot
Սա նման է անխոնջ կրտսեր ինժեներ ունենալուն, որը երբեք չի քնում և երբեմն վստահորեն ստում է 😅

3) Փաստաթղթավորում և տվյալների կատալոգի հարստացում

Ավտոմատ կերպով ստեղծված՝

Սյունակների նկարագրությունները
Մոդելի ամփոփագրեր
Տոհմածառի բացատրությունները
«Ինչի՞ համար է օգտագործվում այս աղյուսակը», - նախագծում է dbt փաստաթղթերը։

Այն կատարյալ չէ, բայց խախտում է չփաստաթղթավորված խողովակաշարերի անեծքը։.

4) Փորձարկման կառամատույցներ և ստուգումներ

Արհեստական բանականությունը կարող է առաջարկել

Հիմնական զրոյական թեստեր
Միակության ստուգումներ
Հղումային ամբողջականության գաղափարներ
«Այս չափանիշը երբեք չպետք է նվազի» ոճի պնդումներ dbt տվյալների թեստեր Մեծ սպասումներ. Սպասումներ

Կրկին՝ դուք դեռ որոշում եք, թե ինչն է կարևոր, բայց դա արագացնում է առօրյա մասերը։.

5) Խողովակաշարի «սոսինձի» կոդ

Կարգավորման ձևանմուշներ, YAML կառուցվածքներ, DAG օրկեստրացիայի նախագծեր։ Այդ բաները կրկնվող են, և արհեստական բանականությունը կրկնվող բաներ է ուտում նախաճաշի համար 🥣 Apache Airflow DAG-ներ

Որտեղ արհեստական բանականությունը դեռ պայքարում է (և սա է դրա էությունը) 🧠🧩

Սա ամենակարևոր մասն է, քանի որ այն պատասխանում է փոխարինման հարցին իրական հյուսվածքով։.

1) Երկիմաստություն և փոփոխվող սահմանումներ

Գործարար տրամաբանությունը հազվադեպ է հստակ լինում։ Մարդիկ փոխում են իրենց միտքը նախադասության կեսից։ «Ակտիվ օգտատեր»-ը դառնում է «ակտիվ վճարող օգտատեր», դառնում է «ակտիվ վճարող օգտատեր՝ բացառությամբ վերադարձների, բացառությամբ երբեմն-երբեմն»-ի... գիտեք, թե ինչպես է լինում։.

Արհեստական բանականությունը չի կարող տիրանալ այդ երկիմաստությանը։ Այն կարող է միայն կռահել։.

2) Հաշվետվողականություն և ռիսկ

Երբ խողովակաշարը խափանվում է, և գործադիր վահանակը անհեթեթություն է ցույց տալիս, ինչ-որ մեկը պետք է

տեսակավորում
հաղորդակցել ազդեցությունը
շտկել այն
կանխել կրկնությունը
գրել հետմահու եզրակացությունը
որոշեք, թե արդյոք բիզնեսը դեռ կարող է վստահել անցյալ շաբաթվա թվերին

Արհեստական բանականությունը կարող է օգնել, բայց այն չի կարող հաշվետու լինել իմաստալից ձևով։ Կազմակերպությունները չեն գործում տրամադրությունների, այլ պատասխանատվության հիման վրա։.

3) Համակարգային մտածողություն

Տվյալների հարթակները էկոհամակարգեր են՝ ընդունում, պահեստավորում, փոխակերպումներ, կազմակերպում, կառավարում, ծախսերի վերահսկում, SLA-ներ: Մեկ շերտի փոփոխությունը ալիքներ է առաջացնում: Apache Airflow-ի հասկացությունները

Արհեստական բանականությունը կարող է առաջարկել տեղական օպտիմալացումներ, որոնք գլոբալ ցավ են պատճառում։ Դա նման է ճռռացող դուռը նորոգելուն՝ դուռը հանելով 😬

4) Անվտանգություն, գաղտնիություն, համապատասխանություն

Ահա թե որտեղ են մեռնում փոխարինման ֆանտազիաները։.

Մուտքի կառավարման միջոցներ
Տողերի մակարդակի անվտանգություն Snowflake տողերի մուտքի քաղաքականություններ BigQuery տողերի մակարդակի անվտանգություն
PII-ի մշակում NIST Privacy Framework-ում
Պահպանման կանոններ Պահպանման սահմանափակում (ICO) Պահպանման վերաբերյալ ԵՄ ուղեցույց
Աուդիտի հետքեր NIST SP 800-92 (գրանցամատյանների կառավարում) CIS Control 8 (աուդիտի գրանցամատյանների կառավարում)
Տվյալների պահպանման սահմանափակումներ

Արհեստական բանականությունը կարող է մշակել քաղաքականություններ, բայց դրանց անվտանգ իրականացումը իրական ինժեներիա է։.

5) «Անհայտ անհայտները»

Տվյալների հետ կապված միջադեպերը հաճախ անկանխատեսելի են

Վաճառողի API-ը լուռ փոխում է իմաստաբանությունը
Ժամային գոտու ենթադրությունը փոխվում է
Հետլցումը կրկնօրինակում է բաժանումը
Կրկնակի փորձի մեխանիզմը առաջացնում է կրկնակի գրառումներ
Նոր ապրանքի առանձնահատկությունը ներկայացնում է իրադարձությունների նոր օրինաչափություններ

Արհեստական բանականությունն ավելի թույլ է, երբ իրավիճակը հայտնի օրինաչափություն չէ։.

Համեմատական աղյուսակ. գործնականում ի՞նչն է նվազեցնում ինչի՞ 🧾🤔

Ստորև ներկայացված է գործնական տեսակետ։ Ոչ թե «մարդկանց փոխարինող գործիքներ», այլ որոշակի առաջադրանքներ կրճատող գործիքներ և մոտեցումներ։.

Գործիք / մոտեցում	Լսարան	Գնային տրամադրություն	Ինչու է այն աշխատում
Արհեստական բանականության կոդի օգնականներ (SQL + Python օգնականներ) GitHub Copilot	Ինժեներներ, ովքեր շատ կոդ են գրում	Անվճարից մինչև վճարովի	Հիանալի է կառուցվածքների, վերափոխումների, շարահյուսության մեջ… երբեմն՝ շատ կոնկրետ ձևով ինքնագոհ։
Կառավարվող ELT միակցիչներ Fivetran-ում	Թիմերը հոգնել են կլանումը կառուցելուց	Բաժանորդագրություն	Վերացնում է կուլ տալու ժամանակ առաջացող ցավը, բայց հաղթահարում է այն նոր, զվարճալի ձևերով
Տվյալների դիտարկելիության հարթակներ Տվյալների դիտարկելիություն (Dynatrace)	SLA-ներ ունեցող ցանկացած անձ	Միջինից մինչև ձեռնարկություն	Վաղ հայտնաբերում է անոմալիաները՝ ինչպես խողովակաշարերի ծխի ազդանշանները 🔔
Փոխակերպման շրջանակներ (դեկլարատիվ մոդելավորում) dbt	Վերլուծություն + DE հիբրիդներ	Սովորաբար գործիք + հաշվարկ	Լոգիկան դարձնում է մոդուլային և ստուգելի, ավելի քիչ սպագետի
Տվյալների կատալոգներ + սեմանտիկ շերտեր dbt սեմանտիկ շերտ	Կազմակերպություններ, որոնք ունեն չափորոշիչների խառնաշփոթ	Կախված է, գործնականում	Մեկ անգամ սահմանում է «ճշմարտությունը»՝ նվազեցնելով անվերջ մետրիկ բանավեճերը
Apache Airflow ձևանմուշներով	Հարթակային մտածողությամբ թիմեր	Բաց + գործողությունների արժեքը	Ստանդարտացնում է աշխատանքային հոսքերը. ավելի քիչ ձյան պատկերներ
Արհեստական բանականության օգնությամբ dbt փաստաթղթերի ստեղծում	Թիմեր, որոնք ատում են փաստաթղթեր գրելը	Էժանից մինչև միջին	Ստեղծում է «բավականաչափ լավ» փաստաթղթեր, որպեսզի գիտելիքները չանհետանան
Ավտոմատացված կառավարման քաղաքականություններ NIST գաղտնիության շրջանակ	Կարգավորվող միջավայրեր	Ձեռնարկության համար	Օգնում է կանոնների կիրառմանը, բայց դեռևս մարդկանց կարիքն ունի կանոններ մշակելու համար

Ուշադրություն դարձրեք, թե ինչ է բացակայում. տող, որի վրա գրված է «սեղմեք կոճակը՝ տվյալների ինժեներներին հեռացնելու համար»։ Այո… այդ տողը գոյություն չունի 🙃

Այսպիսով… արհեստական բանականությունը կփոխարինի՞ տվյալների ինժեներներին, թե՞ պարզապես կփոխի նրանց դերը։ 🛠️

Ահա ոչ դրամատիկ պատասխանը. արհեստական բանականությունը կփոխարինի աշխատանքային հոսքի որոշ մասեր, այլ ոչ թե մասնագիտությունը։

Բայց դա կվերաձևավորի դերը։ Եվ եթե դուք անտեսեք դա, կզգաք ճնշումը։

Ինչ փոփոխություններ

Ավելի քիչ ժամանակ ստանդարտ ձևակերպումներ գրելու համար
Փաստաթղթերի որոնման ժամանակի կրճատում
Ավելի շատ ժամանակ վերանայելու, վավերացնելու, նախագծելու համար
Ավելի շատ ժամանակ պայմանագրերի և որակի ակնկալիքների սահմանման համար Բաց տվյալների պայմանագրային ստանդարտ (ODCS)
Ավելի շատ ժամանակ՝ համագործակցելով արտադրանքի, անվտանգության, ֆինանսների հետ

Սա նուրբ փոփոխությունն է. տվյալների ճարտարագիտությունը դառնում է ավելի քիչ «խողովակաշարերի կառուցման» և ավելի շատ «հուսալի տվյալների արտադրանքի համակարգի կառուցման» մասին։

Եվ մի փոքր այլ կերպ ասած, դա ավելի արժեքավոր է, այլ ոչ թե պակաս։.

Նաև՝ և ես սա ասելու եմ, նույնիսկ եթե դա դրամատիկ է հնչում, արհեստական բանականությունը մեծացնում է տվյալների արտեֆակտներ ստեղծելու կարողություն ունեցող մարդկանց թիվը , ինչը մեծացնում է ամբողջ գործընթացը կարգին պահելու համար մեկի կարիքը։ Ավելի շատ արդյունք նշանակում է ավելի մեծ հավանական խառնաշփոթ։ GitHub-ի համանուն օդաչու

Դա նման է բոլորին էլեկտրական հորատիչ տալուն։ Հրաշալի է։ Հիմա ինչ-որ մեկը պետք է կիրառի «խնդրում եմ, ջրատարի մեջ մի՛ հորատեք» կանոնը 🪠

Նոր հմտությունների կույտ, որը մնում է արժեքավոր (նույնիսկ ամենուրեք արհեստական բանականության դեպքում) 🧠⚙️

Եթե ցանկանում եք գործնական «ապագային» ստուգաթերթիկ, այն այսպիսի տեսք ունի՝

Համակարգի դիզայնի մտածելակերպ

Տվյալների մոդելավորում, որը դիմակայում է փոփոխություններին
Խմբային և հոսքային փոխզիջումներ
Լատենտության, արժեքի, հուսալիության մտածողություն

Տվյալների որակի ինժեներիա

Պայմանագրեր, վավերացումներ, անոմալիաների հայտնաբերում, Բաց տվյալների պայմանագրային ստանդարտ (ODCS), Տվյալների դիտարկելիություն (Dynatrace):
SLA-ներ, SLO-ներ, միջադեպերին արձագանքման սովորույթներ
Արմատական պատճառի վերլուծություն կարգապահությամբ (ոչ թե թրթռումներով)

Կառավարում և վստահության ճարտարապետություն

Մուտքի ձևեր
Աուդիտարելիություն NIST SP 800-92 (գրանցամատյանների կառավարում)
Գաղտնիություն նախագծմամբ NIST գաղտնիության շրջանակ
Տվյալների կենսական ցիկլի կառավարում Պահպանման վերաբերյալ ԵՄ ուղեցույց

Հարթակային մտածողություն

Վերաօգտագործելի ձևանմուշներ, ոսկե ուղիներ
Ստանդարտացված օրինաչափություններ ընդունման, փոխակերպումների, Fivetran dbt տվյալների թեստերի
Ինքնասպասարկման գործիքակազմ, որը չի հալվում

Հաղորդակցություն (այո, իսկապես)

Գրեք հստակ փաստաթղթեր
Սահմանումների համընկնում
Ասեք «ոչ» քաղաքավարի, բայց վճռականորեն
Բացատրում եմ փոխզիջումները՝ առանց ռոբոտի պես հնչելու 🤖

Եթե դուք կարողանաք անել սա, «Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին» հարցը կդառնա պակաս սպառնալից։ Արհեստական բանականությունը կդառնա ձեր էկզոկմախքը, այլ ոչ թե ձեր փոխարինողը։.

Իրատեսական սցենարներ, որտեղ որոշ տվյալների ճարտարագիտության դերեր կրճատվում են 📉

Լավ, արագ իրականության ստուգում, որովհետև ամեն ինչ արևի լույսով և էմոջի կոնֆետիով չէ 🎉

Որոշ դերեր ավելի բացահայտ են

Մաքուր միայն ընդունման դերեր, որտեղ ամեն ինչ ստանդարտ միակցիչներ են Fivetran միակցիչներ
Թիմերը հիմնականում կրկնվող հաշվետվությունների խողովակաշարեր են իրականացնում՝ նվազագույն տիրույթի նրբերանգներով
Կազմակերպություններ, որտեղ տվյալների ինժեներիան դիտարկվում է որպես «SQL կապիկներ» (կոշտ, բայց ճշմարիտ)
Ցածր պատասխանատվությամբ դերեր, որտեղ աշխատանքը պարզապես տոմսեր և պատճենահանում է

Արհեստական բանականությունը և կառավարվող գործիքակազմը կարող են կրճատել այդ կարիքները։.

Բայց նույնիսկ այնտեղ, փոխարինումը սովորաբար նման է

Նույն կրկնվող աշխատանքը կատարող ավելի քիչ մարդիկ
Ավելի շատ շեշտադրում հարթակի սեփականության և հուսալիության վրա
Անցում դեպի «մեկ անձը կարող է աջակցել ավելի շատ խողովակաշարերի»

Այո՛, աշխատակիցների թվաքանակի կառուցվածքը կարող է փոխվել։ Դերերը զարգանում են։ Կոչումները փոխվում են։ Այդ մասը իրական է։.

Այնուամենայնիվ, դերի բարձր պատասխանատվության և վստահության վրա հիմնված տարբերակը մնում է։.

Ամփոփում 🧾✅

Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին։ Ոչ այնպես, ինչպես մարդիկ պատկերացնում են։

Արհեստական բանականությունը կանի՝

ավտոմատացնել կրկնվող առաջադրանքները
արագացնել կոդավորումը, վրիպազերծումը և փաստաթղթավորումը GitHub Copilot-ը SQL dbt փաստաթղթավորման
նվազեցնել խողովակաշարերի արտադրության արժեքը

Սակայն տվյալների ճարտարագիտությունը հիմնականում վերաբերում է հետևյալին

պատասխանատվություն
համակարգի դիզայն
վստահություն, որակ և կառավարում Բաց տվյալների պայմանագրային ստանդարտ (ODCS) NIST գաղտնիության շրջանակ
մշուշոտ բիզնես իրականությունը վերածելով հուսալի տվյալների արտադրանքի

Արհեստական բանականությունը կարող է օգնել դրանում… բայց այն չի «տիրապետում» դրան։.

Եթե դուք տվյալների ինժեներ եք, քայլը պարզ է (ոչ հեշտ, բայց պարզ).
կենտրոնացեք սեփականատիրոջ, որակի, հարթակային մտածողության և հաղորդակցության վրա: Թողեք, որ արհեստական բանականությունը կարգավորի ստանդարտները, մինչ դուք կարգավորեք կարևոր մասերը:

Եվ այո, երբեմն դա նշանակում է լինել սենյակում մեծահասակը։ Ոչ թե շքեղ։ Թեև բավականին հզոր է 😄

Արդյո՞ք արհեստական բանականությունը կփոխարինի տվյալների ինժեներներին։
Այն կփոխարինի որոշ առաջադրանքներ, կվերադասավորի պաշտոնները և լավագույն տվյալների ինժեներներին կդարձնի ավելի արժեքավոր։ Սա է իրական պատմությունը։

Հաճախակի տրվող հարցեր

Արդյո՞ք արհեստական բանականությունը ամբողջությամբ կփոխարինի տվյալների ինժեներներին։

Կազմակերպությունների մեծ մասում արհեստական բանականությունն ավելի հավանական է, որ ստանձնի որոշակի առաջադրանքներ, քան ամբողջությամբ վերացնի դերը։ Այն կարող է արագացնել SQL նախագծումը, խողովակաշարերի կառուցվածքի ստեղծումը, փաստաթղթերի առաջին հանձնումը և հիմնական թեստերի ստեղծումը։ Սակայն տվյալների ճարտարագիտությունը նաև ենթադրում է պատասխանատվություն և հաշվետվողականություն, գումարած անփույթ աշխատանքը՝ անկանոն բիզնես իրականությունը հուսալի համակարգի պես վարելու համար։ Այդ մասերը դեռևս մարդկանց կարիք ունեն՝ որոշելու համար, թե ինչ տեսք ունի «ճիշտը» և պատասխանատվություն կրելու համար, երբ ինչ-որ բան խափանվում է։.

Տվյալների ճարտարագիտության որ մասերն է արդեն ավտոմատացնում արհեստական բանականությունը։

Արհեստական բանականությունը լավագույնս է գործում կրկնվող աշխատանքի վրա՝ SQL-ի նախագծում և վերափոխում, dbt մոդելի կմախքների ստեղծում, տարածված սխալների բացատրություն և փաստաթղթավորման ուրվագծերի ստեղծում: Այն կարող է նաև հիմք դնել թեստեր, ինչպիսիք են զրոյական կամ եզակիության ստուգումները, և ստեղծել ձևանմուշի «սոսինձ» կոդ գործիքավորման գործիքների համար: Հաղթանակը իմպուլսն է. դուք սկսում եք ավելի մոտ լինել աշխատանքային լուծմանը, բայց դուք դեռ պետք է ստուգեք ճշգրտությունը և համոզվեք, որ այն համապատասխանում է ձեր միջավայրին:.

Եթե արհեստական բանականությունը կարող է գրել SQL և խողովակաշարեր, ի՞նչ է մնում տվյալների ինժեներներին։

Շատ բան՝ տվյալների պայմանագրերի սահմանում, սխեմաների շեղումների կառավարում և խողովակաշարերի նույնական, դիտարկելի և վերականգնվող լինելը ապահովելը: Տվյալների ինժեներները ժամանակ են ծախսում մետրիկ փոփոխությունների ուսումնասիրության, հետագա օգտագործողների համար պաշտպանիչ ցանկապատերի կառուցման և ծախսերի ու հուսալիության փոխզիջումների կառավարման վրա: Աշխատանքը հաճախ հանգում է վստահություն կառուցելուն և տվյալների հարթակը «հանգիստ» պահելուն, այսինքն՝ բավականաչափ կայուն, որպեսզի ոչ ոք ստիպված չլինի ամեն օր մտածել դրա մասին:.

Ինչպե՞ս է արհեստական բանականությունը փոխում տվյալների ինժեների առօրյա աշխատանքը։

Այն սովորաբար կրճատում է ստանդարտ և «փնտրման ժամանակը», այնպես որ դուք ավելի քիչ ժամանակ եք ծախսում մուտքագրման և ավելի շատ ժամանակ՝ վերանայման, վավերացման և նախագծման վրա: Այդ փոփոխությունը դերը մղում է դեպի սպասումների, որակի չափանիշների և վերաօգտագործելի ձևանմուշների սահմանում, այլ ոչ թե ամեն ինչ ձեռքով կոդավորելու: Գործնականում, դուք, հավանաբար, ավելի շատ գործընկերային աշխատանք կկատարեք արտադրանքի, անվտանգության և ֆինանսների հետ, քանի որ տեխնիկական արդյունքն ավելի հեշտ է ստեղծել, բայց ավելի դժվար՝ կառավարել:.

Ինչո՞ւ է արհեստական բանականությունը դժվարանում օգտագործել երկիմաստ բիզնես սահմանումներ, ինչպիսին է «ակտիվ օգտատերը»։

Քանի որ բիզնես տրամաբանությունը ստատիկ կամ ճշգրիտ չէ՝ այն փոխվում է նախագծի կեսին և տարբերվում է շահագրգիռ կողմերից կախված։ Արհեստական բանականությունը կարող է մեկնաբանություն մշակել, բայց չի կարող որոշում կայացնել, երբ սահմանումները փոխվում են կամ հակասություններ են առաջանում։ Տվյալների ինժեներիան հաճախ պահանջում է բանակցություններ, ենթադրությունների փաստաթղթավորում և անորոշ պահանջները երկարատև պայմանագրերի վերածում։ Այդ «մարդկային համաձայնեցման» աշխատանքը հիմնական պատճառն է, որ այդ դերը չի վերանում նույնիսկ գործիքակազմի կատարելագործմանը զուգընթաց։.

Կարո՞ղ է արհեստական բանականությունը անվտանգ կերպով կարգավորել տվյալների կառավարումը, գաղտնիությունը և համապատասխանության աշխատանքները։

Արհեստական բանականությունը կարող է օգնել մշակել քաղաքականություններ կամ առաջարկել մոտեցումներ, սակայն անվտանգ իրականացումը դեռևս պահանջում է իրական ինժեներիա և ուշադիր վերահսկողություն: Կառավարումը ներառում է մուտքի վերահսկողություն, անձնական տվյալների մշակում, պահպանման կանոններ, աուդիտի հետքեր և երբեմն բնակության սահմանափակումներ: Սրանք բարձր ռիսկի ոլորտներ են, որտեղ «գրեթե ճիշտը» ընդունելի չէ: Մարդիկ պետք է մշակեն կանոնները, ստուգեն կիրառումը և պատասխանատու մնան համապատասխանության արդյունքների համար:.

Ի՞նչ հմտություններ են մնում արժեքավոր տվյալների ինժեներների համար, երբ արհեստական բանականությունը կատարելագործվում է։

Հմտություններ, որոնք համակարգերը դարձնում են դիմացկուն. համակարգային նախագծման մտածողություն, տվյալների որակի ինժեներիա և հարթակային ստանդարտացում: Պայմանագրերը, դիտարկելիությունը, միջադեպերին արձագանքելու սովորույթները և արմատական պատճառների կարգապահ վերլուծությունը դառնում են ավելի կարևոր, երբ ավելի շատ մարդիկ կարող են արագորեն ստեղծել տվյալների արտեֆակտներ: Հաղորդակցությունը նույնպես դառնում է տարբերակիչ գործոն. սահմանումների համաձայնեցումը, հստակ փաստաթղթերի կազմումը և փոխզիջումների բացատրությունը առանց դրամայի մեծ մասն են կազմում տվյալների վստահելիությունը պահպանելու համար:.

Ո՞ր տվյալների ճարտարագիտության պաշտոններն են ամենաշատը վտանգված արհեստական բանականության և կառավարվող գործիքակազմի պատճառով։

Կրկնվող ընդունման կամ ստանդարտ հաշվետվությունների խողովակաշարերի վրա նեղ կենտրոնացած դերերն ավելի խոցելի են, հատկապես, երբ կառավարվող ELT միակցիչները ծածկում են աղբյուրների մեծ մասը: Ցածր պատասխանատվությամբ, տոմսերի վրա հիմնված աշխատանքը կարող է կրճատվել, քանի որ արհեստական բանականությունը և աբստրակցիան նվազեցնում են խողովակաշարի վրա աշխատանքի ջանքերը: Սակայն սա սովորաբար նման է կրկնվող առաջադրանքներ կատարող ավելի քիչ մարդկանց, այլ ոչ թե «տվյալների ինժեներների բացակայության»: Հուսալիության, որակի և վստահության վրա կենտրոնացած բարձր պատասխանատվությամբ դերերը մնում են կայուն:.

Ինչպե՞ս պետք է օգտագործեմ այնպիսի գործիքներ, ինչպիսիք են GitHub Copilot-ը կամ dbt-ն արհեստական բանականության հետ՝ առանց քաոս ստեղծելու։

Արհեստական բանականության արդյունքը դիտարկեք որպես նախագիծ, այլ ոչ թե որոշում: Օգտագործեք այն հարցումների կմախքներ ստեղծելու, ընթեռնելիությունը բարելավելու կամ տվյալների բազայի թեստերն ու փաստաթղթերը կառուցելու համար, այնուհետև վավերացրեք այն իրական տվյալների և եզրային դեպքերի համեմատ: Համատեղեք այն ուժեղ կոնվենցիաների հետ՝ պայմանագրեր, անվանակոչման ստանդարտներ, դիտարկելիության ստուգումներ և վերանայման պրակտիկա: Նպատակը ավելի արագ մատակարարում է՝ առանց զոհաբերելու հուսալիությունը, ծախսերի վերահսկողությունը կամ կառավարումը:.

Հղումներ

Եվրոպական հանձնաժողով - Տվյալների պաշտպանության բացատրություն. GDPR սկզբունքներ - commission.europa.eu
Տեղեկատվության հանձնակատարի գրասենյակ (ICO) - Պահպանման սահմանափակում - ico.org.uk
Եվրոպական հանձնաժողով - Որքա՞ն ժամանակ կարող են տվյալները պահպանվել և արդյո՞ք անհրաժեշտ է դրանք թարմացնել: - commission.europa.eu
Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտ (NIST) - Գաղտնիության քաղաքականություն - nist.gov
NIST Համակարգչային անվտանգության ռեսուրսների կենտրոն (CSRC) - SP 800-92. Համակարգչային անվտանգության գրանցամատյանների կառավարման ուղեցույց - csrc.nist.gov
Ինտերնետային անվտանգության կենտրոն (CIS) - Աուդիտի գրանցամատյանի կառավարում (CIS Controls) - cisecurity.org
Snowflake-ի փաստաթղթեր - տողերի մուտքի քաղաքականություն - docs.snowflake.com
Google Cloud փաստաթղթեր - BigQuery տողային մակարդակի անվտանգություն - docs.cloud.google.com
BITOL - Բաց տվյալների պայմանագրային ստանդարտ (ODCS) v3.1.0 - bitol-io.github.io
BITOL (GitHub) - Բաց տվյալների պայմանագրային ստանդարտ - github.com
Apache Airflow - Փաստաթղթեր (կայուն) - airflow.apache.org
Apache Airflow - DAG-ներ (հիմնական հասկացություններ) - airflow.apache.org
dbt լաբորատորիաների փաստաթղթեր - Ի՞նչ է dbt-ն: - docs.getdbt.com
dbt Labs փաստաթղթեր - dbt մոդելների մասին - docs.getdbt.com
dbt Labs փաստաթղթեր - Փաստաթղթեր - docs.getdbt.com
dbt Labs փաստաթղթեր - Տվյալների թեստեր - docs.getdbt.com
dbt Labs փաստաթղթեր - dbt Semantic Layer - docs.getdbt.com
Fivetran-ի փաստաթղթեր - Սկսնակների համար - fivetran.com
Fivetran - Միակցիչներ - fivetran.com
AWS փաստաթղթեր - AWS Lambda մշակողի ուղեցույց - docs.aws.amazon.com
GitHub - GitHub-ի համատեղ օդաչու - github.com
GitHub Docs - Կոդային առաջարկների ստացում ձեր IDE-ում GitHub Copilot-ի միջոցով - docs.github.com
Microsoft Learn - GitHub Copilot SQL-ի համար (VS Code ընդլայնում) - learn.microsoft.com
Dynatrace-ի փաստաթղթեր - Տվյալների դիտարկելիություն - docs.dynatrace.com
DataGalaxy - Ի՞նչ է տվյալների դիտարկելիությունը: - datagalaxy.com
«Մեծ սպասումներ» փաստաթղթավորում - Սպասումների ակնարկ - docs.greatexpectations.io

Գտեք արհեստական բանականության վերջին նորույթները պաշտոնական արհեստական բանականության օգնականների խանութում

Մեր մասին

Վերադառնալ բլոգ

Երկիր/տարածաշրջան

Ինչո՞ւ է «արհեստական ​​բանականությունը փոխարինում տվյալների ինժեներներին» հարցը շարունակում վերստին ի հայտ գալ 😬