ServiceNow-ի AutoSynthData-ն գործակալի ձախողումները վերածում է ուսուցման ոսկու

Կարճ պատասխան. ServiceNow CoreAI-ի AutoSynthData-ն գործակալների ձախողումները և ուսուցիչների հաջողությունները վերածում է վավերացված սինթետիկ SFT առաջադրանքների, երբ ձեռնարկություններին անհրաժեշտ է միջավայրի կոմպետենտություն, այլ ոչ թե պարզապես լայն չափանիշային միավորներ: Այն մաքրում է կարողությունների սպեցիֆիկացիաների քարտերի բացերը, բազմապատկում է ստուգելի աշխատանքը, ապա ստուգում որակը՝ նախքան նուրբ կարգավորումը: Հեղինակի կողմից հաղորդված EnterpriseOps մարզասրահի վարժությունները պահպանվում են, եթե ուսուցչի ուժը, ստուգիչի որակը և միջավայրի հավատարմությունը համընկնում են:

Հիմնական եզրակացություններ՝

Հնարավորությունների քարտեր. խափանումները ախտահանեք քարտերի մեջ, որպեսզի գեներատորները երբեք չտեսնեն բնօրինակ նույնականացուցիչները։

Ստուգիչի աուդիտի հնարավորությունը. նախապատվությունը տրվում է SQL վերջնական վիճակի ստուգումներին, որոնք մերժում են մուտացված սխալ արդյունքները։

Դժվարության խումբ՝ մարզում է միայն այն առաջադրանքները, որոնք թիրախը հազվադեպ է լուծում, և ուսուցիչը սովորաբար հաղթահարում է։

Մարդկային վերանայում. Վերավարժանքից առաջ պահպանեք մարդկային վերանայումը բարձր ռիսկային քաղաքականության և անդառնալի գործողությունների վերաբերյալ։

Շարժվող սահման. SFT-ից հետո վերագնահատել և թիրախային փուլը տեղափոխել մնացած բացերի ուղղությամբ։

Ձեռնարկության արհեստական ​​բանականության գործակալները հազվադեպ են ձախողվում ընդհանուր գիտելիքների բացակայության պատճառով։ Նրանք ձախողվում են, քանի որ միջավայրը յուրահատուկ է՝ տոմսերի քաղաքականություն, սխեմաների առանձնահատկություններ, գործիքային պայմանագրեր, սերմնավորված տվյալների բազաներ, գիտելիքների հոդվածներ և միջհամակարգային աշխատանքային հոսքեր, որոնք նման չեն դասագրքերի ցուցադրություններին։ Բաց չափանիշներով լավ արդյունքներ ցուցաբերող մոդելը կարող է դեռևս կանգ առնել, երբ հաջորդ քայլը պետք է հաշվի առնի փոփոխության պատուհանը, CMDB հարաբերությունը կամ վերջնական վիճակը ստուգող ստուգիչը, այլ ոչ թե սահուն զրույցը։.

ServiceNow CoreAI / ServiceNow-AI-ը հրապարակել է AutoSynthData-ն ՝ այդ բացը անմիջապես լուծելու համար: Հեղինակ՝ Էսակկիվել Էսակկիրաջան, նկարագրում է մի խողովակաշար, որը թիրախային գործակալի ձախողումները՝ զուգորդված ավելի ուժեղ ուսուցչի հաջողությունների հետ, վերածում է հաստատված սինթետիկ ուսումնական առաջադրանքների, որոնք հարմարեցված են ձեռնարկությունների միջավայրին: Նպատակը ավելի շատ զրույցների գրանցամատյաններ հավաքելը չէ: Այն բազմապատկել ծանր, ստուգելի աշխատանքը, որը նույն հնարավորություններն է կիրառում նոր պայմաններում, որպեսզի վերահսկվող նուրբ կարգավորումը կարողանա փակել միջավայրին բնորոշ բացերը:

Այս հոդվածը ներկայացնում է հիմնական գաղափարը, առաջադրանքի աբստրակցիան, ստեղծման և որակի վերահսկման ցիկլը, համատեղ ճարտարապետությունը և հեղինակի կողմից ներկայացված արդյունքները EnterpriseOps Gym-ի վերաբերյալ հիբրիդային և ITSM միջավայրերում: Այն մնում է այն բանին, ինչ նկարագրում է հետազոտությունը. սինթետիկ առաջադրանքների շարժական ուսումնական պլան, այլ ոչ թե պնդում, որ որևէ ձեռնարկություն հանկարծակի լուծվում է:.

Ինչու է շրջակա միջավայրի իրավասությունը գերազանցում լայն կարողություններին

Ձեռնարկություններին անհրաժեշտ են գործակալներ, որոնք աշխատում են իրենց միջավայրում՝ իրենց համակարգերում, կանոններում և տվյալների վիճակում: Լայն կարողությունները նույնը չեն, ինչ միջավայրի կոմպետենտությունը: Գործակալը կարող է իմանալ, թե ինչպես է սովորաբար գործում ՏՏ ծառայությունների կառավարումը, բայց միևնույն է, չնկատել տեղական քաղաքականությունը, որն արգելում է որոշակի անցումներ, կամ գործիքը, որը թարմացնում է կապակցված աղյուսակը միայն նախնական գրառման առկայությունից հետո:.

Անհատական ​​ձախողումները տեղեկատվական են, բայց քիչ՝ որպես մարզման տվյալներ։ Մեկ խափանված հետագիծը ցույց է տալիս թուլություն. այն չի ապահովում տասնյակ մոտակա իրավիճակներ, որոնք կսովորեցնեին մոդելին վերականգնվել փոփոխության դեպքում։ Թիմերին անհրաժեշտ են բազմաթիվ նոր առաջադրանքներ, որոնք նույն հնարավորությունները կիրառում են տարբեր կերպ, մնում են կատարելի միջավայրի ներսում, իրատեսական են թվում օգտատիրոջ խնդրանքներին համապատասխան և մնում են ստուգելի արդյունքների ստուգումների համեմատ։.

Սա է AutoSynthData-ի հետևում կանգնած նախագծային ճնշումը։ Ձախողումները դառնում են կարողությունների քարտերի ազդանշաններ։ Քարտերը դառնում են նոր առաջադրանքների գեներատորներ։ Ավելի ուժեղ ուսուցիչը ցուցադրում է հաջողված հետագծեր։ Ֆիլտրերն ու ստուգիչները որոշում են, թե ինչ է մտնում վերահսկվող նուրբ կարգավորման հավաքածուի մեջ։ Վերապատրաստումից հետո գնահատումը սահմանը տեղափոխում է դեպի մնացած բացերը։ Ցիկլը ուսումնական ծրագրի ձև ունի, այլ ոչ թե միանվագ տվյալների հավաքագրում։.

Շրջանակումը կարևոր է մասնագետների համար: Եթե դուք պահպանում եք միայն ձախողված հարցումները, ապա ռիսկի եք դիմում չափազանց շատ տեղավորվելու այդ ճշգրիտ էությունների և արտահայտությունների մեջ: Եթե դուք ստեղծում եք միայն անսահմանափակ սինթետիկ հարցումներ, ապա ռիսկի եք դիմում առաջադրանքներ, որոնք անհնար են, անիրատեսական կամ անստուգելի: AutoSynthData-ն գտնվում է այդ ծայրահեղությունների միջև. սինթեզացրեք ձախողվածը հնարավորությունների սպեցիֆիկացիայի մեջ, ապա վերածեք առաջադրանքներ, որոնք պահպանում են հիմնական միջուկը՝ միաժամանակ փոխելով մակերեսի ձևը և կառավարելի չափերը:.

Գործնական առաջադրանքի ձևը՝ համակարգ, հուշում, ստուգիչ

Գործակալական աշխատանքի համար կիրառելի աբստրակցիան հետևյալն է. առաջադրանքը հավասար է համակարգի սպեցիֆիկացիային, օգտատիրոջ հուշմանը և ստուգիչին: Յուրաքանչյուր մաս ունի սահմանափակումներ, որոնք պահպանում են սինթետիկ տվյալները հիմնավորված և հուսալի:

Համակարգի սպեցիֆիկացիան ներառում է սահմանափակումներ, քաղաքականություններ և սկզբնական վիճակ՝ օրինակ՝ տվյալների բազայի սկզբնական աղբյուրները և գիտելիքների հոդվածները։ Այն պետք է համատեղելի լինի առկա գործիքների և վիճակի հետ։ Գործիքների պայմանագրերը կամ սկզբնական աղբյուրների ռեալիզմը անտեսող կամայական դժվարության սահմանափակումները հակված են ստեղծել փխրուն առաջադրանքներ, որոնք սխալ դաս են սովորեցնում։.

Օգտատիրոջ հուշման որակը ունի երեք տեսանկյուն։ Իրագործելիությունը հարցնում է, թե արդյոք գոյություն ունի վավեր հետագիծ։ Ռեալիզմը հարցնում է, թե արդյոք օգտատերը հավանականորեն կխնդրի դա։ Դժվարությունը հարցնում է, թե արդյոք առաջադրանքը բացահայտում է գործող գործակալի թուլությունը, այլ ոչ թե այն, ինչ թիրախն արդեն իսկ հուսալիորեն լուծում է։ Հուշումը, որը չնչին է թիրախի համար, վատնում է ուսուցման բյուջեն, իսկ անհնարին հուշումը՝ գնահատման վստահությունը։.

Ստուգիչի որակը կախված է հետևողականությունից, հուսալիությունից և ամբողջականությունից: Չափազանց թույլ և թույլ հետագծերը հաջողվում են: Մեկ հետագծի համար չափազանց սահմանափակող և վավեր այլընտրանքային լուծումները ձախողվում են: Ձեռնարկությունների կարգավորումները հաճախ նախընտրում են SQL-ի վրա հիմնված կամ վիճակի վրա հիմնված արդյունքների ստուգումները, քանի որ դրանք գնահատում են աշխարհը գործակալի գործողություններից հետո, այլ ոչ թե գործակալի ընտրած ճշգրիտ նոտային ուղին:.

AutoSynthData-ն հենվում է այս եռյակի վրա, որպեսզի գեներացված աշխատանքը մնա հիմնավորված։ Գեներատորները չեն հորինում ազատ լողացող թեստեր։ Նրանք ստեղծում են առաջադրանքներ, որոնք կարող են կատարվել միջավայրի ադապտերում և գնահատվել ստուգիչների կողմից, որոնք հոգ են տանում վերջնական վիճակի պահանջվող հատկությունների մասին։.

Ախտորոշիչ գնահատումից մինչև հնարավորությունների սպեցիֆիկացիաների քարտեր

Շինարարական գործընթացը սկսվում է թիրախային գործակալի և միջավայրի ներսում ավելի ուժեղ ուսուցչի ախտորոշիչ գնահատմամբ: Զուգահեռ փորձարկումները ցույց են տալիս, թե որտեղ է թիրախը ձախողվում, և որտեղ՝ ուսուցիչը: Այդ հակադիր դեպքերը ուսումնական ծրագրի մշակման հումք են:.

Հաջորդը գալիս է մաքրված կարողությունների սպեցիֆիկացիայի քարտերի: Քարտը արտացոլում է փորձարկման ենթակա կարողությունը, համապատասխան գործիքները կամ աշխատանքային հոսքի ձևը, որտեղ թիրախը ձախողվում է, իսկ ուսուցիչը՝ հաջողվում, պահանջվող վերջնական վիճակի հատկությունները և չափումները, որոնք կարող են փոխվել, երբ նոր առաջադրանքներ են հորինվում: Կարևոր է, որ գեներատորը չի ստանում սկզբնական հուշումները, էնթիթները, հետագծերը կամ ստուգիչի մանրամասները՝ միայն քարտերը:

Այդ ախտահանումը միտումնավոր հակա-գերհարմարեցման քայլ է: Եթե գեներատորը տեսներ ձախողման տոմսերի ճշգրիտ համարները, գիտելիքների հոդվածների ID-ները կամ ուսուցչի հետքերը, այն կգայթակղվեր վերաձևակերպել նույն դրվագը: Քարտերը պարտադրում են աբստրակցիա. սովորեցնում են կարողությունը կառավարելի փոփոխության ներքո, այլ ոչ թե անգիր սովորած օրինակով:.

Քարտերի առկայությունից հետո համակարգը դրանցից նոր առաջադրանքներ է ստեղծում։ Այնուհետև ուսուցիչը ցուցադրում է հաջողված հետագծեր՝ վերահսկվող նուրբ կարգավորման համար։ Այդ ցուցադրությունները ազատ ձևի խորհուրդներ չեն. դրանք միջավայրի վրա հիմնված հաջողություններ են, որոնք անցնում են նույն տեսակի ստուգումը, որի մասին հոգ է տանում ուսումնական ծրագիրը։.

Երկու փուլ կառուցվածքային մասշտաբ։ Նպատակային փուլը կենտրոնանում է միջուկի ստուգված նմուշների վրա՝ բացերի շուրջ՝ ամենաբարձր ազդանշանային առաջադրանքները թույլ գործակալի կոտրման մոտ։ Բազմապատկման փուլը ստեղծում է ընդունված թիրախների նոր տարբերակներ։ Բազմապատկված նմուշները չեն կարող սերմանել հետագա բազմապատկման փուլեր, ինչը սահմանափակում է շեղումը։ Այդ կանոնը փոքր է, բայց կարևոր. անսահմանափակ ռեկուրսիվ տատանումը կարող է շեղվել քարտի անվան տակ նշված հնարավորությունից։

Համատեղ կառավարիչ, միջավայրի ադապտեր և շարժվող սահման

Ճարտարապետության առումով AutoSynthData-ն օգտագործում է համատեղ օգտագործվող կառավարիչ և միջավայրի ադապտեր: Կառավարիչը կազմակերպում է ախտորոշումը, քարտերի ստեղծումը, գեներացումը, ուսուցչի ցուցադրությունները, որակի կարգավորումները և խմբային վերանայումը: Ադապտերը կապում է այդ քայլերը կոնկրետ ձեռնարկության «sandbox»-ի հետ՝ գործիքներ, վիճակ, քաղաքականություններ և ստուգիչներ, որպեսզի նույն կառավարման ցիկլը կարողանա ուղղված լինել տարբեր տիրույթների՝ առանց ուսումնական ծրագրի տրամաբանությունը զրոյից վերաշարադրելու:

Վերահսկվող նուրբ կարգավորումից հետո, խողովակաշարը վերագնահատվում է։ Այնուհետև ուսումնական ծրագիրը շարժվում է դեպի մնացած բացերը՝ շարժվող սահման, այլ ոչ թե ստատիկ տվյալների հավաքածու։ Աշխատանքում նկարագրված փորձերը կենտրոնանում են վերահսկվող նուրբ կարգավորման վրա։ Նույն ցիկլը կարող է հետագայում աջակցել ամրապնդող ուսուցմանը. այդ ուղղությունը նշվում է որպես պլանավորված, այլ ոչ թե հայտարարվում է որպես ավարտված։

Ձեռնարկությունների թիմերի համար ճարտարապետական ​​դասը մոդուլային է։ Կառավարիչները չպետք է կոշտ կոդավորեն մեկ տոմսի սխեմա։ Ադապտերը պետք է բավարար չափով ցույց տան վիճակի և գործիքի ճշգրտությունը, որպեսզի ստուգիչները կարողանան իմաստալից լինել։ Ուսումնական ծրագիրը պետք է գնահատման արդյունքները դիտարկի որպես հաջորդ մուտքային տվյալներ, այլ ոչ թե որպես միանգամյա գնահատման աղյուսակ։.

EnterpriseOps Gym-ը այն միջավայրն է, որտեղ այս մոտեցումը պատկերվել է: Այն մեծածավալ ձեռնարկության գործակալների աշխատասեղան է՝ մոտ 1150 փորձագետների կողմից մշակված առաջադրանքներով 8 տիրույթներում, մոտավորապես 512 գործիքներով, մոտ 164 տվյալների բազայի աղյուսակներով, կոնտեյներացված կատարմամբ, SQL-ի վրա հիմնված արդյունքների ստուգմամբ, քաղաքականության վրա կառավարվող գործողություններով, հիբրիդային միջդոմենային սցենարներով, անիրագործելիության և մերժման թեստավորմամբ, ինչպես նաև երկար հորիզոնային վիճակային հետագծերով: AutoSynthData-ն չի ներկայացվում որպես այդ մարզասրահի հորինող. մարզասրահը սինթեզի ցիկլի սթրեսի թեստավորման հարթակն է:

Նմուշի մակարդակի որակի վերահսկում, որը պահպանում է սինթետիկ առաջադրանքների հուսալիությունը

Սինթետիկ գործակալների տվյալների սխալները տեղի են ունենում առանց դարպասների գեներացիայի միջոցով: AutoSynthData-ն նկարագրում է նմուշի մակարդակի որակի վերահսկողությունը՝ մի քանի լրացուցիչ ստուգումներով:.

Լուծողի դժվարության ֆիլտրը ուղղորդում է հավաքածուն դեպի այնպիսի առաջադրանքներ, որոնք դժվար են թիրախի համար և լուծելի՝ ուսուցչի համար: Նկարագրված կոնֆիգուրացիան նախապատվություն է տալիս այն առաջադրանքներին, որոնք թիրախը լուծում է առավելագույնը երեք փորձերից մեկում, մինչդեռ ուսուցիչը հաջողությամբ հաղթահարում է առնվազն երեքից երկուսը: Այդ գոտին այն է, որտեղ վերահսկվող ցուցադրությունները կարող են սովորեցնել այն, ինչ թույլ մոդելը արդեն չունի:

Դրական ստուգումը պահանջում է, որ հղման հետագիծը անցնի ստուգիչով։ Բացասական ստուգումը պահանջում է, որ մուտացված սխալ արդյունքները ձախողվեն։ Միասին դրանք ճնշում են գործադրում ստուգիչի ինչպես ընդունման, այնպես էլ մերժման կողմերի վրա։ Եթե ստուգվում են միայն դրականները, թույլատրող ստուգիչը կարող է ընդունել աղբը։ Եթե ստուգվում են միայն բացասականները, չափազանց խիստ ստուգիչը կարող է մերժել վավեր աշխատանքը։.

Քննադատության և վերանորոգման ցիկլը, վերստուգման սահմանափակմամբ, փորձում է շտկել այն խնդիրները, որոնք ձախողում են դարպասները, այլ ոչ թե անմիջապես մերժում է գրեթե բոլոր սխալները: Վերստուգման սահմանափակումները կարևոր են. անվերջ վերանորոգումը կարող է հորինել ավելի ու ավելի արհեստական ​​սահմանափակումներ՝ պարզապես ստուգաթերթիկը հաղթահարելու համար:.

Այնուհետև խմբաքանակային մակարդակի մետա-վերանայումը դիտարկում է ամբողջ հավաքածուն՝ ծածկույթի, բազմազանության, ավելորդության և ձախողված թիրախների համար: Նմուշային դարպասները պահպանում են առանձին տարրերի հուսալիությունը. խմբաքանակային վերանայումը թույլ չի տալիս ուսումնական ծրագիրը կլաստերացնել մեկ նեղ ձախողման ռեժիմի վրա կամ կլոնավորել գրեթե կրկնօրինակները:.

Այս վերահսկողությունները բացատրում են, թե ինչու է խողովակաշարը կարող ժամերով արտադրել հազարավոր նմուշներ՝ առանց ծավալը դիտարկելու որպես համապատասխանության փոխարինող։ Արագությունը տարբերվում է ըստ տիրույթի և ուսուցչի չափի, բայց որակի վերահսկման պատմությունը հետևողական է՝ դժվարության գոտի, դրական և բացասական ստուգում, սահմանաչափերով վերանորոգում, ապա մետա-վերանայում։.

Հում ձախողումներ vs քարտեր vs վավերացված SFT հավաքածուներ

Օգտակար է համեմատել, թե յուրաքանչյուր արտեֆակտ ինչի համար է լավ։ Անհաջողությունների հում գրանցամատյանները ախտորոշիչ են։ Կարողությունների քարտերը գեներատիվ պայմանագրեր են։ Գործնականում դուք մարզվում եք վավերացված վերահսկվող նուրբ կարգավորման հավաքածուների վրա։.

EnterpriseOps Gym-ի Hybrid և ITSM լուսանկարներում հեղինակների կողմից հաղորդված փորձարկումները որպես թիրախ օգտագործել են Gemma-4-26B-A4B-it-ը: Hybrid-ը զուգակցել է այդ թիրախը Qwen3.8-27B-ի հետ որպես ուսուցիչ և մոտավորապես 18 ժամվա ընթացքում ստեղծել է մոտ 2000 հիբրիդային նմուշ, որտեղ լավագույն ստուգիչ կետը եղել է 5-րդ դարաշրջանը: Pass@1 միջին ցուցանիշը աճել է 7.2 տոկոսային կետով՝ մոտ 35 տոկոս հարաբերական ցուցանիշով, իսկ ստուգիչի հաջողությունը 63.01 տոկոսից աճել է մինչև 68.55 տոկոս, կրճատելով Pass@1-ի և հղման մոդելի միջև եղած բացը մոտ 59 տոկոսով:

ITSM-ը նույն թիրախը զուգակցեց DeepSeek-V4.1-Flash-ի հետ որպես ուսուցիչ և մոտավորապես 66 ժամում ստացավ մոտ 1994 նմուշ, որը մասամբ ավելի երկար էր՝ ավելի մեծ ուսուցիչի շնորհիվ և այն պատճառով, որ որոշ խողովակաշարային օպտիմալացումներ դեռևս տեղում չէին։ Pass@1 միջին ցուցանիշը 18.77 տոկոսից բարձրացավ մինչև 27.18 տոկոս։

Այս թվերը կարդացեք որպես ընկերության հետազոտության արդյունքներ այս մարզասրահի վերաբերյալ՝ փորձարկված տիրույթների համար, այլ ոչ թե որպես անկախ երրորդ կողմի կրկնօրինակում և ոչ թե որպես համընդհանուր ձեռնարկության երաշխիք: Աճը իրական է այնտեղ, որտեղ ուսուցչի ուժը, ստուգիչի որակը և միջավայրի հավատարմությունը համընկնում են:.

Ինչ պետք է մասնագետները պատճենեն ցիկլից

Նույնիսկ եթե ձեր կույտը ServiceNow-ի հետազոտական ​​խողովակաշարը չէ, օրինաչափությունը փոխանցվում է: Սկսեք արտադրական նման թիրախի և ավելի ուժեղ ուսուցչի զույգային գնահատմամբ՝ հավատարիմ ավազարկղում: Փոխակերպեք կոնտրաստի ձախողումները կարողությունների քարտերի, որոնք հեռացնում են նույնականացուցիչները և հետագծերը: Ստեղծեք առաջադրանքներ, որոնք փոփոխում են թույլատրելի չափերը՝ պահպանելով պահանջվող վերջնական վիճակի հատկությունները: Թող ուսուցիչը ցուցադրի հաջողություններ: Դարպասներ կատարեք դժվարության գոտիներով, դրական և բացասական ստուգմամբ, սահմանափակ վերանորոգմամբ և խմբաքանակի բազմազանության վերանայմամբ: Նուրբ կարգավորեք, վերագնահատեք և տեղափոխեք սահմանը:.

Հատուկ ուշադրություն դարձրեք ստուգիչի դիզայնին: EnterpriseOps մարզասրահի ոճով SQL արդյունքների ստուգումները և քաղաքականությամբ կարգավորվող գործողությունները ցույց են տալիս, թե ինչու են չատի ռուբրիկները ինքնին թույլ վիճակային աշխատանքի համար: Եթե ձեր ստուգիչը չի կարող տարբերակել մուտացված սխալ արդյունքները ճիշտ վերջնականներից, սինթետիկ մասշտաբը կուժեղացնի աղմուկը:.

Հարգեք նաև բազմապատկման կանոնի ոգին. ընդունված թիրախների տարբերակները չպետք է անվերջ նոր տարբերակներ սերմանեն՝ առանց ստուգված միջուկներին վերադառնալու: Դրեյֆը լուռ է: Ավելի էկզոտիկ սահմանափակումներ հորինող ուսումնական ծրագիրը կարող է դեռևս անցնել մակերեսային ֆիլտրեր՝ միաժամանակ թողնելով սկզբնական կարողությունը թերմարզված:.

Վերջապես, հիբրիդային միջոլորտային աշխատանքը դիտարկեք որպես առաջին կարգի սթրեսային դեպք: Ամենօրյա օգտագործողները չեն մնում մեկ գործիքի մեջ: Հիբրիդային առաջադրանքները, երկար հորիզոնային հետագծերը և մերժման կամ անիրագործելիության թեստավորումը այն դեպքերն են, երբ միջավայրի կոմպետենտությունը դրսևորվում է կամ բարձրաձայն ձախողվում:.

Զգուշացումներ, սահմանափակումներ և շահույթի ուշադիր ընթերցում

EnterpriseOps Gym-ի հեղինակների կողմից հաղորդված արդյունքները տեղեկատվական ազդանշաններ են, այլ ոչ թե համընդհանուր երաշխիք: Հրապարակված Hybrid և ITSM շահույթները վերաբերում են այդ տիրույթներին և մոդելների զույգերին նկարագրված կարգավորման ներքո: Այլ տիրույթներ, ավելի թույլ ուսուցիչներ, ավելի աղմկոտ ստուգիչներ կամ ավելի մակերեսային միջավայրի ճշգրտություն կարող են նվազեցնել կամ ջնջել օգուտը:.

Որակը կախված է երեք սյուներից, որոնք ոչ մի մարքեթինգային ճարտարագետ չի կարող անտեսել: Ուսուցչի ուժը սահմանում է ցուցադրությունների առաստաղը: Ստուգիչի որակը սահմանում է պիտակների և ֆիլտրերի հուսալիությունը: Միջավայրի հավատարմությունը որոշում է, թե արդյոք սովորած վարքագիծը դիմանում է արտադրական համակարգերի, կանոնների և տվյալների վիճակի հետ շփմանը:.

AutoSynthData-ի փորձերը շեշտը դնում են վերահսկվող նուրբ կարգավորման վրա: Ուժեղացված ուսուցումը նշվում է որպես նույն ցիկլի հնարավոր հետագա օգտագործում՝ պլանավորված, այլ ոչ թե ներկայացված աշխատանքում: Ընթերցողները չպետք է շփոթեն ուսումնական ծրագրին պատրաստ տվյալների շարժիչը RL-ի պատրաստի ուսուցման պահանջի հետ:.

Ընթերցողները չպետք է շփոթեն սինթեզի խողովակաշարը հենց նստարանի հետ։ EnterpriseOps Gym-ը տրամադրում է մշակված առաջադրանքներ, գործիքներ, աղյուսակներ, կոնտեյներացում և ստուգման կառուցվածք։ AutoSynthData-ն օգտագործում է այդպիսի միջավայր՝ ձախողումները մարզումների ոսկու վերածելու համար։ Երկու աշխատանքներն էլ ճիշտ են գնահատվում. մարզասրահը լարվածություն է ստեղծում գործակալների համար. խողովակաշարը բազմապատկում է ուսուցանելի առաջադրանքները՝ ախտորոշված ​​բացերից։.

Ավազատուփի ներսում հաշվարկային և օրացույցային ժամանակի համար անվճար ճաշ չկա։ Հիբրիդային սինթեզն ավարտվել է մոտ երկու հազար նմուշների համար ժամերի ընթացքում. ITSM-ը ավելի երկար ժամանակ է պահանջել ավելի ծանր ուսուցչի և ավելի վաղ խողովակաշարի ձևի դեպքում։ Թիմերը պետք է բյուջե նախատեսեն ուսուցչի եզրակացության, քննադատության կամ վերանորոգման կրկնակի փորձերի և վերագնահատման համար յուրաքանչյուր ուսումնական քայլից հետո։.

Ուսումնական մտածողություն ձեռնարկության գործակալների թիմերի համար

AutoSynthData-ի ամենախորը գաղափարը ուսումնական է, այլ ոչ թե զուտ գեներատիվ։ Ձախողումները ախտորոշում են։ Քարտերի վերացական։ Ստեղծումը բազմապատկվում է։ Որակի վերահսկումը վավերացնում է։ SFT-ն թարմացնում է թիրախը։ Վերագնահատումը տեղաշարժում է սահմանը։ Այդ հաջորդականությունը գործակալի կատարելագործումը դիտարկում է որպես միջավայրի վրա հիմնված դասերի շարք, այլ ոչ թե որպես հետքերի մեկ օֆլայն աղբ։.

Ուսումնական ծրագրի մտածողությունը փոխում է, թե ինչպես են ղեկավարները բաշխում ջանքերը: Փոխանակ միայն ավելի շատ տոմսեր կամ ավելի շատ մարդկային նշումներ հարցնելու, հարցրեք, թե որ հնարավորությունները դեռևս ձախողվում են փոփոխության դեպքում, արդյոք այդ հնարավորություններն ունեն մաքուր վերջնական վիճակի հատկություններ, և արդյոք ավելի ուժեղ ուսուցիչը կարող է դրանք հուսալիորեն ցուցադրել: Եթե ուսուցիչը չկարողանա բավականաչափ հաճախ հաջողության հասնել, սինթետիկ SFT-ն կսովորեցնի անվստահելի վարքագիծ: Եթե վերջնական վիճակի հատկությունները մշուշոտ են, ստուգիչները կվիճեն վավեր ռազմավարությունների հետ:.

Այն նաև փոխում է հաջողության մասին խոսելու ձևը։ Hybrid-ի վրա Pass@1 բացը մի փոքր կրճատելը մինչև հղման մոդելը, կամ ITSM Pass@1-ը հեղինակների կողմից հաղորդված փորձարկումներում տասներորդականից մինչև քսաներորդական բարձր մակարդակի բարձրացնելը, չափված միջավայրի կոմպետենտության առաջընթաց է։ Սա ապացույց չէ, որ յուրաքանչյուր աշխատանքային հոսք, յուրաքանչյուր քաղաքականություն կամ յուրաքանչյուր մերժման դեպք լուծված է։ Պահպանեք շարժական սահմանային լեզուն. մնացած բացերը դառնում են հաջորդ Target փուլը, այլ ոչ թե հետագա մտածողության սահք։.

Ծրագրի նախագծման համար այս ցիկլը զուգակցեք մարդկային վերանայման հետ, որտեղ խաղադրույքները բարձր են՝ անվտանգության քաղաքականություն, անդառնալի գործողություններ, կարգավորվող տվյալներ՝ միաժամանակ թույլ տալով ավտոմատացված դարպասներին ծավալ կրել լավ սահմանված վիճակի ստուգումների վրա: Սինթետիկ տվյալները լավագույնս աշխատում են, երբ միջավայրը կարող է ասել այո կամ ոչ SQL-ի նման պարզությամբ: Դրանք դժվարանում են, երբ հաջողությունը սուբյեկտիվ ճաշակի արդյունք է:.

Դիզայնի նշումներ դժվարության, ռեալիզմի և մերժման վերաբերյալ

Դժվարության թիրախավորումը արժանի է երկրորդ դիտարկման: Այն առաջադրանքներին նախապատվություն տալը, որոնք թիրախը լուծում է ժամանակի առավելագույնը մեկ երրորդում, մարզումը հեռու է պահում մանրուքներից: Ուսուցչից պահանջելով հաջողությամբ հաղթահարել ժամանակի առնվազն երկու երրորդը, ցուցադրական խաղերը հեռու է պահում մետաղադրամ նետելուց: Այդ գոտին գործնական փոխզիջում է մարտահրավերի և սովորելու հեշտության միջև:.

Ռեալիզմը մնում է ավելի մեղմ չափանիշ, բայց դեռևս էական։ Ձեռնարկությունների օգտատերերը խնդրում են այնպիսի բաներ, որոնք համապատասխանում են իրենց դերերին և համակարգերին։ Միայն կարծրությամբ կառավարվող գեներատորները կարող են հորինել բարդ բազմասահմանափակ հանելուկներ, որոնք ոչ մի օպերատոր չէր խնդրի։ Փոփոխական չափերը թվարկող կարողությունների քարտերը օգնում են, սակայն մարդիկ կամ մետա-վերանայումը դեռ պետք է որսեն սյուրռեալիստական ​​​​հուշումները։.

մերժման և անիրագործելիության թեստավորումըթիմերին հիշեցնում է, որ կոմպետենտությունը ներառում է «ոչ» ասելը: Միայն կատարելի առաջադրանքների համար օպտիմիզացված խողովակաշարը կարող է թերագնահատել մերժումը: AutoSynthData ոճի ցիկլերը ընդլայնելիս ներառեք քարտեր, որոնց ճիշտ վերջնական հատկությունը քաղաքականության ներքո անվտանգ մերժում է, այլ ոչ թե միայն տվյալների բազայի վիճակի հաջող մուտացիա:

Երկար հորիզոնով վիճակային հետագծերը բարձրացնում են դիզայնի մեկ այլ նշում: Ուսուցիչների ցուցադրական տարբերակները պետք է համահունչ մնան բազմաթիվ գործիքների կանչերի ընթացքում: Ստուգիչները, որոնք ստուգում են միայն վերջին աղյուսակի տողը, կարող են բաց թողնել միջանկյալ քաղաքականության ընդհատումները: Ստուգիչների դիզայնի ամբողջականությունը նշանակում է ներառել այն հատկությունները, որոնք իսկապես սահմանում են այդ հնարավորության հաջողությունը, ներառյալ սահմանափակումները, որոնք պետք է ճիշտ մնան ամբողջ ընթացքում, այլ ոչ թե միայն վերջում:.

Եզրափակիչ ամփոփում

AutoSynthData-ն, որը ստեղծվել է ServiceNow CoreAI / ServiceNow-AI-ից և հեղինակվել է Էսակկիվել Էսակկիրաջայի հանրային հոդվածում, մի խողովակաշար է, որը թիրախ-գործակալի ձախողումները և ուսուցիչների հաջողությունները վերածում է ձեռնարկությունների համար վավերացված սինթետիկ ուսումնական առաջադրանքների: Այն ձախողումները վերծանում է մաքրված կարողությունների սպեցիֆիկացիաների քարտերի մեջ, ստեղծում է նոր առաջադրանքներ՝ առանց արտահոսելու սկզբնական հուշումները կամ հետագծերը, հավաքագրում է ուսուցիչների ցուցադրությունները և կիրառում է նմուշային և խմբային մակարդակի որակի վերահսկողություն՝ վերահսկվող նուրբ կարգավորումից առաջ:.

Գործնական մտավոր մոդելը խնդիրն է՝ որպես համակարգի սպեցիֆիկացիա, օգտատիրոջ հուշում և ստուգիչ՝ իրագործելիության, ռեալիզմի և դժվարության լարվածությամբ, և ստուգիչներով, որոնք ո՛չ չափազանց թույլ են, ո՛չ էլ ամրագրված են մեկ ուղով: «Նպատակադրել, ապա բազմապատկել» փուլերը, բազմապատկված նմուշների համար հետագա սերմ չպահանջող կանոնը, համատեղ կառավարիչը գումարած միջավայրի ադապտերը և SFT-ից հետո վերագնահատումը ստեղծում են շարժական սահման մնացած բացերի վրա:.

EnterpriseOps Gym-ում հեղինակի կողմից հաղորդված հիբրիդային արդյունքները Gemma-4-26B-A4B-it-ի և Qwen3.8-27B-ի միջոցով ցույց են տալիս մոտ երկու հազար նմուշ մոտ տասնութ ժամվա ընթացքում, և Pass@1-ի և ստուգիչի հաջողության նշանակալի աճ՝ կրճատելով հղման մոդելի հետ եղած բացը: ITSM-ը DeepSeek-V4.1-Flash-ի ուսուցչի դերում ցույց է տալիս Pass@1-ի աճ 18.77 տոկոսից մինչև 27.18 տոկոս մոտ 1994 նմուշների վրա՝ ավելի երկար ժամանակահատվածում: Այդ թվերը դիտարկեք որպես որոշակի տիրույթներում հետազոտված ազդանշաններ, որոնք կախված են ուսուցչի, ստուգիչի և միջավայրի ճշգրտությունից, և ամրապնդող ուսուցումը պահեք որպես ցիկլի պլանավորված ընդլայնում, այլ ոչ թե ավարտուն պնդում:.

Եթե ​​հիշում եք մեկ նախադասություն. ձեռնարկության գործակալները կատարելագործվում են, երբ ձախողումները վերածվում են վերացական, բազմապատկված, ստուգված դասերի այն համակարգերի ներսում, որոնք նրանք պետք է աշխատեցնեն ամեն օր, այլ ոչ թե երբ թիմերը պարզապես կրկնում են նույն կոտրված տոմսը։.

Գործնական օրինակ՝ ITSM-ի կոշտ դեպքերի ընդլայնում սառեցված մարզասրահի ոճի ձախողումների հավաքածուից

Սցենար

Մեծ Բրիտանիայի ձեռնարկությունների հարթակի թիմը՝ պատկերացրեք միջին չափի ֆինանսական ծառայությունների օպերացիոն խումբ, որը գործարկում է ServiceNow ոճի ITSM՝ փոփոխությունների պատուհաններով, CMDB հարաբերություններով և քաղաքականության վրա կարգավորվող անցումներով, ունի արտադրական գործակալ, որը անընդհատ բախվում է նույն տեսակի աշխատանքի հետ՝ խաչաձև աղյուսակների թարմացումներ, որոնք պետք է հարգեն հաստատման նախապայմանը, գիտելիքների հոդվածների որոնումներ, որոնք հակասում են տեղական փոփոխությունների սառեցումներին, և հիբրիդային հարցումներ, որոնք խաչաձևում են ITSM-ը հարակից օպերացիոն գործիքների հետ։.

Նրանք սառեցնում են EnterpriseOps մարզասրահի ոճով մասնավոր փաթեթը (կոնտեյներային ավազատուփ, SQL արդյունքների ստուգումներ, սերմնավորված աղյուսակներ, քաղաքականության կանոններ), որպեսզի գնահատականները համեմատելի լինեն շաբաթ առ շաբաթ: Ախտորոշիչ փորձարկումները ցույց են տալիս, որ թիրախային գործակալը ձախողվում է այնտեղ, որտեղ հաջողության է հասնում ավելի ուժեղ ուսուցիչը: Ղեկավարությունը ցանկանում է ավելի շատ վերապատրաստման ազդանշաններ՝ առանց նույն տոմսերի համարների և էնթիթի ID-ների կրկնության: AutoSynthData-ն (կամ համարժեք սինթեզատորի ձախողումներից ցիկլը, եթե հետազոտական ​​​​խողովակը փակ է նրանց ստեկում) թեկնածուն է. հակադրությունների ձախողումները վերածեք մաքրված կարողությունների սպեցիֆիկացիայի քարտերի, ստեղծեք նոր առաջադրանքներ, հավաքեք ուսուցիչների ցուցադրություններ, ապա՝ կարևորագույնը՝ մարդկային վերանայում սինթետիկ հետքեր՝ ցանկացած վերապատրաստումից առաջ:.

Gym Pass@1-ում ոչինչ ինքնուրույն չի առաքվում: Սինթեզատորի տվյալները դիտարկվում են որպես թեկնածուի ուսումնական պլան, այլ ոչ թե անվճար ճշմարտություն:.

Ինչ է պետք օգնականին

• Սառեցված մարզասրահի ոճի միջավայրի ադապտերին մուտք գործելու հնարավորություն. գործիքներ, սկզբնական վիճակ, քաղաքականություններ և SQL (կամ համարժեք վիճակի վրա հիմնված) ստուգիչներ։.
• Զույգացված գնահատման գրանցամատյաններ. թիրախների անհաջողությունները համեմատվել են նույն առաջադրանքների կատարման հարցում ուսուցիչների հաջողությունների հետ։.
• Քարտային սխեմա, որը արտացոլում է հնարավորությունները, գործիքները/աշխատանքային հոսքի ձևը, ձախողման/հաջողության հակադրությունը, պահանջվող վերջնական վիճակի հատկությունները և թույլատրելի տատանումների չափերը՝ առանց սկզբնական հուշումների, էնթիթների, հետագծերի կամ ստուգիչի ներքին տարրերի։.
• PII-ի և քաղաքականության կանոնները (տոմսերի ID-ներ, օգտատիրոջ անուններ, CI անուններ, կարգավորվող դաշտեր) մաքրել նախքան որևէ բան դուրս գալը ավազարկղից կամ գեներատորի հուշում մուտք գործելը։.
• Սինթետիկ առաջադրանքների և ուսուցչի հետքերի նմուշառման մարդկային վերանայման հերթ (իրագործելիություն, ռեալիզմ, ստուգիչի հուսալիություն, մերժման/անիրագործելիության դեպքեր):.
• Մաքուր կանգառի պայմաններ. թիրախավորել, ապա բազմապատկել փուլերը. բազմապատկված նմուշները չեն սերմանում հետագա բազմապատկման փուլեր։.

Օրինակային հրահանգ

Հարթակը տանում է դեպի ուսումնական ծրագրի օպերատորը (կամ նվագախմբման օգնականը, որը միայն նախագծում է քարտեր և վերանայում փաթեթներ՝ այն չի վերապատրաստում կամ առաջխաղացնում մոդելներին):

«Գործարկեք Pass@1 ախտորոշիչ թեստը սառեցված ITSM և Hybrid հատվածների վրա՝ մեր ներկայիս թիրախի և նշանակված ուսուցչի նկատմամբ։ Յուրաքանչյուր համեմատության համար, որտեղ թիրախը ձախողվում է, և ուսուցիչը հաջողությամբ հաղթահարում է երեք փորձերից առնվազն երկուսը, կազմեք մաքրված կարողությունների սպեցիֆիկացիայի քարտ. անվանեք կարողությունը, թվարկեք համապատասխան գործիքները, նշեք պահանջվող վերջնական վիճակի հատկությունները և թվարկեք կառավարելի չափումները (առաջնահերթության գոտի, կապված CI դաս, փոփոխության պատուհանի դրոշ, գիտելիքների հակասության տեսակ)։ Հեռացրեք տոմսերի համարները, օգտատիրոջ նույնականացուցիչները, CI անունները և հում հետագծերը։ Ստեղծեք թիրախային փուլի նոր առաջադրանքների խմբաքանակ միայն այդ քարտերից։ Թող ուսուցիչը ցուցադրի հաջողությունները։ Կիրառեք դժվարության գոտի (նպատակ ≤1/3, ուսուցիչ ≥2/3), դրական և բացասական ստուգում և սահմանափակ քննադատություն/վերանորոգում։ Ստեղծեք վերանայման փաթեթ՝ 5% շերտավորված նմուշներից և յուրաքանչյուր մերժման/անիրագործելիության քարտից։ Մի՛ սկսեք SFT-ն, մինչև երկու վերանայողներ չստորագրեն փաթեթը և PII-ի մաքրման ստուգումները չանցնեն։ Թեկնածուական ստուգիչ կետի վրա SFT-ից հետո վերագնահատեք սառեցված հավաքածուն և պահված ճշգրիտ համապատասխանության հավաքածուն, որը մենք երբեք չենք օգտագործել գեներացիայի համար։ Հաշվետվություն կազմեք ձախողման դասի և ռեգրեսիայի մակարդակի համեմատ։» Նախորդ արտադրական ստուգիչ կետը։ Մի՛ գովազդեք մարզասրահի միավորի վրա ինքնուրույն։

Ինչպես փորձարկել այն

1. Հիմնական գծի կողպեք. գրանցեք Pass@1-ը և ստուգիչի հաջողության մակարդակները սառեցված հավաքածուի վրա՝ ձախողման դասի միջոցով (նախապայմանի կարգավորում, փոփոխման պատուհանի մերժում, հիբրիդային խաչաձև գործիք, գիտելիքների հակասություն): Պահպանեք հավաքածուն և սերմերը անփոփոխ ցիկլի համար:
2. Քարտի աուդիտ. Անմիջապես ստուգեք, որ գեներատորները երբեք չեն ստանում սկզբնական հուշումները, էնտուիտիվները կամ ուսուցչի հետքերը՝ միայն քարտերը։
3. Որակի վերահսկման նմուշ. Հաստատեք, որ դրական հետագծերը հաջողությամբ են անցնում ստուգիչները, իսկ մուտացված սխալ արդյունքները՝ ոչ։ Մերժեք թիրախի համար աննշան առաջադրանքները կամ մետաղադրամ նետեք ուսուցչի համար։
4. Մարդկային վերանայում. Վերանայողները յուրաքանչյուր նմուշը նշում են որպես պահպանել / վերանորոգել / բաց թողնել՝ հիմնվելով իրագործելիության, իրատեսության և քաղաքականության անվտանգության վրա: Հետևեք միջանկյալ վերանայողի համաձայնությանը համատեղ ենթաբազմության վրա:
5. Ճշգրիտ համընկնման պահում. Թեկնածուի SFT-ից հետո գնահատեք իրական (կամ նախկինում սառեցված) առաջադրանքների պահումը, որոնք երբեք չեն մուտքագրվել քարտագրման կամ ստեղծման մեջ: Առանձին գնահատեք մարզման առաջադրանքների գրեթե վերաձևակերպումները՝ մակերեսային անգիր սովորելը հայտնաբերելու համար:
6. Ռեգրեսիայի դարպաս. Ցանկացած ձախողման դաս, որը վատթարանում է նախորդ արտադրական ստուգիչ կետի համեմատ, արգելափակում է առաջխաղացումը մինչև դրա բացատրությունը կամ շտկումը։

Արդյունք

Այստեղ մի՛ հորինեք թխման տոկոսներ։ Օգտագործեք չափման պլան և հրապարակված հետազոտական ​​տվյալները նշեք որպես ՀՈԴՎԱԾԻ ՊՆԴՈՒՄ, երբ դրանք մեջբերում եք։

Չափման պլան (ինչ պետք է զեկուցի այս թիմը)

• Ձախողման դասի ծածկույթ. ախտորոշված ​​բացթողումների դասերի մասնաբաժինը, որոնք որակի վերահսկումից հետո առաջացրել են ≥N ընդունված թիրախային փուլի առաջադրանքներ (նախապես սահմանեք N-ը, օրինակ՝ յուրաքանչյուր դասի համար 20 ընդունված առաջադրանք):
• Holdout ճշգրիտ համընկնում. Pass@1 / ստուգիչի հաջողություն անձեռնմխելի holdout-ի վրա թեկնածու SFT-ից առաջ և հետո (նույն սերմերը, նույն ստուգիչը):
• Ռեգրեսիայի մակարդակ՝ ձախողման դասերի քանակը, որտեղ Pass@1-ը չի համապատասխանում նախորդ արտադրական ստուգիչ կետին։ Կողպեք, եթե որևէ անվտանգության համար կարևոր դաս ռեգրեսիայի է ենթարկվում։
• Վերանայման արդյունքը՝ պահպանել/վերանորոգել/թողնելու մակարդակները մարդկային վերանայման փաթեթում. եթե թողնելու մակարդակի կտրուկ աճ է նկատվում, դադարեցնել։ Բազմապատկել և շտկել քարտերը կամ ստուգիչները։
• Սկրաբի ձախողումներ. վերանայման ստորագրումից առաջ PII/քաղաքականության ստուգումները չանցած նմուշների քանակը (նպատակակետ՝ զրո դուրս է գալիս SFT հավաքածու):

ՀՈԴՎԱԾԻ ՊՆԴՈՒՄ (հեղինակի կողմից ներկայացված է EnterpriseOps Gym-ում - ոչ թե այս թիմի չափված արդյունքը). Հիբրիդային փորձարկումները՝ Gemma-4-26B-A4B-it-ը որպես թիրախ և Qwen3.8-27B-ը որպես ուսուցիչ, մոտավորապես 18 ժամվա ընթացքում ստացան մոտ 2000 նմուշ, միջին Pass@1-ը աճել է մոտ 7.2 տոկոսային կետով, իսկ ստուգիչի հաջողությունը 63.01%-ից բարձրացել է մինչև 68.55%: ITSM-ը DeepSeek-V4.1-Flash-ը որպես ուսուցիչ օգտագործելով՝ մոտ 1994 նմուշների վրա միջին Pass@1-ը 18.77%-ից բարձրացրել է մինչև 27.18%՝ ավելի երկար ժամանակահատվածում (մոտ 66 ժամ): Դրանք դիտարկել որպես որոշակի տիրույթների և զույգերի վերաբերյալ հետազոտված ազդանշաններ, այլ ոչ թե որպես Մեծ Բրիտանիայի արտադրական փաթեթի համընդհանուր երաշխիք:

Ծրագրի օրինակելի ձևը (ենթադրություններ, ոչ թե չափված արդյունքներ). Եթե թիմը մեկ ITSM ցիկլի համար ընդունում է մոտ 2000 որակի վերահսկմամբ կարգավորվող նմուշներ, բյուջետավորում է ուսուցչի եզրակացությունը գումարած վերանայումը՝ 5% շերտավորված նմուշառմամբ, և խթանում է միայն այն դեպքում, երբ հետաձգումը չի հետընթաց ունենում անվտանգության համար կարևոր դասերի նկատմամբ, ապա «արդյունքը», որը նրանք կարող են անկեղծորեն պնդել, գործընթացի հասունությունն է՝ աուդիտի ենթարկված ուսումնական պլան, մաքրված հետագծեր և համեմատելի սառեցված հավաքածուի դելտաներ, այլ ոչ թե խոստացված տոկոսային աճ։

Ի՞նչը կարող է սխալ ընթանալ

• Սինթեզատորի որպես ազատ ճշմարտության վերաբերվելը. մարդկային վերանայման կամ բացասական ստուգման բացթողումը թույլ է տալիս թույլատրող ստուգիչներին մեծածավալ ընդունել աղբը։
• Էնթիթի արտահոսք. տոմսերի սկզբնական ID-ների կամ ուսուցչի հետքերի գեներատորին մուտքագրումը հանգեցնում է վերաձևակերպման գերհարմարեցման. քարտերը գոյություն ունեն դա կանխելու համար։
• Անսահմանափակ բազմապատկում. բազմապատկված նմուշներին հետագա փուլերի մեկնարկ տալը շեղվում է նշված հնարավորությունից։
• Մարզասրահի միավորների առաքում. Առաջխաղացում՝ սառեցված հավաքածուի Pass@1-ի աճը, մինչդեռ մնացորդային կամ արտադրական ստվերային տրաֆիկը վատթարացավ։
• Ուսուցչի թույլ առաստաղ. Եթե ուսուցիչը չի կարողանում հաղթահարել ≥2/3 հաջողության սահմանը, SFT-ը դասավանդում է անվստահելի ցուցադրական նյութեր։
• Անորոշ ստուգիչներ. չատի ռուբրիկները, նահանգային ստուգումների փոխարեն, սահուն սխալ ավարտական ​​​​աշխատանքները գնահատում են որպես հաջողություն:
• Թերապատրաստվածությունից հրաժարում. միայն ավարտուն մուտացիաների համար օպտիմալացումը փոփոխությունների պատուհանը և քաղաքականության անկումները թողնում են փխրուն։
• PII փախուստ. Սինթետիկ հուշումներ, որոնք մակերեսային մաքրումից հետո վերականգնում են իրական CI-ն կամ օգտատիրոջ անունները։

Գործնական ուսուցողական նյութ

Օգտագործեք AutoSynthData ոճի ցիկլեր՝ կամ համարժեք սինթեզատորի ձախողումներից ստացված օրինակ, եթե ServiceNow CoreAI խողովակաշարը հասանելի չէ ձեր վարձակալության տարածքում՝ ախտորոշված ​​բացերից դժվար, ստուգելի ITSM դեպքերը բազմապատկելու համար: Մաքրեք կարողությունների քարտերի մեջ, դասակարգեք դժվարությամբ և դրական/բացասական ստուգմամբ, մաքրեք PII-ը և մարդկային վերանայման նմուշները SFT-ից առաջ: Չափեք ձախողման դասի ծածկույթը, պահեք ճշգրիտ համապատասխանությունը և ռեգրեսիայի մակարդակը: ՀՈԴՎԱԾԻ ՀԱՅՏԱՐԱՐՈՒԹՅՈՒՆԸ Մարզասրահի թվերը մեջբերեք միայն որպես արտաքին հետազոտական ​​համատեքստ: Սինթեզատորի տվյալները ուսումնական ծրագրի վառելիք են, այլ ոչ թե երաշխիք. աուդիտի նմուշներ, պահեք հավաքածուն սառեցված արդար համեմատության համար և երբեք մի ուղարկեք մարզասրահի գնահատականը առանձին:.

Հաճախակի տրվող հարցեր

Ի՞նչ է AutoSynthData-ն և ի՞նչ խնդիրների է այն լուծում։

AutoSynthData-ն ServiceNow CoreAI / ServiceNow-AI խողովակաշար է, որը նկարագրվել է Էսակկիվել Էսակկիրաջայի կողմից և որը թիրախային գործակալի ձախողումները համատեղում է ավելի ուժեղ ուսուցչի հաղթանակների հետ՝ վերածելով դրանք ձեռնարկությունների համար նախատեսված վավերացված սինթետիկ ուսումնական առաջադրանքների: Այն կենտրոնանում է շրջակա միջավայրի իրավասության՝ տեղական քաղաքականությունների, սխեմաների, գործիքների և վիճակի վրա՝ այլ ոչ թե լայն ընդհանուր գիտելիքների վրա: Նպատակն է բազմապատկել ծանր, ստուգելի աշխատանքը, որպեսզի վերահսկվող նուրբ կարգավորումը կարողանա լրացնել միջավայրին բնորոշ բացթողումները՝ նույն կոտրված տոմսը կրկնելու փոխարեն:.

Ինչո՞ւ է շրջակա միջավայրի կարողությունը տարբերվում լայն մոդելի կարողությունից։

Ձեռնարկությունների գործակալները հաճախ սխալվում են, քանի որ միջավայրն ինքնին յուրահատուկ է՝ տոմսերի քաղաքականություն, սխեմայի առանձնահատկություններ, գործիքային պայմանագրեր, սերմնավորված տվյալների բազաներ և միջհամակարգային աշխատանքային հոսքեր: Մոդելը, որը լավ տեսք ունի բաց չափանիշների վրա, դեռ կարող է կանգ առնել փոփոխության պատուհանի, CMDB հարաբերության կամ վերջնական վիճակը ստուգող ստուգիչի վրա: Լայն հնարավորությունները նույնը չեն, ինչ իմանալը, թե ինչպես են ձեր համակարգերը, կանոնները և տվյալների վիճակը գործում քաղաքականության կողմից կառավարվող անցումների ժամանակ:.

Ի՞նչ գործնական առաջադրանքի ձև է օգտագործում AutoSynthData-ն։

Գործնական ձևը նշանակում է, որ առաջադրանքը հավասար է համակարգի սպեցիֆիկացիային, օգտատիրոջ հուշմանը և ստուգիչին։ Համակարգի սպեցիֆիկացիան պարունակում է սահմանափակումներ, քաղաքականություններ և սկզբնական վիճակ, ինչպիսիք են տվյալների բազայի սկզբնական տվյալները և գիտելիքների հոդվածները։ Օգտատիրոջ հուշումները գնահատվում են իրագործելիության, իրատեսության և դժվարության համար։ Ստուգիչները իդեալականորեն հենվում են SQL-ի կամ վիճակի վրա հիմնված արդյունքների ստուգումների վրա, որպեսզի նրանք գնահատեն աշխարհը գործակալի գործողություններից հետո, այլ ոչ թե միայն ճշգրիտ ընտրված թոքենի ուղին։.

Ինչպե՞ս են ախտահանված կարողությունների սպեցիֆիկացիայի քարտերը կանխում գերտեղադրումը։

Ախտորոշման գործողությունները համեմատում են այն դեպքերը, երբ թիրախը ձախողվում է, իսկ ուսուցիչը՝ հաջողության հասնում, ապա այդ դեպքերը վերլուծում են՝ ստեղծելով մաքրված կարողությունների սպեցիֆիկացիայի քարտեր: Քարտը գրանցում է կարողությունները, գործիքները կամ աշխատանքային հոսքի ձևը, ձախողման/հաջողության հակադրությունը, պահանջվող վերջնական վիճակի հատկությունները և չափումները, որոնք կարող են տարբեր լինել: Գեներատորը երբեք չի տեսնում սկզբնական հուշումները, էնտուիտիվները, հետագծերը կամ ստուգիչի մանրամասները՝ միայն քարտերը, ուստի թարմ առաջադրանքները սեղմվում են հիմնական միջուկին՝ առանց անգիր սովորած դրվագը վերաձևակերպելու:.

Որո՞նք են խողովակաշարի «Նպատակ» և «Բազմապատկել» փուլերը։

Նպատակային փուլը կենտրոնանում է բացերի շուրջ ստուգված հիմնական նմուշների վրա՝ ամենաբարձր ազդանշանային առաջադրանքները թույլ գործակալի կոտրման վայրի մոտ: Բազմապատկման փուլը պտտեցնում է ընդունված թիրախների նոր տարբերակներ: Բազմապատկված նմուշները չեն կարող հետագա բազմապատկման փուլեր սերմանել, ինչը խանգարում է շեղվել նշված հնարավորությունից: Հսկվող նուրբ կարգավորումից հետո վերագնահատումը ուսումնական ծրագիրը տեղափոխում է դեպի մնացած բացերը՝ որպես շարժվող սահման, այլ ոչ թե ստատիկ աղբավայր:.

Ինչպե՞ս է նմուշի մակարդակի որակի վերահսկողությունը պահպանում սինթետիկ առաջադրանքների հուսալիությունը։

Լուծողի դժվարության ֆիլտրը նախապատվությունը տալիս է այն առաջադրանքներին, որոնք թիրախը լուծում է առավելագույնը երեք փորձերից մեկում, մինչդեռ ուսուցիչը հաջողությամբ է հաղթահարում առնվազն երեքից երկուսը: Դրական ստուգման հաջողության համար անհրաժեշտ է հղման հետագիծ, իսկ բացասական ստուգման ձախողման համար անհրաժեշտ են մուտացված սխալ արդյունքներ: Քննադատության և վերականգնման ցիկլը՝ կրկնակի փորձի սահմանափակումով, փորձում է շտկել գրեթե ձախողված խնդիրները, իսկ խմբային մակարդակի մետա-վերանայումը ստուգում է ամբողջ շարքի ծածկույթը, բազմազանությունը, ավելորդությունը և ձախողված թիրախները:.

Ի՞նչ ճարտարապետություն է AutoSynthData-ն օգտագործում ձեռնարկության տիրույթներում։

Այն համատեղ օգտագործում է համօգտագործվող կառավարիչը միջավայրի ադապտերի հետ։ Կառավարիչը կատարում է ախտորոշում, քարտավորում, գեներացիա, ուսուցչի ցուցադրություններ, որակի կարգավորումներ և խմբային վերանայում։ Ադապտերը այդ քայլերը միացնում է կոնկրետ «sandbox»-ի՝ գործիքների, վիճակի, քաղաքականությունների և ստուգիչների, մեջ, որպեսզի նույն կառավարման ցիկլը կարողանա ուղղորդվել տարբեր տիրույթների՝ առանց ուսումնական ծրագրի տրամաբանությունը զրոյից վերաշարադրելու։.

Ի՞նչ է EnterpriseOps մարզասրահը այս հետազոտական ​​համատեքստում։

EnterpriseOps Gym-ը մեծածավալ ձեռնարկության գործակալների սեղան է, որն օգտագործվում է որպես սթրեսի թեստավորման հարթակ՝ 8 տիրույթներում փորձագետների կողմից մշակված մոտ 1150 առաջադրանքներով, մոտավորապես 512 գործիքներով, մոտ 164 տվյալների բազայի աղյուսակներով, կոնտեյներացված կատարմամբ, SQL-ի վրա հիմնված արդյունքների ստուգմամբ, քաղաքականության վրա կառավարվող գործողություններով, հիբրիդային սցենարներով և երկար հորիզոնային վիճակային հետագծերով: AutoSynthData-ն չի ներկայացվում որպես այդ մարզասրահի հորինող. մարզասրահը ցույց է տալիս սինթեզի ցիկլը գործողության մեջ:.

Ի՞նչ հեղինակային արդյունքներ են հայտնվում հիբրիդային և ITSM կարգավորումների համար։

EnterpriseOps Gym-ում Hybrid-ը աշխատում է Gemma-4-26B-A4B-it-ի թիրախով և Qwen3.8-27B-ի ուսուցիչով, որը մոտ 18 ժամվա ընթացքում ստեղծել է մոտ 2000 նմուշ, միջին Pass@1-ը աճել է մոտ 7.2 տոկոսային կետով, իսկ ստուգիչի հաջողությունը 63.01%-ից բարձրացել է մինչև 68.55%: ITSM-ը DeepSeek-V4.1-Flash-ի ուսուցիչով մոտ 1994 նմուշների վրա միջին Pass@1-ը տեղափոխել է 18.77%-ից մինչև 27.18%՝ ավելի երկար ժամանակահատվածում: Դրանք դիտարկեք որպես որոշակի զույգերի վրա հետազոտված ազդանշաններ, այլ ոչ թե համընդհանուր արտադրության երաշխիք:.

Ի՞նչ սխալներից պետք է խուսափեն թիմերը սինթեզատորի ձախողումներից առաջացող ցիկլերն օգտագործելիս։

Մի՛ վերաբերվեք սինթետիկ տվյալներին որպես անվճար ճշմարտություն կամ մի՛ բաց թողեք մարդկային վերանայումը և բացասական ստուգումը: Խուսափեք գեներատորին բնօրինակ տոմսերի ID-ների կամ ուսուցիչների հետքերի մուտքագրումից, բազմապատկված նմուշներին հետագա փուլերի համար ներգրավելու թույլտվությունից կամ Gym Pass@1-ում ինքնուրույն գովազդից, քանի դեռ հետաձգող կամ ստվերային երթևեկությունը վատանում է: Նաև ուշադրություն դարձրեք հաջողության գոտուց ցածր թույլ ուսուցիչներին, պետական ​​ստուգումների փոխարեն անորոշ զրուցարանային ռուբրիկաներին, թերուսուցանված մերժման դեպքերին և մակերեսային փորձից հետո անձնական տվյալների փախուստին:.

Հղումներ

1. Գրկախառնվող դեմք — AutoSynthData — huggingface.co
2. EnterpriseOps մարզասրահ — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com