Կազինոյի վարկանիշը մասնագետների ընդհանուր գնահատմամբ
1) Ինչու՞ պետք է «փորձագիտական» վարկանիշ
Օգտագործողի ձայները օգտակար են, բայց ենթակա են թեքման և էմոցիաների։ Մասնագետները մասնագիտական չափանիշներից ֆիլտրն են 'լիցենզիաներ և համադրություններ, վճարումներ, խաղերի ազնիվ, տեղեկատվական հոսքի որակը, աջակցությունը, RG գործիքները, UX-ը և հեղինակությունը։ Ընդհանուր գնահատականը թույլ է տալիս
Տարբեր կարծիքներ համեմատել մեկ թվային մետրում։- Հաշվի առնել փորձագետի իրավասությունը համապատասխան չափանիշներում։
- Ապահովել կրկնապատկումը և ինտեգրումը։
2) Մասնագետների վահանակ 'ինչպես ձևավորել
Ընտրության չափանիշները 'աշխատանքային 3 տարիների փորձը (կարգավորող, վճարումներ, տեղեկատվական տեխնոլոգիաներ, sapport, RG/complaens), շահերի բախման բացակայությունը։
Քվոտաներ ՝ առնվազն 7-12 մասնագետներ, որոնք ծածկում են տարբեր օրինագծեր (l.ru/compliance, payments, 71-ops, UX/A11y, 108)։
Իսպանիա: NDA + փոխկապակցվածության հռչակագիր; հետաքրքրությունների բախման մասնագետները գնահատում են ամեն ինչ, բացի կապված բրենդներից։
Կալիբրատիկա '3-5 ստանդարտ կետերի միասին' սանդղակը հավասարեցնելու համար։
3) Ռուբրիկատորը և քաշը (ռուսական մոդելի օրինակը)
Քաշների գումարը = 1։ 00.
4) Գնահատանքի և փորձագետի ձևի մասշտաբը
Յուրաքանչյուր փորձագետ (e) դնում է յուրաքանչյուր չափանիշով (k) միավոր (r _ + e, k = in [0; 100]) հանրային չեկի թերթիկի վրա (նախաճաշը հուշումներով և շեմերով)։
Հուշումների օրինակներ
Վճարումները ՝ p95 ելույթի 2424 ժամ = 90-100; 24-72 ժամ = 70-89;> 7 օր = 0-30։
Live: e2e (95p) ≤ 2. 5 c = 90–100; 2. 6–4. 0 = 70–89; >6. 0 = 0–30.
RG: limits/time-aut/ինքնանպատակ 1-2 tap = 90-100; ինքնավստահություն չկա = -40։
5) Նորմալիզացիան և պայքարը «առատաձեռն/ստրոգիմի» հետ մասնագետների հետ։
1. Փորձագետի ստանդարտացումը (z-գնահատականներ)
[
z_{e,k} = \frac{r_{e,k} - \mu_e}{\sigma_e+\epsilon}
]
որտեղ (mu _ e, psigma _ e) միջին և SKO-ն բոլոր ցուցադրված կետերն են, որոնք ցուցադրվել են փորձագետի կողմից (բոլոր խաղատներում/2019)։
2. Հակադարձ փոխակերպումը [0; 1]:[
s_{e,k} = \Phi(z_{e,k})
]
որտեղ (Phi) ստանդարտ նորմալ CDF է։
- 3. Արտանետումների սահմանափակումը 'www.sorize-ը 5-95 պերցենտիլներում մինչև ստանդարտացումը։
6) Իրավասության և վստահության մասնագետների կշռումը
Փորձագետի վերջնական քաշը (w _ e) խառնուրդ է
Գրագիտությունը չափանիշներում (k): (c _ _ _ e, k: in [0; 1]) (հայտարարվում է և հաստատվում է քեյսին/պորտֆոլիոն)։
Համաձայնության հուսալիությունը, օրինակ, ներդրումը Քրիպենդորֆի/Կոենի կղզիների միջոցով։ ավելի բարձր է, քան քաշը։
Ակտիվություն և ամբողջություն 'բաց թողնելու տուգանք> 10 տոկոսը գնահատականների համար։
Կրիտերիայի համար քաշի բանաձևը (k)[
W_{e,k} = \lambda_1 c_{e,k} + \lambda_2 \underbrace{\text{Reliab}e}{\text{по α/κ}} + \lambda_3 \text{Coverage}e
]
(սովորաբար) lambda _ 1 = 0։ 6,\ \lambda_2=0. 3,\ \lambda_3=0. 1), ապա նորմալացնում ենք (sum _ e W 'e, k = 1)։
7) Ագրեգացիան չափանիշներով և կազինոյի ընդհանուր միավորով
1. Քննադատության բալլները
[
S_{k} = \sum_{e} W_{e,k}, s_{e,k}
]
2. Կազինոյի վերջնական գնահատականը
[
\text{Score} = \sum_{k} \omega_k, S_{k}
]
որտեղ (codomega _ k) - ռուբրիկատորի քաշը։
- 3. Վստահելի ֆորումը (բուտստրապ մասնագետների) '10k p5-p95 Score-ի համար։
8) Ռենջացիա 'կայուն մեթոդներ
Կշռված գումարը (լռելյայն)։ Պարզ, զզվելի։- Բորդի կանոնը (մաքուր աստիճանի համար)։ Մասնագետների դիրքերի ակնոցների գումարը. կայուն է «թեքված» բալլների համար։
- Բայեսյան բաց գնահատական
[
\hat{\theta}i = \frac{\sum_e w_e, r{e,i} + m\mu_0}{\sum_e w_e + m}
]
որտեղ (m) արիորի ուժն է, (mu _ 0) - գլոբալ միջինը։ Օգտակար է գնահատականների տարբեր թվերի համար։
Զույգ համեմատություններ (BTL/Plackett-Luce)։ Եթե մասնագետները ավելի շուտ վիրավորում են, քան միավորներ են դնում։
9) Մինի հաշվարկների օրինակ (3 կազինո 243 քննադատություն 244 փորձագետի)
Թող նորմալացումից և հաշվեկշռից հետո ստացվեն (S _ k)
10) Մասնագետների հուսալիությունն ու համաձայնությունը
Crypendorfa (համընդհանուր ինտերվալային սանդղակների համար): 240։ 8 - հիանալի; 0. 67–0. 8 - ընդունելի; ներքևում 'ռուբրիկ/տրամաչափություն։
Քոեն/Ֆլիսա, եթե սանդղակը դիսկրետ է։- Rater drift: Մենք համեմատում ենք հարցաթերթիկների վաղ/ուշ կեսը։ dreafe - կրկնվող տրամաչափություն, փորձագետի քաշի նվազում։
11) Անտի մանիպուլյացիոն միջոցները
Կույր գնահատական. Մասնագետները չեն տեսնում ուրիշների կետերը և բրենդինգը «112»։
Ռանդոմիզացիան կազինոյի քարտերի մոտ։- Հակամարտությունների վերահսկումը 'մասնագետի բացառումը կապված բրենդներից։
- Աննոմալիա 'Գրաբսի/ESD թեստը յուրաքանչյուր չափանիշով արտանետումների համար։ կտրուկ տարբերություններ են կատարվում ձեռքով հավատալիքների միջոցով։
- Ճիշտ ամսագիրը 'հետֆակտումի ցանկացած փոփոխություն գրանցվում է changelog-ում։
12) Հրապարակման թափանցիկությունը
Մեթոդաբանություն 'հանրային քաշներ, բանաձևեր, նորարարության ամսաթիվը, վահանակի կազմը (առանց անձնական տվյալների' դերեր/փորձ/թողարկումներ)։
Կազինոյի անձնագրեր. Շրջված քարտերը աղբյուրներ են, կանոնների կանգառներ, RG/limits սքրինկ, որակի փոխաբերություններ։
Սխալներ. Հրապարակեք վստահելի ընդմիջումներ և դրոշը «ոչ-ոքի»։- Օպերատորների բողոքարկումը 'SLA պատասխանը, թույլատրելի փաստաթղթերի ցանկը (լիցենզիա, կարգավորող նամակներ, զեկույցներ)։
13) Թարմացումները և վարկանիշի կյանքը
Պարբերականություն 'հիմնականը ամեն ամիս հատում է։ չնախատեսված է լիցենզիան փոխելիս, կարգավորողի տուգանքները, զանգվածային վճարումները/անվտանգությունը փոխելիս։
Տարբերակումը 'vYYYY։ MM, հանրային diff (որը փոխվել է և ինչու)։- Դեակտիվացիաներ. Խաղատունը հանվում է հրատարակությունից, եթե «suspended» արտոնագիրը մինչև պարզվի։
14) Մոդելի ընդլայնումը (երբ «մեծացել»)
Տարածաշրջանային սաբի վարկանիշները 'իրենց քաշը/նորմերը Ontario, ԵՄ, LatAm և այլն։- Մուլտիկրիտերիալ վերլուծություն (MCDA): TOPSIS/MAUT որպես պարզ գումարի այլընտրանք։
- Հիբրիդը RUM-ի տվյալների հետ 'որակի ավտոմատ չափումները (e2e/startup/rebuffering) ավելացվում են որպես «փորձագիտական սենսոր»' առանձին քաշով։
- Intainability: Shapley-ը ստանդարտների ներդրումը վերջնական կետում։
15) Հաճախակի սխալներ և ինչպես խուսափել դրանցից
Միգրացիաների խառնուրդը մեկ մասշտաբով։ Արեք տարածաշրջանային տարբերակներ։- Անթափանց քաշը։ Հրապարակեք և փաստարկեք. փոփոխությունները միայն changelog-ի միջոցով են։
- Ցրման անտեսումը։ Գրեք վստահելի ընդմիջումներ, մի թաքցրեք «ոչ-ոքի»։
- Մեկ տիրույթի խաչմերուկը։ Հավասարակշռեք վահանակը և օգտագործեք իրավասու քաշներ։
- Մի մասնագետ «քաշում» է գնահատումը։ Սահմանափակեք մեկ Reiter caps-ի ներդրումը (օրինակ, 25 տոկոսը չափանիշներով)։
16) Չեկ թերթերը
Կազմակերպողների համար
- 7-12 մասնագետների վահանակ, դերեր/թողարկումներ ծածկված են
- Ռուբրիկատորը և քաշը հրապարակվում են
- Տրամաչափություն ստանդարտների վրա; α ≥ 0. 67
- Նորմալացում (z/MAD), www.sorize, արտանետումների դեմ պայքարը։
- Իրավասու քաշը (W _ _ e, k) և ավանդի կապիտալը
- Բուտստրապ և վստահելի ընդմիջումներ
- Չանգելոգը, բողոքարկումները, կազինոյի անձնագրերը
Ընթերցողների համար
- Թարմացման ամսաթիվը և վարկանիշի տարբերակը
- Մեթոդաբանությունը և քաշը հասանելի են
- Տեսանելի են սխալներն ու աղբյուրները
- Ձեր երկրում օրինականության ստուգումը պարտադիր է
17) Կազինոյի հանրային քարտը (խորհուրդ)
Վերջնական գնահատականը + 108 (p5-p95)
Ուժեղ կողմեր ՝ 2-3 բուլլետ (105)
Ռիսկեր/սահմանափակումներ ՝ 2-3 բուլեթ
Դոկ-հիմքը 'լիցենզիա (ստանդարտ, կարգավորիչ), RG գործիքներ, վճարումներ (p95 եզրակացություն), metrics
Փոփոխություններ vYYYY-ի տարբերակի համար։ MM: Ի՞ նչն է բարելավվել/վատթարանում
Ընդհանուր փորձագիտական գնահատումը ընթացակարգ է, ոչ թե «համը»։ Հստակ վահանակը, թափանցիկ քաշը, նորմալացումը, ագրեգացիայի կայուն մեթոդները և սխալների հրապարակումը սուբյեկտիվ կարծիքները վերածում են հուսալի, կրկնվող վարկանիշի։ Այս վարկանիշը օգնում է խաղացողներին ընտրել անվտանգ և գիտակցաբար, իսկ վիրահատներին 'հասկանալ, թե ինչն է բարելավել, որպեսզի ազնվորեն բարձրացնեն իրենց գնահատականը։