Idi na sadržaj
SilkTrain

SilkTrain

Kako provjeravamo trenere umjetne inteligencije

Redoslijed pet provjera, ljudski pregled i probni rad na stvarnim zadacima.

← Blog

Primamo prijave za pilot-projekte. Provjera identiteta, snimanje testova i automatske isplate su u pripremi. Sastav tima i rokove potvrđujemo pojedinačno.

Prvo provjere s manjim troškom

Vlastita izjava o mjestu boravka, provjera IP adrese, uređaja i broja telefona. Napisan na tom jeziku, s vremenskim ograničenjem, sa zadacima o stilu i dijalektu i otkrivanjem lijepljenja teksta. Anotacija, rangiranje za RLHF ili kviz iz struke, s automatskim bodovanjem.

Prva tri koraka počinju besplatnim automatskim testovima. Tier 1 klijentima ne predstavljamo kao spremnost za angažman. Plaćena provjera identiteta slijedi za kandidate koji su pokazali sposobnost.

Posljednje dvije provjere vodi čovjek

Provjera dokumenta i prisutnosti uživo, zatim snimljeni ponovljeni test s novim zadacima. Zadatak od 20 minuta uz snimanje kamere i ekrana, zatim usmeno objašnjenje od 2 minute na tom jeziku, koje ocjenjuje recenzent izvorni govornik.

Snimak sam ne sprečava pomoć s drugog uređaja. Usmeno objašnjenje odluka na vlastitom jeziku omogućava procjenu razmišljanja kandidata.

Probni rad na stvarnom projektu

Tier 2 · spremni za angažman. Probni period: prvih 10 naplaćenih sati na svakom novom projektu dvostruko se provjerava. Tier 3: 200+ naplaćenih sati u upravljanim timovima uz QA ocjenu od 92% ili više.

Jedan rezultat i jasna pravila

QA mjeri tačnost zlatnih zadataka u posljednjih 30 dana. Rezultat ispod 85% dva radna dana zaredom znači pauzu i plaćenu kalibraciju. Ako je nakon dvije sedmice i dalje ispod 85%, nivo se snižava i angažman završava. Automatska oznaka sama nije razlog za zabranu; žalba drugom ocjenjivaču može se podnijeti u roku od 14 dana.