Svarīgākais īsumā
- Human in the Loop (HITL) apzīmē MI sistēmas, kurās cilvēki noteiktos punktos pārbauda, labo un apstiprina rezultātus, pirms tie stājas spēkā.
- Cilvēka apstiprinājums ir nepieciešams visur, kur kļūdas ir dārgas, lēmumi ir jāpamato vai tiem ir juridiskas sekas.
- ES Mākslīgā intelekta akts paredz efektīvu cilvēka pārraudzību augsta riska MI sistēmām. Pēc Digitālā omnibusa šis pienākums III pielikuma sistēmām ir piemērojams no 2027. gada 2. decembra.
- HITL kļūst efektīvs tikai tad, ja ir skaidri apstiprināšanas kritēriji, kompetenti pārbaudītāji, dokumentētas iejaukšanās un datu bāze, kas padara novirzes redzamas.
- Kontrolingā tas nozīmē: MI prognozes ir priekšlikumi, bet atbildība par plānošanu paliek cilvēka ziņā.
Ko nozīmē Human in the Loop?
Definīcija un termina izcelsme
Human in the Loop apzīmē pieeju, kurā cilvēki ir cieši iesaistīti automatizētas vai MI atbalstītas sistēmas darbības procesā. Mākslīgais intelekts sniedz priekšlikumus, klasifikācijas vai prognozes. Cilvēks šos rezultātus pārbauda, labo vai apstiprina.
No šīs iesaistes rodas atgriezeniskās saites cilpa: katrs cilvēka labojums kā ievades dati atgriežas sistēmā un uzlabo ML modeļus visā to dzīves ciklā. Tādējādi HITL nav vienreizēja pārbaude, bet gan ilgstoša cilvēka un mašīnas sadarbība.
Termins sākotnēji radies vadības tehnikā un simulācijās, kur cilvēki kā vadības cilpas daļa, piemēram, vada lidojumu simulatorus. Diskusijā par mākslīgo intelektu tas ieguvis jaunu nozīmi. Mūsdienās tas apzīmē lēmumus, kurus MI sistēmai nevajadzētu pieņemt vienai pašai.
Būtiska ir nošķiršana: Human in the Loop nenozīmē, ka kāds kādā brīdī ātri uzmet aci rezultātam. Ar to saprot noteiktus kontroles punktus ar skaidrām iejaukšanās tiesībām.
Human in the Loop, Human on the Loop un Human out of the Loop
Atkarībā no iesaistes pakāpes izšķir trīs modeļus:
- Human in the Loop: sistēma rīkojas tikai pēc cilvēka apstiprinājuma. Piemērs: MI ierosina kredītlēmumu, bet galīgo lēmumu pieņem kredītspeciālists.
- Human on the Loop: sistēma rīkojas patstāvīgi, bet cilvēks uzrauga darbību un jebkurā brīdī var iejaukties. Piemērs: automatizēta rēķinu pārbaude ar izlases pārbaudēm un apturēšanas funkciju.
- Human out of the Loop: sistēma darbojas pilnīgi autonomi. Cilvēki piedalās tikai projektēšanā un vēlākā izvērtēšanā.
Kurš modelis ir piemērots, nosaka nevis tehnoloģija, bet konkrētā lēmuma risks. Daudzi uzņēmumi modeļus kombinē: ikdienas gadījumi tiek apstrādāti on the Loop režīmā, bet izņēmumi un robežgadījumi in the Loop režīmā.
Termini starptautiskajā diskusijā
Literatūra, standarti un piegādātāju dokumentācija par šo tēmu galvenokārt ir angļu valodā, tāpēc vairāki angļu termini ir ierasti arī biznesa praksē. Human oversight apzīmē vispārēju cilvēka pārraudzību pār AI systems, kā to angļu versijā formulē arī ES MI akts. Human control nozīmē reālu iespēju apturēt vai mainīt operāciju.
Human feedback un human input apzīmē atsauksmes, ar kurām cilvēki apmāca un uzlabo modeļus. Ģeneratīvajā MI plaši pazīstama ir metode reinforcement learning from human feedback. Human interaction raksturo saskarnes dizainu, proti, kā cilvēki strādā ar mašīnām un kāda mijiedarbība procesā ir paredzēta.
Diskusijā par decision making runā arī par lēmumu precizitāti (accuracy) un uzticamību (reliability), par kļūdām un problēmām datu kopās un par lomu, ko uzņemas izstrādātāji un biznesa lietotāji. Tipisks piemērs: izstrādātāji atbild par sistēmas dizainu, bet biznesa lietotāji sniedz zināšanas par konkrēto kontekstu. Šāds darba dalījums ir katras dzīvotspējīgas MI pieejas daļa uzņēmumā.
Kāpēc MI lēmumiem nepieciešams cilvēka apstiprinājums
MI sistēmas daudzos uzdevumos strādā ātrāk un konsekventāk nekā cilvēki. Tomēr ir pieci iemesli, kāpēc kritiskos procesos cilvēka apstiprinājums joprojām ir neaizstājams.
Atbildību nevar deleģēt modelim
Modelis nav atbildīgs. Par lēmumiem attiecībā uz kredītiem, personālu, cenām vai budžetiem atbildīgs paliek uzņēmums un līdz ar to konkrēta persona. Apstiprinājums padara šo atbildību redzamu, pārbaudāmu un dokumentējamu.
Modeļi kļūdās robežgadījumos
ML modeļi mācās no vēsturiskiem datiem. Uz situācijām, kas apmācības datos parādās reti vai vispār neparādās, tie atbild ar tādu pašu šķietamu pārliecību kā uz ikdienas gadījumiem. Šādi robežgadījumi (edge cases) ir, piemēram, tirgus lūzumi, jauni produkti vai neparastas klientu situācijas. Cilvēki pamana trūkstošo kontekstu un var novērtēt, vai rezultāts ir ticams.
Citādi aizspriedumi un melnās kastes efekti paliek nepamanīti
Neobjektīvi dati rada neobjektīvus rezultātus. Bez cilvēka kontroles sistēma šo aizspriedumu (bias) atkārto plašā mērogā. Īpaši sarežģītos modeļos, kuru lēmumu loģika līdzinās melnajai kastei, cilvēka pārbaude bieži ir vienīgais punkts, kurā tiek pamanītas novirzes.
Izsekojamība rada uzticēšanos
Lēmumus, kurus cilvēks ir pārbaudījis un pamatojis, var izskaidrot klientiem, revidentiem un uzraudzības iestādēm. Tas stiprina MI pieņemšanu uzņēmumā, arī paša darbinieku vidū.
Tiesību akti prasa cilvēka pārraudzību
Augsta riska MI sistēmām ES MI akts nosaka obligātu efektīvu cilvēka pārraudzību. Ko tas nozīmē praksē, skaidro sadaļa par ES MI aktu tālāk rakstā.
Uzņēmuma lēmumu pieņemšanas procesiem visi pieci iemesli dod vienu secinājumu: jautājums nav par to, vai cilvēki tiek iesaistīti, bet gan kurā punktā, ar kādiem kritērijiem un ar kādām pilnvarām.
Kā Human in the Loop darbojas MI sistēmu dzīves ciklā?
Rādītāji efektīvai Human in the Loop vadībai
Gadījumu daļa, ko pārbauda cilvēks, nevis apstiprina automātiski.
Pārbaudīto gadījumu daļa, kuros cilvēks maina vai noraida MI priekšlikumu.
Modeļa pārliecības vērtība, zem kuras gadījums obligāti tiek nodots apstiprināšanai.
Apstiprināto rezultātu daļa, kas vēlāk izrādās kļūdaini. Parāda pārbaudes kvalitāti.
Laiks no MI priekšlikuma līdz cilvēka lēmumam. Parāda, vai HITL bremzē procesu.
Human in the Loop tiek piemērots divos posmos: modeļa apmācībā un tā ikdienas darbībā. Abiem posmiem nepieciešamas atšķirīgas zināšanas un atšķirīgas lomas.
Apmācība: anotēšana un cilvēka atgriezeniskā saite
Daudziem mašīnmācīšanās modeļiem ir vajadzīgi dati, kurus cilvēki iepriekš anotējuši, piemēram, kā pareizus vai kļūdainus atzīmēti dokumenti vai klasificēti klientu pieprasījumi. Speciālisti arī pārbauda, vai apmācības dati ir pilnīgi un reprezentatīvi.
Aktīvajā mācīšanās procesā modelis mērķtiecīgi atlasa gadījumus, kuros tas ir visnedrošākais, un nodod cilvēkam tikai tos. Tā ar ierobežotu piepūli tiek panākts liels mācīšanās efekts.
Darbība: validācija, robežgadījumi un atgriezeniskās saites cilpa
Darbības laikā cilvēki pārbauda rezultātus, pirms tie stājas spēkā. Labi sevi ir pierādījis sliekšņa princips: ja modeļa pārliecības līmenis pārsniedz noteiktu vērtību, gadījums turpinās automātiski. Ja tas ir zemāks, gadījums tiek nodots pārbaudei cilvēkam.
Katra iejaukšanās tiek dokumentēta un tiek izmantota nākamajā apmācības kārtā. Šī atgriezeniskās saites cilpa pakāpeniski palielina sistēmas precizitāti un uzticamību. Vienlaikus tā parāda, kur uzkrājas kļūdas un kur jāuzlabo procesi vai datu avoti.
Lai cilpa būtu vadāma, tai ir vajadzīgi rādītāji. Cik bieži pārbaudītāji iejaucas? Cik bieži viņi noraida modeļa ieteikumu? Cik ilgi aizņem apstiprināšana? Tikai šīs vērtības parāda, vai HITL darbojas vai tikai patērē laiku.
HITL priekšrocības un ierobežojumi
Precizitāte, aizspriedumu kontrole un izsekojamība
Human in the Loop apvieno MI ātrumu ar cilvēka spriestspēju. Priekšrocības izpaužas trijās jomās:
- Precizitāte: cilvēka pārbaude notver kļūdas, pirms tām ir sekas, un atgriezeniskā saite pastāvīgi uzlabo modeļus.
- Aizspriedumu kontrole: pārbaudītāji pamana novirzes, kas testa datos nebija redzamas, un var tās novērst.
- Izsekojamība: dokumentēti apstiprinājumi rada pārredzamību un atvieglo ētisku lēmumu pieņemšanu, kā arī atbildību trešajām personām.
Mērogojamība, izmaksas un automatizācijas aizspriedums
HITL ir arī ierobežojumi, kas vadītājiem jāzina. Katra manuāla pārbaude prasa laiku un personālu. Tas, kurš liek apstiprināt katru gadījumu, zaudē automatizācijas efektivitātes ieguvumu.
Turklāt pastāv automatizācijas aizspriedums (automation bias): cilvēkiem ir tendence sekot mašīnas ieteikumiem, īpaši laika spiedienā. Apstiprinājums, kas tiek dots 98 procentos gadījumu, bieži vairs nav īsta pārbaude. Arī cilvēki kļūdās un ne vienmēr spriež konsekventi.
Risinājums ir uz risku balstīts dizains: cilvēka pārbaude tur, kur tā dod rezultātu, automatizācija tur, kur risks ir zems.
Pielietojuma jomas no medicīnas līdz finansēm
| Pielietojuma joma | Cilvēka iejaukšanās punkts | Risks bez apstiprinājuma |
|---|---|---|
| Medicīniskā diagnostika | Ārsts apstiprina vai noraida MI atradi | Kļūdaina diagnoze un atbildības risks |
| Kreditēšana | Kredītspeciālists izlemj par MI priekšlikumu | Kļūdaini lēmumi un diskriminācija, augsta riska MI saskaņā ar MI aktu |
| Krāpšanas atklāšana | Analītiķis pārbauda aizdomīgo gadījumu pirms konta bloķēšanas | Nepamatoti bloķēti klienti un reputācijas kaitējums |
| Klientu apkalpošana | Darbinieki pārbauda MI atbildi pirms nosūtīšanas | Nepareizi solījumi un uzticības zudums |
| Personāla atlase | Atlases speciālisti izdara izvēli pēc MI priekšatlases | Diskriminācija, augsta riska MI saskaņā ar MI aktu |
| Kontrolings un plānošana | Kontrolieris apstiprina MI prognozi | Kļūdaina budžetu un likviditātes vadība |
Human in the Loop ir sastopams visur, kur MI atbalstītiem lēmumiem ir būtiskas sekas. Lietojuma gadījumi atšķiras galvenokārt ar to, kurā punktā iejaucas cilvēks.
Medicīniskajā diagnostikā MI attēldatos iezīmē aizdomīgas atrades, bet diagnozi nosaka ārsts. Finanšu nozarē modeļi ierosina kredītlēmumus vai ziņo par aizdomīgiem darījumiem, bet analītiķi pārbauda gadījumus, pirms tiek bloķēti konti vai noraidīti kredīti.
Autonomajā mobilitātē vadību pārņem cilvēks, ja sistēma nevar droši novērtēt situāciju. Klientu apkalpošanā MI asistenti sagatavo atbilžu projektus, kurus darbinieki pirms nosūtīšanas pārbauda. Personāla vadībā sistēmas iepriekš sašķiro pieteikumus, bet atlasi veic cilvēki.
Visiem piemēriem kopīgs ir viens: modelis paātrina, cilvēks izlemj. Sadarbība ir skaidri sadalīta, un sistēmas uzraudzība nebeidzas līdz ar ieviešanu.
Human in the Loop un ES MI akts
Ko 14. pants prasa attiecībā uz cilvēka pārraudzību
ES Mākslīgā intelekta akts (Regula (ES) 2024/1689) nosaka cilvēka pārraudzību par obligātu augsta riska MI sistēmām. Šā akta 14. pants prasa, lai šādas sistēmas būtu izstrādātas tā, ka fiziskas personas var efektīvi tās pārraudzīt to lietošanas laikā. Mērķis ir novērst vai mazināt riskus veselībai, drošībai un pamattiesībām.
Personām, kas veic pārraudzību, ir jāizprot sistēmas spējas un ierobežojumi, pareizi jāinterpretē tās rezultāti un apzināti jāspēj pieņemt lēmumu pretēji ieteikumam. Tām arī jāspēj sistēmu apturēt vai neņemt vērā tās rezultātu. Regulā skaidri minēts risks pārāk paļauties uz mašīnas rezultātiem.
Augsta riska MI ietver, piemēram, sistēmas nodarbinātības un personāla atlases, kredītspējas novērtēšanas, kritiskās infrastruktūras un izglītības jomā. Uzņēmumiem tas nozīmē: kas izmanto MI šajās jomās, tam ir vajadzīga pierādāma HITL koncepcija.
Jauni termiņi pēc Digitālā omnibusa
Ar Digitālo omnibusu par MI (Regula (ES) 2026/1744) ES ir atlikusi augsta riska pienākumu piemērošanu. Regula tika publicēta Oficiālajā Vēstnesī 2026. gada 24. jūlijā. Patstāvīgām augsta riska sistēmām saskaņā ar III pielikumu pienākumi tagad ir piemērojami no 2027. gada 2. decembra, bet MI regulētos produktos saskaņā ar I pielikumu no 2028. gada 2. augusta.
Atlikšana ir atelpa, nevis trauksmes atsaukšana. Pienākums nodrošināt darbinieku MI pratību saskaņā ar 4. pantu ir spēkā jau kopš 2025. gada februāra. Turklāt efektīvu pārraudzības koncepciju nevar ieviest īsi pirms termiņa beigām, jo tā skar procesus, lomas un datus.
Human in the Loop kontrolingā un uzņēmuma plānošanā
MI prognozes ar apstiprināšanas soli
Kontrolingā MI ienāk galvenokārt ar prognozēm. Prognozējošās analīzes modeļi atpazīst likumsakarības pārdošanas, izmaksu un likviditātes datos ātrāk nekā jebkura manuāla analīze. Tomēr lēmums par prognozi, budžetu vai pasākumu joprojām ir vadības lēmums.
Praktisks HITL modelis prognožu plānošanai izskatās šādi: MI sagatavo priekšlikumu katram plānošanas objektam. Novirzes, kas pārsniedz noteiktu pielaidi salīdzinājumā ar iepriekšējo gadu vai pēdējo plānu, tiek atzīmētas un nodotas atbildīgajam kontrolierim. Viņš apstiprina, koriģē vai noraida priekšlikumu un pamato savu lēmumu sistēmā. Tādējādi katrs plāna skaitlis paliek piesaistīts atbildīgai personai.
Datu bāze un plānošanas arhitektūra kontroles punktiem
Kontroles punkts ir tik labs, cik labi ir dati, uz kuriem tas balstās. Pārbaudītājiem vajadzīgs ne tikai MI rezultāts, bet arī tā izcelsme: virzītājfaktori, salīdzinājuma vērtības, datu avots un datu stāvoklis. Bez šādas pārredzamības apstiprināšana kļūst par formalitāti.
No tā izriet trīs prasības arhitektūrai. Pirmkārt, konsekventa datu bāze ar uzticamu datu kvalitātes pārvaldību, lai novirzes būtu īsti signāli, nevis datu kļūdas. Otrkārt, plānošanas sistēmas, kas revīzijdroši saglabā versijas, komentārus un apstiprinājumus, kā to nodrošina tādi risinājumi kā Corporate Planner. Treškārt, informācijas paneļi, piemēram, Qlik, kas padara redzamus iejaukšanās rādītājus un novirzes.
Tikai tad, kad šie trīs līmeņi darbojas kopā, Human in the Loop no principa kļūst par vadāmu procesu.
Kā pareizi veidot apstiprināšanu: četri principi praksei
MI lēmumu droša vadība
Sistemātiska kontrole: Mēs apvienojam MI atbalstītas prognozes un plānus ar skaidriem apstiprināšanas procesiem, uzticamiem datiem un pārredzamiem informācijas paneļiem Qlik un Corporate Planner.
Vienoties par sarunuKā ieviest HITL tā, lai tas aizsargātu, bet nebremzētu? Praksē sevi ir pierādījuši četri principi.
Noteikt kontroles punktus pirms automatizācijas
Pirms ieviešanas nosakiet, kuriem lēmumiem nepieciešams apstiprinājums un no kāda sliekšņa. Pamats ir riska novērtējums katram procesa solim: cik maksā kļūda, cik ātri to pamana, kuru tā skar?
Padarīt apstiprināšanas kritērijus saprotamus mašīnām un cilvēkiem
Pārbaudītājiem vajadzīgi skaidri kritēriji, nevis intuitīvi lēmumi. Sistēmai pie katra priekšlikuma jāparāda, kāpēc tā nonākusi pie šāda rezultāta un cik pārliecināta tā ir.
Iedzīvināt atgriezeniskās saites cilpas kā rutīnu
Labojumi ir strukturēti jāreģistrē un regulāri jāizvērtē. Tikai tā modelis mācās, un tikai tā organizācija saprot, kur jāuzlabo procesi vai dati.
Skaidri noteikt atbildību un iejaukšanās tiesības
Nosakiet, kurš drīkst apstiprināt, kurš eskalē un kurš var apturēt sistēmu. Pārbaudītājiem vajadzīgs laiks, apmācība un skaidrs atbalsts, lai viņi varētu iebilst modelim. Pārbaudītājs, kurš laika spiedienā tikai apstiprina, ir šķietama kontrole.
Biežāk uzdotie jautājumi par Human in the Loop
Kas ir Human in the Loop koncepcija?
Human in the Loop ir koncepcija, kurā cilvēki noteiktos punktos validē, labo vai apstiprina MI rezultātus. Cilvēka atgriezeniskā saite atgriežas sistēmā un nepārtraukti uzlabo modeļus.
Kāda ir atšķirība starp Human in the Loop un Human on the Loop?
Human in the Loop gadījumā sistēma rīkojas tikai pēc cilvēka apstiprinājuma. Human on the Loop gadījumā tā rīkojas patstāvīgi, bet cilvēks uzrauga darbību un vajadzības gadījumā iejaucas.
Vai HITL uzlabo ML sistēmu precizitāti?
Jā. Cilvēka pārbaude notver kļūdas darbības laikā, un dokumentētie labojumi kalpo kā papildu apmācības dati. Tādējādi modeļu precizitāte un pielāgošanās spēja laika gaitā palielinās.
Kāda ir cilvēku loma MI modeļu apmācībā?
Cilvēki anotē apmācības datus, pārbauda to pilnīgumu un novirzes un vērtē modeļu rezultātus. Ģeneratīvajā MI šādi vērtējumi caur cilvēka atgriezenisko saiti tieši nonāk apmācībā.
Vai ChatGPT ir Human in the Loop?
Apmācībā jā: tādi valodas modeļi kā ChatGPT cita starpā tika pilnveidoti ar metodi reinforcement learning from human feedback, kurā cilvēki vērtē atbildes. Lietošanā Human in the Loop process rodas tikai tad, ja lietotāji pārbauda rezultātus, pirms tos izmanto.
Vai aģentu MI ir Human in the Loop?
Ne automātiski. MI aģenti patstāvīgi izpilda uzdevumus vairākos soļos. Vai cilvēks ir iesaistīts, ir atkarīgs no konfigurācijas. Kritiskām darbībām, piemēram, maksājumiem, līgumu izmaiņām vai saziņai ar klientiem, apstiprināšanas soļiem jābūt iebūvētiem pastāvīgi.
Kur Human in the Loop izmanto praksē?
Tipiskas pielietojuma jomas ir medicīniskā diagnostika, kredītlēmumi un krāpšanas atklāšana finanšu nozarē, autonomā mobilitāte, klientu apkalpošana un personāla atlase. Kontrolingā tas galvenokārt attiecas uz MI atbalstītām prognozēm un plāniem.
Vai HITL atbilst ES MI akta prasībām?
Labi izstrādāta HITL koncepcija ir galvenais elements, lai izpildītu 14. panta prasību par cilvēka pārraudzību. Tomēr tai jābūt efektīvai: iesaistītajām personām vajadzīga kompetence, informācija un pilnvaras apturēt sistēmu.
Vai Human in the Loop palēnina MI procesus?
Tikai tur, kur tiek pārbaudīts katrs gadījums. Ar uz risku balstītiem sliekšņiem ikdienas gadījumi tiek apstrādāti automātiski, un apstiprināšanai tiek nodoti tikai nedroši vai ietekmīgi gadījumi. Tādējādi efektivitātes ieguvums lielākoties saglabājas.
Kā novērst šķietamu kontroli?
Ar izmērāmiem rādītājiem, piemēram, iejaukšanās un noraidījumu īpatsvaru, ar pietiekamu laiku pārbaudēm un ar apmācību. Ja apstiprinājumu īpatsvars ilgstoši ir tuvu 100 procentiem, ir jāpārskata kritēriji un pārbaudītāju darba apstākļi.
