Pozor na medzeru: vznikajúce klinické riziko na rozhraní dvoch individuálne bezpečných AI systémov v multilingválnom ambient skriptore

Štúdia skúmala klinické riziko v poznámkach vytváraných multilingválnym AI skriptorem, ktorý kombinuje rozpoznávanie reči a generovanie textu. Výskum zahŕňal 77 jazykov a päť úrovní zložitosti od jednoduchých ambulantných konzultácií až po komplexné multidisciplinárne porady. Keď sa testovala iba generácia poznámok z presných textov, chybovosť bola nízka (3,4% závažných chýb). Avšak keď sa testoval celý systém vrátane rozpoznávania reči, chybovosť výrazne vzrástla, najmä pri zložitejších prípadoch (až 24%) a v jazykoch s menej dostupnými údajmi (až 15%). Väčšina chýb (87%) pochádzala z rozpoznávania reči, nie z generovania poznámok. Výskum ukázal, že jednotlivé komponenty systému môžu byť bezpečné, ale ich kombinácia vytvárajú nové rizika, ktoré nie sú viditeľné pri testovaní komponentov oddelene.