Kontinuálna tokenizácia hodnôt zlepšuje medicínske modely založené na udalostiach

Výskumný tím trénoval transformerové modely s 47 miliónmi parametrov na údajoch z databázy MIMIC-IV obsahujúcej informácie od 364 627 pacientov a 375 miliónov pozorovaní. Porovnávali tri spôsoby tokenizácie číselných hodnôt ako výsledky laboratórnych testov, vitálne funkcie a časové intervaly: diskrétnu (rozdelenie do kategórií), kontinuálnu faktorizovanú a kontinuálnu fúzovanú. Kontinuálna fúzovaná tokenizácia znížila dĺžku sekvencie o 34 percent a zlepšila presnosť predpovedania číselných hodnôt o 30,25 percenta. Pri predpovedaní kódov ICD bola kontinuálna fúzovaná tokenizácia lepšia (AU-PRC 0,457 oproti 0,446), zatiaľ čo pri predpovedaní DRG a určovaní dispozície na pohotovosti boli všetky metódy porovnateľné. Kontinuálna tokenizácia hodnôt prináša výrazné zisky v efektivite a presnosti bez potreby zmien v štandardnej architektúre transformera.