Pilotáž formulára na extrahovanie údajov s doslovnou terminológiou: slepá štúdia zhody medzi recenzentmi pred chirurgickou mapou dôkazov

Štúdia skúmala, či je možné spoľahlivo extrahovať chirurgické termíny z vedeckých článkov pomocou špeciálneho formulára. Dvaja nezávislí recenzenti extrahovovali termíny z 11 článkov v angličtine a francúzštine zameraných na hlbokú endometriózu. Primárnym meradlom bola Jaccardova indexová hodnota, ktorá mala dosiahnuť minimálne 0,70. Výsledky ukázali, že formulár nesplnil stanovený cieľ s priemernou hodnotou 0,581. Z 92 extrahovanych termínov sa zhodlo presne 55, pričom 37 sa nezhodovalo z dôvodov ako pokrytie zdroja, rozsah textu a jazykové pochopenie. Po harmonizácii a revízii formulára sa zhoda zlepšila na 0,913. Štúdia odporúča, aby formuláre na extrahovanie doslovného textu boli testované s mierami prekrytia množín a vopred stanoveným prahom prijateľnosti.