Klinické hodnocení softwaru jako zdravotnického prostředku (SaMD) podle EU MDR

Klinické hodnocení softwarových prostředků se řídí stejným rámcem článku 61 a přílohy XIV jako jakýkoli jiný zdravotnický prostředek — v praxi ale softwarové týmy narážejí na jiné problémy. Výzvou není rámec sám o sobě; je to to, že klinické důkazy pro software vypadají jinak než pro hardware, a týmy, které na software aplikují konvence CER pro hardware, často produkují dokumentaci, která při přezkoumání neobstojí.

Co se počítá jako klinický důkaz pro software

Pro většinu hardwarových prostředků pocházejí hlavní klinické důkazy z klinických hodnocení nebo literatury o dané technologii. Pro software, zejména diagnostický nebo rozhodovací, je situace jiná:

Studie validace algoritmů — pro software na bázi AI a diagnostický software jsou primárním klinickým důkazem často prospektivní nebo retrospektivní validační studie prokazující, že algoritmus funguje tak, jak deklaruje, na reprezentativní pacientské populaci. To není totéž jako technické testování. Validační studie musí použít klinicky smysluplné ukazatele — senzitivitu, specificitu, NPV, PPV, AUC — ne jen metriky technické přesnosti.

Data z klinických hodnocení — SaMD s vyšším rizikem (zejména třída IIb a III) může potřebovat prospektivní klinická hodnocení podle přílohy XV, prokazující reálný klinický dopad, ne jen výkon algoritmu na testovacích sadách.

Publikovaná literatura — pro zavedené softwarové technologie může být dostupná literatura. Výzvou je zajistit, aby literatura pokrývala vaši konkrétní verzi algoritmu, trénovací data, zamýšlené použití a cílovou populaci. Obecná literatura o „AI v radiologii" nenahrazuje důkazy o vašem konkrétním produktu.

MDCG 2020-1 a co mění

MDCG 2020-1 (klinické hodnocení softwaru jako zdravotnického prostředku) je pokynný dokument, který definuje, jak vypadá důkladné klinické hodnocení softwaru. Klíčové věci, které stanovuje:

Klinické hodnocení musí pokrývat klinický výkon softwaru — produkuje zamýšlené klinické výstupy přesně a spolehlivě pro zamýšlenou populaci? — a jeho klinickou asociaci — existují důkazy, že klinické výstupy jsou smysluplně spojeny s klinickým přínosem nebo výsledkem? Pro diagnostický software klinická asociace znamená prokázat, že informace, které poskytuje, jsou klinicky platné a použitelné v praxi, ne jen statisticky korelované.

MDCG 2020-1 také řeší rozdíl mezi analytickou validací (měří software to, co tvrdí, že měří?) a klinickou validací (přináší používání softwaru klinický přínos?). Obě jsou povinné. Týmy, které produkují pouze technickou validaci — prokazující dobrý výkon algoritmu na holdout testovací sadě — bez prokázání klinického přínosu, mají neúplné hodnocení.

Problém správy verzí

Software se aktualizuje častěji než hardware a každá aktualizace potenciálně mění základ klinických důkazů. Jedna věc, která SaMD týmy překvapí, je že významné změny softwaru mohou spustit požadavek na aktualizaci klinického hodnocení — a v některých případech na generování nových klinických důkazů.

MDCG 2020-1 i MDCG 2020-3 pojednávají o tom, co představuje významnou změnu softwaru. Změna zlepšující výkon algoritmu je významná. Změna měnící zamýšlenou populaci je významná. Změna uživatelského rozhraní ovlivňující způsob, jakým kliničtí pracovníci interagují s výstupy, může být významná. Pokud váš tým považuje klinické hodnocení softwaru za jednorázové cvičení, a ne za dokument, který se vyvíjí s verzí softwaru, toto se projeví při příštím auditu oznámeného subjektu.

Praktický důsledek: váš plán klinického hodnocení by měl předem definovat, jaké typy změn spouštějí aktualizaci CER. Zabudujte to do svého procesu správy změn softwaru. Bez toho bude váš klinický tým vždy dohánět tým vývojářů.

Kde se analýza přínosu a rizika komplikuje

Pro SaMD musí analýza přínosu a rizika zapojit konkrétní klinický kontext použití. Zde jsou mnohé CER pro software tenké. Analýza přínosu a rizika říkající „software pomáhá klinickým pracovníkům diagnostikovat stav X, čímž zlepšuje výsledky pacientů" bez podkladových dat o rozsahu a frekvenci tohoto přínosu — a bez řešení rizika falešně pozitivních nebo negativních výsledků v klinickém pracovním postupu — nesplní požadavek MDR.

Pro diagnostický software jsou nejdůležitější rizika, která je třeba řešit: chyby algoritmu v pacientské populaci (falešně pozitivní výsledky vedoucí k zbytečné léčbě, falešně negativní výsledky vedoucí k přehlédnuté diagnóze) a dopad těchto chyb v klinickém kontextu. Falešně negativní výsledek z třídícího nástroje má jiné důsledky než falešně negativní výsledek z nástroje pro potvrzení diagnózy, i když je přesnost algoritmu stejná.

Jak vypadá solidní CER pro SaMD

Dobře strukturovaná CER pro SaMD řeší: zamýšlený účel a klinický kontext přesně (kdo je uživatel, jaké rozhodnutí výstup podporuje, kde v klinické cestě prostředek stojí); data validace algoritmu s klinicky relevantními ukazateli na reprezentativní populaci; důkazy klinického přínosu propojující výstup softwaru s výsledky na úrovni pacienta; a analýzu přínosu a rizika, která konkrétně řeší způsoby chyb algoritmu v klinickém kontextu.

Pokud váš SaMD používá AI/ML, CER by měla také řešit, jak byl výkon algoritmu validován napříč demografickými podskupinami. Oznámené subjekty se na to stále více ptají, zejména u diagnostického softwaru, kde jsou výkonnostní rozdíly napříč pohlavím, věkem nebo etnicitou v oboru známým problémem.