In de module “Validatie, verificatie of wijziging van onderzoeksprocedures” is de werkwijze bij en het verschil tussen verificatie en validatie uitgelegd. Feitelijk komt het erop neer dat voor ingebruikname van een test in het eigen laboratorium nagegaan wordt of die voldoet aan het gestelde doel. Daarbij spelen prestatiekarakteristieken (zowel analytisch als klinisch) en acceptatiecriteria een belangrijke rol. Verder moet vastgelegd worden welke prestatiekarakteristieken relevant zijn voor het beoogde doel en of dit zowel bij verificatie als ook validatie geldt.

Prestatiekarakteristieken zijn vaststaande kwaliteitskenmerken van een onderzoeksprocedure waaraan, na beargumentering en afhankelijk van de beoogde toepassing, acceptatiecriteria kunnen worden toegekend, die vervolgens getoetst worden door middel van een verificatie of validatie. Een prestatiekarakteristiek omvat zowel de grootheid als de uitkomst.

Acceptatiecriteria zijn specifieke eisen die gesteld worden aan de prestatiekarakteristieken, afhankelijk van de beoogde toepassing van die onderzoeksprocedure. Acceptatiecriteria, in ISO 15189 prestatiespecificaties genoemd, worden doorgaans in een kwantitatieve maat uitgedrukt.

Prestatiekarakteristieken

ISO15189:2012 noemt op meerdere plaatsen eisen c.q. suggesties, die als prestatiekarakteristieken gezien moeten worden. Het duidelijkste is in 5.5.1 Selectie, verificatie en validatie van onderzoeksprocessen, met name paragraaf 5.5.1.2 en 5.5.1.3.

Als mogelijk relevante prestatiekarakteristiek voor validatie worden in paragraaf 5.5.1.3 van de norm voorgesteld (als opmerking): juistheid, accuraatheid, precisie met inbegrip van herhaalbaarheid en intermediate precisie en meetonzekerheid, analytische specificiteit, met inbegrip van interfererende substanties, analytische sensitiviteit, detectielimiet en kwantificatielimiet, meetinterval, diagnostische specificiteit en diagnostische sensitiviteit van de meting.

In de IVD Directive 98 staat in bijlage 1.B onder lid 8.7.h vermeldt dat de fabrikant in de bijsluiter opgave moet doen van ‘de specifieke kenmerken inzake de analytische prestaties (bijvoorbeeld gevoeligheid, specificiteit, nauwkeurigheid, herhaalbaarheid, reproduceerbaarheid, detectiedrempels en meetgebied, met inbegrip van de nodige gegevens voor de bescherming van de bekende relevante interferenties), de beperkingen van de methode en de gegevens betreffende de toepassing van de referentiemeetprocedures en -materialen die de gebruiker ter beschikking staan’. Anno 2019 is het verstandig om vooruit te kijken naar de eisen, genoemd in de Regulation (EU) 2017/745, zie het inleidend hoofdstuk. Deze eisen zijn grotendeels vergelijkbaar met die van 1998, maar dwingender voorgeschreven en met meer aandacht voor de stabiliteit van monster en reagentia, en voor de klinische prestaties.

Prestatiekarakteristieken in de IVDR

Validatie en verificatie wordt vooral beschreven in Bijlage I van de IVDR. Hulpmiddelen worden ontworpen en vervaardigd op een manier die hen geschikt maakt voor klinische toepassing, zoals gespecificeerd door de fabrikant, en in het licht van de algemeen erkende state-of-the-art. Het gaat hierbij om de volgende prestatie karakteristieken:

a) Analytisch, zoals analytische sensitiviteit, analytische specificiteit, juistheid (bias), precisie (herhaalbaarheid en reproduceerbaarheid), accuraatheid (voortvloeiend uit juistheid en precisie), detectielimiet en kwantificatielimiet, meetgebied, lineariteit, cut-off. Hierbij worden ook pre-analytische factoren genoemd (adequate criteria voor het nemen en behandelen van monsters) en de controle van bekende relevante endogene en exogene interferenties, kruisreacties;

b) Klinisch, zoals diagnostische sensitiviteit, diagnostische specificiteit, positieve voorspellende waarde, negatieve voorspellende waarde, likelihood ratio, verwachte waarden bij normale en pathologische populaties. Hoe de prestatiekarakteristieken en genoemde state-of-the-art worden vastgesteld is nog onduidelijk (zie kennislacunes, hyperlink toevoegen).

Als mogelijk relevante prestatiekarakteristieken voor verificatie wordt in de norm geen specificatie gegeven; letterlijk staat er ‘De prestatieclaims voor de onderzoeksprocedure die tijdens het verificatieproces worden bevestigd moeten relevant zijn voor het beoogde gebruik van de onderzoeksresultaten.’ Aanvullend staan in ISO15189:2012 de volgende voor verificatie en validatie relevante eisen, die samenhangen met prestatiekarakteristieken en acceptatiecriteria: metrologische traceerbaarheid (5.3.1.4); meetonzekerheid (5.5.1.4); voorbehandeling, opslag en stabiliteit van monsters (5.4.7); referentie intervallen en beslissingswaarden (5.5.2).

De IVDR stelt, dat voor zover mogelijk richtlijnen ten behoeve van in-vitrodiagnostiek op internationaal niveau worden opgesteld. Hieronder kunnen ook de minimale prestatiekarakteristieken worden verstaan. Het Internationaal Forum voor regelgevers op het gebied van medische hulpmiddelen (International Medical Device Regulators Forum — IMDRF) is daarin actief (zie IVDR, Overweging 5). Binnen de EU is de Commissie bevoegd om gemeenschappelijke technische specificaties (GS) voor in-vitrodiagnostiek vast te stellen.

Uit deze aanvullende eisen volgen nieuwe prestatiekarakteristieken omtrent stabiliteitsonderzoek bij de in het laboratorium gebruikelijke condities van opslag (ook vriezen-dooien), transport en behandeling van monsters, kalibratoren en reagentia. Verder is relevant dat in de USA volgens CLIA Brochure 2 (2004) vereist is, dat bij verificatie minimaal accuracy, precision, reportable range en reference range onderzocht worden.

In de norm wordt niet specifiek genoemd of verplicht welke prestatiekarakteristieken in aanmerking komen voor verificatie of validatie. Daarmee blijft er ruimte over voor de eigen professionele verantwoordelijkheid. Door verschillende beroepsverenigingen zijn aanwijzingen of richtlijnen gegeven (Brit.Columbia 2018, Nederland-NVKC 2016, WHO 2016, Frankrijk-Vassault 1999, Czech Board-Friedecky 2004), evenzo zijn door individuele wetenschappers praktische voorstellen gedaan voor te onderzoeken prestatiekarakteristieken in het kader van validatie of verificatie (Antonelli 2016, Antonelli 2018, Stöckl 2008, Theodorsson 2017).

Niet alleen zijn suggesties gedaan voor de specifieke prestatiekarakteristieken die minimaal getoetst zouden moeten worden, ook voor de uitvoering van die toetsing zijn soms gedetailleerde voorstellen of instructies gegeven. Als voorbeeld de bepaling van de precisie: hierbij kunnen niet alleen verschillende vormen van precisie onderscheiden worden zoals herhaalbaarheid (binnen-run), intermediate precision en reproduceerbaarheid tussen laboratoria, maar ook de wijze van toetsen is variabel. De toetsing moet statistisch goed onderbouwd zijn en uitvoerbaar binnen een ‘gewoon’ medisch laboratorium. Voor zeer dure analyse methoden, instabiele monsters (lees measurands) of bepalingen die samenhangen met een zeer zeldzame ziekte (en daarmee moeilijk verkrijgbaar materiaal) kan een standaard procedure onhaalbaar zijn. De omvang van de steekproef is medebepalend voor de bewijskracht (power) voor het vaststellen van de precisie van metingen, en van een eventuele afwijking van een vastgestelde limietwaarde. De steekproefgrootte is ook van belang bij het bepalen of controleren van referentie intervallen. Het moet opgemerkt dat algemeen geaccepteerd wordt, dat de steekproefgrootte voor verificatiestudies beperkter is dan voor validatiestudies. Daarmee is de power, ofwel de bewijskracht van de studieopzet om aan te tonen dat een meetmethode significant afwijkt van de gestelde norm, bij verificatie lager dan bij validatie³. Verificatie is van toepassing op bepalingen die algemeen verkrijgbaar zijn en in andere laboratoria worden toegepast. Men neemt impliciet aan, dat een methode die algemeen wordt toegepast, aan een minder grondige toetsing onderworpen hoeft te worden dan een test bij validatie. Een algemeen toegepaste test is sprake is van een herhaalde toetsing door verificatie door meerdere gebruikers, terwijl dat bij validatie veel minder het geval is.

Voor de toetsing van prestatiekarakteristieken wordt in de praktijk vaak gebruik gemaakt van gedetailleerd uitgewerkte statistische modellen als de Amerikaanse CLSI-EP protocollen. Maar de professioneel verantwoordelijke kan ook gebruik maken van protocollen zoals gesuggereerd door Stöckl 2008 of Theodorsson 2012.

Acceptatiecriteria

Als eenmaal de keuze van de set benodigde prestatiekarakteristieken gemaakt is en deze samen met wijze waarop die getoetst worden is vastgelegd in een validatie- of verificatieplan, moet als laatste besloten worden wat de grenswaarden of criteria zijn voor acceptatie van een onderzoeksprocedure. Hier zijn geen eenduidige adviezen te geven behalve dat bij verificatie de door de leverancier gegeven specificaties en acceptatiecriteria minimaal gehaald moeten worden in het eigen laboratorium. In de medische toepassingen kunnen echter strengere acceptatiecriteria noodzakelijk zijn dan die door de leverancier zijn gedefinieerd. Het is mogelijk dat de voor het beoogde doel noodzakelijk geachte eigen acceptatiecriteria niet gehaald worden bij de verificatie, zodat aanvullend onderzoek nodig is.

Bij het vaststellen van eigen acceptatiecriteria wordt aanbevolen om gebruik te maken van de zogenaamde Milaan criteria (Sandberg 2015) voor analytical performance specifications. Hierbij worden drie modellen gepresenteerd, de hoogste waarde wordt toegekend aan outcome, het effect van de analytical performance op de klinische uitkomst dan wel klinische classificatie of beslisgrenzen. De acceptatiecriteria moeten zodanig zijn dat de meetonzekerheid geen significant effect heeft op de interpretatie van de uitkomst. Dit model is slechts voor een beperkt aantal testen toepasbaar, aangezien er sprake moet zijn van duidelijke beslisgrenzen c.q. afkappunten. Het meest gebruikte model gaat uit van de biologische variatie: geschat wordt op basis van de analytische fout en de biologische variatie wat de maximale fout (total allowable error) is welke niet zal leiden tot een foutieve medische beslissing (EFLM Biological Variation Database). In de gevallen waar dit niet kan geldt state-of-the-art d.w.z. de meetfout in eigen laboratorium voor deze methode is conform de standaard en mogelijkheden van deze tijd.

Bij een verificatie wordt voortgeborduurd op de gegevens van de fabrikant van een CE erkende kit, of van de gegevens van een peer-reviewed artikel. In feite gaat het bij verificatie om het aantonen of bevestigen dat een test een bepaalde analyt op de juiste manier kan detecteren of meten.

Bij een validatie van een eigen methode moeten alle mogelijk relevante prestatiekarakteristieken bezien worden en getoetst tegen vooraf vastgelegde acceptatiecriteria. Hierbij gaat het niet meer alleen om de groep prestatiekarakteristieken die de analytische prestaties van de methode karakteriseren, maar ook om de klinische prestaties. Dat wil zeggen de eigenschap van een IVD om resultaten te genereren die op een juiste manier correleren met een bepaalde klinische toestand van de patiënt (Grifa 2018).

Bij de verificatie mag er van uitgegaan worden dat de fabrikant conform geldende richtlijnen deze klinische prestaties heeft geëvalueerd en vastgelegd in de bijsluiter.

³ Voor verificatie van testen wordt vaak het EP15 protocol van de CLSI toegepast. Dit protocol beschrijft een verkorte testprocedure t.o.v. het validatieprotocol. Algemeen gaat men ervan uit, dat het verificatieprotocol beperkter van opzet kan zijn dan een validatieprotocol. Bij verificatie wordt een controle uitgevoerd, of een test voldoet aan een door de leverancier opgegeven prestatiekarakteristiek. Bij validatie wordt een controle uitgevoerd of een test voldoet aan een bepaalde, van tevoren vastgestelde klinische kwaliteitsnorm. Hoewel beide procedures in statistische zin niet verschillen – in beide gevallen wordt getoetst of de gevonden resultaten significant afwijken van een bepaalde waarde – wordt algemeen geaccepteerd dat men bij verificatie minder testresultaten nodig heeft dan bij validatie. Impliciet gaat men ervan uit dat een product dat op de markt is en in andere laboratoria in gebruik, slechts een geringe kans heeft om minder van kwaliteit te zijn dan geclaimd door de leverancier.

In het EP15 protocol (versie A3) wordt een verificatieprotocol voor precisie voorgesteld van 5 dagen/5 monsters per dag (25 bepalingen per concentratieniveau), terwijl het validatieprotocol EP5 uitgaat van een standaardprotocol van 20 dagen/2x2 monsters per dag (totaal 80 bepalingen). De beperkte proefopzet bij verificatie staat gelijk aan een hogere kans om een test onterecht goed te keuren (een hogere bèta-fout), ofwel een lagere bewijskracht (power) om een afwijking vast te stellen.

Men moet zich realiseren dat het genoemde verificatieprotocol volgens EP15 (met twee concentratieniveaus) niet bijzonder krachtig is om een verschil in precisie aan te tonen tussen gemeten en door de leverancier geclaimde waarde. Een significant verschil wordt bereikt bij een imprecisie die 25% hoger ligt dan die door de leverancier aangegeven. Er is op dat niveau een waarschijnlijkheid om dit verschil met dit experiment aan te tonen van 45%. Een power van 80% wordt pas bereikt bij een imprecisie die 46,8% hoger ligt dan aangegeven. In vergelijking kan met het genoemde validatieprotocol een hogere imprecisie van 25% met een power van 80% aantonen.

Deze waarden gelden voor de binnen-dag spreiding (zgn. repeatability). Voor de tussen-run (dag tot dag) spreiding heeft dit protocol een zeer veel lagere power, omdat er feitelijk maar 5 waarnemingen (daggemiddelden) zijn waarmee de significantie wordt berekend. Elders werd ook gewezen op het verschil van bewijskracht van het EP15 verificatieprotocol wat betreft binnen-dag en tussen-dag variatie (Stöckl 2009). Het protocol bereikt een significant verschil bij een tussen-run spreiding die 54% hoger ligt als aangegeven, en een power van 80% wordt pas bereikt bij een spreiding die bijna 2,4 maal hoger ligt dan aangegeven door de leverancier. In plaats van het 5x5 protocol is bijvoorbeeld een 20x2 (20 dagen, 2 herhalingen) protocol beter in balans wat betreft de power met betrekking tot de binnen-dag en tussen-dag spreidingen.