Diagnostische strategie bij kinderen met acute appendictis
Uitgangsvraag
Wat is de optimale diagnostische strategie bij kinderen met verdenking op acute appendicitis?
Aanbeveling
Aanbeveling 1
Verricht echografie bij ieder kind met verdenking op acute appendicitis.
Aanbeveling 2
Verricht een MRI bij een inconclusieve echografie en een hoge klinische verdenking op acute appendicitis zonder eenduidige alternatieve diagnose.
Overweeg een herbeoordeling met eventueel herhalen van de echografie wanneer klachten persisteren of verergeren bij:
- een negatieve echografie zonder eenduidige alternatieve diagnose of;
- een inconclusieve echografie met een lage(re) klinische verdenking op acute appendicitis.
Verricht bij voorkeur geen CT scan bij kinderen met verdenking op acute appendicitis.
Aanbeveling 3
Verricht een diagnostische laparoscopie bij een inconclusieve MRI en een hoge klinische verdenking op acute appendicitis of wanneer een MRI zonder narcose niet mogelijk is, eventueel na overleg met een kinderchirurgisch centrum.
Overleg met een kinderchirurgisch centrum bij een inconclusieve echografie en een hoge klinische verdenking op acute appendicitis wanneer een MRI logistiek niet mogelijk is.
Zie ook het Stroomschema ‘Diagnostiek bij kinderen’ bij de aanverwante producten onder 'toepassen'.
Overwegingen
Voor- en nadelen van de interventie en de kwaliteit van het bewijs
Beeldvorming:
De werkgroep is van mening dat de diagnostische accuratesse van anamnese, lichamelijk onderzoek en laboratorium onderzoek onvoldoende is om de definitieve diagnose acute appendicitis vast te stellen. Aanvullend beeldvormend onderzoek is daarom geïndiceerd voor het stellen van de definitieve diagnose. De accuratesse van beeldvormend onderzoek gaat omhoog naarmate de vooraf kans hoger wordt. Een goede voorselectie op basis van anamnese, lichamelijk onderzoek en laboratorium onderzoek verhoogd de accuratesse van beeldvorming is daarom essentieel.
Het gebruik van beeldvorming bij iedere patiënt met verdenking op een appendicitis zorgt voor lagere kosten per patiënt, minder complicaties en minder negatieve appendectomieën (Lahaye, 2015). Bij kinderen lijkt de diagnostische accuratesse van echografie hoger dan bij volwassenen en is er geen verschil aantoonbaar tussen echografie, CT of MRI.
Herbeoordeling:
Onur (2008) vergeleek in een RCT onder patiënten met acute buikpijn, die na beoordeling op de spoedeisende hulp een niet-definitieve diagnose hebben gekregen, of er een verschil is in morbiditeit tussen opname ter observatie (n=50) en herbeoordeling de volgende drie dagen met een tijdsinterval van 8 tot 12 uur (n=55). De totale morbiditeit was 10% in de opname groep en 7,2% in de herbeoordeling groep.
Toorenvliet (2010) keek in een prospectieve studie onder 500 patiënten met acute buikpijn, die na beoordeling op de spoedeisende hulp niet werden opgenomen en binnen 24 uur werden her beoordeeld. Zes patiënten (1,2%) kregen bij herbeoordeling een diagnose, waarvan je zou willen dat deze bij initiële beoordeling zou zijn gesteld. Drie van deze patiënten hadden een geperforeerde acute appendicitis. De zes patiënten werden geopereerd en na herstel van de operatie uit het ziekenhuis ontslagen zonder complicaties.
De studie van Toorenvliet (2010) was opgezet als een prospectieve studie waarbij het dagelijkse management niet werd beïnvloed door de studie. Gezien slechts bij zes patiënten (1,2%) een snellere diagnose gewenst was, kan gesteld worden dat op basis van klinische evaluatie een goede inschatting gemaakt kan worden of een patiënt in aanmerking komt voor herbeoordeling.
De werkgroep is daarom van mening dat de diagnostische accuratesse van anamnese, lichamelijk onderzoek en laboratoriumonderzoek voldoende is om een goede inschatting te kunnen maken of een patiënt met acute buikpijn voor aanvullende diagnostiek, opname of herbeoordeling in aanmerking komt.
Bewijskracht
Beeldvorming:
De bewijskracht van de literatuur is laag tot zeer laag. Voor sommige vergelijkingen waren er geen studies beschikbaar die in dezelfde studiepopulatie verschillende testen met elkaar vergeleken. De diagnostische accuratesse is daardoor geëxtraheerd uit verschillende studiepopulaties, waardoor er geen directe vergelijking kan worden gemaakt en er sprake is van indirectheid.
De studies en uitkomsten van de beschikbare literatuur zijn erg heterogeen, wat de bewijskracht van de uitkomstmaten verlaagd. De prevalentie binnen studies varieert en het is vaak onduidelijk hoe patiënten in een studie geselecteerd zijn en welke diagnostiek voorafgaand aan de beeldvorming heeft plaatsgevonden. Daarnaast is het in veel studies onduidelijk hoe lang de follow-up tijd van de referentie test was, met name bij de patiënten die geen operatie ondergingen en welke informatie beschikbaar was bij de beoordeling van een diagnostische test.
Herbeoordeling:
De bewijskracht van de literatuur is niet beoordeeld. Er is geen systematisch literatuuronderzoek verricht, omdat er verwacht werd geen vergelijkende studies te vinden die kunnen beantwoorden bij welke patiënten er na klinische evaluatie een indicatie is voor herbeoordeling, dan wel aanvullende diagnostiek, de volgende dag. Er worden dan ook geen conclusies vermeld. De aanbevelingen zijn daarom uitsluitend gebaseerd op overwegingen die zijn opgesteld door de werkgroepleden op basis van kennis uit de praktijk en waar mogelijk onderbouwd door niet systematisch literatuuronderzoek.
Waarden en voorkeuren van patiënten (en eventueel hun verzorgers)
Beeldvorming:
Het belangrijkste doel voor de patiënt is een correcte en snelle diagnose, waarbij onnodige diagnostiek beperkt dient te worden. Geen negatieve appendectomie, maar ook geen onterecht uitgestelde behandeling.
Echografie heeft geen stralingsbelasting en wordt goed verdragen door patiënten. Groot voordeel is dat echografie overal beschikbaar is, ook buiten kantoortijden. Het nadeel is echter de lagere sensitiviteit.
Een nadeel van het gebruik van MRI bij appendicitis is dat deze techniek nog niet wijd verspreid is over alle ziekenhuizen en voornamelijk in nachten en weekenden vooralsnog minder beschikbaar is. Daarnaast vergt het beoordelen van een MRI specifieke training en zijn er veel minder radiologen bekwaam in het beoordelen van een MRI (Leeuwenburgh, 2012). Voor een goede kwaliteit MRI is het noodzakelijk dat de patiënt stil kan liggen. Als een kind niet te instrueren is kan dit problemen opleveren (leeftijd, mentale ontwikkeling). Ook claustrofobie is een potentieel nadeel van MRI.
CT bij kinderen wordt door de werkgroep afgeraden, gezien de hoge stralingsbelasting en de gelijkwaardige resultaten van MRI.
Herbeoordeling:
Door herbeoordeling te gebruiken in het diagnostisch proces worden meer correcte diagnoses gesteld. 30% van de patiënten krijgt na herbeoordeling binnen 24 uur een andere diagnose dan de initiële diagnose die gesteld was na eerste beoordeling op de spoedeisende hulp. De herbeoordeling leidt in 17% van de gevallen tot verandering van beleid en bij 4% tot operatieve behandeling (Toorenvliet, 2010).
Bij 1,2% van de patiënten die voor herbeoordeling binnen 24 uur komen wordt een diagnose gevonden, waarbij snelle diagnostiek gewenst was geweest. Deze patiënten werden geopereerd en na herstel van de operatie uit het ziekenhuis ontslagen zonder complicaties.
Door herbeoordeling te gebruiken in het diagnostisch proces wordt het onnodig gebruik van aanvullende diagnostiek tegen gegaan. Door de factor tijd te benutten kan het natuurlijk beloop van de ziekte worden gevolgd. Milde, zelflimiterende, ziekte zal geen aanvullende diagnostiek behoeven.
Kosten (middelenbeslag)
Beeldvorming:
Het gebruik van beeldvorming bij iedere patiënt met de verdenking op appendicitis zorgt voor lagere kosten per patiënt (Lahaye, 2015). Echografie is goedkoper en beter beschikbaar dan CT en MRI. Omdat bij een aantal patiënten volstaan kan worden met echografie alleen wordt hiermee een kostenreductie bereikt vergeleken met een diagnostisch traject waarbij echografie overgeslagen wordt.
Herbeoordeling:
Het gebruik van herbeoordeling in het diagnostisch proces zorgt voor minder aanvullende diagnostiek en beperkt het aantal opnames. Herbeoordeling is goedkoper dan opname. Bij herbeoordeling is bij een aantal patiënten geen aanvullende diagnostiek nodig, omdat het natuurlijk beloop uitwijst dat het om milde, zelflimiterende aandoening gaat.
Aanvaardbaarheid voor de overige relevante stakeholders
Het gebruik van beeldvorming en herbeoordeling in het diagnostisch proces van een patiënt met een verdenking acute appendicitis is standaard zorg en breed geaccepteerd.
Bijkomende beslissende factor voor herbeoordeling kan zijn dat het niet in ieder ziekenhuis mogelijk is om buiten kantoortijden en in het weekend te beschikken over directe beschikbaarheid van echografie, CT of MRI.
Haalbaarheid en implementatie
Beeldvorming:
Het gebruik van echografie bij verdenking op acute appendicitis is standaard zorg en breed geaccepteerd. De expertise met MRI voor appendicitis is wisselend. Ook zal het niet in ieder ziekenhuis mogelijk zijn om buiten kantoortijden en in het weekend te beschikken over personeel dat bekwaam is in het maken en beoordelen van een MRI.
Herbeoordeling:
De diagnostische accuratesse van anamnese, lichamelijk onderzoek en laboratoriumonderzoek is voldoende om een goede inschatting te kunnen maken of een patiënt voor aanvullende diagnostiek, opname of herbeoordeling in aanmerking komt.
Rationale/ balans tussen de argumenten voor en tegen de interventie
De lagere kosten, brede beschikbaarheid en de afwezigheid van stralenbelasting maken echografie het onderzoek van eerste keus bij kinderen met een verdenking op appendicitis.
Wanneer een echografie inconclusief is en er een hoge klinische verdenking op acute appendicitis is, is vervolg onderzoek nodig. De accuratesse van echografie gevolgd door MRI is gelijk aan die van echografie gevolgd door CT. MRI geeft net als echografie geen stralingsbelasting, maar is minder goed beschikbaar (expertise, beschikbare middelen). Een CT scan geeft een hoge stralingsbelasting en wordt daarom door de werkgroep afgeraden bij kinderen. “
In principe wordt geadviseerd om bij een inconclusieve echo altijd een MRI te vervaardigen met als doel een onnodige operatie (en dus narcose) te voorkomen. Hiervan kan in bepaalde omstandigheden worden afgezien. Bijvoorbeeld wanneer het kind onder narcose moet voor de MRI is het te overwegen om dit over te slaan en over te gaan tot een diagnostische laparoscopie. Er kan tevens worden overwogen te overleggen met een kinderchirurgischcentrum en het kind over te plaatsen voor verdere diagnostiek.
Onderbouwing
Achtergrond
De diagnostiek bij appendicitis bestaat uit klinische evaluatie, laboratorium onderzoek en beeldvorming (echografie, CT-scan, MRI-scan). Bij lage verdenking op acute appendicitis kan na klinische evaluatie gekozen worden om de patiënt de volgende dag te her beoordelen in plaats van aanvullende diagnostiek te doen. Patiënten met acute appendicitis zijn over het algemeen goed te identificeren, maar patiënten die zich in het beginstadium van de ziekte presenteren zijn moeilijker te onderscheiden van patiënten met andere (self-limiting) oorzaken van de buikklachten. De betrouwbaarheid van beeldvorming is in het beginstadium van ziekte ook lager. Of een patiënt in aanmerking komt voor herbeoordeling, dan wel directe aanvullende diagnostiek hangt af van klinische evaluatie.
Conclusies
|
Zeer laag GRADE |
Het is niet duidelijk of er verschil is tussen de sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van echografie vergeleken met MRI of contrast CT voor het diagnosticeren van acute appendicitis bij kinderen met verdenking op acute appendicitis.
Bronnen: (Aspelund, 2014; Dibble, 2018; Epifanio, 2016; Kim, 2018; Krishnamoorthi, 2011; Löfvenberg, 2016; Petkovska, 2016; Thirumoorthi, 2012; Zhang, 2017) |
|
Zeer laag GRADE |
Het is niet duidelijk of er verschil is tussen de sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van MRI vergeleken met contrast CT voor het diagnosticeren van acute appendicitis bij kinderen (tussen de 12 en 20 jaar) met verdenking op acute appendicitis
Bronnen: (Kinner, 2017) |
|
Zeer laag GRADE |
Het is niet duidelijk of er verschil is tussen de sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van een work-up (echografie plus contrast CT of echografie plus MRI) vergeleken met MRI of CT voor het diagnosticeren van acute appendicitis bij kinderen met verdenking op acute appendicitis.
Bronnen: (Dibble, 2018; Epifanio, 2016; Krishnamoorthi, 2011; Thirumoorthi, 2012) |
|
Zeer laag GRADE |
Het is niet duidelijk of er verschil is tussen de sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van een work-up echografie plus contrast CT vergeleken work-up echografie plus MRI voor het diagnosticeren van acute appendicitis bij kinderen met verdenking op acute appendicitis.
Bronnen: (Dibble, 2018; Epifanio, 2016; Krishnamoorthi, 2011; Thirumoorthi, 2012) |
|
- GRADE |
Er zijn geen studies gevonden die de uitkomstmaat inconclusieve resultaten rapporteerden voor MRI of contrast CT.
Bronnen: (-) |
Samenvatting literatuur
Beschrijving studies
Er werden in totaal twee systematische reviews (Kim, 2018; Zhang, 2018) en 8 aanvullende studies (Aspelund, 2014; Dibble, 2018; Epifanio, 2016; Kinner, 2017; Krishnamoorthi, 2011; Löfvenberg, 2016; Petkovska, 2016; Thirumoorthi, 2012) geïncludeerd voor de subgroep kinderen.
Echografie versus contrast CT of MRI
De review van Zhang (2017) includeerde 19 cohort studies met 9168 patiënten die een echografie kregen en 4 studies met 756 patiënten die een CT met contrastmiddel kregen. De overal prevalentie was 46,8% bij de echografie studies en 26,6% bij de CT studies. Aanvullend beschreef Löfvenberg (2016) de accuratesse van echografie bij 438 patiënten, de prevalentie van acute appendicitis was 29%. De referentietest werd niet beschreven.
De review van Kim (2018) includeerde 13 cohort studies met totaal 1948 patiënten die de accuratesse van MRI rapporteerden. Hiervan beschreven 9 studies het gebruik van MRI als eerste beeldvormende diagnostiek, 3 studies onderzochten de accuratesse van MRI voor inconclusieve echo’s en 1 studie includeerde patiënten die een MRI, ongeacht of dit voor eerste diagnostiek als voor inconclusieve echo’s was. De prevalentie van de studiepopulatie werd niet beschreven. Petkovska (2016) rapporteerde de resultaten van MRI bij 403 patiënten, waarvan 150 kinderen met een prevalentie van 17%. Het verloop van de klachten of de (pathologische) uitkomsten na een operatie werden bij de meeste studies als referentietest beschouwd. Bij enkele studies werden patiënten nog nagebeld.
MRI versus contrast CT
De studie van Kinner (2017) vergeleek de accuratesse van MRI versus CT bij dezelfde 48 patiënten tussen de 12 en 20 jaar, los van elkaar beoordeeld door radiologen. De prevalentie binnen de studiepopulatie was 47%. De (pathologische) uitkomsten na een appendectomie werden als referentietest gebruikt. Indien een kind niet geopereerd werd, werd het patiëntendossier bekeken en werden patiënten na 1 maand telefonisch geïnterviewd.
Work-up (echografie plus contrast CT of echografie plus MRI) versus MRI, CT of
Work-up echografie plus contrast CT versus echografie plus MRI
Aspelund (2014) vergeleek de accuratesse in de jaren waarin de CT scan als eerste beeldvorming in het protocol stond (n=265) versus jaren waarin het protocol aangepast was naar echografie eventueel gevolgd door MRI bij inconclusieve echo’s (n=397 kinderen). De prevalentie van acute appendicitis in de CT groep was 51%, in de work-up groep was dit 41%.
Dibble (2018) (n=1982 kinderen, prevalentie acute appendicitis 20,5%) en Epifanio (2016) (n=166 kinderen, prevalentie acute appendicitis 47%) rapporteerde de accuratesse van een work-up, waarbij patiënten een echografie kregen en een MRI gedaan werd bij een inconclusieve echografie. Dibble (2017) gebruikte (pathologische) uitkomsten na een operatie of klinische informatie als referentie test. Epifanio (2016) gebruikte (pathologische) uitkomsten na een operatie of klinische follow-up van 30 dagen als referentietest bij kinderen die niet geopereerd werden.
Thirumoorthi (2012) (n=275 kinderen, prevalentie 45,8%) en Krishnamoorthi (2011) (n=631 kinderen, prevalentie 45,8%) rapporteerde de accuratesse van een work-up approach, waarbij patiënten een echografie kregen en aanvullend een CT met contrastmiddel bij een inconclusieve echo. De operatie werd gebruikt als referentietest, patiënten die niet geopereerd waren werden telefonisch geïnterviewd in de studie van Thirumoorthi (2012). Krishnamoorthi (2011) gebruikte pathologische uitkomsten na de operatie en klinische uitkomsten van patiënten zonder operatie als referentietest.
Resultaten
Echografie versus contrast CT of MRI
Door afwezigheid van studies bij kinderen die echografie direct vergeleken met CT of MRI zijn accuratesse studies geïncludeerd en worden de testeigenschappen van echografie, CT en MRI als indirect bewijs beschreven.
De meta-analyse van Zhang (2017) poolde 19 studies met een echografie bij 9168 kinderen en vond een gepoolde sensitiviteit (het percentage terecht positieve uitslagen onder kinderen met acute appendicitis) was 89% (95% BI 87% tot 100%). De gepoolde specificiteit (het percentage terecht negatieve testuitslagen onder kinderen zonder acute appendicitis) van 97% (95% BI 96% tot 97%) voor echografie. De gepoolde en de positief voorspellende waarde (percentage onderzochte personen met een positieve testuitslag die daadwerkelijk acute appendicitis heeft) 98%. De negatief voorspellende waarde (percentage onderzochte personen met een negatieve testuitslag die geen acute appendicitis heeft) was 98,7%. In de populatie van Zhang (2017) was de prevalentie van acute appendicitis 46,8%. Met deze vooraf kans werden er per 1000 kinderen 16 onterecht geclassificeerd met acute appendicitis (fout positief) en 51 kinderen onterecht geclassificeerd als geen acute appendicitis (fout negatief). Resultaten van de studies waren heterogeen (I2 83,9%).
Löfvenberg (2016) rapporteerde de accuratesse van echografie bij 438 patiënten met een studieprevalentie van 29% en vond een sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van respectievelijk 82%, 97%, 92% en 93%.
Bovenstaande studies rapporteerden niet het aantal inconclusieve resultaten na een echo. Het aantal inconclusieve echo’s werd wel gerapporteerd in de studies die een work-up approach beschreven met echografie en eventueel een MRI of een CT bij inconclusieve echo’s. In de studie van Dibble (2018) (n=1982) kregen 77 (3,4%) kinderen een MRI na een inconclusieve echo. In de studie van Epifanio (2016) kregen 102 kinderen kregen een echo, van wie er 8 (7,8%) een MRI kregen vanwege een inconclusieve echo. In de studie van Thirumoorthi (2012) kregen 172 van de 275 (62,5%) kinderen een echografie plus een CT na een inconclusieve echo. In de studie van Krishnamoorthi (2011) (n=631 kinderen) kregen 298 (47,2%) kinderen een echografie plus een CT na een inconclusieve echo. Het percentage inconclusieve echo’s varieerde in deze studies tussen de 1,4 tot 62,5%.
MRI
De review van Kim (2018) poolde 10 studies met MRI bij 1736 kinderen waarbij de MRI als eerste diagnostiek werd gebruik (9 studies) of MRI zowel met als zonder inconclusieve echografie werd gebruikt (1 studie). De sensitiviteit was 97% (95% BI 95% tot 99%) en de specificiteit was 96% (95% BI 92% tot 99%). De positief en negatief voorspellende waarden en werden niet gerapporteerd, net als de prevalentie, waardoor deze waarden niet berekend konden worden. Wel werd het gepoolde percentage van negatieve appendectomieën uit 9 studies gerapporteerd, dit was 4,5% (95% BI 1,9% tot 7,1%). In de studie van Petkovska (2016) kregen 150 kinderen een MRI. De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van de MRI was respectievelijk 96,9% (95% BI 83,8% tot 99,9%), 99,2% (95% BI 95,4% tot 100%), 96,9% (95% BI 83,3% tot 99,9%) en 99,2% (95% BI 95,4% tot 100%) met een studieprevalentie van 16,6%.
Contrast CT
De review van Zhang (2017) includeerde 4 studies met 756 patiënten die een CT met contrastmiddel kregen en vond een gepoolde sensitiviteit was 96% (95% BI 94% tot 98%) en een gepoolde specificiteit van 94% (95% BI 92% tot 96%) voor CT. De positief voorspellende waarde was 90,7% en de negatief voorspellende waarde was 98,6%. In de populatie van Zhang (2017) was de prevalentie van acute appendicitis 26,6% in de CT groep. Met deze vooraf kans werden er per 1000 kinderen 11 onterecht geclassificeerd met acute appendicitis (fout positief) en 44 kinderen onterecht geclassificeerd als geen acute appendicitis (fout negatief). Resultaten van de studies waren heterogeen (I2 61,7%).
Aspelund (2014) vergeleek de accuratesse in de jaren waarin de CT scan als eerste beeldvorming in het protocol stond (n=265) versus jaren waarin het protocol aangepast was naar echografie eventueel gevolgd door MRI bij inconclusieve echo’s (n=397 kinderen). De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van de CT was respectievelijk 100% (95% BI 97% tot 100%), 98% (95% BI 93% tot 99%), 98% (95% BI 96% tot 100%) en 100% (95% BI 96% tot 100%) met een studieprevalentie van 51%.
Bewijskracht van de literatuur
De bewijskracht voor de uitkomstmaten sensitiviteit, specificiteit, positief voorspellende waarde, negatief voorspellende waarde en inconclusieve resultaten voor echografie versus MRI of CT is met drie niveaus verlaagd naar zeer laag vanwege risico op bias (onduidelijke selectie van patiënten, onduidelijke follow-up tijd van de referentie test), indirectheid (diagnostische accuratesse als tussenstap voor patiënt relevante consequenties) en inconsistentie (heterogeniteit tussen studies).
MRI versus contrast CT
Eén studie (Kinner, 2017) vergeleek de accuratesse van MRI versus CT bij dezelfde 48 patiënten tussen de 12 en 20 jaar. De MRI en CT werden los van elkaar beoordeeld door radiologen. De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van MRI zonder contrast, MRI met contrast en CT met contraststaan in tabel 2. Inconclusieve resultaten werden niet gerapporteerd.
Tabel 2 sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van MRI versus contrast
|
Beeldvorming |
Sensitiviteit,% (95% CI) |
Specificiteit, % (95% CI) |
Positief voorspellende waarde, % (95% CI) |
Negatief voorspellende waarde, % (95% CI) |
|
MRI zonder contrast |
94,7 (90,7 tot 97,3) |
93 (89,7 tot 96,7) |
83,8 (73,8 tot 91,1) |
85,9 (76,2 tot 92,7) |
|
MRI met contrast |
94,4 (94,4 tot 99,2) |
94,3 (90,2 tot 97) |
85,9 (76,6 tot 92,5) |
93,6 (85,6 tot 97,9) |
|
CT met contrast |
93,6 (85,6 tot 97,9) |
94,3 (90,2 tot 97) |
85,9 (76,6 tot 92,5) |
97,5 (94,4 tot 99,2) |
Bewijskracht van de literatuur
De bewijskracht voor de uitkomstmaten sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde voor MRI versus CT is met drie niveaus verlaagd naar zeer laag, één niveau vanwege risico op bias (onduidelijke selectie van patiënten, onduidelijke follow-up tijd van de referentie test) en twee niveaus vanwege imprecisie (gering aantal patiënten met brede betrouwbaarheidsintervallen). Vanwege de afwezigheid van studies die inconclusieve resultaten beschrijven is de bewijskracht voor inconclusieve resultaten is niet beoordeeld.
Work-up (echografie plus contrast CT of echografie plus MRI) versus MRI, CT of
Work-up echografie plus contrast CT versus echografie plus MRI
Door afwezigheid van studies bij kinderen die een MRI of een CT direct vergeleken met een work-up (echografie plus CT of echografie plus MRI) zijn accuratesse studies geïncludeerd en worden de testeigenschappen van de work-up echografie plus MRI en echografie plus CT als indirect bewijs beschreven.
Work-up: echografie met MRI na inconclusieve echo
De review van Kim (2018) poolde 3 studies die de accuratesse van MRI voor inconclusieve echo’s bij 211 kinderen rapporteerden. De sensitiviteit was 98% (95% CI 94% tot 100%) en de specificiteit was 99% (95% BI 96% tot 100%). De positief en negatief voorspellende waarden en werden niet gerapporteerd, net als de prevalentie, waardoor deze waarden niet berekend konden worden.
Dibble (2018) (n=1982 kinderen) rapporteerde de accuratesse van de complete work-up, waarbij patiënten een echografie kregen en een MRI gedaan werd bij een inconclusieve echografie. In de studie van Dibble (2018) kregen 77 (3,4%) kinderen een MRI na een inconclusieve echo. De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van de work-up was respectievelijk 98,3% (95% BI 96,4% tot 99,2%), 97,1% (95% BI 96,2% tot 97,9%), 89,9% (95% BI 86,7% tot 92,4%) en 99,5% (95% BI 99,1% tot 99,8%). In de populatie van Dibble (2018) was de prevalentie van acute appendicitis 20,5%. Met deze voorafkans werden er per 1000 kinderen 4 onterecht geclassificeerd met acute appendicitis (fout negatief) en 24 kinderen onterecht geclassificeerd als geen acute appendicitis (fout positief).
Epifanio (2016) rapporteerde de accuratesse van een work-up met klinische evaluatie, echo, MRI bij inconclusieve echografie en klinische observatie van 24 uur. 102 kinderen kregen een echo, van wie er 8 ook een MRI kregen. De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van deze work-up was respectievelijk 96,1% (95% BI 89,9% tot 99,0%), 100% (95% BI 96,7% tot 100%), 100% (95% BI 96,1% tot 100%) en 96,7% (95% BI 91,3% tot 99,2%). Van de 8 kinderen die een echografie plus een MRI kregen waren bij 5 kinderen de resultaten inconclusief. Na 24 uur klinische observatie waren er geen kinderen meer met inconclusieve resultaten.
Work-up: echografie met CT na inconclusieve echo
Thirumoorthi (2012) (n=275 kinderen) en Krishnamoorthi (2011) (n=631 kinderen) rapporteerden de accuratesse van een step-up approach, waarbij patiënten een echografie kregen en bij een inconclusieve echografie aanvullend een CT met contrastmiddel.
In de studie van Thirumoorthi (2012) kregen 197 (71,6%) kinderen een echografie en 78 (28,4%) kinderen een echografie plus een CT. De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van deze work-up was respectievelijk 94,5%, 97,5%, 95,2% en 97%. De negatieve appendectomie rate was 1,8% en de gemiste appendicitis rate was 0%.
In de studie van Krishnamoorthi (2011) (n=631 kinderen) kregen 333 (52,8%) kinderen een echografie en 298 (47,2%) kinderen een echografie plus een CT. De sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde van deze work-up was respectievelijk 98,6% (95% BI 96% tot 100%), 90,6% (95% BI 87% tot 93%), 99,2% en 99,2%. De negatieve appendectomie rate was 8,1% (19 of 235 patiënten) en de gemiste appendicitis rate was minder dan 0,5% (1 van de 631 patiënten).
Bewijskracht van de literatuur
De bewijskracht voor de uitkomstmaten sensitiviteit, specificiteit, positief voorspellende waarde en negatief voorspellende waarde voor de work-up (echografie plus CT of echografie plus MRI) versus echografie, MRI of CT is met twee niveaus verlaagd naar laag vanwege risico op bias (onduidelijke selectie van patiënten, onduidelijke follow-up tijd van de referentie test) en indirectheid (diagnostische accuratesse als tussenstap voor patiënt relevante consequenties). Vanwege de afwezigheid van studies die inconclusieve resultaten beschrijven is de bewijskracht voor inconclusieve resultaten is niet beoordeeld.
Zoeken en selecteren
Om de uitgangsvraag te kunnen beantwoorden is er een systematische literatuuranalyse verricht naar de volgende zoekvragen:
PICO 1
Wat is de diagnostische accuratesse van de echografie vergeleken met MRI of een contrast CT voor het diagnosticeren van acute appendicitis bij kinderen met verdenking van acute appendicitis?
P (Patiënten): patiënten (kinderen) met een acute appendicitis;
I (Interventie): echografie;
C (Comparison): MRI of contrast CT;
Referentie test: verloop van de klachten of de (pathologische) uitkomsten na een operatie;
O (Outcomes): sensitiviteit, specificiteit, positief voorspellende waarde, negatief voorspellende waarde, inconclusieve uitkomsten.
PICO 2
Wat is de diagnostische accuratesse van MRI vergeleken met CT voor het diagnosticeren van acute appendicitis bij kinderen met verdenking van acute appendicitis?
P (Patiënten): patiënten (kinderen) met een acute appendicitis;
I (Interventie): MRI;
C (Comparison): contrast CT;
Referentie test: verloop van de klachten of de (pathologische) uitkomsten na een operatie;
O (Outcomes): sensitiviteit, specificiteit, positief voorspellende waarde, negatief voorspellende waarde, inconclusieve uitkomsten.
PICO 3
Wat is de diagnostische accuratesse van een work-up (echografie plus CT of echografie plus MRI) vergeleken met MRI of contrast CT of een work-up echografie plus CT vergeleken met work-up echografie plus MRI voor het diagnosticeren van acute appendicitis bij kinderen met verdenking van acute appendicitis?
P (Patiënten): patiënten (kinderen) met een acute appendicitis
I (Interventie): work-up (echografie plus contrast CT of echografie plus MRI);
C (Comparison): MRI, contrast CT of work-up (anders dan bij I);
Referentie test: verloop van de klachten of de (pathologische) uitkomsten na een operatie;
O (Outcomes): sensitiviteit, specificiteit, positief voorspellende waarde, negatief voorspellende waarde, inconclusieve uitkomsten.
Relevante uitkomstmaten
De werkgroep achtte sensitiviteit en negatief voorspellende waarde (een) voor de besluitvorming cruciale uitkomstmaten; en specificiteit, positief voorspellende waarde, inconclusieve uitkomsten (een) voor de besluitvorming belangrijke uitkomstmaten.
Tabel 1 Gevolgen en consequenties van diagnostische testeigenschappen
|
Uitkomsten |
Gevolgen |
Relevantie |
|
Terecht positieven (TP) |
Patiënt wordt terecht gediagnostiseerd met acute appendicitis en krijgt behandeling. |
Cruciaal
|
|
Terecht negatieven (TN) |
Patiënt wordt terecht niet gediagnostiseerd met acute appendicitis en krijgt terecht geen behandeling. |
Belangrijk |
|
Fout positieven (FP) |
Patiënt wordt onterecht gediagnostiseerd met acute appendicitis en krijgt een onnodige behandeling. De klachten persisteren. |
Belangrijk |
|
Fout negatieven |
Patiënt wordt onterecht niet gediagnostiseerd met acute appendicitis en krijgt onterecht geen behandeling. Er vindt vervolgonderzoek plaats naar de oorzaak van de symptomen. |
Cruciaal |
|
Inconclusieve uitkomsten |
Vervolgonderzoek (MRI of CT) met vertraging van de uiteindelijke diagnose. |
Belangrijk |
De werkgroep definieerde 10% verschil in sensitiviteit, specificiteit, positief voorspellende waarde, negatief voorspellende waarde of inconclusieve uitkomsten als een klinisch (patiënt) relevant verschil.
Zoeken en selecteren (Methode)
In de databases Medline (via OVID) en Embase (via Embase.com) is op 6 juni 2018 met relevante zoektermen gezocht naar systematische reviews (SR), randomized controlled trials (RCTs), observationele vergelijkende studies en cohort studies die rapporteerden over diagnostische accuratesse van echografie, MRI, CT of een step-up approach, waarbij een MRI of CT scan werd gedaan na een inconclusieve echografie voor de diagnostiek van acute appendicitis gepubliceerd vanaf 2008. De zoekverantwoording is weergegeven onder het tabblad Verantwoording. De literatuurzoekactie leverde 479 treffers op. Studies werden geselecteerd op grond van de volgende selectiecriteria: systematische reviews (SR), randomized controlled trials (RCTs), observationele vergelijkende studies die ten minste één van de volgende uitkomstmaten rapporteerden: de sensitiviteit, specificiteit, positief voorspellende waarde, negatief voorspellende waarde of inconclusieve uitkomsten. Wanneer deze studies niet beschikbaar waren werden ook niet-vergelijkende studies geïncludeerd.
Op basis van titel en abstract werden in eerste instantie 107 studies voorgeselecteerd. Na raadpleging van de volledige tekst, werden vervolgens 72 studies geëxcludeerd (zie exclusietabel onder het tabblad Verantwoording), en 35 studies definitief geselecteerd. 35 onderzoeken zijn opgenomen in de literatuuranalyse, waarvan 2 systematische reviews en 8 aanvullende studies resultaten voor de subgroep kinderen rapporteerden. De belangrijkste studiekarakteristieken en resultaten zijn opgenomen in de evidencetabellen. De beoordeling van de individuele studieopzet (risk-of-bias) is opgenomen in de risk-of-bias tabellen.
Referenties
- Aspelund G, Fingeret A, Gross E, Kessler D, Keung C, Thirumoorthi A, Oh PS,Behr G, Chen S, Lampl B, Middlesworth W, Kandel J, Ruzal-Shapiro C.Ultrasonography/MRI versus CT for diagnosing appendicitis. Pediatrics. 2014 Apr;133(4):586-93. doi: 10.1542/peds.2013-2128. Epub 2014 Mar 3. PubMed PMID: 24590746.
- Dibble EH, Swenson DW, Cartagena C, Baird GL, Herliczek TW. Effectiveness of a Staged US and Unenhanced MR Imaging Algorithm in the Diagnosis of Pediatric Appendicitis. Radiology. 2018 Mar;286(3):1022-1029. doi: 10.1148/radiol.2017162755. Epub 2017 Nov 20. PubMed PMID: 29156146.
- Epifanio M, Antonio de Medeiros Lima M, Corrêa P, Baldisserotto M. An Imaging Diagnostic Protocol in Children with Clinically Suspected Acute Appendicitis. Am Surg. 2016 May;82(5):390-6. PubMed PMID: 27215717.
- Kim JR, Suh CH, Yoon HM, Jung AY, Lee JS, Kim JH, Lee JY, Cho YA. Performance of MRI for suspected appendicitis in pediatric patients and negative appendectomy rate: A systematic review and meta-analysis. J Magn Reson Imaging. 2018 Mar;47(3):767-778. doi: 10.1002/jmri.25825. Epub 2017 Aug 17. PubMed PMID: 28815859.
- Kinner S, Pickhardt PJ, Riedesel EL, Gill KG, Robbins JB, Kitchin DR, Ziemlewicz TJ, Harringa JB, Reeder SB, Repplinger MD. Diagnostic Accuracy of MRI Versus CT for the Evaluation of Acute Appendicitis in Children and Young Adults. AJR Am J Roentgenol. 2017 Oct;209(4):911-919. doi: 10.2214/AJR.16.17413. Epub 2017 Aug 10. PubMed PMID: 28796552; PubMed Central PMCID: PMC5639901.
- Krishnamoorthi R, Ramarajan N, Wang NE, Newman B, Rubesova E, Mueller CM, Barth RA. Effectiveness of a staged US and CT protocol for the diagnosis of pediatric appendicitis: reducing radiation exposure in the age of ALARA.Radiology. 2011 Apr;259(1):231-9. doi: 10.1148/radiol.10100984. Epub 2011 Jan 28.PubMed PMID: 21324843.
- Lahaye MJ, Lambregts DM, Mutsaers E, Essers BA, Breukink S, Cappendijk VC, Beets GL, Beets-Tan RG. Mandatory imaging cuts costs and reduces the rate of unnecessary surgeries in the diagnostic work-up of patients suspected of having appendicitis. Eur Radiol. 2015 May;25(5):1464-70. doi: 10.1007/s00330-014-3531-0. Epub 2015 Jan 16. PubMed PMID: 25591748.
- Leeuwenburgh MM, Wiarda BM, Bipat S, Nio CY, Bollen TL, Kardux JJ, Jensch S, Bossuyt PM, Boermeester MA, Stoker J. Acute appendicitis on abdominal MR images: training readers to improve diagnostic accuracy. Radiology. 2012 Aug;264(2):455-63. doi: 10.1148/radiol.12111896. Epub 2012 Jun 14. PubMed PMID: 22700556.
- Löfvenberg F, Salö M. Ultrasound for Appendicitis: Performance and Integration with Clinical Parameters. Biomed Res Int. 2016;2016:5697692. doi: 10.1155/2016/5697692. Epub 2016 Dec 1. PubMed PMID: 28044133; PubMed Central PMCID: PMC5156797.
- Onur OE, Guneysel O, Unluer EE et al (2008) Outpatient follow-up or active clinical observation in patients with nonspecific abdominal pain in the emergency department. A randomized clinical trial. Minerva Chir 63:915
- Petkovska I, Martin DR, Covington MF, Urbina S, Duke E, Daye ZJ, Stolz LA, Keim SM, Costello JR, Chundru S, Arif-Tiwari H, Gilbertson-Dahdal D, Gries L, Kalb B. Accuracy of Unenhanced MR Imaging in the Detection of Acute Appendicitis: Single-Institution Clinical Performance Review. Radiology. 2016 May;279(2):451-60. doi: 10.1148/radiol.2015150468. Epub 2016 Jan 25. PubMed PMID: 26807893.
- Reuvers JR, Rijbroek A. Acute appendicitis: liever tweede echo dan CT of MRI. Ned Tijdschr Geneeskd. 2016;160:A9603 en D64.
- Thirumoorthi AS, Fefferman NR, Ginsburg HB, Kuenzler KA, Tomita SS. Managingradiation exposure in children--reexamining the role of ultrasound in thediagnosis of appendicitis. J Pediatr Surg. 2012 Dec;47(12):2268-72. doi:10.1016/j.jpedsurg.2012.09.018. PubMed PMID: 23217887.
- Zhang H, Liao M, Chen J, Zhu D, Byanju S. Ultrasound, computed tomography or magnetic resonance imaging - which is preferred for acute appendicitis in children? A Meta-analysis. Pediatr Radiol. 2017;47: 186. https://doi.org/10.1007/s00247-016-3727-3
Evidence tabellen
Table of quality assessment for systematic reviews of diagnostic studies
|
Study
First author, year |
Appropriate and clearly focused question?
Yes/no/unclear |
Comprehensive and systematic literature search?
Yes/no/unclear |
Description of included and excluded studies?
Yes/no/unclear |
Description of relevant characteristics of included studies?
Yes/no/unclear |
Assessment of scientific quality of included studies?
Yes/no/unclear |
Enough similarities between studies to make combining them reasonable?
Yes/no/unclear |
Potential risk of publication bias taken into account?7
Yes/no/unclear |
Potential conflicts of interest reported?
Yes/no/unclear |
|
Zhang, 2017 |
Yes |
Yes |
Included studies: yes, excluded studies: no |
Yes |
Yes |
Yes |
Yes |
SR: yes, individual studies: unclear |
|
Kim, 2018 |
Yes |
Yes |
Yes |
Yes |
Yes |
Yes |
Yes |
SR: yes, individual studies: unclear |
Evidence table for systematic reviews of diagnostic test accuracy studies
CI: confidence interval; CT: computed tomography; MRI: magnetic resonance imaging; NPV: negative predictive value; NR: not reported; PPV: positive predictive value; SD: standard deviation; SR: systematic review; US: ultrasound
Risk-of-bias assessment diagnostic accuracy studies (QUADAS II, 2011)
|
Study reference |
Patient selection
|
Index test |
Reference standard |
Flow and timing |
Comments with respect to applicability |
|
Löfvenberg, 2016 |
Was a consecutive or random sample of patients enrolled? Yes, all patients who underwent abdominal ultrasound for suspicion of appendicitis from 2012 to 2015 were included.
Was a case-control design avoided? Yes
Did the study avoid inappropriate exclusions? Yes
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Not applicable
|
Is the reference standard likely to correctly classify the target condition? Unclear, reference standard was not described.
Were the reference standard results interpreted without knowledge of the results of the index test? Unclear, reference standard was not described.
|
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? Unclear
Did patients receive the same reference standard? Unclear
Were all patients included in the analysis? Unclear
|
Are there concerns that the included patients do not match the review question? No
Are there concerns that the index test, its conduct, or interpretation differ from the review question? No
Are there concerns that the target condition as defined by the reference standard does not match the review question? No |
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: LOW |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: UNCLEAR |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
|
|
Dibble, 2017 |
Was a consecutive or random sample of patients enrolled? Yes all patients aged 18 years or younger who underwent diagnostic imaging for suspected appendicitis from January 1, 2011, to December 31, 2012 were included.
Was a case-control design avoided? Yes
Did the study avoid inappropriate exclusions? Yes
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Not applicable
|
Is the reference standard likely to correctly classify the target condition? Unclear, patients who did not undergo an appendectomy at the institution within 4 weeks of initial presentation and imaging or who had a normal appendix documented on the surgical pathology report were considered to have true-negative results.
Were the reference standard results interpreted without knowledge of the results of the index test? Unclear |
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? No
Did patients receive the same reference standard? No
Were all patients included in the analysis? Yes |
Are there concerns that the included patients do not match the review question? No
Are there concerns that the index test, its conduct, or interpretation differ from the review question? No
Are there concerns that the target condition as defined by the reference standard does not match the review question? No
|
|
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: LOW |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: UNCLEAR |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
|
Epifanio, 2016 |
Was a consecutive or random sample of patients enrolled? Unclear
Was a case-control design avoided? Yes
Did the study avoid inappropriate exclusions? Unclear, prevalence is high.
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Not applicable
|
Is the reference standard likely to correctly classify the target condition? Unclear, 30-day clinical follow-up in patients who did not need to undergo surgery.
Were the reference standard results interpreted without knowledge of the results of the index test? Unclear
|
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? Yes
Did patients receive the same reference standard? No
Were all patients included in the analysis? Yes |
Are there concerns that the included patients do not match the review question? No
Are there concerns that the index test, its conduct, or interpretation differ from the review question? No
Are there concerns that the target condition as defined by the reference standard does not match the review question? No
|
|
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: UNCLEAR |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: UNCLEAR |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
|
Thirumoorthi, 2012 |
Was a consecutive or random sample of patients enrolled? Unclear
Was a case-control design avoided? Yes
Did the study avoid inappropriate exclusions? Unclear, prevalence is high.
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Not applicable
|
Is the reference standard likely to correctly classify the target condition? Surgery: yes, phone calls: unclear
Were the reference standard results interpreted without knowledge of the results of the index test? No
|
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? Yes
Did patients receive the same reference standard? No
Were all patients included in the analysis? Unclear
|
Are there concerns that the included patients do not match the review question? Yes, partly
Are there concerns that the index test, its conduct, or interpretation differ from the review question? Yes, partly
Are there concerns that the target condition as defined by the reference standard does not match the review question? No
|
|
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: UNCLEAR |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: UNCLEAR |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
|
Krishnamoorthi, 2011 |
Was a consecutive or random sample of patients enrolled? Unclear
Was a case-control design avoided? Yes
Did the study avoid inappropriate exclusions? Unclear, prevalence is high.
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Not applicable
|
Is the reference standard likely to correctly classify the target condition? Yes
Were the reference standard results interpreted without knowledge of the results of the index test? No
|
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? Yes
Did patients receive the same reference standard? No
Were all patients included in the analysis? Unclear
|
Are there concerns that the included patients do not match the review question? No
Are there concerns that the index test, its conduct, or interpretation differ from the review question? No
Are there concerns that the target condition as defined by the reference standard does not match the review question? No
|
|
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: UNCLEAR |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: LOW |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
|
Kinner, 2017 |
Was a consecutive or random sample of patients enrolled? Unclear
Was a case-control design avoided? Yes
Did the study avoid inappropriate exclusions? Yes
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Yes
|
Is the reference standard likely to correctly classify the target condition? Yes
Were the reference standard results interpreted without knowledge of the results of the index test? Yes
|
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? Unclear
Did patients receive the same reference standard? No
Were all patients included in the analysis? Unclear
|
Are there concerns that the included patients do not match the review question? No
Are there concerns that the index test, its conduct, or interpretation differ from the review question? Yes, contrast-enhanced MRI and unenhanced MRI were read at the same time.
Are there concerns that the target condition as defined by the reference standard does not match the review question? No
|
|
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: UNCLEAR |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: LOW |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
|
Aspelund, 2014 |
Was a consecutive or random sample of patients enrolled? No
Was a case-control design avoided? No
Did the study avoid inappropriate exclusions? No
|
Were the index test results interpreted without knowledge of the results of the reference standard? Yes
If a threshold was used, was it pre-specified? Yes
|
Is the reference standard likely to correctly classify the target condition? Unclear
Were the reference standard results interpreted without knowledge of the results of the index test? Unclear
|
Was there an appropriate interval between index test(s) and reference standard? Unclear
Did all patients receive a reference standard? Unclear
Did patients receive the same reference standard? No
Were all patients included in the analysis? Unclear
|
Are there concerns that the included patients do not match the review question? No
Are there concerns that the index test, its conduct, or interpretation differ from the review question? Yes
Are there concerns that the target condition as defined by the reference standard does not match the review question? Unclear
|
|
|
CONCLUSION: Could the selection of patients have introduced bias?
RISK: HIGH |
CONCLUSION: Could the conduct or interpretation of the index test have introduced bias?
RISK: LOW |
CONCLUSION: Could the reference standard, its conduct, or its interpretation have introduced bias?
RISK: UNCLEAR |
CONCLUSION Could the patient flow have introduced bias?
RISK: UNCLEAR |
|
Evidence table for diagnostic test accuracy studies
CI: confidence interval; CT: computed tomography; MRI: magnetic resonance imaging; NPV: negative predictive value; NR: not reported; PPV: positive predictive value; SD: standard deviation; SR: systematic review; US: ultrasound
Verantwoording
Autorisatiedatum en geldigheid
Laatst beoordeeld : 01-07-2019
Laatst geautoriseerd : 01-07-2019
Geplande herbeoordeling : 01-01-2024
|
Module |
Regiehouder(s) |
Jaar van autorisatie |
Eerstvolgende beoordeling actualiteit richtlijn |
Frequentie van beoordeling op actualiteit |
Wie houdt er toezicht op actualiteit |
Relevante factoren voor wijzigingen in aanbeveling |
|
Diagnostiek bij kinderen |
NVvH en NVvR |
2019 |
2024 |
Eens in de 5 jaar |
NVvH en NVvR |
- |
Voor het beoordelen van de actualiteit van deze richtlijn is de werkgroep niet in stand gehouden. Uiterlijk in 2024 bepaalt het bestuur van de Nederlandse Vereniging voor Heelkunde of de modules van deze richtlijn nog actueel zijn. Op modulair niveau is een onderhoudsplan beschreven. Bij het opstellen van de richtlijn heeft de werkgroep per module een inschatting gemaakt over de maximale termijn waarop herbeoordeling moet plaatsvinden en eventuele aandachtspunten geformuleerd die van belang zijn bij een toekomstige herziening (update). De geldigheid van de richtlijn komt eerder te vervallen indien nieuwe ontwikkelingen aanleiding zijn een herzieningstraject te starten.
De Nederlandse Vereniging voor Heelkunde is regiehouder van deze richtlijn en eerstverantwoordelijke op het gebied van de actualiteitsbeoordeling van de richtlijn. De andere aan deze richtlijn deelnemende wetenschappelijke verenigingen of gebruikers van de richtlijn delen de verantwoordelijkheid en informeren de regiehouder over relevante ontwikkelingen binnen hun vakgebied.
Algemene gegevens
De richtlijnontwikkeling werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten (https://www.demedischspecialist.nl/kennisinstituut) en werd gefinancierd uit de Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijn.
Doel en doelgroep
Doel
Deze richtlijn is bedoeld om een evidence-based beleid voor de zorg voor patiënten met acute appendicitis in de tweede op te stellen.
Doelgroep
Deze richtlijn is geschreven voor alle leden van de beroepsgroepen die betrokken zijn bij de zorg voor patiënten met acute appendicitis, zowel bij kinderen als bij volwassenen. Dit zijn onder andere chirurgen, kinderchirurgen, radiologen, kinderartsen, gynaecologen en SEH-artsen. Een secundaire doelgroep zijn zorgverleners uit de eerste lijn die betrokken zijn bij de zorg rondom patiënten met acute appendicitis, waaronder de huisarts, verpleegkundig specialist en physician assistants.
Samenstelling werkgroep
Voor de herziening van de richtlijn is in 2017 een multidisciplinaire werkgroep ingesteld, bestaande uit vertegenwoordigers van alle relevante specialismen die betrokken zijn bij de zorg voor patiënten met acute appendicitis te maken hebben.
Werkgroep:
- Dr. C.C. van Rossem, gastro-intestinaal chirurg, werkzaam in Maasstad Ziekenhuis, namens NVvH (voorzitter)
- Drs. A.L. van den Boom, fellow gastro-intestinale chirurgie, werkzaam in het UMCG, namens NVvH
- Drs. W.J. Bom, arts-onderzoeker chirurgie, werkzaam in Amsterdam UMC locatie AMC, namens NVvH
- Drs. M.E. Bos, arts in opleiding, werkzaam in Spoedeisende Geneeskunde regio VUmc, locatie Westfriesgasthuis, namens NVSHA
- Dr. A.A.W. van Geloven, gastro-intestinaal chirurg, werkzaam in Tergooi, namens NVvH
- Dr. R.R. Gorter, fellow kinderchirurgie, werkzaam in Amsterdam UMC, namens NVvH
- Dr. B.C. Jacod, gynaecoloog-perinatoloog, werkzaam in OLVG, namens NVOG
- Drs. M. Knaapen, arts-onderzoeker kinderchirurgie, werkzaam in Amsterdam UMC, namens NVvH
- R. Lammers, MSc, beleidsadviseur, werkzaam voor de Patiëntenfederatie Nederland
- Drs. A.H.J. van Meurs, algemeen kinderarts, werkzaam in HagaZiekenhuis, namens NVK
- Dr. J. Nederend, radioloog, werkzaam in Catharina Ziekenhuis Eindhoven, namens NVvR
- Dr. J.B.C.M. Puylaert, radioloog, werkzaam in Haaglanden Medisch Centrum, namens NVvR
Samenstelling klankbordgroep:
- Dr. A.K. van der Bij, arts-microbioloog, werkzaam in Diakonessenhuis, NVMM
- Dr. R. Bakx, kinderchirurg, werkzaam in Amsterdam UMC, namens NVvH
Met ondersteuning van:
- Dr. S.N. Hofstede, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- L. Boerboom MSc, literatuurspecialist, Kennisinstituut van de Federatie Medisch Specialisten
- D.M.J. Tennekes, directiesecretaresse, Kennisinstituut van de Federatie Medisch Specialisten
Belangenverklaringen
De KNMG-code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoek financiering) of indirecte belangen (persoonlijke relaties, reputatiemanagement, kennisvalorisatie) hebben gehad. Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.
|
Werkgroeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
|
Van Rossem |
Gastro-intestinaal chirurg, Maasstad Ziekenhuis |
Geen |
Geen |
Geen actie |
|
Van Geloven |
Gastro-intestinaal chirurg, Tergooi |
Geen |
Geen |
Geen actie |
|
Gorter |
Fellow Kinderchirurgie Amsterdam UMC |
Onderzoeker kinderchirurgie Vumc & AMC |
Projectleider APAC-studie Non-operatieve behandeling van appendicitis bij kinderen. ZonMw Dossiernummer: 843002708 |
Geen actie |
|
Van Meurs |
Algemeen kinderarts, Juliana Kinderziekenhuis (HagaZiekenhuis) |
Onderwijs aan studenten geneeskunde LUMC |
Geen |
Geen actie |
|
Jacod |
Gynaecoloog, Radboud UMC |
Secretaris werkgroep Samenwerking Obstetrie-Anesthesiologie, NVOG-NVA, onbetaald |
Geen |
Geen actie |
|
Puylaert |
Radioloog HMC |
Geen |
Geen |
Geen actie |
|
Nederend |
Radioloog Catharina Ziekenhuis Eindhoven |
Screeningsradioloog Bevolkingsonderzoek, betaald Secretaris Sectie Abdominale Radiologie, NVvR, onbetaald |
Onderzoek naar de waarden van MRI bij PIPAC-behandeling, deels gefinancieerd (unresticted grant) door Bracco Imaging Europe B.V. |
Geen actie |
|
Bos |
AIOS Spoedeisende Geneeskunde regio Vumc, locatie Westfriesgasthuis |
Algemeen lid congrescommissie NVSHA - onbetaald |
Geen |
Geen actie |
|
Van den Boom |
fellow gastro-intestinale chirurgie |
Geen |
Principal investigator van APPIC trial (short versus long antibiotic treatment after appendectomy for complex appendicitis), gefinancierd door ZonMw ontvangen (Goed Gebruik Geneesmiddelen) |
Geen actie |
|
Bom |
Arts-onderzoeker chirurgie, AMC |
Geen |
Ik word betaald vanuit de EPOCH studie, gefinancieerd door ZonMw. Dit is een RCT naar het voorkomen van wondinfecties. Dit is op geen enkele wijze gelieerd aan de richtlijn appendicitis. Derhalve heb ik geen belangen bij extern gefinancierd onderzoek. |
Geen actie |
|
Knaapen |
Arts-onderzoeker kinderchirurgie Amsterdam UMC |
Geen |
Coördinerend onderzoeker APAC-studie Non-operatieve behandeling van appendicitis bij kinderen. ZonMw Dossiernummer: 843002708 |
Geen actie |
|
Lammers |
Beleidsadviseur, Patiëntenfederatie |
Geen |
Geen |
Geen actie |
|
Hofstede |
Adviseur, Kennisinstituut van de Federatie Medisch Specialisten |
Geen |
Geen |
Geen actie |
|
Van Enst |
Senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten |
Lid van de GRADE working group/ Dutch GRADE Network |
Geen |
Geen actie |
|
Klankbordgroeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
|
Van der Bij |
Arts-microbioloog Diakonessenhuis Utrecht/MSBD |
Voorzitter commissie kwaliteitsbeheersing NVMM, onbetaald |
Geen |
Geen actie |
|
Bakx |
Kinderchirurg, Kinderchirurgisch centrum Amsterdam |
Voorzitter richtlijnencommissie NVvH, onbetaald, bestuurslid Stichting spoedeisende hulp bij kinderen, onbetaald, APLS instructeur, onbetaald |
Principal investigator APAC-studie Non-operatieve behandeling van appendicitis bij kinderen. ZonMw Dossiernummer: 843002708 |
Geen actie |
Inbreng patiëntenperspectief
Er werd aandacht besteed aan het patiëntenperspectief door een afgevaardigde patiëntenvereniging in de werkgroep op te nemen. De conceptrichtlijn is tevens voor commentaar voorgelegd aan de Patiëntenfederatie.
Methode ontwikkeling
Evidence based
Implementatie
In de verschillende fasen van de richtlijnontwikkeling is rekening gehouden met de implementatie van de richtlijn (module) en de praktische uitvoerbaarheid van de aanbevelingen. Daarbij is uitdrukkelijk gelet op factoren die de invoering van de richtlijn in de praktijk kunnen bevorderen of belemmeren. Het implementatieplan is te vinden bij de aanverwante producten. De werkgroep heeft tevens interne kwaliteitsindicatoren ontwikkeld om het toepassen van de richtlijn in de praktijk te volgen en te versterken (zie Indicatorontwikkeling).
Werkwijze
AGREE
Deze richtlijn is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010), dat een internationaal breed geaccepteerd instrument is. Voor een stap-voor-stap beschrijving hoe een evidence-based richtlijn tot stand komt wordt verwezen naar het stappenplan Ontwikkeling van Medisch Specialistische Richtlijnen van het Kennisinstituut van de Federatie Medisch Specialisten.
Knelpuntenanalyse
Tijdens de voorbereidende fase inventariseerden de voorzitter van de werkgroep en de adviseur de knelpunten. De werkgroep beoordeelde de aanbevelingen uit de eerdere richtlijn (NVvH, 2010) op noodzaak tot revisie. Tevens werden stakeholders uitgenodigd voor een knelpuntenbijeenkomst (Invitational conference). Vanwege het lage aantal aanmeldingen (drie, IGZ, NVA en de Patiëntenfederatie) is de bijeenkomst geannuleerd. Gevraagd is schriftelijk op het raamwerk te reageren. Er zijn schriftelijk knelpunten aangedragen door NVKC, NVSHA, NVvH, NVZ en V&VN. Een verslag hiervan is opgenomen onder aanverwante producten. De werkgroep stelde vervolgens een long list met knelpunten op en prioriteerde de knelpunten op basis van: (1) klinische relevantie, (2) de beschikbaarheid van (nieuwe) evidence van hoge kwaliteit, (3) en de te verwachten impact op de kwaliteit van zorg, patiëntveiligheid en (macro)kosten.
Uitgangsvragen en uitkomstmaten
Op basis van de uitkomsten van de knelpuntenanalyse zijn door de voorzitter en de adviseur concept-uitgangsvragen opgesteld. Deze zijn met de werkgroep besproken waarna de werkgroep de definitieve uitgangsvragen heeft vastgesteld. Vervolgens inventariseerde de werkgroep per uitgangsvraag welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.
Strategie voor zoeken en selecteren van literatuur
Er werd eerst oriënterend gezocht naar bestaande buitenlandse richtlijnen, systematische reviews (Medline (OVID)), en literatuur over patiëntvoorkeuren (patiëntenperspectief; Medline (OVID)). Vervolgens werd voor de afzonderlijke uitgangsvragen werd aan de hand van specifieke zoektermen gezocht naar gepubliceerde wetenschappelijke studies in (verschillende) elektronische databases. Tevens werd aanvullend gezocht naar studies aan de hand van de literatuurlijsten van de geselecteerde artikelen. In eerste instantie werd gezocht naar studies met de hoogste mate van bewijs. De werkgroepleden selecteerden de via de zoekactie gevonden artikelen op basis van vooraf opgestelde selectiecriteria. De geselecteerde artikelen werden gebruikt om de uitgangsvraag te beantwoorden. De databases waarin is gezocht, de zoekstrategie en de gehanteerde selectiecriteria zijn te vinden in de module met desbetreffende uitgangsvraag. De zoekstrategie voor de oriënterende zoekactie en patiëntenperspectief zijn opgenomen onder aanverwante producten.
Kwaliteitsbeoordeling individuele studies
Individuele studies werden systematisch beoordeeld, op basis van op voorhand opgestelde methodologische kwaliteitscriteria, om zo het risico op vertekende studieresultaten (risk-of-bias) te kunnen inschatten. Deze beoordelingen kunt u vinden in de Risk-of-Bias (RoB) tabellen. De gebruikte RoB instrumenten zijn gevalideerde instrumenten die worden aanbevolen door de Cochrane Collaboration: AMSTAR – voor systematische reviews; Cochrane – voor gerandomiseerd gecontroleerd onderzoek; ACROBAT-NRS – voor observationeel onderzoek; QUADAS II – voor diagnostisch onderzoek.
Samenvatten van de literatuur
De relevante onderzoeksgegevens van alle geselecteerde artikelen werden overzichtelijk weergegeven in evidencetabellen. De belangrijkste bevindingen uit de literatuur werden beschreven in de samenvatting van de literatuur. Bij een voldoende aantal studies en overeenkomstigheid (homogeniteit) tussen de studies werden de gegevens ook kwantitatief samengevat (meta-analyse) met behulp van Review Manager 5.
Beoordelen van de kracht van het wetenschappelijke bewijs
A) Voor interventievragen (vragen over therapie of screening)
De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/).
GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie (Schünemann, 2013).
|
GRADE |
Definitie |
|
Hoog |
|
|
Redelijk* |
|
|
Laag |
|
|
Zeer laag |
|
*in 2017 heeft het Dutch GRADE Network bepaalt dat de voorkeursformulering voor de op een na hoogste gradering ‘redelijk’ is in plaats van ‘matig’
B) Voor vragen over diagnostische tests, schade of bijwerkingen, etiologie en prognose
De kracht van het wetenschappelijke bewijs werd eveneens bepaald volgens de GRADE-methode: GRADE-diagnostiek voor diagnostische vragen (Schünemann, 2008), en een generieke GRADE-methode voor vragen over schade of bijwerkingen, etiologie en prognose. In de gehanteerde generieke GRADE-methode werden de basisprincipes van de GRADE-methodiek toegepast: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat, en een beoordeling van bewijskracht op basis van de vijf GRADE-criteria (startpunt hoog; downgraden voor risk-of-bias, inconsistentie, indirectheid, imprecisie, en publicatiebias).
Formuleren van de conclusies
Voor elke relevante uitkomstmaat werd het wetenschappelijk bewijs samengevat in een of meerdere literatuurconclusies waarbij het niveau van bewijs werd bepaald volgens de GRADE-methodiek. De werkgroepleden maakten de balans op van elke interventie (overall conclusie). Bij het opmaken van de balans werden de gunstige en ongunstige effecten voor de patiënt afgewogen. De overall bewijskracht wordt bepaald door de laagste bewijskracht gevonden bij een van de cruciale uitkomstmaten. Bij complexe besluitvorming waarin naast de conclusies uit de systematische literatuuranalyse vele aanvullende argumenten (overwegingen) een rol spelen, werd afgezien van een overall conclusie. In dat geval werden de gunstige en ongunstige effecten van de interventies samen met alle aanvullende argumenten gewogen onder het kopje 'Overwegingen'.
Overwegingen (van bewijs naar aanbeveling)
Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals de expertise van de werkgroepleden, de waarden en voorkeuren van de patiënt (patient values and preferences), kosten, beschikbaarheid van voorzieningen en organisatorische zaken. Deze aspecten worden, voor zover geen onderdeel van de literatuursamenvatting, vermeld en beoordeeld (gewogen) onder het kopje ‘Overwegingen’.
Formuleren van aanbevelingen
De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk. De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen.
Randvoorwaarden (Organisatie van zorg)
In de knelpuntenanalyse en bij de ontwikkeling van de richtlijn is expliciet rekening gehouden met de organisatie van zorg: alle aspecten die randvoorwaardelijk zijn voor het verlenen van zorg (zoals coördinatie, communicatie, (financiële) middelen, menskracht en infrastructuur). Randvoorwaarden die relevant zijn voor het beantwoorden van een specifieke uitgangsvraag maken onderdeel uit van de overwegingen bij de bewuste uitgangsvraag.
Gelijktijdig met het ontwikkelen van de conceptrichtlijn werden er interne kwaliteitsindicatoren ontwikkeld om het toepassen van de richtlijn in de praktijk te volgen en te versterken. Meer informatie over de methode van indicatorontwikkeling is op te vragen bij het Kennisinstituut van de Federatie Medisch Specialisten (secretariaat@kennisinstituut.nl).
Kennislacunes
Tijdens de ontwikkeling van deze richtlijn is systematisch gezocht naar onderzoek waarvan de resultaten bijdragen aan een antwoord op de uitgangsvragen. Bij elke uitgangsvraag is door de werkgroep nagegaan of er (aanvullend) wetenschappelijk onderzoek gewenst is om de uitgangsvraag te kunnen beantwoorden. Een overzicht van de onderwerpen waarvoor (aanvullend) wetenschappelijk van belang wordt geacht, is als aanbeveling in de Kennislacunes beschreven (onder aanverwante producten).
Commentaar- en autorisatiefase
De conceptrichtlijn werd aan de betrokken (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd ter commentaar. De commentaren werden verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren werd de conceptrichtlijn aangepast en definitief vastgesteld door de werkgroep. De definitieve richtlijn werd aan de deelnemende (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd.
Literatuur
Brouwers MC, Kho ME, Browman GP, et al. AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348.
Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. Link: https://richtlijnendatabase.nl/over_deze_site/richtlijnontwikkeling.html
Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.
Schünemann HJ, Oxman AD, Brozek J, et al. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ. 2008;336(7653):1106-10. doi: 10.1136/bmj.39500.677199.AE. Erratum in: BMJ. 2008;336(7654). doi: 10.1136/bmj.a139. PubMed PMID: 18483053.
Wessels M, Hielkema L, van der Weijden T. How to identify existing literature on patients' knowledge, views, and values: the development of a validated search filter. J Med Libr Assoc. 2016 Oct;104(4):320-324. PubMed PMID: 27822157; PubMed Central PMCID: PMC5079497.
Zoekverantwoording
Zoekacties zijn opvraagbaar. Neem hiervoor contact op met de Richtlijnendatabase.