Beeldvorming bij een vergroot ovarium
Uitgangsvraag
Wat is de aanvullende waarde van een CT-scan of MRI-scan naast echoscopie om te kunnen differentiëren tussen benigne en maligne adnex pathologie?
Aanbeveling
Voer primair echoscopisch onderzoek uit voor de differentiatie tussen benigne en maligne ovariumcystes.
Laat niet standaard een CT of MRI maken naast echoscopie bij patiënten met een vergroot ovarium.
Overwegingen
De onderstaande overwegingen en aanbevelingen gelden voor het overgrote deel van de populatie waarop de uitgangsvraag betrekking heeft.
Voor- en nadelen van de interventie en de kwaliteit van het bewijs
Op basis van de literatuur is het onduidelijk wat de aanvullende waarde is van een MRI-scan naast echoscopie, vergeleken met echoscopie alleen voor de differentiatie tussen benigne en maligne adnexpathologie.
Er werden geen studies gevonden waarin was gekeken naar de toegevoegde waarde van een CT-scan naast echoscopie voor differentiatie tussen benigne en maligne adnex pathologie.
De overall bewijskracht is gegradeerd als ‘zeer laag’ gezien de beperkingen in de onderzoeksopzet in de studie naar de toegevoegde waarde van MRI in combinatie met echo (risk of bias vanwege mogelijk ontbreken van blindering) en vanwege het ontbreken van studies naar de toegevoegde waarde van CT in combinatie met echo.
Voor differentiatie tussen benigne en maligne ovariumcystes wordt primair echoscopisch onderzoek aanbevolen. Echoscopie kan door de gynaecoloog zelf worden uitgevoerd, er is geen contrastvloeistof nodig, er is geen stralenbelasting en echoscopie is relatief goedkoop. Op basis van de resultaten uit de literatuuranalyse is er op dit moment geen bewijs dat MRI of CT in combinatie met echoscopie van toegevoegde waarde is, vergeleken met alleen een echo.
In de retrospectieve cohortstudie van Stiekema (2014) (n=181) werd de diagnostische accuratesse van alleen een CT vergeleken met alleen een echo voor de differentiatie tussen benigne en maligne ovariumcystes. De studiepopulatie betrof een derdelijns populatie waarvan n=34 benigne cystes en n=147 maligne cystes. Ondanks dat de studie niet kon worden geïncludeerd in de literatuuranalyse doordat er niet gekeken werd naar de diagnostische accuratesse van CT in combinatie met echo, vergeleken met echo alleen, worden de resultaten hier kort beschreven. De sensitiviteit voor het diagnosticeren van maligne tumoren met echoscopie was 0,72 (106/147) en 0,93 (137/147) op basis van CT. De specificiteit van echoscopie was 0,82 (28/34) en 0,85 (29/34) voor CT. Dit betrof echter een groep patiënten die op basis van de echo al was verwezen naar de derdelijn en daardoor een hoge kans had op een maligniteit. De CT-scan lijkt met name nuttig om metastasen boven in de buik of in de lymfklieren vast te stellen en de relatie met de omliggende organen.
Het gebruik van andere beeldvormende technieken dan echoscopie wordt bij voorkeur alleen toegepast als er twijfel bestaat op basis van echoscopisch onderzoek.
Het voordeel van de MRI-scan ten opzichte van echoscopie is het vermogen om de inhoud van de cyste beter te kunnen karakteriseren, dit kan behulpzaam zijn bij een verdenking op dermoïdcyste of een endometrioom. De huidige MRI-scanners hebben vaak krachtigere magneten dan waar oudere studies mee zijn verricht. Ook MRI methoden zoals de diffusion-weighted MRI zijn beschikbaar gekomen. Hiervan is de toegevoegde waarde nog niet aangetoond. Onderzoeksresultaten uit het IOTA consortium worden binnenkort verwacht hierover.
Deze richtlijn gaat niet over het gebruik van beeldvormende technieken in de beoordeling van uitbreiding van een bepaalde ziekte (bijvoorbeeld het gebruik van CT abdomen bij stadiëring van een ovariumcarcinoom; het gebruik van MRI-bekken ter beoordeling van de uitbreiding van endometriose, enzovoort). Hiervoor verwijzen we naar de respectievelijke richtlijnen ‘Ovariumcarcinoom’ en ‘Endometriose’.
Waarden en voorkeuren van patiënten (en eventueel hun verzorgers)
Het ondergaan van een MRI- of CT-scan is meer belastend voor een patiënt dan echoscopisch onderzoek alleen. Op dit moment is er geen aanleiding om de patiënt standaard een MRI- of CT-scan aan te bieden naast echoscopisch onderzoek vanwege het ontbreken van bewijs voor de toegevoegde waarde hiervan. Het is daarom belangrijk dat patiënten goed geïnformeerd worden over het ontbreken van de toegevoegde waarde hiervan vergeleken met echoscopie.
Kosten (middelenbeslag)
Er zijn geen kosteneffectiviteitsanalyses bekend waarin de kosten van aanvullende beeldvormende technieken zijn vergeleken met echoscopie alleen.
Aanvaardbaarheid voor de overige relevante stakeholders
Er zijn geen bezwaren bekend.
Haalbaarheid en implementatie
In de praktijk is echoscopie gemakkelijker en ruimer beschikbaar dan een CT- of MRI-scan. De kwaliteit van het echoscopisch onderzoek is sterk afhankelijk van de ervaring van de uitvoerende. Echoscopie door een expert heeft de hoogste sensitiviteit en specificiteit (van Gorp, 1999; Meys, 2016; Meys, 2017; Timmerman, 1999; Valentin, 2001). Er zijn diverse modellen beschikbaar om het risico op maligniteit in te schatten zoals RMI en een aantal IOTA-modellen. Om de IOTA-modellen toe te kunnen passen is training vereist. Door onervarenheid grijpen artsen soms eerder naar andere beeldvormende technieken dan een echo.
Het is te overwegen om binnen elk gynaecologisch maatschap/vakgroep iemand te hebben die bijzondere interesse heeft in gynaecologische echoscopie. Het aantal fout-positieve en fout-negatieve diagnoses van benigne en maligne ovariële tumoren kan hierdoor waarschijnlijk gereduceerd worden.
Rationale/ balans tussen de argumenten voor en tegen de interventie
Gezien het ontbreken van bewijs voor de meerwaarde van CT en/of MRI naast echoscopie vergeleken met alleen een echo wordt dit niet aanbevolen als standaard diagnostisch middel voor differentiatie tussen een benigne of maligne vergroot ovarium.
Onderbouwing
Achtergrond
Bij de diagnostiek van een vergroot adnex wordt onder andere gebruik gemaakt van de anamnese, gynaecologisch onderzoek, beeldvorming zoals (transvaginale) echoscopie en CT/MRI-scan en de bepaling van tumormarkers. Met deze gegevens kan een inschatting worden van het risico op een maligniteit. In deze module wordt de diagnostische waarde van de verschillende beeldvormende instrumenten beschreven voor de differentiatie tussen benigne en maligne adnex pathologie.
Conclusies / Summary of Findings
1. MRI-scan in combinatie met echoscopie
Laag GRADE |
Er lijkt geen verschil te zijn in de sensitiviteit van MRI in combinatie met echoscopie (LR2 model) (1,00 (95%BI 0,93 tot 1,00) vergeleken met echoscopie alleen (0,94 (95% BI 0,85 tot 0,98)) voor de differentiatie tussen benigne en maligne ovariumafwijkingen.
Mogelijk is de specificiteit van MRI in combinatie met echoscopie (LR2 model) (0,91 (95%BI 0,86 tot 0,94)) lager vergeleken met echoscopie alleen (0,98 (95%BI 0,95 tot 0,99)) voor de differentiatie tussen benigne en maligne ovariumafwijkingen.
Er lijkt geen verschil te zijn in de positief voorspellende waarde van MRI in combinatie met echoscopie (LR2 model) (0,73 (95%BI 0,62 tot 0,82)) vergeleken met echoscopie alleen (0,91 (95%BI 0,81 tot 0,96)) voor de differentiatie tussen benigne en maligne ovariumafwijkingen.
Er lijkt geen verschil te zijn in de negatief voorspellende waarde van MRI in combinatie met echoscopie (LR2 model) (1,00 (95%BI 0,98 tot 1,00)) vergeleken met echoscopie alleen (0,99 (95%BI 0,96 tot 1,00)) voor de differentiatie tussen benigne en maligne ovariumafwijkingen.
Bronnen: (Shimada, 2018) |
2. CT-scan in combinatie met echoscopie
- GRADE |
Er werden geen studies gevonden waarin was gekeken of een CT scan in combinatie met echoscopie van toegevoegde waarde is ten opzichte van echoscopie alleen voor de differentiatie tussen benigne en maligne ovariumafwijkingen. |
Samenvatting literatuur
1. MRI in combinatie met echoscopie
Beschrijving studies
Er werd één studie geïncludeerd die de diagnostische accuratesse beschreef van echoscopie in combinatie met een MRI-scan (Shimada, 2018). Shimada (2018) is een prospectieve observationele studie (2 ziekenhuizen, n=265 patiënten) waarin de diagnostische waarde voor het onderscheiden van benigne en maligne ovariumafwijkingen van het International Ovarian Tumor Analysis (IOTA) ultrasound-based logistic regression model (LR2) werd vergeleken met MRI. Patiënten kregen zowel echoscopisch onderzoek als MRI. De histologische uitslag werd gebruikt als referentiestandaard.
Resultaten
Op basis van histologie werden n=54 maligne en n=211 benigne tumoren geclassificeerd.
Het percentage terecht positieve uitslagen, de sensitiviteit voor het diagnosticeren van maligne tumoren, van IOTA LR2 was 0,94 (95% BI 0,85 tot 0,98) en was niet significant verschillend van de sensitiviteit van MRI (0,96 (95% BI 0,87 tot 0,99; p = 0,99)). De gecombineerde waarde van sensitiviteit (IOTA LR2 + MRI, waarbij in het geval dat de testen niet in overeenstemming waren afwijkingen werden geclassificeerd als maligne) was 1,00 (95%BI 0,93 tot 1,00).
Het percentage terecht negatieve uitslagen, de specificiteit, van IOTA LR2 was 0,98 (95%BI 0,95 tot 0,99) en is significant hoger dan de specificiteit van MRI alleen (0,91 (95%BI 0,87 tot 0,95; p = 0,002)). De gecombineerde waarde (IOTA LR2 + MRI) was 0,91 (95%BI 0,86 tot 0,94).
De positief voorspellende waarde (PPV) van IOTA LR2 0,91 (95%BI 0,81 tot 0,96) en van MRI 0,74 (95%BI 0,63 tot 0,83). De PPV van IOTA LR2 + MRI was 0,73 (95%BI 0,62 tot 0,82).
De negatief voorspellende waarde (NPV) van IOTA LR2 was 0,99 (95%BI 0,96 tot 1,00), er werden 3/54 maligne tumoren als benigne geclassificeerd. De NVP van MRI was 0,99 (95%BI 0,96 tot 1,00), er werden 2/54 maligne tumoren als benigne geclassificeerd. De NPV van IOTA LR2 + MRI was 1,00 (95%BI 0,98 tot 1,00), op basis van de gecombineerde uitslag waren er geen fout negatieve uitslagen.
Er werden geen studies gevonden waarin de uitkomst ‘likelihood ratio’ werd gerapporteerd voor de vergelijking tussen MRI in combinatie met echoscopie, vergeleken met alleen echoscopie.
Bewijskracht van de literatuur
Diagnostische studies beginnen op een hoog niveau van bewijs. De bewijskracht voor de uitkomstmaat diagnostische accuratesse (sensitiviteit, specificiteit, PPV, NPV) voor de MRI-scan is met twee niveaus verlaagd gezien beperkingen in de onderzoeksopzet (risk of bias vanwege mogelijk ontbreken van blindering) en het geringe aantal patiënten (imprecisie, één studie n=265). Hierdoor kwam de bewijskracht uit op een GRADE ‘laag’.
2. CT in combinatie met echoscopie
Beschrijving studies
Er werden geen studies gevonden waarin was gekeken naar de diagnostische accuratesse van CT in combinatie met echoscopie, vergeleken met echoscopie alleen.
Resultaten
Er werden geen studies gevonden waarin was gekeken naar de diagnostische accuratesse van CT in combinatie met echoscopie, vergeleken met echoscopie alleen.
Bewijskracht van de literatuur
De bewijskracht van de literatuur kan niet worden beoordeeld middels GRADE doordat er geen studies gevonden waarin was gekeken naar de diagnostische accuratesse van CT in combinatie met echoscopie, vergeleken met echoscopie alleen.
Zoeken en selecteren
Om de uitgangsvraag te kunnen beantwoorden is er een systematische literatuuranalyse verricht naar de volgende zoekvraag:
Wat is de diagnostische accuratesse van echoscopie (transvaginale/ abdominale echoscopie of Doppler-echoscopie) in combinatie met een CT-scan of MRI-scan ten opzichte van echoscopie alleen, voor differentiatie tussen benigne en maligne adnex pathologie bij vrouwen met een echoscopisch vergroot adnex en een mogelijke verdenking op maligniteit?
P: alle vrouwen met echoscopisch vergroot adnex (> 3cm) (maligne/benigne) en mogelijke verdenking maligniteit;
I: CT-scan met echoscopie (transvaginale/ abdominale echoscopie of Doppler-echoscopie) of MRI-scan met echoscopie (transvaginale/ abdominale echoscopie of Doppler-echoscopie);
C: echoscopie (transvaginale/ abdominale echoscopie of Doppler-echoscopie);
R: histologische uitslag;
O: sensitiviteit, specificiteit, positief voorspellende waarde (PPV), negatief voorspellende waarde (NPV), likelihood ratio (LR).
Relevante uitkomstmaten
De werkgroep achtte de sensitiviteit en specificiteit voor de besluitvorming cruciale uitkomstmaten; en de positief voorspellende waarde, negatief voorspellende waarde en likelihood ratio voor de besluitvorming belangrijke uitkomstmaten.
De werkgroep definieerde niet a priori de genoemde uitkomstmaten, maar hanteerde de in de studies gebruikte definities.
Zoeken en selecteren (Methode)
In de databases Medline (via OVID), Embase (via Embase.com) is op 30 januari 2019 met relevante zoektermen gezocht vanaf 2012 naar systematische reviews en diagnostische studies. De zoekverantwoording is weergegeven onder het tabblad Verantwoording. De literatuurzoekactie leverde 217 treffers op. Studies werden geselecteerd op grond van de volgende selectiecriteria: 1) studie betrof vrouwen met echoscopisch vergroot adnex (> 3cm) (maligne/benigne) en mogelijke verdenking maligniteit; 2) studie vergeleek de diagnostische opbrengst van een CT-scan in combinatie met echoscopie of de diagnostische opbrengst van een MRI-scan in combinatie met echoscopie met de resultaten van alleen echoscopisch onderzoek; 3) de histopathologische uitslag werd als gouden standaard gerapporteerd. Op basis van titel en abstract werden in eerste instantie 26 studies voorgeselecteerd. Na raadpleging van de volledige tekst, werden vervolgens 24 studies geëxcludeerd (zie exclusietabel onder het tabblad Verantwoording) en 2 studies definitief geselecteerd.
Resultaten
Twee onderzoeken zijn opgenomen in de literatuuranalyse. De belangrijkste studiekarakteristieken en resultaten zijn opgenomen in de evidencetabellen. De beoordeling van de individuele studieopzet (risk of bias) is opgenomen in de risk-of-biastabellen.
Referenties
- van Gorp T., Veldman J., Van Calster B., Cadron I., Leunen K., Amant F., Timmerman D., Vergote I. Subjective assessment by ultrasound is superior to the risk of malignancy index (RMI) or the risk of ovarian malignancy algorithm (ROMA) in discriminating benign from malignant adnexal masses. Eur J Cancer. 2012 Jul;48(11):1649-56.
- Meys EM, Kaijser J, Kruitwagen RF, Slangen BF, Van Calster B, Aertgeerts B, et al. Subjective assessment versus ultrasound models to diagnose ovarian cancer: A systematic review and meta-analysis. Eur J Cancer. 2016;58:17-29.
- Meys EMJ, Jeelof LS, Achten NMJ, Slangen BFM, Lambrechts S, Kruitwagen RFPM, Van Gorp T. Estimating risk of malignancy in adnexal masses: external validation of the ADNEX model and comparison with other frequently used ultrasound methods. Ultrasound Obstet Gynecol. 2017 Jun;49(6):784-792.
- Shimada K, Matsumoto K, Mimura T, Ishikawa T, Munechika J, Ohgiya Y, et al. (2018). Ultrasound-based logistic regression model LR2 versus magnetic resonance imaging for discriminating between benign and malignant adnexal masses: a prospective study. Int J Clin Oncol., 23(3):514-21.
- Stiekema A, Lok CA, Kenter GG, van Driel WJ, Vincent AD, Korse CM. (2014). A predictive model combining human epididymal protein 4 and radiologic features for the diagnosis of ovarian cancer. Gynecol Oncol., 132(3):573-7.
- Timmerman D, Schwarzler P, Collins WP, Claerhout F, Coenen M, Amant F, Vergote I, Bourne TH. Subjective assessment of adnexal masses with the use of ultrasonography: an analysis of interobserver variability and experience. Ultrasound Obstet Gynecol. 1999 Jan;13(1):11-6.
- Valentin L., Hagen B., Tingulstad S., Eik-Nes S. Comparison of 'pattern recognition' and logistic regression models for discrimination between benign and malignant pelvic masses: a prospective cross validation. Ultrasound Obstet Gynecol. 2001 Oct;18(4):357-65.
Evidence tabellen
Evidence table for intervention studies (randomized controlled trials and non-randomized observational studies (cohort studies, case-control studies, case series))1
This table is also suitable for diagnostic studies (screening studies) that compare the effectiveness of two or more tests. This only applies if the test is included as part of a test-and-treat strategy - otherwise the evidence table for studies of diagnostic test accuracy should be used.
Study reference |
Study characteristics |
Patient characteristics 2 |
Intervention (I) |
Comparison / control (C) 3
|
Follow-up |
Outcome measures and effect size 4 |
Comments |
|||||
Shimada, 2018 |
Type of study: Prospective observational study
Setting and country: Multicenter (2 hospitals), Japan
Funding and conflicts of interest: ‘All authors report no conflict of any financial interest.’ |
Inclusion criteria -presentation with at least one adnexal mass, -having undergone an US examination by a principal investigator and MRI imaging at one of participating centers.
Exclusion criteria: -patients who were pregnant; -patients who refused to undergo transvaginal US or MRI; -patients who failed to undergo surgical removal of the mass within 120 days of the US examination.
N total at baseline: N= 265
Important prognostic factors
Age, years, median (range) 41 (19–88) |
subjective interpretation of MRI |
IOTA LR2 International Ovarian Tumor Analysis (IOTA) ultrasound-based logistic regression model (LR2)
Transvaginal US examinations were performed by two gynecologists; transabdominal US was used to examine large masses that could not be seen in their entirety using transvaginal probes. Operators also used color Doppler US to obtain blood flow information to characterize adnexal masses.
The following six variables were used for the calculation: (1) patient’s age in years; (2) presence of ascites (3) presence of blood flow within a solid papillary (4) maximal diameter of the solid component (5) irregular internal cyst walls and (6) presence of acoustic shadows
The estimated probability of malignancy (POM) for an adnexal tumor: 1/(1 + e−Z) Z = − 5.3718 + 0.0354 × (1) + 1.6159 × (2) + 1.1768 × (3) + 0.0697 × (4) + 0.9586 × (5) – 2.9486 × (6)
Cutoff value: 0.1 of the POM, i.e., an adnexal mass was regarded as malignant when POM > 0.1
Definitive histological diagnosis of excised tissues was used as a gold standard |
Length of follow-up: NR
Loss-to-follow-up: -
Incomplete outcome data: -
|
IOTA LR2: 0.94, 95% CI, 0.85–0.98 MRI 0.96, 95% CI, 0.87–0.99 p = 0.99 IOTA +MRI: 1.00, 95%CI 0.93-1.00
Specificity IOTA LR2: 0.98, 95% CI, 0.95–0.99 MRI: 0.91, 95% CI, 0.87–0.95 p = 0.002. IOTA + MRI: 0.91, 95%CI, 0.86-0.94
|
|
|||||
Stiekema, 2014 |
Type of study: Retrospective observational study.
Setting and country: Netherlands Cancer institute, The Netherlands
Funding and conflicts of interest: “There are no conflicts of interest for this manuscript.” |
Inclusion criteria: All women with histological confirmed epithelial ovarian carcinoma (EOC) or benign ovarian disease who were referred to the Netherlands Cancer institute in Amsterdam between February 1994 and November 2008 were included
Exclusion criteria: -insufficient clinical data available to establish disease stage.
N total at baseline: Healthy control n = 180 Benign disease n = 34 Ovarian cancer n = 147
Important prognostic factors
Age, years (Mean) Control: 47 Benign: 57 Ovarian cancer: 58
Postmenopausal (n, %) Control: 77 (43%) Benign: 26 (77%) Ovarian cancer: 117 (75%) |
CT-scans were revised by a radiologist in The Netherlands Cancer Institute at the time of diagnosis. If no CT-scan was available from the referring hospital, a CT-scan was performed in our clinic. |
Ultrasound: standard investigation in the diagnostic work-up during the first visit in the clinic |
Length of follow-up: NR
Loss-to-follow-up: -
Incomplete outcome data: -
|
Benigne (n=34) Maligne (n=147)
Sens: 0.72 (106/147) Spec: 0.82 (28/34)
CT Sens: 0.93 (137/147) Spec: 0.85 (29/34)
|
The individual factors assessed for ultrasound were also assessed by CT-scan, and only the presence of intra-abdominal metastases added significant prognostic value to HE4 (p = 0.0004).
Because of the specific population with a relatively high incidence of malignancy, PPV and NPV were not included in the results. |
Notes:
- Prognostic balance between treatment groups is usually guaranteed in randomized studies, but non-randomized (observational) studies require matching of patients between treatment groups (case-control studies) or multivariate adjustment for prognostic factors (confounders) (cohort studies); the evidence table should contain sufficient details on these procedures.
- Provide data per treatment group on the most important prognostic factors ((potential) confounders).
- For case-control studies, provide sufficient detail on the procedure used to match cases and controls.
- For cohort studies, provide sufficient detail on the (multivariate) analyses used to adjust for (potential) confounders.
Risk of bias table for intervention studies (observational: non-randomized clinical trials, cohort and case-control studies)
Study reference
(first author, year of publication) |
Bias due to a non-representative or ill-defined sample of patients?1
(unlikely/likely/unclear) |
Bias due to insufficiently long, or incomplete follow-up, or differences in follow-up between treatment groups?2
(unlikely/likely/unclear) |
Bias due to ill-defined or inadequately measured outcome ?3
(unlikely/likely/unclear) |
Bias due to inadequate adjustment for all important prognostic factors?4
(unlikely/likely/unclear) |
Shimada, |
Unlikely |
Unlikely |
Unclear, blinding of outcome assessment not described |
Unlikely |
Stiekema, 2014 |
Likely |
Unlikely |
Unclear, blinding of outcome assessment not described |
Unlikely |
- Failure to develop and apply appropriate eligibility criteria: a) case-control study: under- or over-matching in case-control studies; b) cohort study: selection of exposed and unexposed from different populations.
- 2 Bias is likely if: the percentage of patients lost to follow-up is large; or differs between treatment groups; or the reasons for loss to follow-up differ between treatment groups; or length of follow-up differs between treatment groups or is too short. The risk of bias is unclear if: the number of patients lost to follow-up; or the reasons why, are not reported.
- Flawed measurement, or differences in measurement of outcome in treatment and control group; bias may also result from a lack of blinding of those assessing outcomes (detection or information bias). If a study has hard (objective) outcome measures, like death, blinding of outcome assessment is not necessary. If a study has “soft” (subjective) outcome measures, like the assessment of an X-ray, blinding of outcome assessment is necessary.
- Failure to adequately measure all known prognostic factors and/or failure to adequately adjust for these factors in multivariate statistical analysis.
Tabel Exclusie na het lezen van het volledige artikel
Auteur en jaartal |
Redenen van exclusie |
Alcazar, 2019 |
Voldoet niet aan PICO |
Anthoulakis, 2014 |
Voldoet niet aan PICO |
Anwar, 2014 |
Voldoet niet aan PICO |
Dauwen, 2013 |
Voldoet niet aan PICO |
Dodge, 2012a |
Voldoet niet aan PICO, geen vergelijkende studies |
Dodge, 2012b |
Voldoet niet aan PICO, geen vergelijkende studies |
Fathi Kazerooni, 2018a |
Voldoet niet aan PICO |
Fathi Kazerooni, 2018b |
Voldoet niet aan PICO |
Genc, 2015 |
Niet fulltekst beschikbaar. |
Goodrich, 2014 |
Voldoet niet aan PICO |
Haggerty, 2014 |
Voldoet niet aan PICO |
Hori, 2012 |
Voldoet niet aan PICO |
Iraha, 2017 |
Narrative review |
Kayemba-Kay's, 2017 |
Voldoet niet aan PICO |
Kazerooni, 2017 |
Voldoet niet aan PICO |
Li, 2012 |
Voldoet niet aan PICO |
Mansour, 2015 |
Voldoet niet aan PICO |
Mohaghegh, 2012 |
Narrative review |
Park, 2014 |
Narrative review |
Ratner, 2015 |
Voldoet niet aan PICO |
Sasaguri, 2019 |
Voldoet niet aan PICO |
Thomassin-Naggara, 2013 |
Voldoet niet aan PICO |
Thomassin-Naggara, 2017 |
Voldoet niet aan PICO |
Zhang, 2017 |
Voldoet niet aan PICO |
Verantwoording
Autorisatiedatum en geldigheid
Laatst beoordeeld : 11-03-2021
Laatst geautoriseerd : 11-03-2021
Geplande herbeoordeling : 01-01-2027
Bij het opstellen van de module heeft de werkgroep een inschatting gemaakt over de maximale termijn waarop herbeoordeling moet plaatsvinden en eventuele aandachtspunten geformuleerd die van belang zijn bij een toekomstige herziening (update). De geldigheid van de richtlijnmodule komt eerder te vervallen indien nieuwe ontwikkelingen aanleiding zijn een herzieningstraject te starten.
Module[1] |
Regiehouder(s)[2] |
Jaar van autorisatie |
Eerstvolgende beoordeling actualiteit richtlijn[3] |
Frequentie van beoordeling op actualiteit[4] |
Wie houdt er toezicht op actualiteit[5] |
Relevante factoren voor wijzigingen in aanbeveling[6] |
Diagnostiek beeldvorming |
NVOG |
2020 |
2025 |
Elke 5 jaar |
NVOG |
Ontwikkelingen in het vakgebied, publicatie van nieuw vergelijkend onderzoek. |
[1] Naam van de module
[2] Regiehouder van de module (deze kan verschillen per module en kan ook verdeeld zijn over meerdere regiehouders)
[3] Maximaal na vijf jaar
[4] (half)Jaarlijks, eens in twee jaar, eens in vijf jaar
[5] regievoerende vereniging, gedeelde regievoerende verenigingen, of (multidisciplinaire) werkgroep die in stand blijft
[6] Lopend onderzoek, wijzigingen in vergoeding/organisatie, beschikbaarheid nieuwe middelen
Algemene gegevens
De richtlijnontwikkeling werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten en werd gefinancierd uit de Stichting Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijn.
De richtlijnmodule is goedgekeurd door:
- Stichting Bekkenbodem4All
Doel en doelgroep
Doel
Het doel is om gynaecologen te voorzien van een landelijk gedragen richtlijn voor het voorkomen en het behandelen van vrouwen met een (benigne) vergroot ovarium en die voldoet aan de eisen van een AGREE-instrument volgens de EBRO-methode. De te ontwikkelen richtlijn voorziet in de meest recente 'evidence based' informatie over het onderwerp (benigne) vergroot ovarium.
Met het opstellen van een dergelijke richtlijn wordt beoogd de onduidelijkheid en onzekerheid over het diagnosticeren en behandelen van een (benigne) ovariumcyste weg te nemen.
Doelgroep
Patiëntencategorie
De richtlijn geldt voor alle pre- en postmenopauzale vrouwen met een vergroot ovarium (vanaf de menarche), bij wie niet eerder een maligniteit (mamma, ovarium, GE) werd vastgesteld.
Richtlijngebruikers
Deze richtlijn is geschreven voor alle leden van de beroepsgroep van gynaecologen. Daarnaast kan deze richtlijn ingezien en gebruikt worden door alle zorgverleners die te maken krijgen met vrouwen met een vergroot ovarium.
Samenstelling werkgroep
Samenstelling werkgroep update 2018
- Dr. P.M.A.J. Geomini, gynaecoloog, werkzaam in het Máxima Medisch Centrum te Eindhoven, NVOG, voorzitter richtlijncommissie
- Dr. D. van den Broek, klinisch chemicus, werkzaam bij het NKI te Amsterdam, NVKC
- Dr. J. Kaijser, gynaecoloog, werkzaam bij het Ikazia ziekenhuis te Rotterdam, NVOG
- Dr. A.J. Krüse, gynaecoloog, werkzaam bij Isala te Zwolle, NVOG
- Dr. C.A.R. Lok, gynaecoloog, werkzaam bij het NKI te Amsterdam, NVOG
- Dr. A. Stiekema, AIOS gynaecologie, werkzaam bij het Academisch Medisch Centrum te Amsterdam, NVOG
- M. Bosch, belangenbehartiging en PR Stichting Bekkenbodem4All, Stichting Bekkenbodem4All
Met ondersteuning van
- dr. E.J.M. den Breejen, senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- dr. A. Bijlsma-Rutte, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- dr. W.J. Harmsen, adviseur Kennisinstituut van de Federatie Medisch Specialisten
Oude samenstelling werkgroep
- Mw. dr. P.M.A.J. Geomini, gynaecoloog, Maxima Medisch Centrum, Veldhoven (voorzitter)
- Dhr. prof. dr. H.A.M. Brölmann, gynaecoloog, VU Medisch Centrum, Amsterdam
- Dhr. dr. F.P.H.L.J. Dijkhuizen, gynaecoloog, ziekenhuis Rijnstate, Arnhem
- Dhr. dr. T. Van Gorp, gynaecologisch oncoloog, Maastricht Universitair Medisch Centrum, Maastricht
- Mw. dr. C.A.R. Lok, gynaecologisch oncoloog, Centrum Gynaecologische Oncologie, Amsterdam
- Mw. drs. B.M. Pijlman, gynaecoloog, Jeroen Bosch Ziekenhuis, Den Bosch
- Mw. Dr. F. Vernooij, AIOS Obstetrie & Gynaecologie, epidemioloog, Meander Medisch Centrum, Amersfoort
- Mw. dr. Y.M. de Mooij, AIOS, VU Medisch Centrum, Amsterdam
- Ir. T.A. van Barneveld, klinisch epidemioloog, Orde van Medisch Specialisten, Utrecht
- Dhr. drs. K.Y. Heida, richtlijnondersteuner Nederlandse Vereniging voor Obstetrie en Gynaecologie, Utrecht
- Mw. drs. M.E.P.F. Rückert, richtlijnondersteuner Nederlandse Vereniging voor Obstetrie en Gynaecologie, Utrecht
- Mw. drs. C.A.L. van Rijn, richtlijnondersteuner Nederlandse Vereniging voor Obstetrie en Gynaecologie, Utrecht
Extern advies
- Mw. drs. M. Wessels, informatiespecialist, Orde van Medisch Specialisten, Utrecht
Belangenverklaringen
De KNMG-code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement, kennisvalorisatie) hebben gehad. Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.
Belangenverklaringen werkgroep update 2018
Werkgroeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
Geomini* |
Gynaecoloog |
Geen |
mede organisator van Nederlandse IOTA cursus (gericht op implementeren IOTA regels voor echo beschrijving bij vergroot adnex) 1e auteur review: Geomini et al. The accuracy of risk scores in predicting ovarian malignancy: a systematic review. Obstet Gynecol. 2009 Feb;113:384-94. |
Geen |
Kruse |
Gynaecoloog-oncoloog, Isala, Zwolle |
Geen |
Geen |
Geen |
Kaijser |
gynaecoloog Ikazia Ziekenhuis Rotterdam |
Cursusinstructeur: echografie van het vergrote ovarium: Nederlandse IOTA cursus. Specialistische echocursus voor afwijkingen in de adnexiele regio. Jaarlijkse eendaags cursus voor gynaecologen en AIOS mede georganiseerd door Biomedic-Samsung, Nederland. Locatie Almere. Medio Juni 2019 zal dit voor de 4e maal plaatsvinden. Sprekersvergoeding à 500 euro. |
Klinisch werkzaam met Samsun WS80 echotoestel met geïntegreerd IOTA ADNEX model voor differentiatie van adnextumoren. Toestel wordt door Ikazia Ziekenhuis via officieel huurcontract afgenomen bij Biomedic Samsung, Nederland |
Geen trekker (1e auteur) bij module over diagnostische modellen (UV4) |
Lok |
Gynaecologisch-oncoloog Antoni van Leeuwenhoek - Nederlands Kanker Instituut |
Geen betaalde nevenfuncties Begeleiding van promovendi |
2 jaar geleden (kleine) subsidie (4x5000 euro) van Fujirebio gehad om een onderzoeker parttime HE4 te laten onderzoeken. Geen voorwaarden aan subsidie verbonden. Ging louter om het gebruiken van hun apparatuur voor analyse van samples. Huidig onderzoek wordt niet gefinancierd door Fujirebio.
Heeft eerder ook subsidies ontvangen voor onderzoek, waarbij de subsidies altijd aan het instituut werden uitbetaald om een onderzoeker van de betalen. Geen persoonlijk financieel gewin. Ging louter om het gebruik van technologieën van de betreffende industrie, geen voorwaarden verbonden aan de publicaties. Heeft zowel positieve als negatieve bevindingen over gepubliceerd.
Huidig onderzoek dat raakvlakken met de richtlijn heeft: onderzoek naar RMI en IOTA en het meten van markers, waarmee de selectie van patiënten zou kunnen worden verbeterd. Geen sponsoring van de industrie voor deze studie.
Heb wel over HE4 gepubliceerd, maar ook over CA-125 en RMI. Betreft louter wetenschappelijke publicaties van trial resultaten etc. Geen opiniestukken. Deze publicaties werden niet gesponsord door de industrie. Hier hangt m.i. geen intellectueel belang aan vast omdat zowel de voor- als nadelen van bv HE4 gewoon zijn gepubliceerd. |
Geen trekker (1e auteur) bij module over tumormarkers (UV3). |
Broek |
Klinisch chemicus/afdelingshoofd Algemeen klinisch laboratorium (fulltime) Antoni van Leeuwenhoek, Amsterdam |
Vakdeskundige Raad van Accreditatie ten behoeve van IS015189 (Detachering vanuit AVL, betaald) Lid commissie slimme en snelle diagnostiek (onbetaald) Lid flexpool ZonMW call vroege opsporing (vergoeding aan AVL, nu geen deelname aan ronde) Lid METC (onbetaald) Voorzitter instituut review board (onbetaald) Lid commissie moleculaire biologische diagnostiek NVKC (onbetaald) Voor alle werkzaamheden waar een vergoeding tegenover staat komt deze ten goede aan de werkgever. |
Geen Ik ben betrokken bij onderzoek dat wordt gefinancierd door fondsen en/of industrie, echter de onderwerpen van deze studies richten zich op moleculaire analyses in bloed of andere lichaamsvloeistoffen. Er zijn geen projecten die aan het onderwerp van deze richtlijn raken. |
Geen |
Bosch |
Vice Voorzitter en PR Stichting Bekkenbodem4All |
Geen |
Wij behartigen belangen van patiënten en geven voorlichting en ondersteuning aan mannen, vrouwen en kinderen met bekkenbodemproblemen in de breedste zin van het woord, zonder eigen belang of financieel belang. |
Geen |
Stiekema |
AIOS Gynaecologie, Amsterdam UMC locatie AMC Meibergdreef |
Geen |
Afgerond promotieonderzoek februari 2016 naar de rol van biomarker van HE4 bij onder andere het vergrote ovarium. Financiering voor dit onderzoek voor een heel klein deel (kits om laboratorium bepalingen uit te voeren) via Fujirebio. Deze contacten zijn na 2016 beëindigd. |
Geen trekker (1e auteur) bij module over tumormarkers (UV3). |
*voorzitter richtlijncommissie
Inbreng patiëntenperspectief
Er werd aandacht besteed aan het patiëntenperspectief door een afgevaardigde van de patiëntenvereniging Stichting Bekkenbodem4All in de werkgroep deel te laten nemen. De modules worden tevens voor commentaar voorgelegd aan de Patiëntenfederatie Nederland en aan de Stichting Bekkenbodem4All.
Methode ontwikkeling
Evidence based
Implementatie
In de verschillende fasen van het ontwikkelproces is rekening gehouden met de implementatie van de richtlijnmodule en de praktische uitvoerbaarheid van de aanbevelingen. Daarbij is uitdrukkelijk gelet op factoren die de invoering van de module in de praktijk kunnen bevorderen of belemmeren. De implementatietabel is te vinden in de bijlagen. Er werden geen indicatoren ontwikkeld bij deze modules.
Werkwijze
AGREE
Deze module is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010), dat een internationaal breed geaccepteerd instrument is. Voor een stap-voor-stap beschrijving hoe een evidence-based module tot stand komt wordt verwezen naar het stappenplan Ontwikkeling van Medisch Specialistische Richtlijnen van het Kennisinstituut van de Federatie Medisch Specialisten.
Knelpuntenanalyse
Uit de inventarisatie van de knelpunten door werkgroep bleek dat er een noodzaak was voor revisie en updaten van verschillende richtlijnmodules uit de richtlijn het Vergrote Ovarium (2013). Tijdens deze inventarisatie zijn er knelpunten aangedragen door relevante partijen via een schriftelijke Invitational conference. Een verslag hiervan is opgenomen in de bijlagen.
Uitgangsvraag en uitkomstmaten
Op basis van de uitkomsten van de knelpuntenanalyse zijn door de werkgroepleden en de adviseur uitgangsvragen opgesteld. Vervolgens inventariseerde de werkgroep welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet kritiek) en onbelangrijk. Indien mogelijk definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.
Strategie voor zoeken en selecteren van literatuur
Aan de hand van specifieke zoektermen werd gezocht naar gepubliceerde wetenschappelijke studies in (verschillende) elektronische databases. Tevens werd aanvullend gezocht naar studies aan de hand van de literatuurlijsten van de geselecteerde artikelen. In eerste instantie werd gezocht naar studies met de hoogste mate van bewijs. De werkgroepleden selecteerden de via de zoekactie gevonden artikelen op basis van vooraf opgestelde selectiecriteria. De geselecteerde artikelen werden gebruikt om de uitgangsvraag te beantwoorden. De geselecteerde databases waarin is gezocht en de gehanteerde selectiecriteria zijn te vinden in de module met desbetreffende uitgangsvraag. De zoekstrategie is opvraagbaar bij de Richtlijnendatabase, zie het tabblad ‘Zoekverantwoording’ voor verdere details.
Kwaliteitsbeoordeling individuele studies
Individuele studies werden systematisch beoordeeld, op basis van op voorhand opgestelde methodologische kwaliteitscriteria, om zo het risico op vertekende studieresultaten (risk of bias) te kunnen inschatten. Deze beoordelingen kunt u vinden in de Risk of Bias (RoB) tabellen. De gebruikte RoB instrumenten zijn gevalideerde instrumenten die worden aanbevolen door de Cochrane Collaboration:
- AMSTAR - voor systematische reviews.
- Cochrane - voor gerandomiseerd gecontroleerd onderzoek.
- ACROBAT-NRS - voor observationeel onderzoek.
- QUADAS II - voor diagnostisch onderzoek.
Samenvatten van de literatuur
De relevante onderzoeksgegevens van alle geselecteerde artikelen werden overzichtelijk weergegeven in evidencetabellen. De belangrijkste bevindingen uit de literatuur werden beschreven in de samenvatting van de literatuur.
Beoordelen van de kracht van het wetenschappelijke bewijs
Voor interventievragen (vragen over therapie of screening)
De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/).
GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie (Schünemann, 2013).
GRADE |
Definitie |
Hoog |
|
Redelijk |
|
Laag |
|
Zeer laag |
|
Bij het beoordelen (graderen) van de kracht van het wetenschappelijk bewijs in richtlijnen volgens de GRADE-methodiek spelen grenzen voor klinische besluitvorming een belangrijke rol (Hultcrantz, 2017). Dit zijn de grenzen die bij overschrijding aanleiding zouden geven tot een aanpassing van de aanbeveling. Om de grenzen voor klinische besluitvorming te bepalen moeten alle relevante uitkomstmaten en overwegingen worden meegewogen. De grenzen voor klinische besluitvorming zijn daarmee niet één op één vergelijkbaar met het minimaal klinisch relevant verschil (Minimal Clinically Important Difference, MCID). Met name in situaties waarin een interventie geen belangrijke nadelen heeft en de kosten relatief laag zijn, kan de grens voor klinische besluitvorming met betrekking tot de effectiviteit van de interventie bij een lagere waarde (dichter bij het nuleffect) liggen dan de MCID (Hultcrantz, 2017).
Voor vragen over diagnostische tests, schade of bijwerkingen, etiologie en prognose
De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode: GRADE-diagnostiek voor diagnostische vragen (Schünemann, 2008) en een generieke GRADE-methode voor vragen over schade of bijwerkingen, etiologie en prognose. In de gehanteerde generieke GRADE-methode werden de basisprincipes van de GRADE-methodiek toegepast: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat, en een beoordeling van bewijskracht op basis van de vijf GRADE-criteria (startpunt hoog; downgraden voor risk of bias, inconsistentie, indirectheid, imprecisie, en publicatiebias).
Formuleren van de conclusies
Voor elke relevante uitkomstmaat werd het wetenschappelijk bewijs samengevat in een of meerdere literatuurconclusies waarbij het niveau van bewijs werd bepaald volgens de GRADE-methodiek. De werkgroepleden maakten de balans op van elke interventie (overall conclusie). Bij het opmaken van de balans werden de gunstige en ongunstige effecten voor de patiënt afgewogen. De overall bewijskracht wordt bepaald door de laagste bewijskracht gevonden bij een van de kritieke uitkomstmaten. Bij complexe besluitvorming waarin naast de conclusies uit de systematische literatuuranalyse vele aanvullende argumenten (overwegingen) een rol spelen, werd afgezien van een overall conclusie. In dat geval werden de gunstige en ongunstige effecten van de interventies samen met alle aanvullende argumenten gewogen onder het kopje 'Overwegingen'.
Overwegingen (van bewijs naar aanbeveling)
Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals de expertise van de werkgroepleden, de waarden en voorkeuren van de patiënt, kosten, beschikbaarheid van voorzieningen en organisatorische zaken. Deze aspecten worden, voor zover geen onderdeel van de literatuursamenvatting, vermeld en beoordeeld (gewogen) onder het kopje ‘Overwegingen’.
Formuleren van aanbevelingen
De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk. De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen.
Randvoorwaarden (Organisatie van zorg)
Bij de ontwikkeling van de module is expliciet rekening gehouden met de organisatie van zorg: alle aspecten die randvoorwaardelijk zijn voor het verlenen van zorg (zoals coördinatie, communicatie, (financiële) middelen, menskracht en infrastructuur). Randvoorwaarden die relevant zijn voor het beantwoorden van een specifieke uitgangsvraag maken onderdeel uit van de overwegingen bij de bewuste uitgangsvraag, randvoorwaarden die van invloed zijn op de implementatie van de aanbeveling zijn opgenomen in de implementatietabel.
Indicatorontwikkeling
Er werden geen indicatoren ontwikkeld bij deze modules.
Kennislacunes
Tijdens de ontwikkeling van deze module is systematisch gezocht naar onderzoek waarvan de resultaten bijdragen aan een antwoord op de uitgangsvraag. Er is nagegaan of (aanvullend) wetenschappelijk onderzoek gewenst is om de uitgangsvraag te kunnen beantwoorden. Mocht dit bij deze module het geval zijn, dan is er een aanbeveling voor het doen van onderzoek opgenomen in de bijlage Kennislacunes.
Commentaar- en autorisatiefase
De module worden aan de betrokken (wetenschappelijke) verenigingen, instanties en (patiënt) organisaties voorgelegd ter commentaar. De commentaren werden verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren werd de conceptmodule aangepast en definitief vastgesteld door de werkgroep. De definitieve module werd aan de deelnemende (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd. De commentaartabel is op te vragen bij het Kennisinstituut van de Federatie Medisch Specialisten via secretariaat@kennisinstituut.nl
Literatuur
Brouwers MC, Kho ME, Browman GP, et al. AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348.
Hultcrantz M, Rind D, Akl EA, et al. The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol. 2017 Jul;87:4-13. doi: 10.1016/j.jclinepi.2017.05.006. Epub 2017 May 18. PubMed PMID: 28529184.
Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. https://richtlijnendatabase.nl/over_deze_site/richtlijnontwikkeling.html.
Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.
Schünemann HJ, Oxman AD, Brozek J, et al. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ. 2008;336(7653):1106-10. doi: 10.1136/bmj.39500.677199.AE. Erratum in: BMJ. 2008;336(7654). doi: 10.1136/bmj.a139. PubMed PMID: 18483053.
Ontwikkeling van Medisch Specialistische Richtlijnen: stappenplan. Kennisinstituut van de Federatie Medisch Specialisten.
Wessels M, Hielkema L, van der Weijden T. How to identify existing literature on patients' knowledge, views, and values: the development of a validated search filter. J Med Libr Assoc. 2016 Oct;104(4):320-324. PubMed PMID: 27822157; PubMed Central PMCID: PMC5079497.