Detectie synchrone metastasen

Laatst beoordeeld: 29-10-2019

Uitgangsvraag

Wat is de plaats van CT-abdomen, CT-thorax, X-thorax, echografie lever, en MRI lever ten tijde van diagnostiek van de primaire tumor om synchrone metastasen te detecteren?

 

Deelvragen:

  1. Welke modaliteit heeft de voorkeur voor detectie van longmetastasen ten tijde van de diagnose van een primair colorectaal carcinoom?
  2. Wat te doen bij twijfel over de aard van een leverlaesie op de CT ?

Aanbeveling

Kies voor stadiëring van een gediagnosticeerd primair colorectaal carcinoom een CT-thorax en CT-abdomen met intraveneus contrast.

 

Beschouw kleine intrapulmonale longnoduli (IPN) vanwege de hoge incidentie als benigne, en boek deze pas uit als longmetastasen bij groei of het ontstaan van nieuwe longleasies. Herhaal CT-thorax na 3 tot 6 maanden. Zorg ervoor dat IPN geen vertraging geven in de work-up.

 

Maak bij twijfel over de aard van een leverlaesie op CT een target echo of MRI lever.

Overwegingen

Ondanks de hoogste sensitiviteit van MRI voor detectie van levermetastasen wordt dit niet aanbevolen als primair diagnosticum voor stadiëring van een colorectaal carcinoom, omdat bij CT het hele abdomen in kaart wordt gebracht, de sensitiviteit van MRI gevoeliger is voor kwaliteitsverschillen, en de craniale delen van de lever moeilijker met MRI gevisualiseerd kunnen worden.

 

X-thorax versus CT-thorax bij long metastasen

Ondanks het ontbreken van goede vergelijkende studies is de sensitiviteit voor detectie van longmetastasen van CT-thorax vergeleken een X-thorax vele malen hoger (> 75 % versus 33%) (Kim, 2014). Het probleem is dat de CT-thorax in 4% tot 42% van de patiënten kleine intra pulmonale nodulen (IPN) toont, die verder niet goed te karakteriseren zijn (Parnaby, 2012). De definitie van IPN wisselt in de literatuur, maar meestal wordt een doorsnede van < 1 cm aangehouden. De meeste long noduli op een CT-thorax zullen benigne zijn. Het is daarom belangrijk om kleine IPN op de CT-thorax niet te snel uit te boeken als longmetastasen. In een studie van Kim (2014) werd bij initiële stadiering een CT-thorax verricht bij 319 patiënten met colorectaal carcinoom zonder levermetastasen. Van deze groep hadden 139 (42,6%) patiënten een IPN waarvan uiteindelijk bij 20 (14 % van de 139) patiënten dit een longmetastase bleek te zijn. Dus een IPN mag geen vertraging geven in de work-up (Brent, 2007; Nordholm-Carstensen, 2013).

 

Samenvattend: Patiënten met levermetastasen, T3 of T4 stadium coloncarcinoom, kliermetastasen, of een rectum carcinoom (Kim, 2014), hebben een verhoogde kans dat gedetecteerde IPN met CT-thorax toch metastasen zijn. Daarbij zijn meer dan 4 IPN ook meer verdacht (Quyn, 2012). IPN worden meestal pas bij groei of ontstaan van nieuwe longleasies in de literatuur uitgeboekt als zijnde longmetastasen. Verkalkte longnoduli zijn benigne. Een nadeel is dat er soms een lange follow-up nodig is. Een PET-CT heeft gezien hoge fout negatieven in de literatuur weinig meerwaarde voor differentiatie van deze kleine IPN. Ook biopsie is vanwege kleine afmeting IPN niet wenselijk. Primaire tumor eigenschap zoals ontbreken van het mismatch repair status heeft ook geen relatie met detectie van IPN en longmetastasen (Nordholm-Carstensen, 2016).

 

Echo of MRI lever als aanvulling op CT-abdomen

Indien target echo van de lever inconclusief, is kan een MRI lever met extracellulair gadolinium contrast worden gemaakt. Indien radiologen voorkeur hebben om meteen MRI lever met lever specifieke contrast middelen (Primovist) te maken is dat ook prima. Sommige artikelen waarschuwen dat hemangiomen soms lastiger gekarakteriseerd kunnen worden bij primovist door pseudo washout en minder arteriele aankleuring (Goodwin, 2011 en Thian, 2013). Echter er zijn andere artikelen die zeggen dat je op basis andere MRI kenmerken hier meestal geen last van hebt (Motosugi, 2011 en Zech; 2014). Scan daarom met het contrastmiddel van eigen keuze.

Inleiding

In Nederland wordt voor het aantonen of uitsluiten van metastasen op afstand bij de diagnose van een primair colorectaal carcinoom meestal een X-thorax en een spiraal CT van het abdomen gemaakt. Eventueel wordt aanvullend een MRI van de lever of een target echo gemaakt. Per centrum wisselt echter de inzet van een X-thorax of een CT-thorax als eerste onderzoek van keuze.

Samenvatting literatuur

Samenvatting van internationale richtlijnen en consensusdocumenten

De NICE richtlijn beveelt aan om ter stadiering van alle patiënten met een colorectaal carcinoom een CT-thorax, abdomen en bekken met contrast te verrichten.

 

De SIGN richtlijn beveelt ter stadiering voor patiënten met een colorectaal carcinoom aan om een CT-thorax/abdomen met contrast te maken. Tenzij toediening van intraveneus jodiumhoudend contrast gecontra-indiceerd is.

 

Samenvatting van systematische reviews en meta-analyses

X-thorax versus CT-thorax bij long metastasen

De rol van de CT-thorax blijft in de literatuur omstreden vanwege de lage kans op synchrone longmetastasen bij een colorectaal carcinoom. Over het algemeen hebben patiënten pas longmetastasen nadat ze eerst levermetastasen hebben gekregen. De totale kans op synchrone longmetastasen varieert in de literatuur van 1 tot 6 %. Echter, de kans op longmetastasen is 10 tot 16% bij patiënten met een rectumcarcinoom (zelfs bij afwezigheid van levermetastasen) (Nordholm-Carstensen, 2013; Parnaby, 2012).

 

Aanvullende beeldvorming bij twijfel aard lever leasie op de CT?

Een MRI lever toont bij meta-analyses en reviews de hoogste sensitiviteit voor de diagnose van levermetastasen vergeleken PET,CT en echo (Floriani, 2010; Choi 2018).

Zoeken en selecteren

Uitkomstmaten

Percentage longmetastasen, percentage fout positieve bevindingen.

 

PICO 1

P: patiënten met een primaire diagnose van colorectaal carcinoom;

I: CT-thorax;

C: X-Thorax;

O: Percentage longmetastasen, percentage fout positieve bevindingen.

 

PICO 2

P: patiënten met primaire diagnose CRC en op CT een onduidelijke afwijking in de lever;

I: MRI lever;

C: target echo lever;

O: percentage levermetastasen, percentage fout positieve bevindingen.

Referenties

  1. Brent A, Talbot R, Coyne J, Nash G. Should indeterminate lung lesions reported on staging CT scans influence the management of patients with colorectal cancer? Colorectal Dis. 2007 Nov;9(9):816-8. PubMed PMID: 17931171.
  2. Choi SH, Kim SY, Park SH, Kim KW, Lee JY, Lee SS, Lee MG. Diagnostic performance of CT, gadoxetate disodium-enhanced MRI, and PET/CT for the diagnosis of colorectal liver metastasis: Systematic review and meta-analysis. J Magn Reason Imaging. 2018 May;47(5):1237-1250. doi: 10.1002/jmri.25852. Epub 2017 Sep 13. PubMed PMID: 28901685.
  3. Floriani I, Torri V, Rulli E, Garavaglia D, Compagnoni A, Salvolini L, Giovagnoni A. Performance of imaging modalities in diagnosis of liver metastases from colorectal cancer: a systematic review and meta-analysis. J Magn Reason Imaging. 2010 Jan;31(1):19-31. doi: 10.1002/jmri.22010. Review. PubMed PMID: 20027569.
  4. Goodwin MD, Dobson JE, Sirlin CB, Lim BG, Stella DL. Diagnostic challenges and pitfalls in MR imaging with hepatocyte-specific contrast agents. Radiographics. 2011 Oct;31(6):1547-68. doi: 10.1148/rg.316115528. Review. PubMed PMID: 21997981.
  5. Kaltenbach TE, Engler P, Kratzer W, Oeztuerk S, Seufferlein T, Haenle MM, Graeter T. Prevalence of benign focal liver lesions: ultrasound investigation of 45,319 hospital patients. Abdom Radiol (NY). 2016 Jan;41(1):25-32. doi: 10.1007/s00261-015-0605-7. PubMed PMID: 26830608; PubMed Central PMCID: PMC4735268.
  6. Kim HY, Lee SJ, Lee G, Song L, Kim SA, Kim JY, Chang DK, Rhee PL, Kim JJ, Rhee JC, Chun HK, Kim YH. Should preoperative chest CT be recommended to all colon cancer patients? Ann Surg. 2014 Feb;259(2):323-8. doi: 10.1097/SLA.0b013e3182865080. PubMed PMID: 23426347.
  7. Motosugi U, Ichikawa T, Onohara K, Sou H, Sano K, Muhi A, Araki T. Distinguishing hepatic metastasis from hemangioma using gadoxetic acid-enhanced magnetic resonance imaging. Invest Radiol. 2011 Jun;46(6):359-65. doi: 10.1097/RLI.0b013e3182104b77. PubMed PMID: 21427594.
  8. Nordholm-Carstensen A, Wille-Jørgensen PA, Jorgensen LN, Harling H. Indeterminate pulmonary nodules at colorectal cancer staging: a systematic review of predictive parameters for malignancy. Ann Surg Oncol. 2013 Nov;20(12):4022-30. doi: 10.1245/s10434-013-3062-y. Epub 2013 Jun 28. Review. PubMed PMID: 23812771.
  9. Nordholm-Carstensen A. Pulmonary nodules and metastases in colorectal cancer. Dan Med J. 2016 Jan;63(1):B5190. PubMed PMID: 26726908.
  10. Parnaby CN, Bailey W, Balasingam A, Beckert L, Eglinton T, Fife J, Frizelle FA, Jeffery M, Watson AJ. Pulmonary staging in colorectal cancer: a review. Colorectal Dis. 2012 Jun;14(6):660-70. doi: 10.1111/j.1463-1318.2011.02601.x. Review. PubMed PMID: 21689294.
  11. Quyn AJ, Matthews A, Daniel T, Amin AI, Yalamarthi S. The clinical significance of radiologically detected indeterminate pulmonary nodules in colorectal cancer. Colorectal Dis. 2012 Jul;14(7):828-31. doi: 10.1111/j.1463-1318.2011.02722.x. PubMed PMID: 21762353.
  12. Thian YL, Riddell AM, Koh DM. Liver-specific agents for contrast-enhanced MRI: role in oncological imaging. Cancer Imaging. 2013 Dec 30;13(4):567-79. doi: 10.1102/1470-7330.2013.0050. Review. PubMed PMID: 24434892; PubMed Central PMCID: PMC3893895.
  13. Zech CJ, Korpraphong P, Huppertz A, Denecke T, Kim MJ, Tanomkiat W, Jonas E, Ba-Ssalamah A; VALUE study group. Randomized multicentre trial of gadoxetic acid-enhanced MRI versus conventional MRI or CT in the staging of colorectal cancer liver metastases. Br J Surg. 2014 May;101(6):613-21. doi: 10.1002/bjs.9465. Epub 2014 Mar 20. PubMed PMID: 24652690; PubMed Central PMCID: PMC4312911.

Evidence tabellen

Samenvattingstabel van bevindingen uit systematische reviews en meta-analyses

Should CT-thorax be used to diagnose synchronous metastases in patients with colorectal carcinoma? (Parnaby 2012)

Patient or population: patients with colorectal carcinoma

Setting:

New test: (comparator test) | Cut-off value:

Single study sensitivity: 0.40 (95% CI: 0.00 to 0.00) | Single study specificity: 0.74 (95% CI: 0.00 to 0.00)

Test result

Number of results per 1.000 patients tested (95% CI)

Number of participants
(studies)

Certainty of the Evidence (GRADE)

Comments

Prevalence 30%

True positives

120

202
(1) a,b

⨁◯◯◯
VERY LOW c,d,e

It is unclear whether CT-thorax should be used to detect synchronous metastases in patients with a colorectal carcinoma.

False negatives

180

 

True negatives

518

     

False positives

182

 

CI: Confidence interval

 

Explanations

a. Parnaby 2012 included 2 studies (Povoski 1998 and Kronawitter 1999) from the same institution that used chest CT after chest x-ray. The patients in Povoski 1998 were also included in Kronawitter 1999. Therefore the results of Kronawitter 1999 are described.

b. Included patients all had a negative x-thorax.

c. Unclear what reference standard was used. If diagnosis with CT was confirmed by biopsy or progression of lesions on follow-up films, it is then unclear which proportion of patients were diagnosed with biopsy and which with follow-up films. Follow-up films might not be considered as a golden standard for the detection. No mentioning of blinded test result assessment (unclear).

d. Included patients all had a negative x-thorax. This may not be representative for the population seen in practice.

e. Optimal information size is not met.

 

Should MRI with a hepatocyte-specific contract agent be used to diagnose liver laesions in patients with colorectal cancer? (Choi 2018)

Patient or population: patients with colorectal cancer

Setting:

New test: [comparator test] | Cut-off value:

Pooled sensitivity: 0.93 (95% CI: 0.88 to 0.96) | Pooled specificity: 0.87 (95% CI: 0.78 to 0.93)

Test result

Number of results per 1.000 patients tested (95% CI)

Number of participants
(studies)

Certainty of the Evidence (GRADE)

Comments

Prevalence 76.4%

Mean prevalence from all included studies

True positives

711 (672 to 733)

 

1660
(11)

⨁⨁◯◯
LOW a,b

MRI with gadoxetate dissodium contrast agent might possibly be able to detect liver laesions in patients with colorectal cancer.

False negatives

53 (31 to 92)

 

MRI had a significantly higher sensitivity than CT (p<0.001) and PET/CT (p<0.001).

True negatives

205 (184 to 219)

 

644
(11)

⨁⨁◯◯
LOW a,b

MRI had a significantly higher specificity than CT (p=0.01), however not compared to PET/CT (p=0.59).

False positives

31 (17 to 52)

 

See the summary of findings tables of CT and PET/CT for their respective diagnostic accuracy.

CI: Confidence interval

 

Explanations

a. Authors appraised all included studies by using the QUADAS-2 tool. From all included studies, about 50% had an unclear flow and timing, about 35% had a high risk and about 45% had an unclear risk of bias for the reference standard, and about 45% had an unclear risk of bias for their patient selection.

b. Heterogeneity for sensitivity (I^2 = 90.56%) and specificity (I^2 = 82.94%) was found. Confidence intervals of some studies do not overlap when 'eyeballing' the forest plots.

 

Should CT be used to diagnose liver laesions in patients with colorectal cancer? (Choi 2018)

Patient or population: patients with colorectal cancer

Setting:

New test: [comparator test] | Cut-off value:

Pooled sensitivity: 0.82 (95% CI: 0.74 to 0.88) | Pooled specificity: 0.74 (95% CI: 0.54 to 0.87)

Test result

Number of results per 1.000 patients tested (95% CI)

Number of participants
(studies)

Certainty of the Evidence (GRADE)

Comments

Prevalence 76.4%

Mean prevalence from all included studies

True positives

626 (565 to 672)

1712
(10)

⨁⨁◯◯
LOW a,b

CT might possibly detect liver laesions in patients with colorectal cancer, however we are unsure how well CT performs for classifying patients without liver laesions.

False negatives

138 (92 to 199)

 

True negatives

175 (127 to 205)

1730
(10)

⨁◯◯◯
VERY LOW a,b,c

 

False positives

61 (31 to 109)

 

CI: Confidence interval

 

Explanations

a. Authors appraised all included studies by using the QUADAS-2 tool. From all included studies, about 50% had an unclear flow and timing, about 35% had a high risk and about 45% had an unclear risk of bias for the reference standard, and about 45% had an unclear risk of bias for their patient selection.

b. Heterogeneity for sensitivity (I^2 = 91.50%) and specificity (I^2 = 93.38%) was found. Confidence intervals of some studies do not overlap when 'eyeballing' the forest plots.

c. Confidence interval of 0.54-0.87 for specificity is concidered imprecise.

 

Should PET/CT be used to diagnose liver laesions in patients with colorectal cancer? (Choi 2018)

Patient or population: patients with colorectal cancer

Setting:

New test: [comparator test] | Cut-off value:

Pooled sensitivity: 0.74 (95% CI: 0.62 to 0.83) | Pooled specificity: 0.94 (95% CI: 0.84 to 0.98)

Test result

Number of results per 1.000 patients tested (95% CI)

Number of participants
(studies)

Certainty of the Evidence (GRADE)

Comments

Prevalence 76.4%

Mean prevalence of all included studies

True positives

565 (474 to 634)

(0)

⨁◯◯◯
VERY LOW a,b,c

We are unsure if PET/CT is able to detect liver laesions, however PET/CT might possibly be able to classify patients without liver laesions.

False negatives

199 (130 to 290)

 

True negatives

222 (198 to 231)

(0)

⨁⨁◯◯
LOW a,b

 

False positives

14 (5 to 38)

 

CI: Confidence interval

 

Explanations

a. Authors appraised all included studies by using the QUADAS-2 tool. From all included studies, about 50% had an unclear flow and timing, about 35% had a high risk and about 45% had an unclear risk of bias for the reference standard, and about 45% had an unclear risk of bias for their patient selection.

b. Heterogeneity for sensitivity (I^2 = 94.77%) and specificity (I^2 = 93.38%) was found. Confidence intervals of some studies do not overlap when 'eyeballing' the forest plots.

c. The confidence interval in considered imprecise. If the true sensitivity is 0.62 (i.e. the lower border of the confidence interval) the sensitivity might be considered too low for detection.

Autorisatiedatum en geldigheid

Laatst beoordeeld : 29-10-2019

Laatst geautoriseerd : 29-10-2019

Voor het beoordelen van de actualiteit van deze richtlijn is de werkgroep in stand gehouden voor een periode van 3 jaar, met optionele verlenging van 3 jaar. De werkgroep zal halfjaarlijks bijeen komen voor een herbeoordeling van de geldigheid van de modules in deze richtlijn. De geldigheid van richtlijnmodules zal bij herbeoordeling komen te vervallen wanneer nieuwe ontwikkelingen aanleiding geven om een herzieningstraject te starten. De Nederlandse Vereniging voor Heelkunde (NVvH) is regiehouder van deze richtlijn en eindverantwoordelijke op het gebied van de actualiteitsbeoordeling van de richtlijnmodules. De andere aan deze richtlijn deelnemende wetenschappelijke verenigingen of gebruikers van de richtlijn delen de verantwoordelijkheid en informeren de regiehouder over relevante ontwikkelingen binnen hun vakgebied. Per module is aangegeven welke wetenschappelijke vereniging de eerstverantwoordelijke is voor de actualiteitsbeoordeling (zie de Algemene inleiding: Inhoud richtlijn colorectaal carcinoom en gepland modulair onderhoud).

Initiatief en autorisatie

Initiatief:
  • Nederlandse Vereniging voor Heelkunde
Geautoriseerd door:
  • Nederlandse Internisten Vereniging
  • Nederlandse Vereniging van Maag-Darm-Leverartsen
  • Nederlandse Vereniging voor Heelkunde
  • Nederlandse Vereniging voor Klinische Geriatrie
  • Nederlandse Vereniging voor Nucleaire geneeskunde
  • Nederlandse Vereniging voor Pathologie
  • Nederlandse Vereniging voor Radiologie
  • Nederlandse Vereniging voor Radiotherapie en Oncologie
  • Verpleegkundigen en Verzorgenden Nederland
  • Nederlandse Federatie van Kankerpatiëntenverenigingen

Algemene gegevens

De richtlijnontwikkeling werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten en werd gefinancierd uit de Stichting Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijn.

Doel en doelgroep

Doel

Het tot stand brengen van een modulaire herziening van de richtlijn “Colorectaal Carcinoom”, zodat het beleid bij patiënten met een colorectaal carcinoom gestandaardiseerd en op hun wensen is afgestemd in alle fasen van de ziekte.

 

Doelgroep

Patiënten met een colorectaal carcinoom in de tweede en derde lijn.

Samenstelling werkgroep

Voor het ontwikkelen van de richtlijn is in 2017 een multidisciplinaire werkgroep ingesteld, bestaande uit vertegenwoordigers van alle relevante specialismen die betrokken zijn bij de zorg voor patiënten met colorectaal carcinoom te maken hebben.

 

De werkgroepleden zijn door hun beroepsverenigingen gemandateerd voor deelname. De werkgroep is verantwoordelijk voor de integrale tekst van deze richtlijn.

  • Prof. dr. P.J. (Pieter) Tanis, gastrointestinaal en oncologisch chirurg, Amsterdam UMC locatie AMC, Amsterdam, NVvH (voorzitter)
  • Prof. dr. G.L. (Geerard) Beets, gastrointestinaal en oncologisch chirurg, Antoni van Leeuwenhoek, Amsterdam, NVvH
  • Prof. dr. C. (Kees) Verhoef, oncologisch chirurg, Erasmus MC, Rotterdam, NVvH
  • Dr. H.L. (Erik) van Westreenen, chirurg, Isala Zwolle/ Isala Diaconessenhuis, Zwolle/ Meppel, NVvH
  • Prof. dr. C.J.A. (Kees) Punt, internist-oncoloog, Amsterdam UMC locatie AMC, Amsterdam, NIV
  • Dr. D.J.A. (Derk Jan) de Groot, internist oncoloog, UMC Groningen, Groningen, NIV/NVMO (vanaf december 2018)
  • Dr. L. (Leon) Moons, MDL-arts, UMC Utrecht, Utrecht, NVMDL
  • Prof. dr. R.G.H. (Regina) Beets-Tan, radioloog, Nederlands Kanker Instituut, Amsterdam, NVvR
  • Dr. M.P.W. (Martijn) Intven, radiotherapeut, UMC Utrecht, Utrecht, NVRO
  • Prof. dr. C.A.M. (Corrie) Marijnen, radiotherapeut, Leids Universiteit Medisch Centrum, Leiden, NVRO
  • Dr. M. (Martijn) Meijerink, interventieradioloog, Amsterdam UMC locatie VUmc, Amsterdam, NVvR (vanaf november 2018)
  • Prof. dr. J. (Jaap) Stoker, abdominaal radioloog, Amsterdam UMC locatie AMC, Amsterdam, NVvR (tot en met november 2018)
  • Dr. M. (Marianne) de Vries, abdominaal radioloog, Erasmus MC, Rotterdam, NVvR (vanaf november 2018)
  • Prof. dr. I.D. (Iris) Nagtegaal, patholoog, Radboud UMC, Nijmegen, NVvP
  • Dr. P. (Petur) Snaebjornsson, patholoog, Nederlands Kanker Instituut, Amsterdam, NVvP
  • Dr. M.E. (Marije) Hamaker, klinisch geriater, Diakonessenhuis, Utrecht, NVKG
  • Dr. C.J. (Corneline) Hoekstra, nucleair geneeskundige, Jeroen Bosch Ziekenhuis, ’s-Hertogenbosch, NVNG
  • C.M.J. (Christel) Gielen MSc., verpleegkundig specialist, Maastricht UMC+, Maastricht, V&VN
  • L.L. (Lesly) Koet MSc., verpleegkundig specialist, Albert Schweitzer Ziekenhuis, Dordrecht, V&VN

Belangenverklaringen

De KNMG-code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement, kennisvalorisatie) hebben gehad. Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van Medisch Specialisten.

 

De werkgroep heeft bij aanvang van het richtlijnontwikkelingstraject geconstateerd dat sommige werkgroepleden betrokken zijn bij wetenschappelijk onderzoek dat wordt gefinancierd door overheid, onafhankelijke subsidieverstrekkers, of commerciële partijen (in het laatste geval: unrestricted scientific grants). Om te voorkomen dat indirecte belangen (waaronder reputatie en kennisvalorisatie) de richtlijnaanbevelingen onbedoeld zouden kunnen beïnvloeden, heeft de werkgroep besloten dat geen van de modules/aanbevelingen worden opgesteld door één werkgroeplid met dergelijke indirecte belangen. Tenminste één ander werkgroeplid met hetzelfde specialisme of tenminste één ander werkgroeplid met vergelijkbare inhoudelijke kennis van het betreffende onderwerp zijn verantwoordelijk voor de inhoud (vier-ogen-principe).

De werkgroep zag in de gemelde (on)betaalde nevenfuncties geen aannemelijke reden voor onbedoelde beïnvloeding door belangenverstrengeling ten aanzien van de onderwerpen die in de richtlijn aan bod komen.

 

Werkgroeplid

Functie

Nevenfuncties

Gemelde belangen

Ondernomen actie

Dr. P.J. (Pieter) Tanis

 

Gastrointestinaal en oncologisch chirurg

Voorzitter Dutch Colorectal Cancer Group (onbetaald)

 

Bestuurslid Dutch Peritoneal Oncology Group (onbetaald)

 

Bestuurslid Dutch Colorectal Audit (onbetaald)

 

Medische adviesraad Lynch Polyposis vereniging (onbetaald)

 

Associate Editor Colorectal Disease (onbetaald)

 

Coordinerend auteur hoofdstuk tumoren van de dunne en dikke darm, leerboek Oncologie (onbetaald)

PI van COLOPEC 1 en 2 trials gefinancierd door ZonMW en KWF.

 

Steering committee van de CAIRO6 studie gefinancierd door KWF en unrestricted scientific grant Roche.

 

PI van de BIOPEX 1 studie, gefinancierd door unrestricted scientific grant van LifeCell.

 

PI van de BIOPEX 2 studie gefinancierd door KWF.

 

Geen actie ondernomen.

 

Biopex 1 is gepubliceerd in 2013 (verjaard).

 

Overige subsidies zijn van ZonMW en KWF, onwaarschijnlijk dat dit een belang oplevert. Daarom geen actie ondernomen.

Dr. H.L. (Erik) Van Westreenen

 

Gastrointestinaal en oncologisch chirurg

Penningmeester werkgroep Coloproctologie (onbetaald)

PI Limeric study (endoscopisch geassisteerde laparoscopische wigresectie van het colon).

 

Locale PI en mede aanvrager FORCE study (Zon-MW)

(Randomisatie tussen best-supportive care of bekkenfysiotherapie na low-anterior resectie)

 

Locale PI TESAR study

 

Locale PI StarTrec study

 

Locale PI FIT trial

Geen actie ondernomen.

 

Mede-aanvrager van ZonMW subsidie, onwaarschijnlijk dat dit een belang oplevert. Daarom geen actie ondernomen.

Prof. dr. C.J.A. (Kees) Punt

 

Internist-oncoloog / Hoofd afdeling medische oncologie AMC Amsterdam

Voorzitter werkgroep medische oncologie, Dutch Colorectal Cancer Group (DCCG) (onbetaald).

 

Voorzitter Dutch Oncology Research Platform (onbetaald).

Lid raad van advies SPKS

 

Unrestricted scientific grants van Roche en Amgen voor DCCG CAIRO5 studie.

Om mogelijk te maken dat geen van de modules/ aanbevelingen worden opgesteld door één werkgroeplid met indirecte belangen door sponsoring uit derde geldstroom van private instellingen, zijn extra werkgroepleden toegevoegd aan de werkgroep.

Dr. M.E. (Marije) Hamaker

 

Klinisch geriater

Geen

Roche: lid van werkgroep e-learning colorectaal carcinoom (niet relevant voor de richtlijn)

 

Astra Zeneca: financiering van onderzoek over dialyse bij ouderen

Geen actie ondernomen.

Dr. L. (Leon) Moons

 

MDL-arts

Consultant voor Boston Scientific

(consultancy over specifieke apparatuur voor MDL-artsen, niet relevant voor de richtlijn)

Voorzitter van T1 CRC werkgroep.

 

PI van een gerandomiseerde studie (piecemeal EMR vs. ESD), gefinancierd door KWF.

 

PI van een studie naar risicomodellen voor het voorspellen van lymfekliermetastasen en lokale recidieven van T1 CRCs, gefinancierd door de MLDS.

 

PI van een studie naar tumor seedings tijdens coloscopie, gefinancierd door de Sacha Swarttouw-Hijmans stichting.

Om mogelijk te maken dat geen van de modules/ aanbevelingen worden opgesteld door één werkgroeplid met indirecte belangen door sponsoring uit derde geldstroom van private instellingen, zijn extra werkgroepleden toegevoegd aan de werkgroep.

Prof. dr. C.A.M. (Corrie) Marijnen

 

Radiotherapeut / Afdelingshoofd radiotherapie LUMC

Voorzitter wetenschapscommissie NVRO

 

Redactielid leerboek Oncologie

Geen.

Geen actie ondernomen.

Dr. M.P.W. (Martijn) Intven

 

Radiotherapeut

Lid redactieraad van het Nederlands tijdschrift voor oncologie

Geen.

Geen actie ondernomen.

Prof. dr. I.D. (Iris) Nagtegaal

 

Patholoog / Detachering als Expert Pathologie t.b.v. het bevolkingsonderzoek darmkanker bij FSB

Voorzitter PALGA (Nederlands Digitale Pathologie Archief) (vacatiegelden naar afdeling Pathologie van RadboudUMC)

 

Lid adviesraad KWF (onbetaald)

 

Voorzitter European Taskforce for synoptic reporting in pathology (onbetaald)

 

Voorzitter Nederlands TNM committee (onbetaald)

Amgen 2014: Discordance in mutation statis is not an issue for molecular testing in CRC (80.000 euro)

Geen van de modules/ aanbevelingen zijn opgesteld door één werkgroeplid met indirecte belangen door sponsoring uit derde geldstroom van private instellingen.

Dr. P. (Petur) Snaebjornsson

 

Patholoog

Bestuurslid Dutch Colorectal Cancer Group (onbetaald)

 

Lid Dutch peritoneal Oncology Group (onbetaald)

 

Tot en met 2017:

Organisator van Dodo couperclub regio Noord-Holland (onbetaald).

Betrokken bij COLOPEC trials en CAIRO6 trial.

Geen actie ondernomen.

Prof. dr. R.G.H. (Regina) Beets-Tan

 

Radioloog / Hoofd radiologie NKI/AVL

Geen.

Geen.

Geen actie ondernomen.

Prof. dr. J. (Jaap) Stoker

 

Radioloog / Afdelingshoofd Radiologie en Nucleaire Geneeskunde AMC Amsterdam / Divisievoorzitter Beeldvormende Specialismen & Onderzoeks- en Behandelcentrum AMC Amsterdam

Lid van de KWF Adviesraad

 

Beoordelingscommissie Ontwikkeling & Praktijk: het beoordelen van wetenschappelijke en niet-wetenschappelijke bestedingen (onbetaald).

Voor Robarts: clinical trials op het gebied van MRI m.b.t. de ziekte van Crohn (niet relevant voor de richtlijn).

Geen actie ondernomen.

Dr. Martijn Meijerink

 

Interventieradioloog, Amsterdam UMC locatie VUmc

Voorzitter WCIR (wetenschapscommissie interventieradiologie), onbetaald.

 

Voortzitter SIO (Soc. Interv. Oncol.) Research Committee, onbetaald.

 

Raad van advies SPKS (stichting voor patiënten met kanker aan het spijsverteringskanaal), onbetaald.

 

Ambassadeur SBBvK en OZS, onbetaald

Consultant Angiodynamics B.V. (vergoeding voor presentaties, workshops, proctorships) op het gebied van irreversibele electroporatie.

 

Research grants: Collision Trial (Medtronic)

Diverse trials (Angiodynamics B.V.)

 

Om mogelijk te maken dat geen van de modules/ aanbevelingen worden opgesteld door één werkgroeplid met indirecte belangen door sponsoring uit derde geldstroom van private instellingen, zijn extra werkgroepleden toegevoegd aan de werkgroep.

Dr. Marianne de Vries

 

Radioloog Erasmus MC Rotterdam

Geen.

Geen.

Geen actie ondernomen.

Dr. Derk Jan de Groot

 

Internist-oncoloog Universitair Medisch Centrum Groningen

Geen.

Klinische studies: Ipsen (betaling aan het instituut)

Geen actie ondernomen.

C.M.J. (Christel) Gielen MSc.

 

Verpleegkundig specialist Coloncare MUMC

Geen.

Werkt mee aan de inclusie voor de ENCORE studie (energie voor het leven na colorectaalkanker).

Geen actie ondernomen.

Dr. C.J. (Corneline) Hoekstra

 

Nucleair geneeskundige

Geen.

Geen.

Geen actie ondernomen.

L.L. (Lesly) Koet MSc.

 

Verpleegkundig specialist GE-chirurgie

Geen.

Kernlid werkgroep SIG GE van de V&VN, werkgroep CRC

Geen actie ondernomen.

Prof. dr. C. (Kees) Verhoef

 

Oncologisch chirurg

Wetenschappelijke adviesraad KWF (onbetaald).

 

Wetenschappelijk raad Livermetsurvey (onbetaald).

 

Voorzitter Nederlandse Vereniging voor Chirurgische Oncologie (onbetaald).

 

Lid Algemeen Bestuur Nederlandse Vereniging van Heelkunde (onbetaald).

 

Voorzitter "Dutch chapter E-AHPBA" (onbetaald).

 

Nederlands TNM comite (onbetaald).

 

Adviesraad IKNL (onbetaald).

 

Nederlandse wetenschappelijke Sarcoom Werkgroep (onbetaald).

 

Bestuur Dutch Hepatocellular Carcinoma Group (onbetaald).

 

Bestuur Familiehuis, Daniel den Hoed Kliniek (onbetaald).

Geen.

Geen actie ondernomen.

Prof. dr. G.L. (Geerard) Beets

 

Chirurg / Afdelingshoofd AVL

Medisch consultant bij Champalimaud Foundation, oncologisch ziekenhuis in Lissabon, Portugal (betaalde functie)

Geen.

Geen actie ondernomen.

Inbreng patiëntenperspectief

Er werd aandacht besteed aan het patiëntenperspectief door het uitnodigen van de Stichting voor Patiënten met Kanker aan het Spijsverteringskanaal (SPKS) voor de invitational conference. Daarnaast hebben dr. L. Meerman en mw. A. van Heijst (Stomavereniging, Nederlandse Federatie van Kankerpatiëntenorganisaties, NFK) modules meegelezen en de werkgroep van feedback vanuit het patiëntenperspectief voorzien. De conceptrichtlijn is tevens ter commentaar voorgelegd aan SPKS en NFK.

Methode ontwikkeling

Evidence based

Implementatie

In de verschillende fasen van de richtlijnontwikkeling is rekening gehouden met de implementatie van de herziene richtlijnmodules en de praktische uitvoerbaarheid van de aanbevelingen. Daarbij is uitdrukkelijk gelet op factoren die de invoering van de richtlijn in de praktijk kunnen bevorderen of belemmeren. Het implementatieplan is te vinden bij de aanverwante producten. De werkgroep heeft geen interne kwaliteitsindicatoren ontwikkeld, omdat interne en externe kwaliteitsindicatoren al ontwikkeld worden binnen de Dutch Colorectal Audit (DCRA), de clinical audit board betreffend colorectaal carcinoom onder de Dutch Institute for Clinical Auditing (DICA).

Werkwijze

AGREE

Deze richtlijn is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010), dat een internationaal breed geaccepteerd instrument is.

 

Knelpuntenanalyse

Tijdens de voorbereidende fase inventariseerden de voorzitter van de werkgroep en de adviseurs de knelpunten. De werkgroep beoordeelde de aanbevelingen uit de eerdere richtlijn (NVRO, 2014) op noodzaak tot revisie. De werkgroep stelde vervolgens een long list met knelpunten op en prioriteerde de knelpunten op basis van: (1) klinische relevantie, (2) de beschikbaarheid van nieuwe evidence, (3) en de te verwachten impact op de kwaliteit van zorg, patiëntveiligheid en (macro)kosten. Tevens zijn er knelpunten aangedragen door verschillende partijen via een invitational conference. Een verslag hiervan is opgenomen onder aanverwante producten.

 

Uitgangsvragen en uitkomstmaten

Op basis van de uitkomsten van de knelpuntenanalyse zijn door de voorzitter en werkgroepleden concept-uitgangsvragen opgesteld. Gedurende het richtlijnherzieningstraject heeft de werkgroep de definitieve uitgangsvragen in een hernieuwd raamwerk (de inhoudsopgave, zie ook de algemene inleiding) van de richtlijn vastgesteld. Vervolgens inventariseerde de werkgroep per uitgangsvraag welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. De werkgroep baseerde de keuze voor uitkomstmaten mede op basis van de “core outcome set” gepubliceerd door Zerillo (2017). De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden. Hiervoor sloot de werkgroep zich, waar mogelijk, aan bij de grenzen voor klinische besluitvorming volgens de PASKWIL criteria uit 2016. Wanneer er geen grenzen voor klinische besluitvorming conform de PASKWIL criteria geformuleerd konden worden (bijvoorbeeld bij non-inferioriteitsvraagstukken) werden de standaard GRADE grenzen gehanteerd, tenzij anders vermeld.

 

Strategie voor zoeken en selecteren van literatuur

De werkgroep raadpleegde voor de afzonderlijke uitgangsvragen reeds gepubliceerde systematische reviews (SRs). SRs kwamen in aanmerking indien: i) systematisch was gezocht in één of meerdere databases; ii) transparante in- en exclusiecriteria zijn toegepast en iii) idealiter de kwaliteit van de geïncludeerde literatuur was beoordeeld. De voor de uitgangsvragen relevante internationale richtlijnen en consensusdocumenten werden eveneens geraadpleegd. Overige literatuur, waar niet systematisch naar werd gezocht, is als bewijsvoering in de overwegingen opgenomen.

 

Relevante beschikbare populatiegegevens uit Nederland werden gebruikt voor het bepalen van knelpunten, praktijkvariatie en externe validiteit van internationale richtlijnen en gepubliceerde literatuur.

 

Kwaliteitsbeoordeling individuele studies

De (risk of bias) kwaliteitsbeoordelingen van de individuele studies uit de gebruikte SRs werden gebruikt, tenzij deze afwezig waren of onbruikbaar waren voor het beoordelen van de kracht van het wetenschappelijke bewijs. Indien afwezig of onbruikbaar werd aangenomen dat er een risico op bias aanwezig zou kunnen zijn. In enkele gevallen, wanneer studies informatie verschaften over de cruciale uitkomstma(a)t(en), werd er een nieuwe kwaliteitsbeoordeling van individuele studies uitgevoerd.

 

Samenvatten van de literatuur

De relevante onderzoeksgegevens van de geselecteerde SRs werden weergegeven in ‘Summary of Findings’ tabellen. De belangrijkste bevindingen uit de literatuur werden kort beschreven onder “Samenvatting literatuur” (kopjes “Samenvatting van internationale richtlijnen en consensusdocumenten” en “Samenvatting van systematische reviews en meta-analyses”) en onder “Overwegingen”. Bestaande meta-analyses uit de gebruikte systematische reviews werden beschreven. Bij een voldoende aantal studies en overeenkomstigheid (homogeniteit) tussen de studies werden de gegevens ook kwantitatief samengevat (meta-analyse) met behulp van Review Manager 5.

 

Beoordelen van de kracht van het wetenschappelijke bewijs

A) Voor interventievragen (vragen over therapie of screening)

De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/).

 

GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie (Schünemann, 2013). Het resultaat van de gradering van het wetenschappelijk bewijs werd opgenomen in de ‘Summary of Findings’ tabellen.

 

GRADE

Definitie

Hoog

  • er is hoge zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • het is zeer onwaarschijnlijk dat de literatuurconclusie verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Redelijk*

  • er is redelijke zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • het is mogelijk dat de conclusie verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Laag

  • er is lage zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • er is een reële kans dat de conclusie verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Zeer laag

  • er is zeer lage zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • de literatuurconclusie is zeer onzeker.

*in 2017 heeft het Dutch GRADE Network bepaalt dat de voorkeursformulering voor de op een na hoogste gradering ‘redelijk’ is in plaats van ‘matig’.

 

B) Voor vragen over diagnostische tests, schade of bijwerkingen, etiologie en prognose

De kracht van het wetenschappelijke bewijs werd eveneens bepaald volgens de GRADE-methode: GRADE-diagnostiek voor diagnostische vragen (Schünemann, 2008), en een generieke GRADE-methode voor vragen over schade of bijwerkingen, etiologie en prognose. In de gehanteerde generieke GRADE-methode werden de basisprincipes van de GRADE methodiek toegepast: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat, en een beoordeling van bewijskracht op basis van de vijf GRADE-criteria (startpunt hoog; downgraden voor risk of bias, inconsistentie, indirectheid, imprecisie, en publicatiebias).

 

Formuleren van de conclusies

Voor elke relevante uitkomstmaat werd het wetenschappelijk bewijs samengevat in een of meerdere literatuurconclusies waarbij het niveau van bewijs werd bepaald volgens de GRADE-methodiek (te vinden in de ‘Summary of Findings’ tabellen). De werkgroepleden maakten de balans op van elke interventie (overall conclusie). Bij het opmaken van de balans werden de gunstige en ongunstige effecten voor de patiënt afgewogen. De overall bewijskracht wordt bepaald door de laagste bewijskracht gevonden bij een van de cruciale uitkomstmaten. Bij complexe besluitvorming waarin naast de conclusies uit de systematische literatuuranalyse vele aanvullende argumenten (overwegingen) een rol spelen, werd afgezien van een overall conclusie. In dat geval werden de gunstige en ongunstige effecten van de interventies samen met alle aanvullende argumenten gewogen onder het kopje Overwegingen.

 

Overwegingen (van bewijs naar aanbeveling)

Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals de expertise van de werkgroepleden, de waarden en voorkeuren van de patiënt (patient values and preferences), kosten, beschikbaarheid van voorzieningen en organisatorische zaken. Deze aspecten worden, voor zover geen onderdeel van de literatuursamenvatting, vermeld en beoordeeld (gewogen) onder het kopje Overwegingen.

 

Formuleren van aanbevelingen

De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk. De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen.

 

Aanbevelingen uit de richtlijn Colorectaal carcinoom 2014

De werkgroep beoordeelde alle aanbevelingen in de richtlijn Colorectaal carcinoom uit 2014 op geldigheid. De werkgroep heeft aanbevelingen gehandhaafd die als nog steeds geldig werden beschouwd. De werkgroep heeft deze aanbevelingen tekstueel opgefrist met als doel de implementeerbaarheid te vergroten. De aanbevelingen zijn niet inhoudelijk veranderd. De werkgroep heeft in het modulair onderhoudsschema vastgesteld wanneer herziening van deze modules gepland is. De werkgroep verwacht dat eind 2020 de gehele richtlijn is herzien.

 

Randvoorwaarden (Organisatie van zorg)

In de knelpuntenanalyse en bij de ontwikkeling van de richtlijn is expliciet rekening gehouden met de organisatie van zorg: alle aspecten die randvoorwaardelijk zijn voor het verlenen van zorg (zoals coördinatie, communicatie, (financiële) middelen, menskracht en infrastructuur). Randvoorwaarden die relevant zijn voor het beantwoorden van een specifieke uitgangsvraag maken onderdeel uit van de overwegingen bij de bewuste uitgangsvraag. Meer algemene, overkoepelende, of bijkomende aspecten van de organisatie van zorg worden behandeld in de module Organisatie van Zorg.

 

Indicatorontwikkeling

Er werden geen interne kwaliteitsindicatoren ontwikkeld om het toepassen van de richtlijn in de praktijk te volgen en te versterken. De werkgroep conformeert zich aan de SONCOS normen en de DICA-DCRA indicatoren.

 

Kennislacunes

Tijdens de ontwikkeling van deze richtlijn is systematisch gezocht naar onderzoek waarvan de resultaten bijdragen aan een antwoord op de uitgangsvragen. Bij elke uitgangsvraag is door de werkgroep nagegaan of er (aanvullend) wetenschappelijk onderzoek gewenst is om de uitgangsvraag te kunnen beantwoorden. Een overzicht van de onderwerpen waarvoor (aanvullend) wetenschappelijk van belang wordt geacht, is als aanbeveling in de Kennislacunes beschreven (onder aanverwante producten).

 

Commentaar- en autorisatiefase

De conceptrichtlijn werd aan de betrokken (wetenschappelijke) verenigingen en patiëntorganisaties voorgelegd ter commentaar. De commentaren werden verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren werd de conceptrichtlijn aangepast en definitief vastgesteld door de werkgroep. De definitieve richtlijn werd aan de deelnemende (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd.

 

Literatuur

Brouwers, M. C., Kho, M. E., Browman, G. P., Burgers, J. S., Cluzeau, F., Feder, G., ... & Littlejohns, P. (2010). AGREE II: advancing guideline development, reporting and evaluation in health care. Canadian Medical Association Journal, 182(18), E839-E842.

Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. https://richtlijnendatabase.nl/over_deze_site/richtlijnontwikkeling.html

Ontwikkeling van Medisch Specialistische Richtlijnen: stappenplan. Kennisinstituut van Medisch Specialisten.

Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.

Schünemann, H. J., Oxman, A. D., Brozek, J., Glasziou, P., Jaeschke, R., Vist, G. E., ... & Bossuyt, P. (2008). Rating Quality of Evidence and Strength of Recommendations: GRADE: Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ: British Medical Journal, 336(7653), 1106.

Wessels, M., Hielkema, L., & van der Weijden, T. (2016). How to identify existing literature on patients' knowledge, views, and values: the development of a validated search filter. Journal of the Medical Library Association: JMLA, 104(4), 320.

Zerillo JA, Schouwenburg MG, van Bommel ACM, Stowell C, Lippa J, Bauer D, Berger AM, Boland G, Borras JM, Buss MK, Cima R, Van Cutsem E, van Duyn EB, Finlayson SRG, Hung-Chun Cheng S, Langelotz C, Lloyd J, Lynch AC, Mamon HJ, McAllister PK, Minsky BD, Ngeow J, Abu Hassan MR, Ryan K, Shankaran V, Upton MP, Zalcberg J, van de Velde CJ, Tollenaar R; Colorectal Cancer Working Group of the International Consortium for Health Outcomes Measurement (ICHOM). An International Collaborative Standardizing a Comprehensive Patient-Centered Outcomes Measurement Set for Colorectal Cancer. JAMA Oncol. 2017 May 1;3(5):686-694. doi: 10.1001/jamaoncol.2017.0417. PubMed PMID: 28384684.