Circulating Tumor Cell (CTC) assay bij LMM

Laatst beoordeeld: 15-10-2020

Uitgangsvraag

Wat is de plaats van de Circulating Tumor Cell (CTC) assay in liquor bij het vaststellen van de diagnose bij patiënten met verdenking op leptomeningeale metastasen?

Aanbeveling

Overweeg CTC assay in plaats van liquor cytologie bij het vaststellen van de diagnose leptomeningeale metastasen bij epitheliale tumoren indien deze techniek beschikbaar is.

 

Indien er sprake is van een melanoom of andere niet-epitheliale primaire tumor wordt alleen liquorcytologie aanbevolen.

 

Zie module ‘Liquordiagnostiek’ voor aanbevelingen over op welke wijze liquorcytologie uitgevoerd dient te worden.

Overwegingen

Voor- en nadelen van de interventie en de kwaliteit van het bewijs

Uit literatuuronderzoek komt naar voren dat EpCAM-CTC assay sensitiever lijkt dan liquorcytologie in de diagnostiek naar leptomeningeale metastasen van epitheliale tumoren (range 78 tot 100% versus 44 tot 93%). CTC assay kan echter niet vergeleken worden met CSF cytologie wat betreft specificiteit en positief voorspellende waarde gezien de gebruikte referentietesten. De overall bewijskracht is relatief laag (low grade). Dit komt door verschillende beperkingen in de onderzoeksopzet (zie ‘level of evidence of the literature’).

 

CTC assay analyse wordt gedaan op liquor verkregen door een lumbaal punctie. Dit is ook het geval bij cytologie van de liquor. Er zijn dus geen verschillen in bijwerkingsprofielen voor patiënten tussen beide technieken (CTC assay versus cytologie).

 

De CTC assay voor detectie van epitheliale tumorcellen maakt gebruik van epithelial cell adhesion molecule (EpCAM), en daardoor zal de techniek niet gebruikt kunnen worden voor niet-epitheliale tumoren die geen EpCAM tot expressie brengen, zoals melanoom Voor de subgroep melanomen is er onvoldoende bewijs dat een CTC assay die gebruik maakt van melanoom-specifieke membraaneiwitten sensitiever is dan liquorcytologie in de diagnostiek naar leptomeningeale metastasen. De enige studie die CTC assay specifiek in deze patiëntengroep onderzocht voldoet niet aan de PICO (Le Rhun, 2013). De studie beschrijft twee melanoom patiënten met leptomeningeale metastasen, waarin de CTC assay is gebruikt om melanoomcellen in CSF, met succes, te detecteren.

 

Waarden en voorkeuren van patiënten (en eventueel hun verzorgers)

De EpCAM-CTC assay heeft potentiële voordelen voor de patiënt ten opzichte van liquorcytologie bij een verdenking op leptomeningeale metastasen. Ten eerste lijkt de sensitiviteit van CTC assay hoger waardoor er met meer zekerheid de diagnose leptomeningeale metastasen gesteld kan worden. In het geval van CTC assay is in de regel maar eenmalig een lumbaal punctie nodig. Bij een vermoeden op leptomeningeale metastasen wordt na een eerste negatieve liquorcytologie een tweede (en soms daarna derde) lumbaal punctie geadviseerd. Dit is niet het geval voor CTC assay. Het gebruik van een CTC assay voor tumorceldetectie in de liquor is dus potentieel minder invasief voor de patiënt.

 

Kosten (middelenbeslag)

Analyse met een EpCAM-CTC assay is in de huidige situatie kostbaarder dan met liquorcytologie. Naast het feit dat de analyse per sample duurder is (nov 2019: circa 400 euro inclusief kosten analist voor CTC assay versus circa 115 euro (130 dollar) dollar voor liquor cytologie), zal er ook geïnvesteerd moeten worden in een goede flow cytometer in het geval van CTC analyse van de liquor.

 

Aanvaardbaarheid, haalbaarheid en implementatie

De werkgroep is van mening dat de EpCAM-based CTC assay analyse sensitiever is dan liquor cytologie voor het vaststellen van leptomeningeale metastasen van epitheliale tumoren. In 2020 was slechts in enkele ziekenhuizen in Nederland deze CTC assay voor liquor beschikbaar. De analyse met de CTC assay is duurder dan liquor cytologie. Het is nog niet duidelijk of en in welke mate de verbetering van liquor diagnostiek bij leptomeningeale metastasen consequenties heeft voor behandeling en prognose.

 

Gezien deze punten geeft de werkgroep nog geen harde aanbeveling ten aanzien van de implementatie van de CTC assay in de ziekenhuizen waar dit tot nu toe nog niet wordt toegepast.

 

Rationale/ balans tussen de argumenten voor en tegen de interventie

De EpCAM-CTC assay lijkt een adequaat alternatief voor liquorcytologie voor diagnostiek naar leptomeningeale metastasen van epitheliale tumoren, gezien de hogere sensitiviteit van de test en er minder lumbaal puncties nodig zijn. De CTC assay is wel kostbaarder dan liquorcytologie per sample en er zal om de techniek te kunnen gebruiken een investering gedaan moeten worden in een goede flow cytometer. (Herhaalde) liquorcytologie blijft een adequate test in de diagnostiek naar leptomeningeale metastasen van epitheliale tumoren.

Inleiding

Na een positieve MRI met duidelijke leptomeningeale aankleuring en modules passend bij leptomeningeale metastasering bij een patiënt met een gemetastaseerde tumor, is de toegevoegde waarde van een lumbaal punctie beperkt. Een lumbaal punctie wordt in deze situatie alleen overwogen indien er toch nog aan een andere oorzaak wordt gedacht, danwel om mutatie-analyse in de liquor te verrichten. Tevens dient, bij negatief beeldvormend onderzoek of twijfel op leptomeningale metastasering na beeldvormende diagnostiek, liquor onderzoek te worden uitgevoerd bij een verdenking op leptomeningeale metastasering (zie module Beeldvormende diagnostiek). Positieve cytologie is nog steeds de gouden standaard voor de diagnose leptomeningeale metastasering. Bij 55% van de patiënten met leptomeningeale metastasen van solide tumoren worden maligne cellen gevonden bij de eerste punctie. De sensitiviteit van liquorcytologie neemt toe tot 80 en 90% na een tweede punctie. Een deel van de patiënten met leptomeningeale metastasen zal bij herhaaldelijk onderzoek een negatieve liquor hebben. Er is behoefte aan een test met een hogere sensitiviteit. De circulating tumor cell (CTC) assay is een techniek die mogelijk een hogere sensitiviteit en specificiteit heeft voor het diagnosticeren van leptomeningeale metastasen. Daarbij moet vermeld worden dat de huidige CTC assays gebruik maken van het membraaneiwit epithelial cell adhesion molecule (EPCAM). Een EpCAM-gebaseerde CTC assay kan daarom niet gebruikt worden voor niet-epitheliale tumoren die geen EPCAM tot expressie brengen, zoals bijv. het melanoom.

Conclusies

Sensitivity

Low

GRADE

The EpCAM-CTC assay seems to have a higher sensitivity (range 78 to 100%) in diagnosing leptomeningeal metastases from epithelial tumor compared to CSF cytology (range 44 to 93%).

 

Sources: (Jiang, 2017; Lin, 2017; Milojkovic Kerklaan, 2016; Nayak, 2013; Subira, 2012; Subira, 2015; Tu, 2015)

 

Specificity

Low

GRADE

It is unclear whether the specificity of EpCAM-CTC assay in diagnosing leptomeningeal metastases from epithelial tumors differs from CSF cytology. The specificity of CTC assay seems sufficient (84 to 100%).

 

Sources: (Lin, 2017; Milojkovic Kerklaan, 2016; Nayak, 2013; Subira, 2012; Subira, 2015)

 

Positive predictive value

Low

GRADE

It is unclear whether the positive predictive value of EpCAM-CTC assay in diagnosing leptomeningeal metastases from epithelial tumors differs from CSF cytology. The predicted value of CTC assay seems sufficient (90 to 100%).

 

Sources: (Lin, 2017; Milojkovic Kerklaan, 2016; Nayak, 2013; Subira, 2012; Subira, 2015)

 

Negative predictive value

Low

GRADE

The EpCAM-CTC assay seems to have a little higher negative predictive value (range 68 to 100%) in diagnosing leptomeningeal metastases from epithelial tumors compared to CSF cytology (range 52 to 97%).

 

Sources: (Lin, 2017; Milojkovic Kerklaan, 2016; Subira, 2012; Subira, 2015)

Samenvatting literatuur

Description of studies

Seven studies were included with in total 439 patients.

 

Milojkovic Kerklaan (2016) studied the diagnostic accuracy of circulating tumor cell (CTC) assay using an EpCAM-based flow cytometry assay compared to cerebrospinal fluid (CSF) cytology in diagnosing leptomeningeal metastases. Patients with a solid tumor from epithelial origin and a clinical suspicion of leptomeningeal metastases but a negative or inconclusive MRI in whom a diagnostic lumbar puncture had to be performed were included in this prospective cohort study (n=31). Breast cancer was the most prevalent primary tumor among the patients included (45%), followed by non-small cell lung carcinoma (NSCLC, 21%), gastrointestinal cancer (10%), small cell lung carcinoma (SCLC ), ovarian cancer and other tumor types (all < 10%). The diagnosis of leptomeningeal metastases was considered definitive when at least one of the following conditions was fulfilled: i) positive CSF cytology in the initial lumbar puncture or repeated lumbar puncture performed within two weeks after the initial lumbar puncture; ii) a follow-up MRI of the brain or spine performed after the diagnostic lumbar puncture within two months following the first MRI, showing unequivocal evidence of leptomeningeal metastases or (iii) progressive neurological symptoms compatible with leptomeningeal metastases and exclusion of other causes (for example infectious meningitis, treatment side effects).

 

Subira (2015) enrolled 144 patients with clinical data suspicious of leptomeningeal metastases from epithelial-cell malignancies in a prospective cohort study. Breast and lung cancer were the most common types of cancer among the included patients (exact distribution was not reported for all included patients). The diagnostic accuracy of EpCAM-CTC assay was studied using flow cytometry immunophenotyping and compared to the diagnostic accuracy of CSF cytology in diagnosing leptomeningeal metastases. The definite diagnosis of leptomeningeal metastases was established on the basis of CSF cytology and/or compatible clinical signs plus MRI findings with biochemical CSF abnormalities.

 

Subira (2012) studied the diagnostic accuracy of EpCAM-CTC assay using flow cytometry immunophenotyping compared to CSF cytology in diagnosing leptomeningeal metastases.

 

In this prospective cohort study, a per protocol analyses was performed in 75 patients with epithelial-cell neoplasia who developed clinical signs or symptoms suggestive of leptomeningeal metastases. Breast and lung cancer were the most common types of cancer among the included patients (exact distribution not reported for all included patients). Definitive diagnosis was verified by the clinicians at each hospital, based on either detection of malignant cells in CSF, on radiological findings consistent with leptomeningeal metastases on MRI, or biochemical abnormalities in the CSF.

 

Nayak (2013) studied the diagnostic accuracy of an EpCAM-CTC assay using CellSearch CTC Kit (Veridex LLC, Warren, NJ) based on the rare cell capture technology. The diagnostic accuracy of CellSearch CTC Kit was compared to CSF cytology. Fifty-one patients with solid tumors undergoing a lumbar puncture for clinical suspicion of leptomeningeal metastases were included in this prospective cohort study. The study did not specify why these patients were suspected to have leptomeningeal metastases. Lung cancer was the most prevalent primary tumor (41%), followed by breast cancer (29%) and other tumor types (for example gliomas, carcinoid tumor, ovarian cancer < 10%). Patients were considered to have a definitive diagnosis of leptomeningeal metastases if they had a positive CSF cytology or unequivocal MRI findings observed within one month of the initial evaluation. Positive results found on repeated examinations obtained at the discretion of the treating physician within that timeframe were also used as confirmation of leptomeningeal metastases.

 

Lin (2017) included 95 patients with epithelial tumors who presented with neurological symptoms suspicious for leptomeningeal metastases or had MRI findings suspicious for leptomeningeal metastases in a prospective cohort study. The study compared the diagnostic accuracy of an EpCAM-CTC assay using the CellSearch CTC Kit to CSF cytology. Breast cancer was the most prevalent primary tumor (38%), followed by lung cancer (33%) and other tumor types (for example gastrointestinal, renal, bladder < 10%). Patients were considered to have a definitive diagnosis of leptomeningeal metastases if they had a positive CSF cytology or unequivocal MRI findings performed within a month of the CSF analysis.

 

Jiang (2017) enrolled 21 patients with a clinical suspicion of leptomeningeal metastases from non-small lung cancer in a retrospective study to compare the diagnostic accuracy of an EpCAM-CTC assay using CellSearch CTC Kit compared to Thinprep cytologic testing. The study did not specify why these patients were suspected to have leptomeningeal metastases. The diagnosis of leptomeningeal metastases was established on the basis of unequivocal brain MRI, tumor cells found in the CSF (Thinprep cytologic testing or CellSearch) with or without neurologic symptoms.

 

Tu (2015) included 18 patients with leptomeningeal metastases from lung cancer confirmed by MRI in a retrospective cohort study. Next to MRI, all patients underwent a lumbar puncture with an EpCAM-CTC assay of the CSF using CellSearch CTC Kit and CSF cytology. As only patients with leptomeningeal metastases were enrolled, sensitivity was the only appropriate diagnostic measure to report.

 

Results

A short overview of the results is provided in table 1. Except for the study by Tu (2015), all studies used a reference test based on composite diagnostic criteria for the definite diagnosis of leptomeningeal metastases. Milojkovic Kerklaan (2016), Subira (2012 and 2015), Nayak (2013) and Lin (2017) defined positive CSF cytology or unequivocal leptomeningeal MR abnormalities as definite leptomeningeal metastases. Jiang (2017) defined definite leptomeningeal metastases by typical MRI abnormalities or tumor cells found in the CSF with CSF cytology or EpCAM-based CTC assay. Studies that included positive CTC assay or CSF cytology as a diagnostic criterium for definite leptomeningeal metastases do, by definition, not have false positives. Therefore, specificity and positive predictive values for these studies were not reported. In addition, the sensitivity is artificially high because the number of false-negatives is artificially low. Furthermore, the negative predictive value is artificially high because the number of true negatives is artificially high. The studies used different cut-off points for a positive CTC assay: at least 10 or 16 clustered events (Subira, 2012 and Subira, 2015); > 0, or ≥ 1 EpCAM-expressing cells/mL (Nayak, 2013; Lin, 2017; ≥1 CK+/DAPI+/CD45- cell (Tu, 2015) and blood samples with ≥ 2 tumor cells/8 mL (Milojkovic Kerklaan, 2016). The working group therefore decided to describe and provide an overview of the studies and decided not to pool the studies.

 

Figure 1 shows the forest plots of the sensitivity, specificity and the true-positives, false-positive, false-negatives and true-negatives of the included studies with CTC assay and CSF cytology.

 

Sensitivity

The sensitivity of EpCAM-CTC assay the ranged from 78% to 100% whereas the sensitivity of CSF cytology ranged from 44% to 93%.

 

Specificity

The specificity of EpCAM-CTC assay ranged from 84% to 100%.

 

Positive predictive value

The positive predicted value of EpCAM-CTC assay ranged from 90% to 100%.

 

Negative predictive value

The negative predicted value of EpCAM-CTC assay ranged from 68% to 100%, whereas the negative predicted value for CSF cytology ranged from 52% to 97%.

 

Table 1 Results of the individual studies

Study reference

Study design

 

Patient population

Patient population

 

Type of CTC assay (I)

 

Type of CSF cytology (C)

Reference test

Sens % (95% CI)

Spec % (95% CI)

PPV % (95% CI)

NPV % (95% CI)

Remarks

Milojkovic Kerklaan (2016)

 

Prospective cohort study

 

 

31 patients ≥18 years with a solid tumor and clinical suspicion

of LM but a normal or inconclusive MRI who had to undergo a

diagnostic lumbar puncture.

 

Type of CTC assay (I)

Tumor cell

measurement using an EpCAM-based flow cytometry assay

 

Cut-off: blood samples with ≥2 tumor cells/8 mL were considered

positive

 

Type of CSF cytology

unspecified

At least one

of the following conditions was fulfilled:

(i) positive CSF cytology in the initial LP or repeated LP performed

within 2 weeks after the initial LP

(ii) a follow-up MRI of the brain or spine performed after the diagnostic LP within 2 months following the first MRI, showing unequivocal evidence of LM

(iii) progressive neurological symptoms compatible with LM and exclusion of other causes

I: 100 (75-100)
C: 62 (32-86)

 

I: 100 (80-100)
C: n.a.

 

I: 100
C: n.a.

 

I: 100
C: 76

 

 

Subira (2015)

Prospective cohort study

 

 

144 patients suspected of LM from epithelial-cell malignancies

Type of CTC assay (I)

Flow cytometry immunophenotyping

(FCI)

 

Cut off: positive for LM was a cluster of

at least 16 events

 

for EpCAM expression with the 2 mAb used (EpCAM

positive cells).

 

Type of CSF cytology

unspecified

The diagnosis of LM was established on the basis of

CSF cytology, and/or compatible clinical signs plus MRI

findings with biochemical CSF abnormalities.

 

I: 80 (70-87)
C: 50 (40-60)

 

I: 84 (71-93)
C: n.a.

 

I: 90
C: n.a.

 

I: 69
C: 52

 

 

Subira (2012)

Prospective cohort study

 

 

78 patients with a previous diagnosis of epithelial-cell neoplasia and the

development of clinical signs or symptoms suggestive of LM. Patients with no history of neoplasia but serious suspicion

of LM were also considered.

 

Type of CTC assay (I)

Flow cytometry

immunophenotyping (FCI)

 

Cut-off: FCI categorized a sample as positive for malignancy

when at least 10 clustered events were positive for the

2 mAbs directed against EpCAM

 

Type of CSF cytology

unspecified

Definitive LM diagnosis for every patient studied was

verified by the clinicians at each hospital, based on either

detection of malignant cells in CSF, on radiological findings

consistent with LM on MRI, or biochemical

abnormalities in the CSF

 

I: 76 (61–87)

C: 65 (50–78)

I: 96 (80–100)

C: n.a.

 

 

I: 97 (92–100)

C: n.a.

 

I: 68 (53–83)

C: 61 (46–75)

 

 

Nayak (2013)

Prospective cohort study

 

 

51 patients with solid tumors undergoing a

lumbar puncture for a clinical suspicion of LM

 

Type of CTC assay (I)

CellSearch CTC Kit

 

Cut-off: CSF CTC analysis was considered

to be positive if >0 EpCAM-expressing cells/mL were identified.

 

Type of CSF cytology

unspecified

Positive CSF cytology or unequivocal MRI findings observed within

1 month of the initial evaluation; positive results found on repeat

examinations obtained at the discretion of the treating physician

within that timeframe were also used as confirmation of LM.

I: 100 (78 – 100)
C: 68 (38-88)

 

I: 97 (85-100)

C: n.a.

 

I: 94

C: n.a.

I: 100

C: not calculatable

 

Tu (2015)

Case only study

 

 

18 patients with lung cancer confirmed LM by MRI

Type of CTC assay (I)

CellSearch CTC Kit

 

Cut-off: at least one CK+/DAPI+/CD45- cell

 

Type of CSF cytology

unspecified

MRI confirmed LM

I: 78 (52-94)

C: 44 (22-69)

 

n.a.

n.a.

n.a.

Case only study. Only sensitivity calculatable

Lin (2017)

Prospective cohort study

 

 

96 patients with epithelial tumors who presented

with neurological symptoms suspicious for LM or

had MRI findings suspicious for LM and were referred for

clinical CSF

 

Type of CTC assay (I)

CellSearch CTC Kit

 

Cut-off: A cutoff of ≥1 CSF-CTC/mL provided

the best threshold to diagnose LM

 

Type of CSF cytology

unspecified

Composite:
positive CSF cytology and/or unequivocal

MRI findings

I: 93 (78-99)1

 

C: 93 (78-99)

I:95 (90-100)

C: n.a.

 

I: 90 (79-100)

 

C: n.a.

I: 97 (93-100)

 

C: 97

 

 

Jiang (2017)

Retrospective cohort study

 

 

21 NSCLC patients with suspected leptomeningeal

metastases

 

Type of CTC assay (I)

CellSearch CTC kit

 

Type of CSF cytology

Thinprep cytologic testing

LM were diagnosed by typical brain

MRI or tumor cells found in the CSF (TCT or CellSearch) with

or without neurologic symptoms

I: 95 (76-100)
C: 57 (34-78)

n.a.

n.a.

n.a.

All included patients had LM, therefore only sensitivity was caLM ulated

Abbreviations: C control group; CSF cerebrospinal fluid; CSF cerebrospinal fluid; CTC circulating tumor cells; EpCAM epithelial cell adhesion molecule; I intervention group; LM leptomeningeal metastases; LP lumbar puncture; n.a. not applicable; NSCLC non-small cell lung cancer
1: CI is calculated based on numbers reported in Lin (2017) which differs from the reported CI in the article
.

 

Figure 1 Forest plots for CTC assay and CSF cytology

F1

 

Level of evidence of the literature

The level of evidence regarding diagnostic accuracy was downgraded by two levels because of study limitations (risk of bias: in some studies it was unclear whether the results of the index tests were interpreted without knowledge of the reference test; per protocol analysis; index test was part of the reference test; concerns that the reference standard does not correctly classify the target condition).

Zoeken en selecteren

A systematic review of the literature was performed to answer the following question:

Which diagnostic test should be used in the diagnosis of patients suspected of leptomeningeal metastases?

 

P (patients): patients suspected of leptomeningeal metastases of solid tumors;

I (intervention): circulating tumor cell (CTC) assay: immunoflow cytometry, CellSearch, Epithelial cell adhesion molecule (EpCAM)-based techniques;

C (control): liquor cytology (CSF cytology);

R (reference): MRI + CSF cytology (followed by extra CSF cytology when first negative) or positive MRI only;

O (outcome): diagnostic accuracy.

 

Relevant outcome measures

The working group considered diagnostic accuracy (i.e. positive predictive value, negative predictive value, sensitivity, specificity) critical outcome measures for decision making. The working group defined a difference of ≥ 10% between the diagnostic tests as clinically relevant.

 

Search and select (Methods)

The databases Medline (via OVID) and Embase (via Embase.com) were searched with relevant search terms until February 12, 2019. The detailed search strategy is depicted under the tab Methods. The systematic literature search resulted in 196 hits.

 

CTC assay concerns different techniques, such as epithelial cell adhesion molecule (EpCAM)-based techniques and the rare cell capture technology (for example CellSearch CTC Kit (Veridex LLC, Warren, NJ)). The working group considered all currently available CTC assay techniques relevant.

 

Based on title and abstract, 30 studies were initially selected. The included studies required matching the PICO and should report at least the diagnostic accuracy measure ‘sensitivity’. In current daily practice, CSF cytology is performed after a negative or inconclusive MRI in patients suspected of leptomeningeal metastases. The working group decided to also select studies in which patients did not have an (negative or inconclusive) MRI before performing CTC assay and/or CSF cytology. These studies were also considered informative for studying which diagnostic test should be used in diagnosing leptomeningeal metastases.

 

After reading the full texts, 23 studies were excluded (see the table with reasons for exclusion under the tab Methods), and seven articles were included in the literature summary. Important study characteristics and results are depicted in the evidence tables. The assessment of the risk of bias is depicted in the risk of bias tables.

Referenties

  1. Jiang, B. Y., Li, Y. S., Guo, W. B., Zhang, X. C., Chen, Z. H., Su, J., ... & Huang, B. (2017). Detection of driver and resistance mutations in leptomeningeal metastases of NSCLC by next-generation sequencing of cerebrospinal fluid circulating tumor cells. Clinical Cancer Research, 23(18), 5480-5488.
  2. Lin, X., Fleisher, M., Rosenblum, M., Lin, O., Boire, A., Briggs, S., ... & Panageas, K. S. (2017). Cerebrospinal fluid circulating tumor cells: a novel tool to diagnose leptomeningeal metastases from epithelial tumors. Neuro-oncology, 19(9), 1248-1254.
  3. Milojkovic Kerklaan, B., Pluim, D., Bol, M., Hofland, I., Westerga, J., van Tinteren, H., ... & Brandsma, D. (2015). EpCAM-based flow cytometry in cerebrospinal fluid greatly improves diagnostic accuracy of leptomeningeal metastases from epithelial tumors. Neuro-oncology, 18(6), 855-862. Carcinomatosis. Neuro-oncology, 14(1), 43-52.
  4. Nayak, L., Fleisher, M., Gonzalez-Espinoza, R., Lin, O., Panageas, K., Reiner, A., ... & Omuro, A. (2013). Rare cell capture technology for the diagnosis of leptomeningeal metastasis in solid tumors. Neurology, 80(17), 1598-1605.
  5. Subirá, D., Simó, M., Illán, J., Serrano, C., Castañón, S., Gonzalo, R., ... & Bruna, J. (2015). Diagnostic and prognostic significance of flow cytometry immunophenotyping in patients with leptomeningeal carcinomatosis. Clinical & experimental metastasis, 32(4), 383-391.
  6. Subirá, D., Serrano, C., Castañón, S., Gonzalo, R., Illán, J., Pardo, J., ... & Dómine, M. (2011). Role of flow cytometry immunophenotyping in the diagnosis of leptomeningeal
  7. Tu, Q., Wu, X., Le Rhun, E., Blonski, M., Wittwer, B., Taillandier, L., ... & Faure, G. C. (2015). CellSearch® technology applied to the detection and quantification of tumor cells in CSF of patients with lung cancer leptomeningeal metastasis. Lung Cancer, 90(2), 352-357.

Evidence tabellen

Study reference

Study characteristics

Patient characteristics

 

Index test

(test of interest)

Reference test

 

Follow-up

Outcome measures and effect size

Comments

Milojkovic Kerklaan (2016)

Type of study[1]: prospective cohort study

 

Setting and country: Netherlands

 

Funding and conflicts of interest:

 

“This work was financed by the Netherlands Cancer Institute—Antoni

van Leeuwenhoek Hospital, Amsterdam, the Netherlands.

There is no external funding of this research to disclose”

 

Conflict of interest statement. No authors have any conflicts of interest

to disclose.

Inclusion criteria:

Patients ≥18 years with a solid tumor and clinical suspicion

of LM but a normal or inconclusive MRI who had to undergo a

diagnostic lumbar puncture (LP) were asked to participate.

 

Exclusion criteria: (i) intracranial or intraspinal tumor

with mass effect heralding the risk of herniation during

LP and (ii) uncorrected thrombocytopenia or coagulation

disorders.

 

N=31

 

Prevalence: 13/29

 

Median (range):

55 (20–82)

 

Sex: % M

4 (31%)

 

Other important characteristics: 54% had breast carcinoma

 

Describe index test:

multiparameter flow cytometry using EpCAM antibody

 

Cut-off point(s): The flow cytometric EpCAM assay has a lower limit of

quantification of 2 tumor cells per 8 mL of whole blood. Therefore,

blood samples with <2 tumor cells/8 mL were considered

negative.

 

Comparator test: CSF cytology

 

Cut-off point(s): The Giemsa stainings

of the CSF samples were examined by the pathologist and

scored as negative (no tumor cells), positive (tumor cells), or inconclusive

(atypical cells).

 

Describe reference test[2]:

The diagnosis of LM was considered definitive when at least one

of the following conditions was fulfilled:

(i) positive CSF cytology in the initial LP or repeated LP performed

within 2 weeks after the initial LP

(ii) a follow-up MRI of the brain or spine performed after the diagnostic LP within 2 months following the first MRI, showing unequivocal evidence of LM

(iii) progressive neurological symptoms compatible with LM and exclusion of other causes (eg, infectious meningitis, treatment side effects).

 

 

Cut-off point(s): at least one of the abovementioned conditions

 

 

Time between the index test en reference test:

Unclear, however: “Results of the flow cytometry assay and cytology in

the CSF were both obtained independently.”

 

For how many participants were no complete outcome data available?

N=2

 

Reasons for incomplete outcome data described?
Incorrect inclusions. “Two patients were not eligible as LPs were performed

because of the location of the tumor (near the ventricles),

but there were no clinical symptoms of LM.”

Outcome measures and effect size (include 95%CI and p-value if available)4:

 

Sensitivity:

CTC assay: 100
CSF cytology: 61.5

 

Specificity:

CTC assay: 100
CSF cytology: 100

 

PPV:

CTC assay: 100
CSF cytology: 100

 

 

NPV:

CTC assay: 100
CSF cytology: 76

 

One of the conditions for a definite diagnosis of LM is “positive CSF cytology in the initial LP or repeated LP performed

within 2 weeks after the initial LP” à we do not know which ones are ‘false-positive’. Hence, the PPV and the specificity are by definition 100%

 

Although this study showed 100% sensitivity and specificity for the

EpCAM-based CTC flow cytometry assay for the diagnosis of

LM, the authors conclude “Using this dual diagnostic method (ie, standard CSF cytology

with morphological cell assessment by the pathologist and

flow cytometric CTC assay), patients with a clinical suspicion

of LM and a nonconfirmatory MRI scan can be diagnosed for

LM in a timely manner with a very low chance of false negative

results”

Subira (2015)

Type of study:

Prospective cohort study

 

Setting and country: Spain

 

Funding and conflicts of interest: “Mundipharma contributed financial support for sample

transportation.”

 

“The authors declare that they have no conflict

of interest.”

Inclusion criteria:
clinical data suspicious of LMfrom epithelial-cell malignancies

 

Exclusion criteria: patients eligible only for palliative

care, those without a complete collection of clinical

data, and those whose CSF samples had macroscopic blood

contamination after sample centrifugation.

 

N=144

 

Prevalence: 96/144

 

Median (IQR)

58 (48–66).

 

Sex: % F

61.7

 

 

Describe index test: flow cytometry immunophenotyping

 

 

Cut-off point(s): a cluster of

at least 16 events positive

for EpCAM expression with the 2 mAb used (EpCAM

positive cells). Expression of the epithelial-cell adhesion

molecule (EpCAM) was the criterion used to identify the epithelial

cells.

 

Comparator test: CSF

 

Cut-off point(s):

 

Comparator test: MRI

 

Cut-off point(s):

 

 

Describe reference test:

The diagnosis of LM was established on the basis of

CSF cytology, and/or compatible clinical signs plus MRI

findings with biochemical CSF abnormalities.

 

 

Cut-off point(s): n.a.

 

 

Time between the index test en reference test: Unclear

 

For how many participants were no complete outcome data available? 22/166 had incomplete data and were excluded

 

Outcome measures and effect size (include 95%CI and p-value if available):

 

Sensitivity (%)

Flow cytometry: 79.8
Cytology: 50.0

MRI: 76.6

 

Specficity
Flow cytometry: 84.0
Cytology:100

MRI:63.0

 

PPV

Flow cytometry:90.4
Cytology:100

MRI:87.2

 

NPV

Flow cytometry: 68.9
Cytology:51.6

MRI: 56.9

Definite diagnosis of LM can be made by solely a positive CSF cytology test à we do not know which ones are ‘false-positive’. Hence, the PPV and the specificity are by definition 100%

 

Subira (2012)

Type of study: prospective cohort study

 

Setting and country: Spain

 

Funding and conflicts of interest: Mundipharma has collaborated with financial support. The authors declare that they have no conflict of interest.

Inclusion criteria: a previous diagnosis of epithelial-cell neoplasia and the

development of clinical signs or symptoms suggestive of

LM . Patients with no history of neoplasia but serious suspicion

of LM were also considered.

 

Exclusion criteria: Those with hematological

malignancies, melanoma, primary brain tumors,

or those receiving intrathecal treatment for LM before

sending a CSF sample for study were excluded.

 

N= 78

 

Prevalence: 49

 

Mean age ± SD: Not reported

 

Sex: % M / % F

Not reported

 

Other important characteristics:

Describe index test:

flow cytometry

immunophenotyping (FCI)

 

Cut-off point(s):

FCI categorized a sample as positive for malignancy

when at least 10 clustered events were positive for the

2 mAbs directed against EpCAM.

 

Comparator test: CSF cytology

 

Cut-off point(s): detection of malignant cells in CSF

 

Describe reference test:

Definitive LM diagnosis for every patient studied was

verified by the clinicians at each hospital, based on either

detection of malignant cells in CSF, on radiological findings

consistent with LM on MRI, or biochemical

abnormalities in the CSF

 

Cut-off point(s): n.a.

 

Time between the index test en reference test:

Unclear

 

For how many participants were no complete outcome data available?

N=21, no complete follow-up

N=3, had high suspicion of LM but negative MRI and cytology.

 

Reasons for incomplete outcome data described?
No.

Outcome measures and effect size (include 95%CI and p-value if available):

 

Sensitivity:

FCI: 75.5 (63.5–87.6)

Cytology: 65.3 (52.0–78.6)

 

Specificity:

FCI: 96.1 (88.8–100)

Cytology: 100 (100–100)

 

PPV:

FCI: 97.4 (92.3–100)

Cytology: 100 (100–100)

 

NPV:

FCI: 67.6 (52.5–82.7)

Cytology: 60.5 (45.8–75.1)

 

Definite diagnosis of LM can be made by solely a positive CSF cytology test à we do not know which ones are ‘false-positive’. Hence, the PPV and the specificity are by definition 100%.

 

The authors have doubt about the reference test. “In 3 patients, there was a hijh suspicion of LM but negative MRI and CSF cytology. Excluding these patient introduced bias.”

 

Nayak, 2013

Type of study:

Prospective cohort study

 

Setting and country: USA

 

Funding and conflicts of interest: This study was funded by the Memorial Sloan-Kettering Cancer Center

Department of Neurology Research and Development Fund. The authors report no disclosures relevant to the manuscript.

Inclusion criteria:

patients with solid tumors undergoing a

lumbar puncture for a clinical suspicion of LM

 

Exclusion criteria:

 

N= 51

 

Prevalence: 15/51

 

Mean age ± SD: Not reported

 

Sex: % M / % F
Not reported

 

 

Describe index test: Immunoflow cytometry, evaluated by CellSearch CTC Kit

 

Cut-off point(s):

CSF CTC analysis was considered

to be positive if >0 EpCAM-expressing cells/mL were identified.

 

Comparator test: CSF cytology

 

Cut-off point(s): unclear

 Comparator test 2: MRI. Unequivocal MRI findings were

defined as leptomeningeal enhancement with subarachnoid nodules,

enhancement in basal cisterns, or enhancement/clumping of

nerve roots (figure 1A).11 Findings such as multiple superficial

brain metastases, intraventricular masses, dural enhancement

associated with epidural metastasis, or new hydrocephalus were

considered suspicious but nondiagnostic (figure 1B).

Describe reference test:

Positive CSF cytology or unequivocal MRI findings observed within

1 month of the initial evaluation; positive results found on repeat

examinations obtained at the discretion of the treating physician

within that timeframe were also used as confirmation of LM.

 

Cut-off point(s): n.a.

 

 

Time between the index test and reference test: Unclear

 

For how many participants were no complete outcome data available?

N (%)

 

Reasons for incomplete outcome data described?

Outcome measures and effect size (include 95%CI and p-value if available):

 

Sensitivity:

CSF CTCs: 100
Cytology: 66.7

MRI: 73.3
MRI + cytology: 86.6

 

Specificity:

CSF CTCs: 97.2
Cytology:

MRI:

MRI + cytology:

 

Tu (2015)

Type of study:
Prospective cohort study

 

Setting and country: France, neurology department

 

Funding and conflicts of interest:

No coi declared.

Funding: China Scholarship Council, French ministry, European Regional Development Fund, regional Lorraine cancer projects

Inclusion criteria:

Patient with lung cancer related confirmed LM by MRI

 

Exclusion criteria: Inflammatory or infectious conditions

 

N= 18

 

Prevalence: 18

 

Mean age ± SD:

Not reported

 

Sex: % M / % F:

Not reported

Describe index test: Cellsearch

 

Cut-off point(s): at least one CK+/DAPI+/CD45- cell

 

Comparator test: conventional cytology

 

Cut-off point(s): not reported

 

Describe reference test:

Unequivocal MRI, which was defined as:

Leptomeningeal enhancement with subarachnoid nodules, enhancement in basal cisterns or enhancement/clumping of nerve roots

 

 

 

Cut-off point(s): n.a.

 

 

Time between the index test en reference test: Unclear

 

For how many participants were no complete outcome data available?

N (%)

 

Reasons for incomplete outcome data described?

Outcome measures and effect size (include 95%CI and p-value if available):

 

Sensitivity:
Flow cytometry: 77.8%

CSF cytology: 44.4% (21.5-69.2)

 

 

Lin (2017)

Type of study: Prospective cohort study

 

Setting and country: USA

 

Funding and conflicts of interest: This research was supported by grants from the National

Institutes of Health (P30-CA008748) and the Memorial Sloan

Kettering Brain Tumor Center. Janssen Diagnostics provided

reagents for the analysis but no financial support.

The authors reported that they had no conflicts of interest

Inclusion criteria: patients with epithelial tumors who presented

with neurological symptoms suspicious for LM or

had MRI findings suspicious for LM and were referred for

clinical CSF

 

Exclusion criteria:

Not reported

 

N= 95

 

Prevalence: 30 had LM at initial evaluation

 

Median age (range): 58 (29–82)

 

Sex: 29% M / 71% F

 

Other important characteristics: 38% had breast cancer, 33% had lung cancer other primary tumors (9) were less than 10%

Describe index test: CellSearch CTC Kit

 

 

Cut-off point(s): a cutoff of ≥1 CSF-CTC/mL provided

the best threshold to diagnose LM

 

 

Comparator test: CSF cytology

 

Cut-off point(s): not specified

 

Describe reference test: composite definition of LM was based

on positive CSF cytology or unequivocal

MRI findings performed within a month

of the CSF analysis

 

 

 

Time between the index test and reference test: Unclear

 

For how many participants were no complete outcome data available?

Seems that everybody had CSF cytology all tests.

 

Reasons for incomplete outcome data described? N.a.

Outcome measures and effect size (include 95%CI and p-value if available):

 

Sensitivity:

Flow cytometry: 93%

CSF cytology: 93% (84%–100%),

 

Specificity:

Flow cytometry: 95% (90%–100%)

 

PPV:

Flow cytometry: 90% (79%–100%)

 

NPV:

Flow cytometry: 97% ( 93%–100%)

 

Jiang (2017

Type of study: Prospective cohort study

 

Setting and country: China

 

Funding and conflicts of interest:

C.-R. Xu has ownership interests (including patents) in Illumina, and

reports receiving speakers bureau honoraria from AstraZeneca, Eli Lilly,

Pfizer and Roche. No potential conflicts of interest were disclosed by the

other authors

 

This work was supported by funding from various (mainly public) funds.

Inclusion criteria: NSCLC patients with suspected leptomeningeal

metastases

 

Exclusion criteria: Not reported

 

N= 21

 

Prevalence: 21

 

Mean age ± SD: not reported

 

Sex: 48% M /52 % F

 

 

Describe index test: CellSearch CTC kit (Veridex LLM )

 

 

Cut-off point(s): Unclear

 

 

Comparator test: Thinprep cytologic testing

 

Cut-off point(s): ?

 

Describe reference test: Leptomeningeal metastases were diagnosed by typical brain

MRI or tumor cells found in the CSF (TCT or CellSearch) with

or without neurologic symptoms

 

Time between the index test and reference test: Unclear

 

For how many participants were no complete outcome data available?

N=0

 

Reasons for incomplete outcome data described? N.a.

Outcome measures and effect size (include 95%CI and p-value if available):

 

Sensitivity:
flow cytometry: 95.2%
CSF cytology: 57.1%

 

Case only, therefore only sensitity caLM ulatable

 

Risk of bias assessment diagnostic accuracy studies (QUADAS II, 2011)

Study reference

Patient selection

 

Index test

Reference standard

Flow and timing

Comments with respect to applicability

Milojkovic Kerklaan (2016)

Was a consecutive or random sample of patients enrolled?

Unclear; but presumably consecutive

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

Unclear

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Yes

 

If a threshold was used, was it pre-specified?

Yes

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Unclear

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Yes

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

Are there concerns that the included patients do not match the review question?

No

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: LOW

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: HIGH

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

Subira (2015)

Was a consecutive or random sample of patients enrolled?

Probably consecutive

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

No

 

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Unclear

 

If a threshold was used, was it pre-specified?

Yes, but not for the two comparator tests.

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Yes/No/Unclear

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Yes

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

No

Are there concerns that the included patients do not match the review question?

Yes

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: HIGH

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: LOW /HIGH/UNCLEAR

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: HIGH

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

Subira (2012)

Was a consecutive or random sample of patients enrolled?

Unclear

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

No, primary brain tumors,

or those receiving intrathecal treatment for LM before

sending a CSF sample for study were excluded. Patient without complete follow-up were excluded (per protocol analysis) 3 patients in the series had a

very high clinical suspicion of LM , but MRI and repeated

CSF studies were normal. FCI results were also negative

for malignancy. Likewise, necropsy studies were not performed.

In this context, a certain diagnosis of LM was not

Established and these 3 patients were excluded from the

analyses.

Were the index test results interpreted without knowledge of the results of the reference standard?

Yes, blinded for MRI and cytology data

 

If a threshold was used, was it pre-specified?

Yes

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Independent of index test 1.

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Yes

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

No

 

Are there concerns that the included patients do not match the review question?

Yes

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: HIGH

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: LOW

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: UNCLEAR

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

Nayak (2013)

Was a consecutive or random sample of patients enrolled?

Unclear

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

Yes, they did not exclude those on bevacizumab treatment for example

Were the index test results interpreted without knowledge of the results of the reference standard?

Unclear

 

If a threshold was used, was it pre-specified?

Yes

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

No

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Yes

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes/No/Unclear

Are there concerns that the included patients do not match the review question?

No

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: UNCLEAR

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: HIGH

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

Tu (2015)

Was a consecutive or random sample of patients enrolled?

Unclear

 

Was a case-control design avoided?
Yes

 

Did the study avoid inappropriate exclusions?

Yes

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Yes

 

If a threshold was used, was it pre-specified?

Unclear

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

No

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Unclear

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

Are there concerns that the included patients do not match the review question?

Yes

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: LOW

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: HIGH

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

Lin (2017)

Was a consecutive or random sample of patients enrolled?
Unclear

 

Was a case-control design avoided?
Yes

 

Did the study avoid inappropriate exclusions?
Yes

 

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Unclear

 

If a threshold was used, was it pre-specified?

Prespecified that they would perform receiver

operating characteristic (ROC) analysis

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Unclear

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Unclear

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

Are there concerns that the included patients do not match the review question?

No

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: UNCLEAR

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: HIGH

CONCLUSION

Could the patient flow have introduced bias?

 

 

 

 

RISK: LOW

 

Jiang (2017)

Was a consecutive or random sample of patients enrolled?

Unclear

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

Yes

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Unclear

 

If a threshold was used, was it pre-specified?

No

 

 

 

Is the reference standard likely to correctly classify the target condition?

Unclear

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Unclear

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Unclear

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

Are there concerns that the included patients do not match the review question?

No

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: HIGH

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: HIGH

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

 

Table of excluded studies

Author and year

Reason for exclusion

Ying, 2018

Does not match the PICO (no CTC assay)

Xu, 2018

Evaluatie composite endpoint

Li, 2018

Does not match the PICO (no CTC assay)

Fabian, 2019

Narrative review

Nevel, 2018

Narrative review

Nam, 2019

Does not match the PICO (incorrect patient group)

Franchino, 2018

Narrative review

Cheng, 2018

Narrative review

Rigakos, 2017

Narrative review

Marchio, 2017

Letter to the editor

Cordone, 2017

No diagnostic accuracy measures

Chowdhary, 2017

Narrative review

Lee, 2015

Unclear reference test

Magbanua, 2014

No diagnostic study

Illan, 2014

No diagnostic study

Schiff, 2013

Comment

Magbanua, 2013

No diagnostic study

Chamberlain, 2012

Narrative review

Bruna, 2012

Narrative review

Baldwin, 2012

Narrative review

Weston, 2011

Narrative review

Chamberlain, 2009

Narrative review


[1] In geval van een case-control design moeten de patiëntkarakteristieken per groep (cases en controls) worden uitgewerkt. NB; case control studies zullen de accuratesse overschatten (Lijmer et al., 1999)

[2] De referentiestandaard is de test waarmee definitief wordt aangetoond of iemand al dan niet ziek is. Idealiter is de referentiestandaard de Gouden standaard (100% sensitief en 100% specifiek). Let op! dit is niet de “comparison test/index 2”.

4 Beschrijf de statistische parameters voor de vergelijking van de indextest(en) met de referentietest, en voor de vergelijking tussen de indextesten onderling (als er twee of meer indextesten worden vergeleken).

Autorisatiedatum en geldigheid

Laatst beoordeeld : 15-10-2020

Laatst geautoriseerd : 15-10-2020

Op modulair niveau is een onderhoudsplan beschreven (zie het stroomdiagram bij de aanverwante producten). Bij het opstellen van de richtlijn heeft de werkgroep per module een inschatting gemaakt over de maximale termijn waarop herbeoordeling moet plaatsvinden en eventuele aandachtspunten geformuleerd die van belang zijn bij een toekomstige herziening (update). De geldigheid van de richtlijn komt eerder te vervallen indien nieuwe ontwikkelingen aanleiding zijn een herzieningstraject te starten.

 

De Nederlandse Vereniging voor Neurologie is regiehouder van deze richtlijn en eerstverantwoordelijke op het gebied van de actualiteitsbeoordeling van de richtlijn. De Nederlandse Vereniging voor Neurologie wordt hierbij geadviseerd door de Landelijke Werkgroep Neuro-Oncologie (LWNO). De andere aan deze richtlijn deelnemende wetenschappelijke verenigingen of gebruikers van de richtlijn delen de verantwoordelijkheid en informeren de regiehouder over relevante ontwikkelingen binnen hun vakgebied.

 

Module

Regiehouder(s)

Jaar van autorisatie

Eerstvolgende beoordeling actualiteit richtlijn

Frequentie van beoordeling op actualiteit

Wie houdt er toezicht op actualiteit

Relevante factoren voor wijzigingen in aanbeveling

CTC assay

NVN

2020

2022

3 jaar

LWNO/NVN

Nieuwe studies;

Centralisatie van de zorg

 

Onderhoudsplan

De richtlijn is oorspronkelijk ontwikkeld door de richtlijn Werkgroep Neuro-Oncologie en is op 21 november 2006 geautoriseerd. In 2010 is de richtlijn voor het laatste actueel bevonden. Een aantal modules is inmiddels verouderd en daarnaast bestond er de wens om enkele nieuwe modules aan de richtlijn toe te voegen. Voor de herziening en ontwikkeling van deze modules is in 2018 een multidisciplinaire werkgroep ingesteld. Er was budget beschikbaar voor het ontwikkelen dan wel herzien van drie richtlijnmodules. Uit de knelpuntenanalyse werden de volgende onderwerpen geprioriteerd: CTC assay techniek (nieuwe module); systemische therapie (module-update) en responsbepaling (nieuwe module). De overige modules zijn uit de richtlijn van 2010 integraal overgenomen behoudens beperkte redactionele aanpassingen. De werkgroep heeft kenbaar gemaakt dat een aantal van deze modules ook binnen korte termijn volledig herzien zouden moeten worden.

 

Onderstaande tabel geeft de geprioriteerde gewenste veranderingen voor toekomstige herziening(en) weer.

 

Geprioriteerde gewenste veranderingen richtlijn Leptomeningeale metastasen van solide tumoren

Prioritering

Module

Gewenste verandering

1

Diagnostiek: Beeldvormende diagnostiek

 

Invoegen literatuuranalyse over de mogelijk toegevoegde diagnostische waarde van MRI spinaal naast MRI hersenen. Invoegen literatuuranalyse over de diagnostische nauwkeurigheid van FLAIR met gadolineum ten opzichte van MRI T1 met gadolineum.

2

Indicatie behandeling

Update literatuuranalyse welke patiënten (moleculaire subtype van de primaire tumor, mutatie, status van de patiënt) in aanmerking komen voor verdere systemische behandeling.

3

Behandeling: leptomeningeale metastasen van extracraniële solide tumoren > Chirurgie

Invoegen literatuuranalyse voor de afweging wel/ geen drainplaatsing bij hydrocephalus. Er zou minder aandacht moeten zijn voor het intraventriculair reservoir (Ommaya reservoir) aangezien intrathecale behandeling nauwelijks nog gegeven wordt in Nederland.

4

Behandeling: leptomeningeale metastasen van primaire tumoren van het czs

Literatuuranalyse gliomenstudies met leptomeningeale metastasen

Initiatief en autorisatie

Initiatief:
  • Nederlandse Vereniging voor Neurologie
Geautoriseerd door:
  • Nederlandse Internisten Vereniging
  • Nederlandse Vereniging van Artsen voor Longziekten en Tuberculose
  • Nederlandse Vereniging voor Neurologie
  • Nederlandse Vereniging voor Radiologie
  • Nederlandse Vereniging voor Radiotherapie en Oncologie

Algemene gegevens

Stichting Melanoom was de betrokken patiëntenvereniging.

 

De richtlijnontwikkeling werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten en werd gefinancierd uit de Stichting Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijn.

Samenstelling werkgroep

Voor het ontwikkelen van de richtlijnmodules is in 2018 een multidisciplinaire werkgroep ingesteld. De werkgroepleden zijn door hun beroepsverenigingen gemandateerd voor deelname en de werkgroep is verantwoordelijk voor de integrale tekst van deze richtlijn. De patiënten zijn vertegenwoordigd via Stichting Melanoom.

 

Werkgroep herziening drie richtlijnmodules (2020)

  • Dr. D. (Dieta) Brandsma (voorzitter), neuroloog, Antoni van Leeuwenhoekziekenhuis
  • Dr. J. (Jan) Buter, internist-oncoloog, Amsterdam UMC, locatie VUmc, NIV/NVMO
  • Dr. J.W. (Jan Willem) Dankbaar, radioloog, UMC Utrecht, NVvR
  • Dr. L.E.L. (Lizza) Hendriks, longarts, Maastricht UMC+
  • Dr. D. (David) van Nieuwenhuizen, neuroloog, Amphia, NVN
  • Dr. J.J.C. (Joost) Verhoeff, radiotherapeut-oncoloog, UMC Utrecht, NVRO

 

Klankbordgroep

  • Ir. K.J.A. (Koen) van Elst, patientvertegenwoordiger, voorzitter van Stichting Melanoom

 

Met ondersteuning van

  • Dr. J. (Josefien) Buddeke, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
  • Dr. M. (Margriet) Moret-Hartman, senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten

 

Werkgroep richtlijn 2006

  • Dr. W. Boogerd, neuroloog, Nederlands Kanker Instituut/Antoni van Leeuwenhoekziekenhuis, Slotervaartziekenhuis (voorzitter)
  • Dr. E.P.J. Arnoldus, neuroloog, Tweesteden Ziekenhuis (tot 23-11-04)
  • Drs. M. Bannink, psychiater, Erasmus MC-Daniel den Hoed
  • Drs. W.F.J. du Bois, radiotherapeut, Isala klinieken locatie Sophia
  • Dr. C.J. van Groeningen, medisch oncoloog, VU Medisch Centrum
  • Drs. H.L.J. Tanghe, radioloog, Erasmus MC
  • Dr. J.L.J.M. Teepen, patholoog, St. Elisabeth Ziekenhuis
  • Dr. A. Twijnstra, neuroloog, Academisch Ziekenhuis Maastricht
  • Drs. J.H.C. Voormolen, neurochirurg, Leids Universitair Medisch Centrum
  • Drs. C.J.G.M. Rosenbrand, arts, Kwaliteitsinstituut voor de Gezondheidszorg CBO
  • B.E.M. Fröhleke, programmacoördinator, Integraal Kankercentrum Midden-Nederland (IKMN), Utrecht
  • Drs. V.K.Y. Ho, beleidsmedewerker Richtlijnen & Organisatie oncologische zorg, Vereniging van Integrale Kankercentra (VIKC)
  • M.L. van de Kar, ambtelijk secretaris, LWNO

Belangenverklaringen

De KNMG-code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement, kennisvalorisatie) hebben gehad. Een overzicht van de belangen van werkgroepleden van de herziening uit 2020 en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.

 

Werkgroeplid

Functie

Nevenfuncties

Gemelde belangen

Ondernomen actie

Brandsma

Neuroloog

Nederlands Kanker Instituut - Antoni van Leeuwenhoek

Geen

Onderzoek naar immunoflow cytometrie technieken van epitheliale tumorcellen en melanoomcellen in liquor (gesponsord door NKI-AvL)

Presentatie Astra Zeneca over osimertinib bij leptomeningeale metastasen (betaald aan instituut)

Geen

Buter

Internist-oncoloog

Amsterdam UMC

Lid Medisch Ethische Toetsing commissie Amsterdam UMC, locatie Vumc

Lid commissie ter Beoordeling van Oncologische middelen BOM

Deelname aan verschillende studies met oncologische middelen voor voornamelijk hoofd-halstumoren en hersentumoren.

Geen van deze middelen is direct betrokken bij deze richtlijn

Geen

Dankbaar

Radioloog

UMC Utrecht

Geen

Geen

Geen

Hendriks

Longarts

Maastricht UMC+

PI van drie onderzoeken

naar hersenmetastasen (funding Roche, Boehringer Ingelheim, AstraZeneca). Deze includeren geen patiënten met leptomeningeale metastasen.

 

co-PI: studie die effect van

PCI bij stadium III NSCLC

bestudeert (AstraZeneca,

studie in opstart)

Adviesraad BMS

(nivolumab), Boehringer

Ingelheim (afatinib),

vergoeding gaat naar

instituut. Tijdens

richtlijnontwikkeling zijn

deze bijeenkomsten

niet bijgewoond.

 

Adviesraad Eli Lilly

(ramucirumab, selpercatinib), Roche

(atezolizumab, tiragolumab), Pfizer (talazoparib), MSD (pembrolizumab), Takeda (brigatinib), geen

betrekking op

leptomeningeale metastasen. Vergoedingen gaan naar instituut.

 

Spreker: MSD, Roche. Vergoeding naar instituut, onderwerpen ongerelateerd aan leptomeningeale metastasen.

Quadia: vergoeding

webinars (niet specifiek

gerelateerd aan

leptomeningeale metastasen)

Mentorship programma

Bijeenkomst met key opinion leaders aangaande osimertinib als 1e lijnsbehandeling bij EGFR gemuteerd NSCLC – presentatie over effect osimertinib op leptomeningeale metastasen

(funding AstraZeneca)

Geen, tijdens

richtlijnontwikkeling zijn

deze bijeenkomsten

niet bijgewoond.

 

 

Van Nieuwenhuizen

Neuroloog

Amphia

Geen

Geen

Geen

Verhoeff

 

Radiotherapeut

UMC Utrecht

Geen

Geen

Geen

Van Elst
(klankbordgroep)

Patiëntvertegenwoordiger

Voorzitter Stichting

Melanoom (onbetaald)

Vrijwilliger actief in de rol

van voorzitter bij

kankerpatienorganisatie

(KPO) Stichting Melanoom.

Consultant bij ASML N.V.

Zowel deze organisatie

zelf, als de branch waarin

deze organisatie actief is,

heeft als zodanig geen

enkele connectie met de

belangen en de praktijk

van de omgeving waarin

het te leveren advies op

van toepassing is.

In februari 2018 als 'Patiënt

Advocate'

(belangenbehartiger voor

patiënten) een Patiënt

Advisory Board van de firma

Amgen in Zurich

bijgewoond (betaald).

Geen

Geen

Inbreng patiëntenperspectief

Tijdens alle stappen van het ontwikkelproces is rekening gehouden met het patiëntperspectief. De voorzitter van Stichting Melanoom had zitting in de klankbordgroep. Tevens is de conceptrichtlijn voor commentaar aan Stichting Melanoom en Patientenfederatie Nederland voorgelegd.

Methode ontwikkeling

Evidence based

Implementatie

In de verschillende fasen van de richtlijnontwikkeling is rekening gehouden met de implementatie van de richtlijn (module) en de praktische uitvoerbaarheid van de aanbevelingen. Daarbij is gelet op factoren die de invoering van de richtlijn in de praktijk kunnen bevorderen of belemmeren. Het implementatieplan is te vinden in de aanverwante producten bij elke module.

Werkwijze

AGREE

Deze richtlijn is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010), dat een internationaal breed geaccepteerd instrument is. Voor een stap-voor-stap beschrijving hoe een evidence-based richtlijn tot stand komt wordt verwezen naar het stappenplan Ontwikkeling van Medisch Specialistische Richtlijnen van het Kennisinstituut van de Federatie Medisch Specialisten.

 

Knelpuntenanalyse gedeeltelijke herziening 2020

In de vergadering van de Landelijke Werkgroep Neuro-Oncologie waarin verschillende medisch specialisten, verpleegkundigen en onderzoekers die betrokken zijn bij patiënten met tumoren van het zenuwstelsel zijn verenigd is vastgesteld wat de meest urgente kennishiaten zijn in de diagnostiek en zorg voor patiënten met leptomeningeale metastasen.

 

Uitgangsvragen en uitkomstmaten

Op basis van de vorige versie van de richtlijn en de uitkomsten van de knelpuntenanalyse zijn door de voorzitter en de adviseur conceptuitgangsvragen opgesteld. Deze zijn met de werkgroep besproken waarna de werkgroep de definitieve uitgangsvragen heeft vastgesteld. Vervolgens inventariseerde de werkgroep per uitgangsvraag welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal, belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.

 

Strategie voor zoeken en selecteren van literatuur

Voor de uitgangsvragen waarvoor een systematische literatuuranalyse was gepland, werd aan de hand van specifieke zoektermen gezocht naar gepubliceerde wetenschappelijke studies in (verschillende) elektronische databases. Tevens werd aanvullend gezocht naar studies aan de hand van de literatuurlijsten van de geselecteerde artikelen. In eerste instantie werd gezocht naar studies met de hoogste mate van bewijs. De werkgroepleden selecteerden de via de zoekactie gevonden artikelen op basis van vooraf opgestelde selectiecriteria. De geselecteerde artikelen werden gebruikt om de uitgangsvraag te beantwoorden. De databases waarin is gezocht, de zoekstrategie en de gehanteerde selectiecriteria zijn te vinden in de module met desbetreffende uitgangsvraag.

 

Kwaliteitsbeoordeling individuele studies

Individuele studies werden systematisch beoordeeld, op basis van op voorhand opgestelde methodologische kwaliteitscriteria, om zo het risico op vertekende studieresultaten (risk of bias) te kunnen inschatten. Deze beoordelingen kunt u vinden in de Risk of Bias (RoB) tabellen. De gebruikte RoB instrumenten zijn gevalideerde instrumenten die worden aanbevolen door de Cochrane Collaboration: Cochrane - voor gerandomiseerd gecontroleerd onderzoek en PROBAST - voor prognostisch onderzoek.

 

Samenvatten van de literatuur

De relevante onderzoeksgegevens van alle geselecteerde artikelen werden overzichtelijk weergegeven in evidencetabellen. De belangrijkste bevindingen uit de literatuur werden beschreven in de samenvatting van de literatuur. Bij een voldoende aantal studies en overeenkomstigheid (homogeniteit) tussen de studies werden de gegevens ook kwantitatief samengevat (meta-analyse) met behulp van Review Manager 5.

 

Beoordelen van de kracht van het wetenschappelijke bewijs

A) Voor interventievragen (vragen over therapie of screening)

De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor Grading Recommendations Assessment, Development and Evaluation (zie http://www.gradeworkinggroup.org/).

 

GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie (Schünemann, 2013).

 

GRADE

Definitie

Hoog

  • er is hoge zekerheid dat het ware effect van behandeling dicht bij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • het is zeer onwaarschijnlijk dat de literatuurconclusie verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Redelijk

  • er is redelijke zekerheid dat het ware effect van behandeling dicht bij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • het is mogelijk dat de conclusie verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Laag

  • er is lage zekerheid dat het ware effect van behandeling dicht bij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • er is een reële kans dat de conclusie verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Zeer laag

  • er is zeer lage zekerheid dat het ware effect van behandeling dicht bij het geschatte effect van behandeling ligt zoals vermeld in de literatuurconclusie;
  • de literatuurconclusie is zeer onzeker.

 

B) Voor vragen over diagnostische tests, schade of bijwerkingen, etiologie en prognose

De kracht van het wetenschappelijke bewijs werd eveneens bepaald volgens de GRADE-methode: GRADE-diagnostiek voor diagnostische vragen (Schünemann, 2008) en een generieke GRADE-methode voor vragen over schade of bijwerkingen, etiologie en prognose. In de gehanteerde generieke GRADE-methode werden de basisprincipes van de GRADE-methodiek toegepast: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat en een beoordeling van bewijskracht op basis van de vijf GRADE-criteria (startpunt hoog; downgraden voor risk of bias, inconsistentie, indirectheid, imprecisie, en publicatiebias).

 

Formuleren van de conclusies

Voor elke relevante uitkomstmaat werd het wetenschappelijk bewijs samengevat in een of meerdere literatuurconclusies waarbij het niveau van bewijs werd bepaald volgens de GRADE-methodiek. De werkgroepleden maakten de balans op van elke interventie (overall conclusie). Bij het opmaken van de balans werden de gunstige en ongunstige effecten voor de patiënt afgewogen. De overall bewijskracht wordt bepaald door de laagste bewijskracht gevonden bij een van de cruciale uitkomstmaten. Bij complexe besluitvorming waarin naast de conclusies uit de systematische literatuuranalyse vele aanvullende argumenten een rol spelen, werd afgezien van een overall conclusie. In dat geval werden de gunstige en ongunstige effecten van de interventies samen met alle aanvullende argumenten gewogen onder het kopje Overwegingen.

 

Overwegingen (van bewijs naar aanbeveling)

Om te komen tot een aanbeveling zijn naast de kwaliteit van het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals de expertise van de werkgroepleden, de waarden en voorkeuren van de patiënt (patient values and preferences), kosten, beschikbaarheid van voorzieningen en organisatorische zaken. Deze aspecten worden, voor zover geen onderdeel van de literatuursamenvatting, vermeld en beoordeeld (gewogen) onder het kopje Overwegingen.

 

Formuleren van aanbevelingen

De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk. De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen. Alle aanbevelingen zijn met de werkgroep vastgesteld.

 

Commentaar- en autorisatiefase

De conceptrichtlijn werd aan de betrokken (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd ter commentaar. De commentaren werden verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren werd de conceptrichtlijn aangepast en definitief vastgesteld door de werkgroep. De definitieve richtlijn werd aan de deelnemende (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd.

 

Literatuur

Brouwers MC, Kho ME, Browman GP, et al. AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348.

Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. http://richtlijnendatabase.nl/over_deze_site/over_richtlijnontwikkeling.html.

Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.

Schünemann HJ, Oxman AD, Brozek J, et al. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ. 2008;336(7653):1106-10. doi: 10.1136/bmj.39500.677199.AE. Erratum in: BMJ. 2008;336(7654). doi: 10.1136/bmj.a139. PubMed PMID: 18483053.

Ontwikkeling van Medisch Specialistische Richtlijnen: stappenplan. Kennisinstituut van Medisch Specialisten.

Zoekverantwoording

Zoekacties zijn opvraagbaar. Neem hiervoor contact op met de Richtlijnendatabase.