Cervixcytologie en hrHPV

Initiatief: NVVP pathologie Aantal modules: 39

Cytologische technieken detectie CIN2+

Uitgangsvraag

Wat is de waarde van triage met aanvullende cytologische technieken in personen met klachten met een hrHPV positieve PAP2/PAP3a1 voor detectie van CIN2+?

Aanbeveling

Bepaal niet standaard de p16/Ki67 kleuring bij personen met klachten en een hrHPV-positief uitstrijkje met PAP2/PAP3a1.

 

Overweeg om bij moeilijk te interpreteren celbeelden (bijvoorbeeld in de differentiaaldiagnose met atrofie, reactieve veranderingen, endometriumpathologie) een aanvullende p16/Ki67 kleuring uit te voeren.

 

Cave: niet alle gynaecologische ziektebeelden zijn HPV gerelateerd of te diagnosticeren middels een cervixuitstrijkje. Derhalve dient, ongeacht de uitslag van het uitstrijkje, te worden overwogen om de patiënt met abnormaal vaginaal bloedverlies of overige gynaecologische klachten te verwijzen naar de gynaecoloog. Zie ook NHG standaard Vaginaal bloedverlies.

Overwegingen

Voor- en nadelen van de interventie en de kwaliteit van het bewijs

Bij patiënten met een vermoeden op CIN2+ laesies op basis van co-testing met cytologie en hrHPV test, heeft toevoegen van p16/Ki67 (CINtec® PLUS) mogelijk een hoge sensitiviteit en een hoge negatief voorspellende waarde, maar lage specificiteit en positief voorspellende waarde om de diagnose CIN2+ met colposcopie vast te stellen. De bewijskracht hiervoor is laag door zorgen rondom verschillen in prevalentie tussen de studies (van 17% in Clarke (2019) tot 31% in Wentzensen (2012)), een studie met gemiddeld meerdere maanden tussen sampling voor cytologie en uitvoer colposcopie die de kans op misclassificatie bias verhoogd (Areán-Cuns 2018) en een studiepopulatie waarin ook hrHPV negatieve samples zijn meegenomen in Wentzensen (2012).

 

De hoge sensitiviteit betekent dat patiënten met een negatieve uitslag geen verwijzing nodig hebben. Voor deze richtlijn is aangehouden dat een verwijzing kan bestaan uit doorverwijzen naar de gynaecoloog of diagnostisch vervolgonderzoek (colposcopie) hoeven te ondergaan.

 

In twee studies zou dat leiden tot een daling in verwijzingen van 29-55% (Areán-Cuns 2018, Clarke 2019). De lagere specificiteit betekent dat fout-positieven kunnen optreden als alleen p16/Ki67 als toevoeging op co-testing cytologie en hrHPV test wordt gehanteerd, dus dat vervolgonderzoek middels colposcopie en biopsie vereist is om een diagnose CIN2+ uit te kunnen sluiten. Samengenomen zal een lager aantal patiënten met een onterechte verwijzing resteren 42-47% (Clarke 2019, Areán-Cuns 2018).

 

Uitvoering kleuring

  • De gerapporteerde testen betreffen een combinatiekleuring p16/Ki67 (CINtec® PLUS) op dunne laag preparaten waarbij één enkele dubbel aankleurende cel voor beide kleuringen als positief wordt beschouwd (Areán-Cuns 2018, Wentzensen 2012), ongeacht de morfologie (Wentzensen 2012).
  • Het staat in deze literatuur niet beschreven hoe deze test zich verhoudt tot gelijkwaardige analyses, zoals eventuele dubbelkleuring of sequentiële kleuring op ingeblokt materiaal.
  • Validatie van testen op de laboratoria is belangrijk.

Waarden en voorkeuren van patiënten (en evt. hun verzorgers)

Toevoeging van de p16/Ki67 test leidt niet tot extra handelingen voor de patiënt, want deze test kan gedaan worden op basis van hetzelfde uitstrijkje als in de eerste stappen in het huidige diagnostische traject (co-test cytologie en hrHPV test). De hoge sensitiviteit en NVW van de p16/Ki67 test geeft aan dat patiënten met een negatieve uitslag geen diagnostisch vervolgonderzoek (colposcopie) hoeven te ondergaan. Dit betekent dat onterechte doorverwijzing voor een colposcopie voorkomen kan worden voor de patiënten die negatief testen op de p16/Ki67 test. Het is aannemelijk dat een patiënt geen onterechte doorverwijzing wenst. Dit geeft onrust, leidt tot onnodige extra onderzoeken bij een patiënt met vervelende nadelen van een inwendig onderzoek en mogelijk weefselafname. Dit is van extra waarde voor personen met een kinderwens ter risicovermindering van geboortecomplicaties. Overigens blijft de colposcopie altijd nodig als vervolg op een positieve p16/Ki67 test om definitief de diagnose te kunnen stellen of uitsluiten.

 

Kosten (middelenbeslag)

Het is de werkgroep niet bekend dat er kosteneffectiviteitsanalyses zijn gedaan. De verwachting is dat voor de algemene gezondheidszorg de kosten zullen dalen, omdat er minder colposcopieën zullen worden verricht en ook het aantal PA-onderzoeken zal dalen.

 

Voor de pathologielaboratoria stijgen de kosten door deze extra test. Dit kan worden opgevangen door een add-on voor een predictieve test te gebruiken. Voor de patiënt dalen de kosten, bij afname van de kosten voor het eigen risico. 

 

Aanvaardbaarheid, haalbaarheid en implementatie

De verwachting is dat de test landelijk aanvaardbaar, haalbaar en te implementeren is. Het benodigde aantal zorgverleners, apparatuur en expertise is aanwezig. Het is aannemelijk dat de test goed uitvoerbaar is in de meeste laboratoria. In 1 van de studies wordt aangegeven dat in 7% er onvoldoende cellulariteit was voor de beoordeling (Wentzensen, 2012). Er moet draagvlak komen onder de cytologen en pathologen voor deze aanvullende testen. Daarbij is er een toename in kosten voor materiaal en personeel, waarbij ook de capaciteit in het oog gehouden moet worden.

 

Deze extra kosten verbonden aan het uitvoeren van de test worden gemaakt door de pathologielaboratoria, terwijl de verwachte kostenreductie in aantal colposcopieën en cervixpathologie op andere plekken in het zorgsysteem terugkomen. Voor de implementatie is het daarom belangrijk dat gekeken wordt door de Nederlandse Vereniging voor Pathologie hoe deze extra kosten gedragen kunnen worden, mogelijk via de pathologiecode voor predictieve testen (NZa). 

Ook moet er afstemming komen met huisartsen en gynaecologen, alsook zorgverzekeraars.

 

Rationale van de aanbeveling: weging van argumenten voor en tegen de diagnostische procedure

Ondanks de hoge sensitiviteit en negatief voorspellende waarde van de p16/Ki67 kleuring, geeft de richtlijnwerkgroep niet de aanbeveling deze standaard uit te voeren bij personen met klachten en een vermoeden op CIN2+ wegens afwijkende cytologie en hrHPV cotesting (PAP2/PAP3a1 en hrHPV positief). Het is onbekend wat de toegevoegde waarde is van p16/Ki67, naast de hrHPV16/18 test (zie module 1). Omdat differentiatie op basis van hrHPV16/18 positiviteit al geïmplementeerd is in het bevolkingsonderzoek, is er een voorkeur om de synergie op te zoeken en dit resultaat te gebruiken voor de verdere triage. De p16/Ki67 kan wel worden ingezet bij personen met lastige morfologische beelden ter verbetering van de cytologische beoordeling. Zie voor nadere uitleg paragraaf 3.1.5.

Onderbouwing

This module focuses on new cytological techniques, of which p16/Ki67 staining is the most researched. The literature search includes preferably data from groups of women with complaints (“symptomatic”), but can also contain screening populations, as it is assumed that clinically relevant HPV-related cervical abnormalities have similar cytological and molecular profiles in both groups. The considerations and recommendations focus on women with gynecologic symptoms.

Sensitivity

Low GRADE

The evidence suggests that additional p16/Ki67 staining in hrHPV positive and PAP2/PAP3a1 cervical samples may be sensitive in diagnosing patients suspected of having CIN2+ lesions.

 

Source: Areán-Cuns 2018, Clarke 2019, Wentzensen, 2012

Specificity

Low GRADE

The evidence suggests that additional p16/Ki67 staining in hrHPV positive and PAP2/PAP3a1 cervical samples may not be specific in excluding patients suspected of having CIN2+ lesions.

 

Source: Areán-Cuns 2018, Clarke 2019, Wentzensen, 2012

Description of studies

Areán-Cuns (2018) is an observational study that compared p16/Ki67 dual stain cytology test (DSCT) to cytology only for the triage of hrHPV-positive women to detect precursor lesions and cervical cancer. Between January 2010 and December 2014, asymptomatic women aged 14-85 years were screened within an opportunistic cervical cancer screening programme in Navarra, Spain. 1945 women tested positive for hrHPV and 1865 had p16/Ki67 DSCT results available. 304 of the 1865 hrHPV-positive women with p16/Ki67 DSCT results also had biopsy results (=reference standard) available. On average histologic diagnoses were made 275 days (95% CI 244–305, range 0–1502 days), after cytology diagnosis. This is a relatively long period between reference standard and index test and may have introduced misclassification bias. The authors report sensitivity, specificity and predictive values of the p16/Ki67 DSCT and cytology for the overall population, thus also including persons in the study population with a cytology test negative for intraepithelial lesion or malignancy (NILM), high-grade squamous intraepithelial lesion (HSIL) and squamous cell carcinoma (SCC). Enough information is given to calculate the sensitivity, specificity, negative predictive value and positive predictive value for the population defined in the search question: 239 premenopausal and postmenopausal women with hrHPV positive PAP2/PAP3a1 or equivalent LSIL/ASC-US (MedCalc version 22.013, 2023).

 

Clarke (2019) is a prospective cohort study that examined the performance of p16/Ki67 DSCT for detection of cervical precancer in hrHPV-positive women over 5 years follow up (via medical records). In 2012, women aged 30 years or older underwent routine cervical cancer screening with cytology and hrHPV co-testing within the Kaiser Permanente Northern California health care system. 1820 women were hrHPV-positive without an abnormal cytology within 2 years of enrolment. A further 271 women were excluded because their DSCT was not evaluable (n=150), missing follow-up (n=81) or had indeterminate outcomes (n=40). Among the 1549 hrHPV-positive women included those with ASC-US or more severe cytologic abnormalities (≥ASC-US) were referred for colposcopy. Thus, the reference standard (CIN classification based on histology) was available for all women in the PICO population: 672 premenopausal and postmenopausal women with hrHPV positive PAP2/PAP3a1 or equivalent LSIL/ASC-US. Follow-up was based on medical records up to five years after screening. For the entire study population, median time to diagnose ≥CIN2 varied from 1,6 months to 34,8 months. More than 6 months is a relatively long period between reference standard and index test and may have introduced misclassification bias. However, based on the described patient flow most patients with LSIL/ASC-US are biopsied in a short time period as is common in Dutch strategy. Thus, this is unlikely to introduce misclassification bias for the PICO population. The authors report cumulative risk for the overall population, including persons in the study population with a cytology test negative for intraepithelial lesion or malignancy (NILM), high-grade squamous intraepithelial lesion (HSIL) and squamous cell carcinoma (SCC). Enough information is given to calculate the sensitivity, specificity, negative predictive value and positive predictive value for the population defined in the search question (MedCalc version 22.013, 2023).

 

Wentzensen (2012) is an observational study that examined the performance of p16/Ki67 DSCT for detection of cervical precancer in a colposcopy referral population. From February 2009 to August 2011, 2270 women aged 18 years or older underwent routine cervical cancer screening at the University of Oklahoma Health Sciences Center. Those referred for colposcopy were eligible for participation: hrHPV-positive atypical squamous cells of undetermined significance (ASC-US) or low-grade squamous intraepithelial lesion (LSIL) or greater independent of hrHPV status. Exclusion criteria were previous treatment for cervical disease, prior chemotherapy or radiation treatment for cervical neoplasia, pregnancy, HIV infection, and inability to give informed consent. 690 of 1373 eligible women consented to participate. Of those, 673 had residual material available to conduct p16/Ki67 immunostaining. Forty-eight samples were excluded because of low cellularity to give a final study population of 625 women. For all 625 women, cytology (including p16/Ki67) and hrHPV genotyping was available from the same vial. The authors report sensitivity, specificity, PPV and NPV for the study population. They also conducted a follow-up analysis to estimate performance of p16/Ki67 testing to triage women referred to colposcopy by restricting to 404 LSIL and hrHPV-positive ASC-US women. The authors do not report enough information to calculate the sensitivity and specificity for the population defined in the search question (hrHPV positive PAP2/PAP3a1 or equivalent LSIL/ASC-US).

 

Results

Sensitivity and specificity

Areán-Cuns (2018) assessed accuracy of p16/Ki67 for distinguishing CIN2+ in 239 hrHPV positive and PAP2/PAP3a1 samples. Histology was used as a reference standard and identified 60 CIN2+ and 179 non-CIN2+ cases in this population (prevalence CIN2+ is 25% with 95% CI from 20 to 31%). The sensitivity of p16/Ki67 was 97% and specificity 37%. Results are shown in Table 1.

 

Clarke (2019) assessed accuracy of p16/Ki67 for distinguishing CIN2+ in 672 hrHPV positive and PAP2/PAP3a1 samples. Histology was used as a reference standard and identified 111 CIN2+ and 561 non-CIN2+ cases in this population (prevalence CIN2+ is 17% with 95% CI from 14 to 20%). The sensitivity of p16/Ki67 was 81% and specificity 50%. Results are shown in Table 1.

 

Wentzensen (2012) assessed accuracy of p16/Ki67 for distinguishing CIN2+ in a colposcopy referral population with 404 LSIL and hrHPV-positive ASC-US women. Histology was used as a reference standard and identified 124 CIN2+ and 290 non-CIN2+ cases in this population (prevalence CIN2+ is 31%). The sensitivity of p16/Ki67 was 86% and specificity 59%. Results are shown in Table 1.

 

Table 3. Sensitivity and specificity for diagnosing CIN2+ based on p16/Ki67 staining in hrHPV positive and PAP2/PAP3a1 samples

Table 3 Sensitivity and specificity for diagnosing

Abbreviations: N= number of participants in study, TN = true negatives, TP = true positives, FN = false negatives, FP = false positives, CI= confidence interval, NPV = negative predictive value, PPV = positive predictive value.

* The PICO population is defined as hrHPV positive and PAP2/PAP3a1 (or equivalent LSIL/ASC-US). Although the studies did not report diagnostic accuracy measures in the PICO population, enough information was available to calculate the sensitivity, specificity, NPV and PPV (MedCalc version 22.013, 2023).

** Wentzensen (2012) reported on those referred to colposcopy in their study population (ASC-US with hrHPV positive or LSIL regardless of hrHPV status). Thus, their reported diagnostic accuracy measures are for a study population that includes hrHPV negative women with LSIL, however relatively low of 14%

 

Level of evidence of the literature

The evidence was derived from three observational studies (Areán-Cuns 2018, Clarke 2019, Wentzensen, 2012). The level of evidence for all reported outcome measures started at ‘high quality’.

 

Sensitivity

The level of evidence regarding the outcome measure sensitivity was downgraded by two levels to low because of study limitations related to heterogeneity in CIN2+ prevalence, the time between index test and reference standard (-1 risk of bias); applicability (-1 bias due to indirectness).

 

Specificity

The level of evidence regarding the outcome measure specificity was downgraded by two levels to low because of study limitations related to heterogeneity in CIN2+ prevalence (-1 risk of bias); and applicability (-1 bias due to indirectness).

A systematic review of the literature was performed to answer the following question:

What is the diagnostic accuracy of additional p16/Ki67 staining compared to the current diagnostic pathway (co-test cytology and hrHPV) in premenopausal and postmenopausal women with hrHPV positive PAP2/PAP3a1 for detection of CIN2+?

P (Patients) Premenopausal and postmenopausal women with hrHPV positive PAP2/PAP3a1 or equivalent LSIL/ASC-US
I (Index) Additional typing on p16/Ki67 staining
C (Comparator) Usual care (current diagnostic pathway with cytology and hrHPV testing)
R (Reference standard) Detection of CIN2+ with histology (this includes CIN3+, AISs and adenocarcinomas)

O (Outcome measure)

Sensitivity, specificity
T/S (Timing and setting) Complement to cytology and hrHPV testing on cervical smears

Relevant outcome measures

The guideline development group considered sensitivity as critical outcome measure for decision making. The aim is to prevent false negatives, therefore a high sensitivity is critical. Next to that there is a clinical need to prevent unnecessary colposcopy referrals by better identification of women with transformative CIN2+. Specificity is a less important outcome measure for decision making, because every downgrade in number of referrals is a gain.

 

A priori, the working group did not define the outcome measures listed above but used the definitions used in the studies.

The working group defined as a minimal clinical (patient) important difference:

  • Sensitivity of ≥80%
  • Specificity of ≥70%

Search and select (Methods)

The databases Medline (via OVID) and Embase (via Embase.com) were searched with relevant search terms for systematic reviews, RCTs and observational studies about triage and p16/Ki67 staining in hrHPV-positive women until 26-07-2023. The detailed search strategy is depicted under the tab Methods. The systematic literature search resulted in 232 hits.

Studies were selected based on the following criteria:

  • systematic reviews (searched in at least two databases, detailed search strategy with search date, in- and exclusion criteria, exclusion table, risk of bias assessment and results of individual studies available), RCTs or observational studies;
  • full-text English language publication; and
  • studies according to the PICROTS.

13 studies were initially selected based on title and abstract screening. After reading the full text, 10 studies were excluded (see the table with reasons for exclusion under the tab Methods), and three studies were included.

 

Results

Three observational studies were included in the analysis of the literature (Areán-Cuns 2018, Clarke 2019, Wentzensen, 2012). Important study characteristics and results are summarized in the evidence tables. The assessment of the risk of bias is summarized in the risk of bias tables.

  1. 1 - Areán-Cuns, C., Mercado-Gutiérrez, M., Paniello-Alastruey, I., Mallor-Giménez, F., Córdoba-Iturriagagoitia, A., Lozano-Escario, M., & Santamaria-Martínez, M. (2018). Dual staining for p16/Ki67 is a more specific test than cytology for triage of HPV-positive women. Virchows Archiv : an international journal of pathology, 473(5), 599–606. https://doi.org/10.1007/s00428-018-2432-z.
  2. 2 - Clarke, M. A., Cheung, L. C., Castle, P. E., Schiffman, M., Tokugawa, D., Poitras, N., Lorey, T., Kinney, W., & Wentzensen, N. (2019). Five-Year Risk of Cervical Precancer Following p16/Ki-67 Dual-Stain Triage of HPV-Positive Women. JAMA oncology, 5(2), 181–186. https://doi.org/10.1001/jamaoncol.2018.4270
  3. 3 - Loopik, D. L., van Drongelen, J., Bekkers, R. L. M., Voorham, Q. J. M., Melchers, W. J. G., Massuger, L. F. A. G., van Kemenade, F. J., & Siebers, A. G. (2021). Cervical intraepithelial neoplasia and the risk of spontaneous preterm birth: A Dutch population-based cohort study with 45,259 pregnancy outcomes. PLoS medicine, 18(6), e1003665. https://doi.org/10.1371/journal.pmed.1003665.
  4. 4 - MedCalc Software Ltd (2023). Diagnostic test evaluation calculator. https://www.medcalc.org/calc/diagnostic_test.php (Version 22.013; accessed September 27, 2023).
  5. 5 - Wentzensen, N. and Schwartz, L. and Zuna, R. E. and Smith, K. and Mathews, C. and Gold, M. A. and Allen, R. A. and Zhang, R. and Dunn, S. T. and Walker, J. L. and Schiffman, M. Performance of p16/Ki-67 immunostaining to detect cervical cancer precursors in a colposcopy referral population. Clinical Cancer Research. 2012; 18 (15) :4154-4162.

Evidence table for diagnostic test accuracy studies

Research question: What is the diagnostic accuracy of additional p16/Ki67 staining compared to the current diagnostic pathway (co-test cytology and hrHPV) in premenopausal and postmenopausal women with hrHPV positive PAP2/PAP3a1 for detection of CIN2+?

Study reference

Study characteristics

Patient characteristics

 

Index test

(test of interest)

Reference test

 

Follow-up

Outcome measures and effect size

Comments

Areán-Cuns,   2018

Type of study: Observational cohort study.

 

Setting and country: Opportunistic cervical cancer screening programme in Spain

 

Funding and conflicts of interest: The authors declare that they have no conflicts of interest. Two authors were partially supported by European research grants: MTM2016- 77015-R (AEI, FEDER, UE) and MTM2017-83506-C2-1-P.

Inclusion criteria:

  • asymptomatic women with at least one liquid- based Papanicolauo smear available.
  • hrHPV positive
  • P16/Ki67 DSCT available
  • Underwent colposcopy.  The selection criteria for colposcopy and biopsy in our screening programme were as follows: (a) women 25 years old or above with an abnormal initial cytology and a positive result for the HPV-DNA test, or (b) women younger than 25 years old with high-grade squamous intraepithelial lesion (HSIL),persistent atypical squamous cells of undetermined significance (ASC-US) or persistent low-grade squamous intraepithelial lesion (LSIL) and a positive result for the HPV DNA test.

 

Exclusion criteria:

Cases of atypical glandular cells of undetermined significance (AGUS) cytology and focused on squamous cell pathology

 

N= 304 in study, of whom 239 conform PICO criteria

 

Prevalence: 25% with 95% CI from 20 to 31%

 

Age range 14-85 years for the 2970 women in the screening programme, unclear for the PICO population.

 

The index test and comparator tests were all done on the same material, namely cervical samples collected using a cytobrush and then transferred to PreservCyt solution (Hologic Corp).

 

Index test: Addition of p16/Ki67 immunostaining (CINtec®PLUS kit, Roche mtm), performed according to the manufacturer’s instructions.

 

Cut-off point(s):

The p16/Ki67 DSCT was considered positive when at least one epithelial cell showed brown cytoplasmic staining for p16, together with red nuclear staining for Ki67, regardless of cellular morphol- ogy. If this criterion was not met, the stain result was considered negative. Dual p16/Ki67-stained slides were evaluated by experienced cytology technicians and the results validated by an experienced cytopathologist.

 

Comparator test: co-test cytology and hrHPV.

 

For hrHPV: n 2 ml of the residual liquid sample using CERVISTATM (REF, 95-438), interpreted according to the manufacturer’s instructions.

 

Cut-off point(s):

qualitative, in vitro diagnostic test for the detection of DNA from 14 high-risk HPV types, including types 16, 18, 31, 33, 35, 39, 45, 51, 52, 56, 58, 59, 66, and 68. A positive result indicates that at least one of the 14 high-risk types is present in the DNA sample.

 

For cytology: ThinPrep liquid-based analysis (Hologic ThinPrep pap) after staining with a modified Papanicolaou stain, according to the manufacturer’s instructions.

 

Cut-off point(s):

Results were classified according to the 2001 Bethesda Classification System by experienced cytology technicians blinded to the HPV results. All abnormal cytology smears were reviewed by experienced cytopathologists, also blinded to the HPV results.

Histology based biopsies collected during colposcopy procedures. All samples were fixed in 10% buffered formalin and embedded in paraffin wax using conventional techniques. Serial sections were stained with haematoxylin and eosin and then evaluated by pathologists with experience in gynaecological pathology.

 

Cut-off point(s):

Histology reports were made according to the 4th edition of the WHO Classification of Tumours of Female Reproductive Organs, using as terminology low-grade squamous intraepithelial lesion (LSIL) for CIN 1, high-grade squamous intraepithelial lesion (HSIL) for CIN 2 or 3 and squamous cell carcinoma (SCC) for invasive squamous cell carcinoma. The authors used the term CIN2+ for HSIL and/or SCC in a biopsy.

 

 

 

 

Time between the index test and reference test:

Histologic diagnoses were made on average 275 days (95% CI 244–305, range 0–1502 days), after cytology diagnosis. The results of the p16/Ki67 DSCT and cytology-based triage tests for hrHPV-positive women with NILM, ASC-US and LSIL cytology were analysed at baseline and at the end of the entire follow-up period. For each woman, the most severe diagnosis during follow-up was used.

 

There was complete data for all included patients.

Outcome measures and effect size (including 95% confidence intervals):

Tabel 12 Evidence

These were not provided by the authors, but calculated using the MedCalc calculator (MedCalc, 2023).

 

Definitions used by MedCalc:

Sensitivity: probability that a test result will be positive when the disease is present (true positive rate). = a / (a+b)

Specificity: probability that a test result will be negative when the disease is not present (true

negative rate). = d / (c+d)

Positive predictive value: probability that the disease is present when the test is positive.

Negative predictive value: probability that the disease is not present when the test is negative.

 

Confidence intervals for sensitivity and specificity are "exact" Clopper-Pearson confidence intervals.

 

Confidence intervals for the predictive values are the standard logit confidence intervals given by Mercaldo 2007; except when the predictive value is 0 or 100%, in which case a Clopper- Pearson confidence interval is reported.

 

The opportunistic screening programme may have introduced bias. Authors indicate a relatively older population is included and identifying 53.8% hrHPV positive women older than 30 years, which is discordant with results from other European countries.

Clarke, 2019

Type of study: Prospective cohort

 

Setting and country: routine cervical cancer screening in California USA.

 

Funding and conflicts of interest:Supported by NIH intramural research program. The funders had no role in the study, manuscript or decision to submit for publication.

Two authors are employed by the National Cancer Institute (NCI), and the NCI has received cervical cancer screening assays in kind or at reduced cost from Becton, Dickinson and Company and Roche for studies that these authors  worked on. One author received commercial hrHPV tests for research at reduced or no cost from Roche, Arbor Vita Corporation, and Cepheid. No other disclosures are reported.

Inclusion criteria:

hrHPV-positive women, aged 30 years or older who underwent routine cervical cancer screening with cytology an hrHPV co-testing.

 

Exclusion criteria:

  • previous abnormal cytology within 2 years of enrolment
  • not have an evaluable DS result
  • missing follow-up,
  • women who had indeterminate outcomes

 

N= 1549 in study, of whom 672 conform PICO criteria

 

Prevalence: 17% with 95% CI from 14 to 20%

 

Mean age at enrolment: 42.2 years.

 

Other important characteristics:

 

Index test: p16/Ki-67 Dual Staining on residual SurePath cell pellet, supplemented with CytoRich Fluid (Becton, Dickinson and Company) within 1 to 4 months of sample collection. Slides were produced at the manufacturer’s laboratory using the CINtec PLUS Cytology kit (Roche) according to instructions, with each staining run including 2 control specimens. Staining was performed on a Dako Autostainer using the program for SurePath slides, followed by hematoxylin counterstaining. Slides were evaluated by an expert cytotechnologist blinded to the associated cervical histology.

 

Cut-off point(s): The number of DS-positive cells was assessed semiquantitatively (0, 1, 2-5, 6-50, or >50).

 

Comparator test: co-test cytology and hrHPV.

 

Cytology SurePath slides (Becton Dickinson) were prepared, stained, and processed on the FocalPoint Slide Profiler (Becton, Dickinson and Company).

 

 

Cut-off point(s):

 Cytology was categorized per the 2001 Bethesda System as negative for intraepithelial lesion or malignancy (NILM), atypical squamous cells of undetermined significance (ASC-US), low-grade squamous intraepithelial lesion (LSIL), and high-grade squamous intraepithelial lesion (HSIL).

 

HPV: Hybrid Capture 2 (HC2; Qiagen Inc) in specimen transport medium per the manufacturer’s instructions.

 

Cut-off point(s):

All hrHPV-positive women were evaluated by guided screening–assisted screening and full manual review with knowledge of hrHPV status. All abnormal slides were sent for pathology review.

Describe reference test:

Women who tested HPV-positive with ASC-US or more severe cytologic abnormalities (≥ASC-US) were referred for colposcopy, while women who tested HPV-positive with NILM cytology underwent repeated co-testing after 12 months and were referred for colposcopy if either test result was positive.

 

 

Cut-off point(s): Histological diagnoses are based on the cervical intraepithelial neoplasia (CIN) classification.

 

 

Time between the index test en reference test:

Screening in 2012, follow-up based on medical records in 2017. Median follow-up time was 3.7 years (range, 0.2-5.4 years). Among those with ≥CIN2, 137 were prevalent cases with a median time to diagnosis of 1.6 months, and 71 were incident cases with a median time to diagnosis of 34.8 months. Among the remaining 33 cases with unknown prevalent or incident ≥CIN2, the median time to diagnosis was 20.4 months.

 

For how many participants were no complete outcome data available?

81 people were missing at follow-up (and excluded from the study population for this reason).

 

Reasons for incomplete outcome data described?

No, but the authors compared the excluded women (including those missing at follow-up) to the women included in the population and they were similar in age but had a higher proportion of normal cytology results.

Outcome measures and effect size (including 95% confidence intervals):

Tabel 13 Evidence

 

These were not provided by the authors, but calculated using the MedCalc calculator (MedCalc, 2023).

 

Definitions used by MedCalc:

Sensitivity: probability that a test result will be positive when the disease is present (true positive rate). = a / (a+b)

Specificity: probability that a test result will be negative when the disease is not present (true

negative rate). = d / (c+d)

Positive predictive value: probability that the disease is present when the test is positive.

Negative predictive value: probability that the disease is not present when the test is negative.

 

Confidence intervals for sensitivity and specificity are "exact" Clopper-Pearson confidence intervals.

 

Confidence intervals for the predictive values are the standard logit confidence intervals given by Mercaldo 2007; except when the predictive value is 0 or 100%, in which case a Clopper- Pearson confidence interval is reported.

 

No additional remarks.

Wentzensen, 2012

Type of study: Observational cohort.

 

Setting and country: cervical cancer screening at the University of Oklahoma Health Sciences Center.

 

Funding and conflicts of interest:

Supported by grant of the intramural research program of the national cancer institute.

One author received commercial research support from Qiagen CareHPV and Roche in the form of free specimen testing. No potential conflicts of interest

were disclosed by the other authors.

Inclusion criteria: All women 18 years and older who were referred for colposcopy at the University of Oklahoma colposcopy clinic for abnormal cervical cancer screening results.

 

Exclusion criteria: previous treatment for cervical disease, pregnancy, HIV infection, and inability to give informed consent.

Referral to colposcopy was based on the American Society for Colposcopy and Cervical Pathology (ASCCP) guidelines and included women with HPV-positive atypical squamous cells of undetermined significance (ASC-US) and low-grade squamous intraepithelial lesion (LSIL) or greater independent of hrHPV status. A total of 2,270 women with appointments at the colposcopy clinic were approached about participation in the study. Of these, 897 women were ineligible for enrolment or could not be enrolled for other, unknown reasons. A total of 690 of 1,373 (50.3%) eligible women agreed to participate in the study that involved an extended biopsy protocol. Of those, 673 had residual liquid-based cytology material available to produce monolayer slides for conducting p16/Ki-67 immunostaining. Forty-eight samples were excluded because of low cellularity.

 

N= 625 in study, of whom 404 conform PICO criteria.

 

Prevalence: 21%

 

Median age in the study population was 26 years (interquartile range, 23–31; complete range, 18–67).

 

Other important characteristics:

Of 622 women with hrHPV results available, 488 (78.5%) were positive for hrHPV.

 

Cervical cytology was collected using a Wallach broom device and transferred to PreservCyt solution (Cytyc Corp.). The cytology specimen was used for ThinPrep liquid-based cytology, for hrHPV DNA analysis and for p16/Ki-67 immunostaining.

 

Index test:

A second cytology slide was prepared from the residual PreservCyt material using a T2000 slide processor (Holo- gic). Immunostaining of cervical cytology slides for p16/Ki- 67 was conducted using the CINtec Plus Kit (Roche mtm laboratories AG), according to the manufacturer’s instructions. Slides that did not meet the squamous cellularity criteria as specified in the Bethesda 2001 Cervical Cytology Classification system for reporting cervical cytology were excluded from evaluation.

 

Cut-off point(s):

A trained cytotechnologist reviewed all cases for the presence of cells staining positively with both markers. A case was considered positive if one or more cervical epithelial cell(s) stained both with a brown cytoplasmic stain (p16) and a red nuclear (Ki-67) irrespective of the interpretation of morphologic abnormalities. Slides without any double-stained cells were called negative for p16/Ki-67 dual-stain cytology.

 

Comparator test: co-test cytology and hrHPV.

 

Cytology: Thin-layer cytology slides were prepared using the ThinPrep 2000 slide processor (Hologic). The PreservCyt container was placed in the instrument, and using the gynaecology sample procedure, the cell suspension was homogenized, and cells were collected on a filter membrane and transferred to a glass slide. Cells were placed in ethanol for fixation and stained using the Papanicolaou method.

 

Cut-off point(s): Cytology slides were evaluated by a cytotechnologist and confirmed by a pathologist using the revised Bethesda nomenclature. The analysis of p16/Ki-67 positivity in cyto- logic categories is based on the study Pap, whereas the analyses of hrHPV-positive ASC-US and LSIL triage are based on the outside referral Pap result.

 

HPV: hrHPV detection and genotyping in cytology specimens was done using the Linear Array HPV Genotyping Test (Roche Molecular Diagnostics). The linear array assay is a type- specific PGMY09/11 L1 primer PCR assay for 37 HPV types (6, 11, 16, 18, 26, 31, 33, 35, 39, 40, 42, 45, 51, 52, 53, 54, 55, 56, 58, 59, 61, 62, 64, 66, 67, 68, 69, 70, 71, 72, 73, 81, 82, 83, 84, and 89). Linear array genotyping was conducted according to the manufacturer’s instructions with slight modifications. In brief, the procedure followed recommendations of the manufacturer with the variation that 10 mL of template DNA was amplified, and the amplified products were hybridized and detected using an automated Auto-LiPA staining system using 2.5 mL of each reagent per strip (as compared with 4.0 mL in manual processing).

 

Cut-off point(s): The linear array results were evaluated by unmagnified examination of the strips by 2 independent observers. An unambiguous, continuous band was judged to indicate that biotinylated amplicons had hybridized to complementary sequences of probes bound to the strips and was considered a positive result.

Reference test:

The study involved an extended biopsy protocol with up to 4 biopsies. All histologically confirmed CIN3 and most CIN2 were treated by LEEP of the transformation zone. At least 3 biopsies were taken in more than 80% of the colposcopic procedures conducted.

 

Cut-off point(s):

The authors considered outcomes both based on worst biopsy result during the colposcopy and worst overall outcome, including biopsy results and LEEP outcomes.

 

 

 

Time between the index test en reference test: Same day. Before the colposcopic biopsy procedures, cervical cytology was collected.

 

For how many participants were no complete outcome data available?

625 women from a colposcopy referral population were included in the main analysis.

For 622 genotype data were available and for 612 women cytology results.

No specific reasons for incomplete data were described.

 

Outcome measures and effect size:

Sensitivity, specificity, positive predictive value (PPV), NPV, with 95% confidence intervals were calculated for 2 different endpoints, CIN2+ and CIN3+.

 

 

 

 

 

CIN2+:

Tabel 14 Evidence

 

 

No additional remarks.

Risk of bias assessment diagnostic accuracy studies (QUADAS II, 2011)

Research question: What is the diagnostic accuracy of additional p16/Ki67 staining compared to the current diagnostic pathway (co-test cytology and hrHPV) in premenopausal and postmenopausal women with hrHPV positive PAP2/PAP3a1 for detection of CIN2+?

Study reference

Patient selection

 

Index test

Reference standard

Flow and timing

Comments with respect to applicability

Areán-Cuns,   2018

Was a consecutive or random sample of patients enrolled?

Yes, consecutive

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

Yes

 

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Yes

 

If a threshold was used, was it pre-specified?

Yes

 

 

 

Is the reference standard likely to correctly classify the target condition?

Yes

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Yes/No/Unclear

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

No, wide range of time between cytology and histologic diagnoses 0-1502 days, average 275 days. During this period of time there may have been detoriation.

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

Are there concerns that the included patients do not match the review question?

No

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: LOW

 

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: LOW

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: HIGH

 

Clarke, 2019

Was a consecutive or random sample of patients enrolled?

Yes consecutive (prospective cohort)

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

Yes

 

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Yes

 

If a threshold was used, was it pre-specified?

Yes

 

 

Is the reference standard likely to correctly classify the target condition?

Yes

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Yes

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Unclear, only reported for entire population and follow-up was based on medical records up to five years after screening. Thus, for the entire population median follow-up time was 3.7 years (range, 0.2-5.4 years). Among those with ≥CIN2, 137 were prevalent cases with a median time to diagnosis of 1.6 months, and 71 were incident cases with a median time to diagnosis of 34.8 months. Among the remaining 33 cases with unknown prevalent or incident ≥CIN2, the median time to diagnosis was 20.4 months. During this period of time there may have been progression or regression of CIN2+ status. However, based on patient flow there was direct referral within our target population (LSIL/ASC-US).

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

Are there concerns that the included patients do not match the review question?

No

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: UNCLEAR

 

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: LOW

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: Unclear

 

Wentzensen, 2012

Was a consecutive or random sample of patients enrolled?

Yes

 

Was a case-control design avoided?

Yes

 

Did the study avoid inappropriate exclusions?

Yes

 

 

Were the index test results interpreted without knowledge of the results of the reference standard?

Yes

 

If a threshold was used, was it pre-specified?

Yes

 

 

 

Is the reference standard likely to correctly classify the target condition?

Yes

 

Were the reference standard results interpreted without knowledge of the results of the index test?

Yes

 

 

 

Was there an appropriate interval between index test(s) and reference standard?

Yes

 

Did all patients receive a reference standard?

Yes

 

Did patients receive the same reference standard?

Yes

 

Were all patients included in the analysis?

Yes

 

Are there concerns that the included patients do not match the review question?

Yes, Wentzensen (2012) reported on those referred to colposcopy in their study population (ACUS with hrHPV positive or LSIL or greater regardless of hrHPV status). Thus, their reported diagnostic accuracy measures are for a study population that includes hrHPV negative women with LSIL.

 

Are there concerns that the index test, its conduct, or interpretation differ from the review question?

No

 

Are there concerns that the target condition as defined by the reference standard does not match the review question?

No

 

CONCLUSION:

Could the selection of patients have introduced bias?

 

 

RISK: LOW

CONCLUSION:

Could the conduct or interpretation of the index test have introduced bias?

 

RISK: LOW

 

CONCLUSION:

Could the reference standard, its conduct, or its interpretation have introduced bias?

 

RISK: LOW

CONCLUSION

Could the patient flow have introduced bias?

 

 

RISK: LOW

 

Table of excluded studies

Reference

Reason for exclusion

Huo, X., Sun, H., Cao, D., Yang, J., Peng, P., Kong, L., Chen, F., Shen, K., & Li, S. (2021). Evaluation of Cervical High-Grade Squamous Intraepithelial Lesions-Correlated Markers as Triage Strategy for Colposcopy After Co-Testing. OncoTargets and therapy, 14, 2075–2084. https://doi.org/10.2147/OTT.S300269

wrong reference standard (used wrong tissue for typing)

Chen, X., Chen, C., Liu, L., Dai, W., Zhang, J., Han, C., & Zhou, S. (2022). Evaluation of p16/Ki-67 dual-stain as triage test for high-risk HPV-positive women: A hospital-based cross-sectional study. Cancer cytopathology, 130(12), 955–963. https://doi.org/10.1002/cncy.22628

wrong comparison (lacking information cytology only classification in target population)

Dai, Y., Chen, T., Li, X., Zhang, C., Li, T., Zhao, Y., Wang, Y., Chen, S., Yu, L., Jiang, M., Wu, Z., Yang, J., & Chen, W. (2023). Evaluation of the clinical performance of p16/Ki-67 dual-staining cytology for cervical lesion detection in premenopausal and postmenopausal Chinese women. Journal of cancer research and clinical oncology, 149(12), 10645–10658. https://doi.org/10.1007/s00432-023-04938-1

wrong setting (does nog report on p16/ki16 as add on to cytology and hrHPV)

Han, Q., Guo, H., Geng, L., & Wang, Y. (2020). p16/Ki-67 dual-stained cytology used for triage in cervical cancer opportunistic screening. Chinese journal of cancer research = Chung-kuo yen cheng yen chiu, 32(2), 208–217. https://doi.org/10.21147/j.issn.1000-9604.2020.02.08

wrong comparison (lacking information cytology only classification in target population)

Ebisch, R. M., van der Horst, J., Hermsen, M., Rijstenberg, L. L., Vedder, J. E., Bulten, J., Bosgraaf, R. P., Verhoef, V. M., Heideman, D. A., Snijders, P. J., Meijer, C. J., van Kemenade, F. J., Massuger, L. F., Melchers, W. J., Bekkers, R. L., & Siebers, A. G. (2017). Evaluation of p16/Ki-67 dual-stained cytology as triage test for high-risk human papillomavirus-positive women. Modern pathology : an official journal of the United States and Canadian Academy of Pathology, Inc, 30(7), 1021–1031. https://doi.org/10.1038/modpathol.2017.16

wrong reference standard

Gustinucci, D., Benevolo, M., Cesarini, E., Mancuso, P., Passamonti, B., Giaimo, M. D., Corvetti, R., Nofrini, V., Bulletti, S., Malaspina, M., Tintori, B., Giorgi Rossi, P., & Umbria HPV Screening Working Group (2022). Accuracy of different triage strategies for human papillomavirus positivity in an Italian screening population. International journal of cancer, 150(6), 952–960. https://doi.org/10.1002/ijc.33858

wrong population

El-Zein, M., Gotlieb, W., Gilbert, L., Hemmings, R., Behr, M. A., Franco, E. L., & STAIN-IT Study Group (2021). Dual staining for p16/Ki-67 to detect high-grade cervical lesions: Results from the Screening Triage Ascertaining Intraepithelial Neoplasia by Immunostain Testing study. International journal of cancer, 148(2), 492–501. https://doi.org/10.1002/ijc.33250

wrong population

Leeson, S., Alalade, R., Singh, N., Nieminen, P., Cruickshank, M., Carcopino, X., & Bergeron, C. (2021). Options for triage and implications for colposcopists within European HPV-based cervical screening programmes. European journal of obstetrics, gynecology, and reproductive biology, 258, 332–342. https://doi.org/10.1016/j.ejogrb.2020.12.061

Wrong publication type

Luttmer, R., De Strooper, L. M., Steenbergen, R. D., Berkhof, J., Snijders, P. J., Heideman, D. A., & Meijer, C. J. (2016). Management of high-risk HPV-positive women for detection of cervical (pre)cancer. Expert review of molecular diagnostics, 16(9), 961–974. https://doi.org/10.1080/14737159.2016.1217157

Wrong publication type

Luttmer, R., Dijkstra, M. G., Snijders, P. J., Berkhof, J., van Kemenade, F. J., Rozendaal, L., Helmerhorst, T. J., Verheijen, R. H., Ter Harmsel, W. A., van Baal, W. M., Graziosi, P. G., Quint, W. G., Spruijt, J. W., van Dijken, D. K., Heideman, D. A., & Meijer, C. J. (2016). p16/Ki-67 dual-stained cytology for detecting cervical (pre)cancer in a HPV-positive gynecologic outpatient population. Modern pathology : an official journal of the United States and Canadian Academy of Pathology, Inc, 29(8), 870–878. https://doi.org/10.1038/modpathol.2016.80

 Wrong population

Beoordelingsdatum en geldigheid

Laatst beoordeeld  : 24-06-2025

Initiatief en autorisatie

Initiatief:
  • Nederlandse Vereniging voor Pathologie
Geautoriseerd door:
  • Nederlands Huisartsen Genootschap
  • Nederlandse Vereniging voor Obstetrie en Gynaecologie
  • Nederlandse Vereniging voor Pathologie
  • Nederlandse Vereniging van Biomedische Laboratoriummedewerkers
  • Stichting Olijf
  • Rijksinstituut voor Volksgezondheid en Milieu
  • Stichting Palga

Algemene gegevens

De voorliggende richtlijn betreft een gedeeltelijke herziening van de richtlijn Cervixcytologie uit 2016. Alle modules zijn beoordeeld op actualiteit. Vervolgens is een prioritering aangebracht welke modules een daadwerkelijke update zouden moeten krijgen. Hieronder staan de modules genoemd met de wijzigingen.

Onderwerpen

Wijzigingen richtlijn 2024/2025

Module 1 Algemeen

Vervangen door de startpagina

Module 1.1 Procesbeschrijving

Vervangen door de startpagina

Module 2 Epidemiologie en pathofysiologie

Onveranderd

Module 3 Aanvraag, uitvoering en verwerking

 

Module 3.1 Indicaties voor cervixcytologisch onderzoek

Minimale (tekstuele) aanpassingen

Module 3.2 Geldigheidsduur van het BVO-advies

Minimale (tekstuele) aanpassingen

Module 3.3 Vereiste klinische gegevens

Minimale (tekstuele) aanpassingen

Module 3.4 Methode afname materiaal

Minimale (tekstuele) aanpassingen

Module 3.5 Logistiek van het materiaal

Onveranderd

Module 3.6 Eerste opvang en verwerking laboratorium

Minimale (tekstuele) aanpassingen

Module 4 Diagnostiek

 

Module 4.1 Keuze voor test/test traject

Minimale (tekstuele) aanpassingen

Module 4.1.1 Type cytologische test

Minimale (tekstuele) aanpassingen

Module 4.1.2 Nieuwe moleculaire en cytologische technieken detectie CIN2+

Nieuw ontwikkeld

Submodule 4.1.2.1 Moleculaire technieken detectie CIN2+

Nieuw ontwikkeld

Submodule 4.1.2.2 Cytologische technieken detectie CIN2+

Nieuw ontwikkeld

Module 4.1.3 Primaire beoordeling van cervixcytologie

Minimale (tekstuele) aanpassingen

Module 4.1.4 Codering van de uitslag

Minimale (tekstuele) aanpassingen

Module 4.1.5 Beoordeelbaarheid

Minimale (tekstuele) aanpassingen

Module 4.1.6 Beoordeling bij atrofie

Minimale (tekstuele) aanpassingen

Module 4.2 Multiple screen protocol

Onveranderd

Module 4.3 Computer Ondersteunend Screenen (COS) en digitale cytologie met AI

Nieuw ontwikkeld

Module 4.4 hrHPV-test

Minimale (tekstuele) aanpassingen

Module 4.4.1 Type hrHPV-test/Keuze hrHPV-test

Minimale (tekstuele) aanpassingen

Module 4.4.2 Beoordeling resultaat van hrHPV-test

Minimale (tekstuele) aanpassingen

Module 4.4.3 Uitslag hrHPV-test en beoordeling cervixcytologie

Komt te vervallen

Module 4.5 Verslaglegging

Minimale (tekstuele) aanpassingen

Module 4.6 Rapportage

Onveranderd

Module 4.7 Wijziging in het verslag en versiebeheer

Onveranderd

Module 5 Follow-up

 

Module 5.1 Follow-up na behandeling aan de cervix

Komt te vervallen, met een verwijzing naar de CIN, AIS en VAIN richtlijn

Module 5.2 Self sampling bij follow-up van behandelde cervicale laesies

Komt te vervallen, met een verwijzing naar de CIN, AIS en VAIN richtlijn

Module 5.3 Controle van de uitvoering van het advies

Minimale (tekstuele) aanpassingen

Module 6 Organisatie van zorg

 

Module 6.1 Eisen aan de methodologie en setting

Minimale (tekstuele) aanpassingen

Module 6.2 Volumenormen

Minimale (tekstuele) aanpassingen

Module 6.3 Indicaties voor revisie

Onveranderd

Module 6.4 Bewaarcondities

Minimale (tekstuele) aanpassingen

 

 

Flowcharts

 

Flowchart Cytologisch onderzoek en hrHPV bij klachten

geüpdatet

Flowchart Bevolkingsonderzoek

geüpdatet

Belangrijkste wijzigingen ten opzichte van vorige versie

Er zijn drie nieuwe (sub)modules aan de richtlijn toegevoegd, namelijk de module “Moleculaire technieken detectie CIN2+”, de module “Cytologische technieken detectie CIN2+” en de module “Computer Ondersteunend Screenen en digitale cytologie met AI”. De overige modules zijn opnieuw beoordeeld waarbij er aanpassingen zijn gedaan ter uniformering met het bevolkingsonderzoek baarmoederhalskanker, de NVOG richtlijn CIN, AIS en VAIN (2021) en de NHG standaard Vaginaal bloedverlies (versie januari 2024).

 

De herziening van deze richtlijn werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten (www.demedischspecialist.nl/kennisinstituut) en werd gefinancierd uit de Stichting Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijnmodule(s).

Samenstelling werkgroep

Voor de herziening van de richtlijn is in 2022 een multidisciplinaire werkgroep ingesteld, bestaande uit vertegenwoordigers van alle relevante specialismen die betrokken zijn bij de zorg voor personen die cervixcytologisch onderzoek krijgen.

 

Werkgroep

  • Mw. dr. A.M. (Anne) Uyterlinde (voorzitter), klinisch patholoog (met pensioen per 01-01-2024), Amsterdam UMC, NVVP
  • Mw. drs. L.F.S. (Loes) Kooreman, patholoog, Maastricht UMC+, NVVP
  • Dhr. dr. A.J.C. (Adriaan) van de Brule, klinisch moleculair bioloog, Jeroen Bosch Ziekenhuis, NVVP
  • Mw. C.H.M. (Lianne) Marijnissen - van Gils, teamleider cytologie, Pathologie Zuid-West Nederland, NVML
  • Mw. L. (Liselore) Moenis, teamleider cytologie, Symbiant, NVML
  • Mw. dr. N.E. (Nienke) van Trommel, gynaecoloog-oncoloog, Antoni van Leeuwenhoekziekenhuis, NVOG
  • Mw. drs. A.M.L.D. (Anne-Marie) van Haaften-de Jong, gynaecoloog, HagaZiekenhuis, NVOG
  • Mw. drs. R. (Roosmarijn) Luttmer, gynaecoloog, OLVG, NVOG
  • Mw. dr. W.W. (Wieke) Kremer, gynaecoloog in opleiding, Amsterdam UMC, NVOG
  • Dhr. ing. P.A. (Paul) Seegers, senior adviseur protocollen, Stichting Palga
  • Dhr. dr. A.G. (Bert) Siebers, adviseur gegevensaanvragen, Stichting Palga
  • Mw. drs. E. (Esther) Brouwer, senior programmamedewerker bevolkingsonderzoeken naar kanker, RIVM
  • Mw. J. (Joyce) Nouwens, huisarts, Huisartsenpraktijk Jongsma & Nouwens, NHG
  • Mw. ir. J.G. (Josée) Diepstraten, patiëntvertegenwoordiger, Stichting Olijf

 Met ondersteuning van

  • Mw. dr. E.V. (Ekaterina) Baranova - van Dorp, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
  • Mw. dr. L. (Lotte) Houtepen, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
  • Mw. dr. N. (Nikita) van der Zwaluw, senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten

Belangenverklaringen

De Code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement) hebben gehad. Gedurende de ontwikkeling of herziening van een module worden wijzigingen in belangen aan de voorzitter doorgegeven. De belangenverklaring wordt opnieuw bevestigd tijdens de commentaarfase.

 

Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.

Werkgroeplid

Functie

Nevenfuncties

Gemelde belangen

Ondernomen actie

Adriaan van de Brule

Klinisch Moleculair Bioloog in de Pathologie (KMBP),
Jeroen Bosch ziekenhuis, Pathologie-DNA

Beroepenveldcie. Fontys Hogescholen (onbetaald),
verschillende commissiewerkzaamheden NVVP en HPB-BVO programma(deels onbetaald, deels onkostenvergoeding), waaronder:
-cieBOD (onkostenvergoeding)
-cie Kwaliteit, Monitoring&Informatie (KMI) ikv HPV-BVO programma (onkostenvergoeding),
Organisatie European Molecular Diagnostics Meeting (onkostenvergoeding)

Deel van eigen HPV onderzoek vindt plaats ism bedrijven, waarbij gratis testkits ter beschikking gesteld worden.
* CCDiagnostics - Validatie van methyleringsmarkers op BMH uitstrijken - Geen projectleider
* Hologic - Relatie vaginoom en HPV infecties; bijdrage in de vorm van gratis testkits - Projectleider
* Roche diagnostics - Validatie CINtec op uistrijken binnen HPV-BVO; betreft vergoeding testkits en tijd analyses.

Ikv. STZ erkenning HPV expertise-centrum Jeroen Bosch ziekenhuis,

Kennis tbv eigen HPV-diagnostiek binnen Jeroen Bosch ziekenhuis en P-DNA

 

Geen restrictie (onderzoek CCDiagnostics: geen projectleider; onderzoek Hologic en Roche: niet gerelateerd aan uitgangsvraag module)

Anne Uyterlinde (vz.)

Universitair medisch specialist,

patholoog (O-aanstelling sinds 1-1-2024) bij Amsterdam UMC locatie VUMC (onbetaald);

Landelijke Referentie Functionaris Cytologie bij BVO Nederland (16 u/week, betaald)

* Landelijke Referentiefunctionaris Bevolkingsonderzoek Baarmoederhalskanker, gedetacheerd bij Bevolkingsonderzoek Nederland (FSB), (0,4 FTE) vanuit Amsterdam UMC. Geen persoonlijke vergoeding
* Regionaal Coördinerend Patholoog voor Bevolkingsonderzoek Darmkanker voor regio Midden-west (0,2 FTE), gedetacheerd vanuit AmsterdamUMC. Geen persoonlijke vergoeding
* Vakdeskundige voor de pathologie bij de Raad voor de Accreditatie voor de NEN-EN-ISO 15189 (incidenteel). Betaald ber audit
* Toegevoegd expert-lid bij de Gezondheidsraad (2021). Geen persoonlijke vergoeding

*Technical Assessor Pathologie Laboratoira voor ISO 15189 (2022) ad hoc bij RVA. Beeordeling van werkzaamheden tijdens een audit. (betaald)

Geen deelname aan onderzoek met extra financiering. Wel pilotonderzoek gecoördineerd als Landelijke Referentie Functionaris naar de inzet van COS binnen het bevolkingsonderzoek in opdracht van RIVM en screeningsorganisatie. De uitkomsten zijn beoordeeld en goedgekeurd door de Gezondheidsraad (2022).

Geen restrictie

Anne-Marie van Haaften-de Jong

Gynaecoloog Haga Ziekenhuis (betaald)

* Werkgroep NVVP - Cervixcytologie, modulaire revisie landelijke richtlijn, vacatiegelden
* Secretaris WCU/NVOG, niet betaald
* Lid WG kwaliteit BVO BMHK (KMI), vacatiegelden
* Lid Europese WG kwaliteitsindicatoren premaligne afwijkingen cervix (EFC), niet betaald
* Gynaecoloog HagaZiekenhuis (betaald)

Geen

Geen restrictie

Bert Siebers

Adviseur gegevensaanvragen, Stichting Palga

Geen

"PREFER studie

* ZonMW - Risk profiling in cervical cancer screening to reduce unnecessary referrals and follow-up - Geen projectleider"

Geen restrictie

Esther Brouwer

Sr. programmamedewerker / projectleider (in dienstverband) RIVM-Centrum voor Bevolkingsonderzoek

Niet van toepassing

Werkzaam bij het Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Centrum voor Bevolkingsonderzoek (CvB). Voor de positie van het RIVM en de taakomschrijving van het CvB zie: www.rivm.nl.

Geen restrictie

Josée Diepstraten

Lid werkgroep Kwaliteit van Zorg van Stichting Olijf (onbetaald)

Namens Stichting Olijf tevens betrokken bij Programmacommissie Bevolkingsonderzoek baarmoederhalskanker en bij andere richtlijnrevisies (onbetaald).

Geen

Geen restrictie

Joyce Nouwens

Functienaam:  huisarts werkgever: NHG

- Programma commissie baarmoederhalskanker, rol consulent vanuit NHG (vergoeding)
- Opleider en gastdocent curriculum urogyn als huisarts en kaderhuisarts urogyn bij het EMC (vergoeding/betaald)
- Organisatie vaardigheden dag, startersdag en praktijkstart bij LHV als huisarts(betaald)
- Onderwijs geven als kader arts urogyn bij LOVAH (betaald)

Geen

Geen restrictie

Lianne van Gils

Teamleider cytologie, Pathologie Zuid-West Nederland B.V.
Betaalde functie voor 32 u pw. Functie betreft leidinggeven aan de afdeling cytologie en daarnaast meewerkend m.b.t. diagnostiek (cervix en klinische cytologie)

Niet van toepassing

Geen

Geen restrictie

Liselore Moenis

Teamleider Cytologie, Symbiant

Geen

Geen

Geen restrictie

Loes Kooreman

Maastricht Universitair Medisch Centrum+, patholoog

Voorzitter Nederlandse werkgroep gynaecopathologie, onbetaald.

Roche PDL1 mamma, deelname aan onderzoek waarvoor vergoeding aan het ziekenhuis. Novartis PIK3CA mamma, deelname adviesraad eenmalig. SCEM 1x per jaar, vergoeding voor onderwijs gynaecopathologie WOG.

* Roche - PDL1 interobserver studie mammacarcinoom - Geen projectleider

* Novartis - Eenmalige adviesraad PIK3CA mammacarcinoom - Geen projectleider

* SCEM – Onderwijs

Geen advieswerk gedurende richtlijn traject. Extern gefinancierd onderzoek niet-gerelateerd.

Nienke van Trommel

Gynaecoloog- oncoloog

kort project met RIVM in 2022/2023 over communicatie met 9-jarigen en hun ouders over HPV vaccinatie

* KWF - Fertiliteit sparende behandeling cervix carcinoom - Projectleider

* KWF - Kwaliteit van leven na fertiliteit sparende behandeling gynaecologische kanker - Geen projectleider

* Maarten van der Weijden Stichting – vroege detectie ovariumcarcinoom

Geen restrictie

Paul Seegers

Sr. Adviseur Landelijke Pathologie en Moleculaire protocollen
Stichting Palga

Member of the digitalization working group of the Belgium Society of Pathology
Member of the Structured Reporting Implementation Committee (SRIC)
Member of the SNOMED International Cancer Synoptic Reporting Clinical Project Group

Geen

Geen restrictie

Roosmarijn Luttmer

Gynaecoloog - Ziekenhuis Amstelland, Amstelveen

Werkgroep preventie cervixcarcinoom Suriname

Geen

Geen restrictie

Wieke Kremer

Arts-assistent in opleiding tot gynaecoloog, Amsterdam UMC.

2022-11 Online webinar op uitnodiging van Qiagen over gepubliceerd wetenschappelijk onderzoek over het gebruik van methyleringsmarkers (waaronder QiaSure) in behandeling van voorloperstadia van baarmoederhalskanker. Vergoeding uitbetaald aan werkgever.

2022-04 Wetenschappelijke presentatie op congres op uitnodiging van Qiagen over gebruik van methyleringsmarkers in opsporen en behandelen van vrouwen met (voorloperstadia van) baarmoederhalskanker. Vergoeding bestaande uit reiskosten, congreskosten en vergoeding voor presentatie.

Concerve studie

ZonMw - Preventing overtreatment of CIN2/3: role of methylation markers in predecting regression (CONCERVE) - Geen projectleider

Geen presentaties/activiteiten voor commerciële partij gedurende richtlijntraject.

Inbreng patiëntenperspectief

Er werd aandacht besteed aan het patiëntenperspectief door het uitnodigen van de Stichting Olijf en Patiëntenfederatie Nederland voor de schriftelijke knelpuntenanalyse en afgevaardigde patiëntenvereniging (Stichting Olijf) in de werkgroep. Het verslag van de schriftelijke knelpuntenanalyse (zie aanverwante producten) is besproken in de werkgroep. De verkregen input is meegenomen bij het opstellen van de uitgangsvragen, de keuze voor de uitkomstmaten en bij het opstellen van de overwegingen. De conceptrichtlijn is tevens voor commentaar voorgelegd aan de Stichting Olijf en de Patiëntenfederatie Nederland en de eventueel aangeleverde commentaren zijn bekeken en verwerkt.

 

Kwalitatieve raming van mogelijke financiële gevolgen in het kader van de Wkkgz

Bij de nieuwe richtlijnmodules is conform de Wet kwaliteit, klachten en geschillen zorg (Wkkgz) een kwalitatieve raming uitgevoerd om te beoordelen of de aanbevelingen mogelijk leiden tot substantiële financiële gevolgen. Bij het uitvoeren van deze beoordeling is de richtlijnmodule op verschillende domeinen getoetst (zie het stroomschema op de Richtlijnendatabase).

Module

Uitkomst raming

Toelichting

Module Cytologische technieken detectie CIN2+

geen financiële gevolgen

Uit de toetsing volgt dat de aanbeveling(en) niet breed toepasbaar zijn (< 5.000 patiënten) en zal daarom naar verwachting geen substantiële financiële gevolgen hebben voor de collectieve uitgaven.

Werkwijze

AGREE

Deze richtlijnmodule is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 3.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010).

 

Knelpuntenanalyse en uitgangsvragen

Tijdens de voorbereidende fase inventariseerde de werkgroep de knelpunten in de zorg voor patiënten die een uitstrijkje krijgen voor cervixcytologisch onderzoek. De werkgroep beoordeelde de aanbeveling(en) uit de eerdere richtlijnmodule (NVVP, 2016) op noodzaak tot revisie. Tevens zijn er knelpunten aangedragen door verschillende partijen via een schriftelijke uitvraag. Op basis van de uitkomsten van de knelpuntenanalyse zijn door de werkgroep concept-uitgangsvragen opgesteld en definitief vastgesteld.

 

Uitkomstmaten

Na het opstellen van de zoekvraag behorende bij de uitgangsvraag inventariseerde de werkgroep welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. Hierbij werd een maximum van acht uitkomstmaten gehanteerd. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.

 

Methode literatuursamenvatting

Een uitgebreide beschrijving van de strategie voor zoeken en selecteren van literatuur is te vinden onder ‘Zoeken en selecteren’ onder Onderbouwing. Review Manager 5.4 werd gebruikt voor de statistische analyses. De beoordeling van de kracht van het wetenschappelijke bewijs wordt hieronder toegelicht.

 

Beoordelen van de kracht van het wetenschappelijke bewijs

De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/). De basisprincipes van de GRADE-methodiek zijn: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat, en een beoordeling van de bewijskracht per uitkomstmaat op basis van de acht GRADE-domeinen (domeinen voor downgraden: risk of bias, inconsistentie, indirectheid, imprecisie, en publicatiebias; domeinen voor upgraden: dosis-effect relatie, groot effect, en residuele plausibele confounding).

 

GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie, in het bijzonder de mate van zekerheid dat de literatuurconclusie de aanbeveling adequaat ondersteunt (Schünemann, 2013; Hultcrantz, 2017).

GRADE

Definitie

Hoog

  • er is hoge zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt;
  • het is zeer onwaarschijnlijk dat de literatuurconclusie klinisch relevant verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Redelijk

  • er is redelijke zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt;
  • het is mogelijk dat de conclusie klinisch relevant verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Laag

  • er is lage zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt;
  • er is een reële kans dat de conclusie klinisch relevant verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd.

Zeer laag

  • er is zeer lage zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt;
  • de literatuurconclusie is zeer onzeker.

Bij het beoordelen (graderen) van de kracht van het wetenschappelijk bewijs in richtlijnen volgens de GRADE-methodiek spelen grenzen voor klinische besluitvorming een belangrijke rol (Hultcrantz, 2017). Dit zijn de grenzen die bij overschrijding aanleiding zouden geven tot een aanpassing van de aanbeveling. Om de grenzen voor klinische besluitvorming te bepalen moeten alle relevante uitkomstmaten en overwegingen worden meegewogen. De grenzen voor klinische besluitvorming zijn daarmee niet één op één vergelijkbaar met het minimaal klinisch relevant verschil (Minimal Clinically Important Difference, MCID). Met name in situaties waarin een interventie geen belangrijke nadelen heeft en de kosten relatief laag zijn, kan de grens voor klinische besluitvorming met betrekking tot de effectiviteit van de interventie bij een lagere waarde (dichter bij het nuleffect) liggen dan de MCID (Hultcrantz, 2017).

 

Overwegingen (van bewijs naar aanbeveling)

Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals aanvullende argumenten uit bijvoorbeeld de biomechanica of fysiologie, waarden en voorkeuren van patiënten, kosten (middelenbeslag), aanvaardbaarheid, haalbaarheid en implementatie. Deze aspecten zijn systematisch vermeld en beoordeeld (gewogen) onder het kopje ‘Overwegingen’ en kunnen (mede) gebaseerd zijn op expert opinion. Hierbij is gebruik gemaakt van een gestructureerd format gebaseerd op het evidence-to-decision framework van de internationale GRADE Working Group (Alonso-Coello, 2016a; Alonso-Coello 2016b). Dit evidence-to-decision framework is een integraal onderdeel van de GRADE methodiek.

 

Formuleren van aanbevelingen

De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk (Agoritsas, 2017; Neumann, 2016). De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen. De werkgroep heeft bij elke aanbeveling opgenomen hoe zij tot de richting en sterkte van de aanbeveling zijn gekomen.

 

In de GRADE-methodiek wordt onderscheid gemaakt tussen sterke en zwakke (of conditionele) aanbevelingen. De sterkte van een aanbeveling verwijst naar de mate van zekerheid dat de voordelen van de interventie opwegen tegen de nadelen (of vice versa), gezien over het hele spectrum van patiënten waarvoor de aanbeveling is bedoeld. De sterkte van een aanbeveling heeft duidelijke implicaties voor patiënten, behandelaars en beleidsmakers (zie onderstaande tabel). Een aanbeveling is geen dictaat, zelfs een sterke aanbeveling gebaseerd op bewijs van hoge kwaliteit (GRADE gradering HOOG) zal niet altijd van toepassing zijn, onder alle mogelijke omstandigheden en voor elke individuele patiënt.

Implicaties van sterke en zwakke aanbevelingen voor verschillende richtlijngebruikers

 

Sterke aanbeveling

Zwakke (conditionele) aanbeveling

Voor patiënten

De meeste patiënten zouden de aanbevolen interventie of aanpak kiezen en slechts een klein aantal niet.

Een aanzienlijk deel van de patiënten zouden de aanbevolen interventie of aanpak kiezen, maar veel patiënten ook niet. 

Voor behandelaars

De meeste patiënten zouden de aanbevolen interventie of aanpak moeten ontvangen.

Er zijn meerdere geschikte interventies of aanpakken. De patiënt moet worden ondersteund bij de keuze voor de interventie of aanpak die het beste aansluit bij zijn of haar waarden en voorkeuren.

Voor beleidsmakers

De aanbevolen interventie of aanpak kan worden gezien als standaardbeleid.

Beleidsbepaling vereist uitvoerige discussie met betrokkenheid van veel stakeholders. Er is een grotere kans op lokale beleidsverschillen. 

Literatuur

Agoritsas T, Merglen A, Heen AF, Kristiansen A, Neumann I, Brito JP, Brignardello-Petersen R, Alexander PE, Rind DM, Vandvik PO, Guyatt GH. UpToDate adherence to GRADE criteria for strong recommendations: an analytical survey. BMJ Open. 2017 Nov 16;7(11):e018593. doi: 10.1136/bmjopen-2017-018593. PubMed PMID: 29150475; PubMed Central PMCID: PMC5701989.

 

Alonso-Coello P, Schünemann HJ, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Rada G, Rosenbaum S, Morelli A, Guyatt GH, Oxman AD; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ. 2016 Jun 28;353:i2016. doi: 10.1136/bmj.i2016. PubMed PMID: 27353417.

 

Alonso-Coello P, Oxman AD, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Vandvik PO, Meerpohl J, Guyatt GH, Schünemann HJ; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Clinical practice guidelines. BMJ. 2016 Jun 30;353:i2089. doi: 10.1136/bmj.i2089. PubMed PMID: 27365494.

 

Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, Fervers B, Graham ID, Grimshaw J, Hanna SE, Littlejohns P, Makarski J, Zitzelsberger L; AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010 Dec 14;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348; PubMed Central PMCID: PMC3001530.

 

Hultcrantz M, Rind D, Akl EA, Treweek S, Mustafa RA, Iorio A, Alper BS, Meerpohl JJ, Murad MH, Ansari MT, Katikireddi SV, Östlund P, Tranæus S, Christensen R, Gartlehner G, Brozek J, Izcovich A, Schünemann H, Guyatt G. The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol. 2017 Jul;87:4-13. doi: 10.1016/j.jclinepi.2017.05.006. Epub 2017 May 18. PubMed PMID: 28529184; PubMed Central PMCID: PMC6542664.

 

Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. http://richtlijnendatabase.nl/over_deze_site/over_richtlijnontwikkeling.html

 

Neumann I, Santesso N, Akl EA, Rind DM, Vandvik PO, Alonso-Coello P, Agoritsas T, Mustafa RA, Alexander PE, Schünemann H, Guyatt GH. A guide for health professionals to interpret and use recommendations in guidelines developed with the GRADE approach. J Clin Epidemiol. 2016 Apr;72:45-55. doi: 10.1016/j.jclinepi.2015.11.017. Epub 2016 Jan 6. Review. PubMed PMID: 26772609.

 

Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.

Zoekverantwoording

Zoekacties zijn opvraagbaar. Neem hiervoor contact op met de Richtlijnendatabase.

Volgende:
Follow-up