Screening
Uitgangsvraag
Hoe dient screening plaats te vinden om te identificeren welke patiënten die een niet-pulmonale operatie ondergaan een verhoogd risico hebben op postoperatieve pulmonale complicaties?
Aanbeveling
Overweeg de ARISCAT-score te gebruiken om een risicoinschatting te maken van de kans op postoperatieve pulmonale complicaties.
Overweeg een hoogrisicopatiënt (ARISCAT-score > 45) te bespreken in een multidisciplinair overleg.
Overwegingen
Voor- en nadelen van de interventie en de kwaliteit van het bewijs
Patiënten met een verhoogd risico op pulmonale complicaties zijn onder andere patiënten die behandeld worden voor astma, COPD, interstitiële longfibrose of pulmonale hypertensie, maar ook patiënten die recent (minder dan een maand voorafgaand aan de ingreep) een pneumonie hebben gehad.
In de literatuur zijn verschillende risicoscores ontwikkeld om patiënten met een verhoogd risico op postoperatieve pulmonale complicaties (PPC’s) te identificeren. Er zijn echter geen risicoscores beschikbaar, die specifiek voor de gedefinieerde doelgroep zijn. Wel wordt een pulmonaal belaste voorgeschiedenis over het algemeen meegenomen als risico factor binnen deze risicoscores. Om de lezer een handreiking te kunnen geven, concentreert deze module zich op de beschikbare risicoscores in de algemene chirurgische populatie. De kwaliteit en toepasbaarheid van de risicoscores zijn wisselend en onderling moeilijk te vergelijken, onder andere door verschillende definities van postoperatieve pulmonale complicaties. In 2012 adviseerde de richtlijnwerkgroep het gebruik van de ‘Arozullah respiratory failure index’ (Arozullah 2000). Deze index is echter gebaseerd op een retrospectief cohort uit de ‘National Veterans Administration Surgical Quality Improvement Program’, is erg uitgebreid en niet makkelijk toe te passen in de praktijk. Een nieuwere risico score is de ARISCAT-score (Canet, 2010), die prospectief ontwikkeld is in een heterogene populatie en zeven eenvoudige klinische variabelen bevat.
Er is daarom literatuuronderzoek verricht naar de voorspellende waarde van de ARISCAT-score. In de literatuursamenvatting werden 10 studies geïncludeerd, waarvan 9 externe validatiestudies. De studies zijn in verschillende landen uitgevoerd en hebben naar verschillende type operaties gekeken. De incidentie van postoperatieve pulmonale complicaties varieerde in deze studies van 5% tot 36%.
Over het algemeen werd in de geïncludeerde studies geconcludeerd dat de discriminatie van de ARISCAT-score redelijk tot goed is, met uitzondering van de studie van Wood (2019). Dit betrof echter een relatief kleine studie met een specifieke populatie (vrije flap reconstructies bij hoofd- en hals-chirurgie). In alle andere studies werd een AUC van 0,7 of hoger gevonden. Wanneer een model (redelijk) goed scoort op discriminatie betekent dat echter niet automatisch dat een model ook bruikbaar is in een klinische setting om een risicoschatting te maken voor een individuele patiënt (Van Calster, 2019). Dergelijke risicoschattingen kunnen namelijk onbetrouwbaar zijn wanneer een model niet goed is gekalibreerd en de risicoschattingen systematisch te hoog of te laag zijn voor alle patiënten of voor een deel van de patiënten (bijvoorbeeld de hoog- of laagrisicopatiënten). Zo wordt ook in de studie van Mazo (2014) geadviseerd voorzichtig om te gaan met de schaal bij het voorspellen van het risico voor een individuele patiënt, omdat de kalibratie van het model in sommige geografische contexten suboptimaal was. In de studie van STARSurg Collaborative and TASMAN Collaborative (2022) wordt het gebruik van de ARISCAT-score niet aanbevolen voor routinematige klinische toepassing vanwege de beperkte kalibratie van het model in de huidige en eerdere externe validatiestudies.
Wat betreft de sensitiviteit en specificiteit met betrekking tot het identificeren van verschillende risicogroepen (laag/gemiddeld/hoog) op basis van de ARISCAT-score werden er grote verschillen gevonden tussen de studies. Met name voor het identificeren van de hoog risicogroep (score >45) was de sensitiviteit vrij laag.
Ten slotte is er ook nog gekeken naar de vergelijking van de ARISCAT-score met andere extern gevalideerde predictiemodellen. In de studie van Wood (2019) werd geconcludeerd dat de Gupta pulmonary risk index een beter discriminerend vermogen had dan de ARISCAT-score bij patiënten die hoofd-/hals-chirurgie ondergingen. De kalibratie van het ARISCAT-model was echter weer beter. In de studie van STARSurg Collaborative and TASMAN Collaborative (2022) werd het ARISCAT-model vergeleken met vijf andere extern gevalideerde modellen. Hoewel het ARISCAT-model een beter discriminerend vermogen had dan de andere modellen, ontbrak concrete informatie over de kalibratie van de modellen. Er werd gezegd dat de kalibratie van een aantal modellen slecht was, maar er werd niet benoemd om welke modellen dit ging.
De bewijskracht is laag tot zeer laag voor alle uitkomsten. De literatuur kan daarom beperkt richting geven aan de aanbevelingen.
Patiënt- en procedure-gerelateerde risico’s
In de multivariabele analyse van de ARISCAT studie komen de volgende patiënt-gerelateerde risicofactoren voor het ontwikkelen van PPC’s naar voren: leeftijd, preoperatieve saturatie, preoperatieve anemie (Hb ≤10 g/dL, ofwel ≤6,2 mmol/L) en een luchtweginfectie met hoesten en koorts in de afgelopen maand. Procedure-gerelateerde risicofactoren zijn duur van de operatie, locatie van chirurgische incisie (bovenbuik of thoracaal) en spoedchirurgie.
Patiënt-gerelateerde risico’s
Leeftijd
Leeftijd is een belangrijke risicofactor voor het optreden van PPC’s. In de ARISCAT studie geeft een leeftijd boven de 50 jaar geeft een verhoogde kans op het optreden van PPC’s met een Odds Ratio (OR) van 1,4 (95%BI 0,6–3,3). Boven de 80 jaar is de OR zelfs 5,1 (95%BI 1.9–13.3). Andere studies en reviews zien vergelijkbare resultaten (Smetana, 2006; Arozullah, 2001). Derhalve kan leeftijd beschouwd worden als een onafhankelijke voorspeller van PPC’s en hebben ook gezonde ouderen een verhoogd risico op pulmonale complicaties.
Preoperatieve saturatie
Preoperatieve perifere saturatie (SpO2) is in de ARISCAT analyse voor het eerst als risico factor voor PPC’s meegenomen. De perifere saturatie is makkelijk te meten en daardoor een pragmatische en objectieve maat. Een lage preoperatieve saturatie heeft een zeer sterke onafhankelijke associatie met PPC’s. Bij een preoperatieve SpO2 tussen 91 en 95% heeft een patiënt een tweemaal zo grote kans op PPC’s dan bij een SpO2 >= 96% (OR 2,2; 95% 95%BI 1,2-4,2). Bij een SpO2 < 90% is deze kans zelfs tienmaal verhoogd (OR 10,7 (95%BI 4,1-11,5). Omdat de associatie van een lage preoperatieve saturatie zo groot is, vallen in de multivariabele analyse diverse risicofactoren weg in de ARISCAT analyse, die in andere studies een onafhankelijke relatie hadden met PPC’s, zoals COPD, roken, congestief hartfalen en functionele status. Deze risicofactoren worden verderop in deze module behandeld.
Preoperatieve anemie
Een anemie met een Hb ≤10 g/dL, ofwel ≤6,2 mmol/L geeft een drievoudige verhoging van het risico op PPC’s (Canet 2010). Een retrospectieve analyse van de NSQIP database laat bij ouderen die electieve non-cardiale chirurgie ondergaan toename zien van postoperatieve complicaties, ook bij milde anemie, onafhankelijk van de type chirurgische procedure (Wu, 2007). De studie van Beattie (2009) vindt een toename van mortaliteit bij patiënten met preoperatieve anemie (Hb < 12 g/dL bij vrouwen en Hb < 13 g/dL bij mannen) met een OR van 2,29 (95%BI 1,45-3,63) ten opzichte van patiënten zonder anemie. Deze toename was onafhankelijk van eventuele transfusie. Een post-hoc analyse van het prospectieve LAS VEGAS cohort laat een verhoogde incidentie van PPC’s zien bij patiënten met preoperatieve anemie (Hb <11 g/dL) vergeleken met patiënten zonder anemie (17,7% versus 10,5% (Bulte, 2021)).
Recente luchtweginfectie
Een luchtweginfectie met koorts en noodzaak voor antibiotica binnen de maand voor chirurgie geeft een verhoogd risico op PPC’s (OR 5,5 (95%BI 2,6-11,5). Een recente luchtweginfectie zorgt voor een verhoogde luchtweg reactiviteit, slijmvorming, verminderde pulmonale functie en verminderde afweer door de infectie dan wel eventuele antibiotica. Voor eventueel uitstellen van de operatie zie de module over uitstel van operatie bij pneumonie.
Pulmonale problematiek
COPD is één van de meest onderzochte risicofactoren voor het ontstaan van PPC’s. In de ARISCAT-studie had COPD een positieve associatie met PPC’s. Echter in de multivariabele analyse kwam COPD niet naar voren als onafhankelijke voorspeller. Preoperatieve SpO2 bleek een sterkere onafhankelijke voorspellende factor voor PPC’s te zijn. Daarnaast werd bij rokers een associatie met PPC’s gevonden, welke ook verdween in de multivariabele analyse. In de studie van Arozullah zijn COPD en roken in de multivariabele analyse wel geassocieerd met postoperatief respiratoir falen (OR 1,58 (95%BI 1,44–1,75) respectievelijk OR 1,24 (95%BI 1,14-1,36). Ook in de meta-analyse van Smetana had COPD een gemiddelde gecorrigeerde OR van 2,36 (95%BI 1,90–2,93) en roken een OR van 1,40 (95%BI 1,17-1,68). Zie ook de modules perioperatieve medicatie bij patiënten met astma/COPD en stoppen met roken bij een perioperatief traject.
Stabiel astma geeft geen verhoogd risico op PPC’s in verschillende studies (Smetana, 2006; Canet, 2010; Warner, 2006). Desondanks geeft astma in het algemeen wel een verhoogde kans op bronchospasme of status astmaticus, met name tijdens endotracheale intubatie. Instabiel astma geeft een verhoogd risico op PPC’s (Kabalin, 1995; Tirumalasetty, 2006; Mitsuta, 2001; Woods, 2009). Daarom is het aan te raden om preoperatief de patiënt te evalueren en bij instabiel astma pulmonaal voor te bereiden voor electieve chirurgie (zie module perioperatieve medicatie bij patiënten met astma/COPD).
Interstitiële longaandoeningen
Interstitiële longaandoeningen (Interstitial lung disease, ILD) is een breed begrip waaronder meer dan 150 verschillende aandoeningen vallen. Met name het fibrotisch ILD brengt risico’s met zich mee in de perioperatieve fase. Zie module (f)ILD-patiënten.
Pulmonale hypertensie
Chirurgie in patiënten met pulmonale hypertensie (PH) is geassocieerd met een verhoogd risico op rechtszijdig hartfalen en overlijden. Het mortaliteitsrisico is geassocieerd met de ernst van de PH. De beslissing om patiënten met PH te opereren moet multidisciplinair besproken worden (Humbert, 2023). De werkgroep adviseert om patiënten met PH (en specifiek ten minste patiënten met pulmonale arteriële hypertensie (PAH) en chronische thrombo-embolische pulmonale hypertensie (CTEPH) die met specifieke medicatie worden behandeld) in een PH-centrum of in ieder geval in overleg met een PH-centrum te opereren. Zie module perioperatieve behandeling patiënten met pulmonale hypertensie.
Cardiale problematiek
Er zijn diverse studies naar de invloed van cardiale afwijkingen op de kans op het ontwikkelen van PPC’s. Alle studies op dit gebied tonen een verhoogde kans op PPC’s bij patiënten met congestief hartfalen (Marusch, 2005; Kertai, 2005; Falcoz, 2007; Licher, 2006). De OR van 2,93 (95%BI 1,02-8,43) in de systematische review van Smetana toont dit ook aan. Het risico op pulmonale complicaties is voor hartfalen mogelijk hoger dan voor COPD. In de ARISCAT-studie wordt een associatie gezien van congestief hartfalen met PPC’s, maar dit verdwijnt in de multivariabele analyse. Ook bij hartfalen is mogelijk de preoperatieve SpO2 een sterkere reflectie voor risico op pulmonale complicaties in dit cohort. In een subanalyse van het ARISCAT-cohort herhaalden Canet en collega’s (2015) de analyse met als eindpunt postoperatief respiratoir falen (PRF), gedefinieerd als een SpO2 < 90% zonder zuurstof suppletie of een PaO2 < 8 kPa, in plaats van het eindpunt PPC’s. In deze studie heeft congestief hartfalen met een New York Heart Association (NYHA) => II, een onafhankelijke associatie met PRF (OR 2,2).
Algemene gezondheidstoestand
Een morbiditeit index zoals de American Society of Anesthesiologists (ASA) physical status classification (ASA classificatie) wordt gebruikt om het algehele anesthesierisico in te schatten en correleert goed met pulmonaal risico postoperatief. Duidelijk is dat een hogere ASA klasse geassocieerd is met een verhoogde kans op PPC’s (OR 4,87, 95%BI 3,34-7,10) (Smetana, 2006).
Functionele status
Frailty wordt in de bestaande literatuur nog niet meegenomen in relatie specifiek tot PPC’s.
De meest gangbare variabele die in de studies worden meegenomen als maat voor frailty is functionele status.
Functionele status is getest in het grote national surgical quality improvement project (NSQIP, 2000). Hieruit blijkt dat totale afhankelijkheid, gedefinieerd als het niet kunnen verrichten van enige vorm van dagelijkse bezigheden, of partiële afhankelijkheid, gedefinieerd als het gebruik van materialen en/of personen voor hulp bij de dagelijkse activiteiten, een verhoogde kans kan geven op het optreden van PPC’s (OR 2,51 (95%BI 1,99-3,15) en 1,65 (95%BI 1,36-2,01). In de ARISCAT-studie wordt ook een associatie gezien van totale en partiële afhankelijkheid met PPC’s, maar dit verdwijnt in de multivariabele analyse.
Overige patiënt-gerelateerde risicofactoren
Obstructief slaapapneusyndroom (OSAS), cystic fibrosis, neuromusculaire aandoeningen en hoog-cervicale dwarslaesies zijn mogelijk patiënt-gerelateerde risicofactoren. Voor deze groepen patiënten zijn specifieke diagnostiek en voorbereiding noodzakelijk. Hiervoor wordt verwezen naar de richtlijn Obstructief slaapapneu (OSA) bij volwassenen, de Kwaliteitsstandaard Cystic Fibrosis (CF) en de KNGF behandelrichtlijn Scoliose bij neuromusculaire aandoeningen.
Obesitas
Obesitas wordt gedefinieerd als een BMI > 30. Voor obesitas wordt verwezen naar de richtlijn Anesthesie bij obesitas.
Procedure-gerelateerde risico’s
Procedure-gerelateerde risicofactoren bestaan uit duur en aard van de procedure (vasculair, open hart, abdominaal, etc.), locatie van de incisie (thoracaal, abdominaal) (Canet, 2010) en laparotomie versus laparoscopie.
Operatieduur
Een lange operatieduur is sterk geassocieerd met een toename van het aantal PPC’s. Een operatieduur langer dan twee uur geeft een forse risicoverhoging (OR 4,9) en wanneer de operatie langer dan drie uur duurt loopt dit op tot een OR van 9,7 (Canet, 2010). In het ARISCAT-cohort ontwikkelde 9,2% van de patiënten met een operatieduur tussen 2 en 3 uur één of meer PPC’s en bij een operatieduur langer dan 3 uur is de incidentie van PPC’s 21,4%.
In de systematische review van Smetana (2006) is de OR 2,26 bij een operatieduur tussen 2,5 tot 4 uur. Bij zeer hoogrisicopatiënten is het aan te bevelen om indien mogelijk een kortere procedure te overwegen samen met de chirurg.
Locatie incisie en chirurgische procedure
De plaats van chirurgische incisie is een van de belangrijkste voorspellende factoren voor PPC’s in de ARISCAT-score. Een intrathoracale incisie gaat gepaard met een OR van 11,4 en een bovenbuikincisie, een incisie boven de navel, gaat gepaard met een OR van 4,4 (Canet, 2010). Smetana (2006) rapporteert dat de volgende procedures gepaard gaan met een verhoogd risico op PPC’s: abdominale aortachirurgie (OR 6,90), thoracale chirurgie (exclusief longoperaties) (OR 4,24), abdominale chirurgie (OR 3,09), bovenbuikchirurgie (OR 2,96), neurochirurgie (OR 2,53), hoofd/halschirurgie (OR 2,21), perifere vaatchirurgie (OR 2,10).
Vergelijkbare risico’s worden beschreven door Arozullah (2001): abdominale aortachirurgie (OR 4,29), thoracale chirurgie (OR 3,92), bovenbuikincisie (OR 2,68).
Hoewel de aard van de ingreep zelf niet aanpasbaar is, lijkt laparoscopische chirurgie voor zowel bovenste als onderste gastro-intestinale ingrepen tot minder PPC’s te leiden vergeleken met open operaties in zowel niet-obese als obese patiënten (Antoniou, 2015; Lee, 2015; Fuks, 2016).
De indicatie voor intensieve bewaking wordt behandeld in een aparte module.
Waarden en voorkeuren van patiënten (en evt. hun verzorgers)
De behandelaar dient samen met de patiënt een afweging te maken tussen de aard en noodzaak van de ingreep, de pulmonale risico’s en de gevolgen van het eventueel uitstellen van (semi-)electieve chirurgie. Hierbij kan de ARISCAT-score ondersteuning bieden. Het is niet mogelijk om in algemene zin of voor iedere situatie een aanbeveling te doen. Van de risicofactoren die naar voren komen in de ARISCAT-score zijn er factoren die preoperatief geoptimaliseerd kunnen worden.
Daarnaast kan de ARISCAT-score gebruikt worden om hoogrisicopatiënt te identificeren. Bij patiënten met een ARISCAT-score boven de 45 valt te overwegen om de patiënt preoperatief te bespreken in een multidisciplinair overleg.
Kosten (middelenbeslag)
Een risicoscore gebruiken om in te schatten welke patiënten intensievere bewaking nodig hebben, is een kosteloze interventie, welke kan leiden tot kostenreductie. Zie ook de module over intensieve bewaking.
Aanvaardbaarheid, haalbaarheid en implementatie
De ARISCAT is een eenvoudig te scoren risicopredictor, waarvoor diverse (online) calculators beschikbaar zijn. De score is breed toepasbaar in diverse patiëntengroepen en is daarmee een goed hulpmiddel in de inschatting van perioperatieve pulmonale risico’s. Het is aan de clinicus om samen met de patiënt een inschatting te maken van de beïnvloedbaarheid van deze risico’s, de aard en type van de chirurgie en noodzaak van de ingreep. Zie voor overige perioperatieve afwegingen de NVA-leidraad perioperatieve zorg.
Rationale van de aanbeveling: weging van argumenten voor en tegen de diagnostische procedure
Over het algemeen werd in de geïncludeerde studies geconcludeerd dat de discriminatie van de ARISCAT-score redelijk tot goed is. Toch moet de kanttekening gemaakt worden dat de score beperkt van waarde kan zijn bij het voorspellen van het risico voor een individuele patiënt, omdat de kalibratie van het model in sommige geografische contexten suboptimaal was. Er zijn echter geen goede alternatieven. De score is breed toepasbaar in diverse patiëntengroepen en is daarmee mogelijk een waardevol hulpmiddel in de inschatting van perioperatieve pulmonale risico’s. Het is aan de clinicus om een inschatting te maken van de beïnvloedbaarheid van deze risico’s, de aard en type van de chirurgie en noodzaak van de ingreep.
Onderbouwing
Achtergrond
Introduction
Postoperative pulmonary complications (PPCs) after non-pulmonary surgery are frequent and associated with increased morbidity and mortality. The frequency varies between 2% and 70% of patients, depending on patient- and procedure-related factors and depending on the definition of pulmonary complications used. Patients with pulmonary diseases have a higher risk for developing perioperative pulmonary complications. By applying a risk score during preoperative screening, one can estimate which patient is at increased risk of developing pulmonary complications after surgery. This estimate can be used in the preoperative consultation with the patient, but also to estimate which patients would benefit most from risk-reducing interventions and which patients may need longer or more intensive postoperative monitoring.
The 2012 guideline module referred to a systematic review by Smetana (Smetana, 2006) and the Arozullah respiratory failure index (Arozullah, 2000), that focus on PPCs. The guideline working group aims to investigate whether the ARISCAT score, a newer risk score for PPCs, more adequately predicts postoperative pulmonary complications.
Conclusies / Summary of Findings
Performance of the ARISCAT model
|
Low GRADE |
The ARISCAT model may have moderate to good discriminatory performance with regard to predicting postoperative pulmonary complications in patients undergoing non-pulmonary surgery.
Sources: Canet, 2010; Mazo, 2014; Jin, 2015; Neto, 2018; Wood, 2019; Sousa Menezes, 2021; Nithiuthai, 2021; Kokotovic, 2022; The STARSurg Collaborative and TASMAN Collaborative, 2022; Liu, 2023 |
|
Very low GRADE |
The evidence is very uncertain for the calibration of the ARISCAT model with regard to predicting postoperative pulmonary complications in patients undergoing non-pulmonary surgery.
Sources: Canet, 2010; Mazo, 2014; Wood, 2019; Kokotovic, 2022; Liu, 2023 |
|
Very low GRADE |
The evidence is very uncertain for the sensitivity and specificity of the ARISCAT model with regard to identifying patients at an intermediate (26-44 points) or high risk (>45 points) of developing postoperative pulmonary complications after non-pulmonary surgery.
Sources: Canet, 2010; Mazo, 2014; Wood, 2019; Nithiuthai, 2021; The STARSurg Collaborative and TASMAN Collaborative, 2022 |
Comparison of the ARISCAT model with other externally validated models
Comparison with Gupta pulmonary risk index
|
Low GRADE |
The Gupta pulmonary risk index may show better discriminatory performance than the ARISCAT model with regard to predicting postoperative pulmonary complications in patients undergoing head and neck surgery.
Source: Wood, 2019 |
|
Low GRADE |
The ARISCAT model may show better calibration than the Gupta pulmonary risk index with regard to predicting postoperative pulmonary complications in patients undergoing head and neck surgery.
Source: Wood, 2019 |
Comparison with Brooks-Brunn (1997), Brooks-Brunn (1998), SPORC (2013), Jeong (2014) and Kawasaki (2019) models
|
Low GRADE |
The ARISCAT model may show better discriminatory performance than the Brooks-Brunn (1997), Brooks-Brunn (1998), SPORC (2013), Jeong (2014) and Kawasaki (2019) models with regard to predicting postoperative pulmonary complications in patients undergoing non-pulmonary surgery.
Source: The STARSurg Collaborative and TASMAN Collaborative, 2022 |
|
No GRADE |
No evidence was found for the calibration of the ARISCAT model compared with the Brooks-Brunn (1997), Brooks-Brunn (1998), SPORC (2013), Jeong (2014) and Kawasaki (2019) models with regard to predicting postoperative pulmonary complications in patients undergoing non-pulmonary surgery.
Source: - |
Samenvatting literatuur
Description of studies
Ten studies were included in the analysis of the literature of which 9 were external validation studies for the ARISCAT model. Relevant study characteristics are presented in Table 1.
Table 1. Study characteristics
1 The number of patients who experienced at least one PPC.
2 Comparing the performance of a newly developed model with the performance of an existing model in an internal validation cohort (when a dataset is randomly divided into a development and validation subset) is an inappropriate comparison. The newly developed model will almost always outperform the existing model because the new model was developed with data from the same cohort. The direct comparison between two prediction models should be done in an external validation dataset independent of both model development cohorts (Ramspek, 2020). Therefore only the outcomes for the external validation of the ARISCAT model are reported.
IQR = interquartile range, NR = not reported
Development of the ARISCAT model
Canet (2010) developed The Assess Respiratory Risk in Surgical Patients in Catalonia (ARISCAT) score to predict postoperative pulmonary complications (PPCs). The final model and scoring system are presented in Table 2.
The following risk groups were determined:
• Low Risk: score <26 points
• Intermediate Risk: score between 26–44 points
• High Risk: score ≥45 points.
Table 2. ARISCAT scoring system
|
Predictor |
OR (95% CI) |
β coefficient |
Risk score1 |
|
Age (years) |
|||
|
≤50 |
1 |
- |
0 |
|
51–80 |
1.4 (0.6 to 3.3) |
0.331 |
3 |
|
>80 |
5.1 (1.9 to 13.3) |
1.619 |
16 |
|
Preoperative SpO2 (%) |
|||
|
≥96 |
1 |
- |
0 |
|
91–95 |
2.2 (1.2 to 4.2) |
0.802 |
8 |
|
≤90 |
10.7 (4.1 to 28.1) |
2.375 |
24 |
|
Respiratory infection in the last month |
|||
|
No |
1 |
- |
0 |
|
Yes |
5.5 (2.6 to 11.5) |
1.698 |
17 |
|
Preoperative anemia (≤10 g/dl) |
|||
|
No |
1 |
- |
0 |
|
Yes |
3.0 (1.4 to 6.5) |
1.105 |
11 |
|
Surgical incision |
|||
|
Peripheral |
1 |
- |
0 |
|
Upper abdominal |
4.4 (2.3 to 8.5) |
1.480 |
15 |
|
Intrathoracic |
11.4 (4.9 to 26.0) |
2.431 |
24 |
|
Duration of surgery (hours) |
|||
|
≤2 |
1 |
- |
0 |
|
>2 to 3 |
4.9 (2.4 to 10.1) |
1.593 |
16 |
|
>3 |
9.7 (4.7 to 19.9) |
2.268 |
23 |
|
Emergency procedure |
|||
|
No |
1 |
- |
0 |
|
Yes |
2.2 (1.0 to 4.5) |
0.768 |
8 |
1 The simplified risk score is the sum of each logistic regression coefficient multiplied by 10, after rounding off its value
Results
Performance of the ARISCAT model
Discrimination
Model performance outcomes were reported by all of the included studies, see Table 3.
With regard to discriminatory model performance, 9 external validation studies reported the area under the receiver operating characteristic curve (AUC) of the ARISCAT risk index. The reported AUC values ranged from 0.596 to 0.87.
Calibration
Wood (2019) only described calibration as reasonable but overestimating the risk beyond a ceiling effect. However, no calibration plot or other relevant information was provided so this could not be checked.
Liu (2023) considered calibration to be poor, but only based this on the Hosmer-Lemeshow test.
Mazo (2014) reported the calibration intercept, calibration slope for all groups. Expected and observed incidence rates were also reported for all groups and also for the three risk groups (low, moderate, high). In the Western European subsample, where the score performed best, the calibration slope was over 0.8, while in the Eastern European subsample, the slope was under 0.6, suggesting that the coefficients of the ARISCAT predictors might require recalibration in a population represented by this subsample. Intercept values significantly different from 0 in the Eastern European and the Western European subsamples.
Expected and observed incidence rates were also reported for the different risk groups, see Table 4. Whether and to what extent the ARISCAT model over or underestimated the PPC incidence rates varied between the different risk groups and different subsamples.
Kokotovic (2022) reported a calibration plot, the intercept and slope values and the Hosmer-Lemeshow test. The calibration of the model was considered good and no recalibration was needed. PPCs occurred in 36.1% of the patients, while the ARISCAT score predicted a PPC frequency of 24.9%. The overall observed over estimated PPC frequency rate was 1.5.
Table 3. Model performance outcomes (discrimination and calibration)
|
Study |
Discrimination: AUC (95%CI) |
Calibration |
|
Development of the model |
||
|
Canet (2010) |
Model with original regression coefficients
|
“good […] calibration” (Hosmer-Lemeshow P = 0.45).
|
|
Simplified risk score
|
NR |
|
|
External validation |
||
|
Mazo (2014) |
Overall: 0.80 (0.78 to 0.82) |
Slope 0.63 (0.57 to 0.69) Intercept 0.66 (0.64 to 0.72) |
|
Spain: 0.80 (0.77 to 0.84)
|
Slope: 0.62 (0.51 to 0.74) Intercept 0.06 (−0.02 to 0.14) |
|
|
WE: 0.87 (0.83 to 0.90)
|
Slope 0.81 (0.69 to 0.93) Intercept 0.65 (0.57 to 0.73) |
|
|
EE: 0.76 (0.72 to 0.80) |
Slope 0.58 (0.48 to 0.68) Intercept 1.44 (1.35 to 1.53) |
|
|
Jin (2015) |
0.76 (0.68 to 0.83) |
NR for ARISCAT |
|
Neto (2018) |
0.700 (0.678 to 0.711) |
NR for ARISCAT |
|
Sousa Menezes (2021) |
0.75 (0.61 to 0.88) |
NR |
|
Kokotovic (2022) |
0.83 (0.79 to 0.86) |
Calibration plot: “The slope of the calibration plot was 0.9546 with a y axis interception at 0.1269 and the plot was well fitted to a linear slope. The Hosmer–Lemeshow goodness-of-ft analysis showed a good calibration with p>0.25.” |
|
Liu (2023) |
0.717 (0.696 to 0.738) |
“the ARISCAT model had poor calibration, with a Hosmer–Lemeshow chi-square yielding a P-value of < 0.001” |
|
ARISCAT versus other externally validated models |
||
|
Wood (2019) |
|
|
|
ARISCAT |
0.596 (0.542 to 0.649) |
Calibration plot; “reasonable calibration to a point, but a ceiling effect became apparent in the mid-20s beyond which the score consistently overestimated increased risk.” |
|
Gupta pulmonary risk index |
0.649 (0.589 to 0.701) |
“the index displayed almost no calibration.” |
|
The STARSurg Collaborative and TASMAN Collaborative (2022) |
||
|
ARISCAT |
0.700 (0.683 to 0.717) |
NR; “these models either did not report information needed to assess calibration or demonstrated poor calibration” |
|
0.607 (0.587 to 0.628) |
NR |
|
|
Brooks-Brunn 1998 |
0.660 (0.642 to 0.679) |
NR |
|
SPORC 2013 |
0.574 (0.556 to 0.593) |
NR |
|
Jeong 2014 |
0.688 (0.671 to 0.706) |
NR |
|
Kawasaki 2019 |
0.662 (0.645 to 0.678) |
NR |
Table 4. ARISCAT-predicted PPC Rates (95% CIs) and Observed Rates from Mazo (2014)

Sensitivity and specificity of the ARISCAT model
Canet (2010) defined three groups based on the following cutoff scores:
- Low Risk: score <26 points
- Intermediate Risk: score between 26–44 points
- High Risk: score ≥45 points
Sensitivity and specificity were reported for both cutoff points (26 and 45). Additionally, 3 other studies also reported sensitivity and specificity for (one of) these cutoff points. The outcomes are reported in Table 5. Overall there is a lot of variation between the different studies. For the cutoff score of 26 the reported sensitivity ranged from 54% to 95% and the specificity from 17% to 81%. For the cutoff score of 45 the reported sensitivity ranged from 12% to 68% and specificity from 64% to 96%.
Table 5. Sensitivity and specificity of the ARISCAT model

Comparison between ARISCAT and other models
Jin (2015), Neto (2018) and Liu (2023) compared the performance of the ARISCAT model with their own newly developed model in an internal validation cohort of their own model and concluded that their newly developed model outperformed the ARISCAT model. This is however an inappropriate comparison because then internal validation performance is compared with external validation performance. As a result, the newly developed model will almost always perform better because the model was designed to fit the data. The direct comparison between two existing models should be done in an external validation dataset that is independent of both model development cohorts (Ramspek, 2020). Therefore the outcomes of these newly developed models are not reported.
Wood (2019) compared the ARISCAT model with the Gupta pulmonary risk index in patients undergoing head and neck surgery, see Table 3. While the AUC of the Gupta pulmonary risk index was higher (0.649 versus 0.596), the model showed almost no calibration according to the authors compared with reasonable calibration of the ARISCAT model to a certain point (mid-20s) after which the model subsequently overestimated the increased risk. Therefore it cannot be concluded that the Gupta pulmonary risk index will perform better in clinical practice than the ARISCAT model.
The STARSurg Collaborative (2022) compared the ARISCAT model with 5 other prediction models, see Table 3. The ARISCAT model outperformed the other models with regard to discriminatory performance. However, no information on the calibration of the specific models was reported. According to the authors there was either no information available to assess calibration or the models showed poor calibration. It was not specified which models showed poor calibration. As a result it cannot reliably be determined which model(s) will ultimately perform best in clinical practice.
Level of evidence of the literature
Performance of the ARISCAT model
The level of evidence regarding the outcome measure discrimination started at high and was downgraded by two levels to low because of study limitations (risk of bias, -1) and applicability due to a broader surgical population also including pulmonary surgery (indirectness, -1).
The level of evidence regarding the outcome measure calibration started at high and was downgraded by three levels to very low because of study limitations (risk of bias, -1); conflicting results (inconsistency, -1); applicability due to a broader surgical population also including pulmonary surgery (indirectness, -1).
The level of evidence regarding the outcome measures sensitivity and specificity started at high and was downgraded by three levels to very low because of study limitations (risk of bias, -1); conflicting results (inconsistency, -1); applicability due to a broader surgical population also including pulmonary surgery (indirectness, -1).
Comparison of the ARISCAT model with other externally validated models
Comparison with Gupta pulmonary risk index
The level of evidence regarding the outcome measure discrimination started at high and was downgraded by two levels to low because of study limitations (risk of bias, -1) and overlapping confidence intervals (imprecision, -1).
The level of evidence regarding the outcome measure calibration started at high and was downgraded by two levels to low because of study limitations (risk of bias, -1); unknown confidence intervals (imprecision, -1).
Comparison with Brooks-Brunn (1997), Brooks-Brunn (1998), SPORC (2013), Jeong (2014) and Kawasaki (2019)
The level of evidence regarding the outcome measure discrimination started at high and was downgraded by two levels to low because of study limitations (risk of bias, -1) and applicability due to a broader surgical population also including pulmonary surgery (indirectness, -1).
The level of evidence regarding the outcome measure calibration could not be determined as no studies reported the outcome calibration.
Zoeken en selecteren
A systematic review of the literature was performed to answer the following question:
What is the prognostic value of the ARISCAT risk index compared with a different risk score or no score to predict postoperative pulmonary complications in patients undergoing non-pulmonary surgery?
| P (Patients): | Patients undergoing non-pulmonary surgery |
| I (Intervention): | ARISCAT risk index |
| C (Comparison): | Other risk score/no score |
| O (Outcome): |
Incidence of postoperative pulmonary complications (PPCs), model performance: discrimination, calibration, sensitivity, specificity |
| Timing/Setting: | Pre-surgical screening by anesthesiologist |
Prognostic research: Study design and hierarchy
When reviewing literature, there is a hierarchy in quality of prognostic studies. Preferably, the effectiveness of a clinical decision model is evaluated in a clinical trial. Unfortunately, these studies are very rare. If not available, studies in which prognostic multivariable models are developed and validated in other samples of the target population (external validation) are preferred as there is more confidence in the results of these studies compared to studies that are not externally validated. Most samples do not completely reflect the characteristics of the total population, resulting in deviated associations, possibly having consequences for conclusions. Studies validating prognostic multivariable models internally (for example bootstrapping or cross validation) can be used to answer the research question as well, but downgrading the level of evidence is obvious due to risk of bias and/or indirectness as it is not clear whether models perform sufficiently in target populations.
Relevant outcomes
The guideline development group considered model performance (discrimination and calibration) as a critical outcome measure for decision making and sensitivity and specificity as important outcome measures for decision making.
Model performance:
- Discrimination: The AUC ranges between 0.5 (model performs no better than chance) and 1, with higher values indicating better discrimination between patients who are high risk and low risk. Labeling specific AUC ranges as poor, moderate, good, or excellent does not seem to be justified (De Hond, 2022).
- Calibration: The Hosmer-Lemeshow is not recommended (Van Calster, 2019). Given the variety of methods reporting calibration, no minimum value was determined and model calibration was evaluated after data extraction.
When comparing two prediction models it is important to take both their discriminatory performance and calibration into account. The model with the higher AUC may perform worse in clinical practice if predictions are not well-calibrated (De Hond, 2022). Therefore it is not possible to determine minimally important differences for discrimination or calibration performance. The models were evaluated after data extraction.
Search and select (Methods)
On the 26th of May 2023, a systematic search was performed in the databases Embase.com and Ovid/Medline for systematic reviews, RCTs and observational studies about ARISCAT. The detailed search strategy is presented in the Methods section. The search resulted in 35 unique hits. Studies were selected based on the following criteria: studies reporting on the performance of the ARISCAT model and/or comparison of the ARISCAT model with other externally validated models predicting PPCs, published after 2000.
Based on title and abstract screening, 15 studies were initially selected. After reading the full text, 7 studies were excluded and 8 studies were included (see the table with reasons for exclusion under the Methods tab). Two additional external validation studies were identified in the narrative reviews and were also included in the analysis of the literature.
Results
Ten studies were included in the analysis of the literature. Important study characteristics and results are summarized in the evidence tables. The assessment of the risk of bias is summarized in the risk of bias tables.
Referenties
- Antoniou SA, Antoniou GA, Koch OO, Köhler G, Pointner R, Granderath FA. Laparoscopic versus open obesity surgery: a meta-analysis of pulmonary complications. Dig Surg. 2015;32(2):98-107. doi: 10.1159/000371749. Epub 2015 Mar 3. PMID: 25765889.
- Arozullah AM, Daley J, Henderson WG, Khuri SF. Multifactorial risk index for predicting postoperative respiratory failure in men after major noncardiac surgery. The National Veterans Administration Surgical Quality Improvement Program. Ann Surg 2000; 232: 242–53.
- Beattie WS, Karkouti K, Wijeysundera DN, Tait G. Risk associated with preoperative anemia in noncardiac surgery: a single-center cohort study. Anesthesiology. 2009 Mar;110(3):574-81. doi: 10.1097/ALN.0b013e31819878d3. PMID: 19212255.
- Brooks-Brunn JA. Validation of a predictive model for postoperative pulmonary complications. Heart Lung 1998; 27: 151–58.
- Brooks-Brunn JA. Predictors of postoperative pulmonary complications following abdominal surgery. Chest 1997; 111: 564–71.
- Brueckmann B, Villa-Uribe JL, Bateman BT, Grosse-Sundrup M, Hess DR, Schlett CL, Eikermann M. Development and validation of a score for prediction of postoperative respiratory complications. Anesthesiology. 2013 Jun;118(6):1276-85. doi: 10.1097/ALN.0b013e318293065c. PMID: 23571640.
- Bulte CSE, Boer C, Hemmes SNT, Serpa Neto A, Binnekade JM, Hedenstierna G, Jaber S, Hiesmayr M, Hollmann MW, Mills GH, Vidal Melo MF, Pearse RM, Putensen C, Schmid W, Severgnini P, Wrigge H, Gama de Abreu M, Pelosi P, Schultz MJ; for the LAS VEGAS; study–investigators; the PROVE Network; and the Clinical Trial Network of the European Society of Anaesthesiology. The effects of preoperative moderate to severe anaemia on length of hospital stay: A propensity score-matched analysis in non-cardiac surgery patients. Eur J Anaesthesiol. 2021 Jun 1;38(6):571-581. doi: 10.1097/EJA.0000000000001412. PMID: 33399375; PMCID: PMC9867571.
- Canet J, Gallart L, Gomar C, et al. Prediction of postoperative pulmonary complications in a population-based surgical cohort. Anesthesiology 2010; 113: 1338–50.
- Canet J, Sabaté S, Mazo V, Gallart L, de Abreu MG, Belda J, Langeron O, Hoeft A, Pelosi P; PERISCOPE group. Development and validation of a score to predict postoperative respiratory failure in a multicentre European cohort: A prospective, observational study. Eur J Anaesthesiol. 2015 Jul;32(7):458-70. doi: 10.1097/EJA.0000000000000223. PMID: 26020123.
- De Hond AAH, Steyerberg EW, van Calster B. Interpreting area under the receiver operating characteristic curve. Lancet Digit Health. 2022 Dec;4(12):e853-e855. doi: 10.1016/S2589-7500(22)00188-1. Epub 2022 Oct 18. PMID: 36270955.
- Deng JZ, Chan JS, Potter AL, Chen YW, Sandhu HS, Panda N, Chang DC, Yang CJ. The Risk of Postoperative Complications After Major Elective Surgery in Active or Resolved COVID-19 in the United States. Ann Surg. 2022 Feb 1;275(2):242-246. doi: 10.1097/SLA.0000000000005308. PMID: 34793348; PMCID: PMC8745943.
- Fuks D, Cauchy F, Ftériche S, Nomi T, Schwarz L, Dokmak S, Scatton O, Fusco G, Belghiti J, Gayet B, Soubrane O. Laparoscopy Decreases Pulmonary Complications in Patients Undergoing Major Liver Resection: A Propensity Score Analysis. Ann Surg. 2016 Feb;263(2):353-61. doi: 10.1097/SLA.0000000000001140. PMID: 25607769.
- Jammer I, Wickboldt N, Sander M, Smith A, Schultz MJ, Pelosi P, et al. Standards for definitions and use of outcome measures for clinical effectiveness research in perioperative medicine: European Perioperative Clinical Outcome (EPCO) definitions. A statement from the ESA-ESICM joint taskforce on perioperative outcome measures. Eur J Anaesthesiol. 2015;32(2):88–105. https://doi.org/10.1097/EJA.0000000000000118
- Jeong BH, Shin B, Eom JS, et al. Development of a prediction rule for estimating postoperative pulmonary complications. PLoS One 2014; 9: e113656.
- Jin Y, Xie G, Wang H, Jin L, Li J, Cheng B, Zhang K, Hoeft A, Fang X. Incidence and risk factors of postoperative pulmonary complications in noncardiac Chinese patients: a multicenter observational study in university hospitals. Biomed Res Int. 2015;2015:265165. doi: 10.1155/2015/265165. Epub 2015 Mar 2. PMID: 25821791; PMCID: PMC4363533.
- Humbert M, Kovacs G, Hoeper MM, Badagliacca R, Berger RMF, Brida M, Carlsen J, Coats AJS, Escribano-Subias P, Ferrari P, Ferreira DS, Ghofrani HA, Giannakoulas G, Kiely DG, Mayer E, Meszaros G, Nagavci B, Olsson KM, Pepke-Zaba J, Quint JK, Rådegran G, Simonneau G, Sitbon O, Tonia T, Toshner M, Vachiery JL, Vonk Noordegraaf A, Delcroix M, Rosenkranz S; ESC/ERS Scientific Document Group. 2022 ESC/ERS Guidelines for the diagnosis and treatment of pulmonary hypertension. Eur Respir J. 2023 Jan 6;61(1):2200879. doi: 10.1183/13993003.00879-2022. PMID: 36028254.
- Kawasaki K, Yamamoto M, Suka Y, Kawasaki Y, Ito K, Koike D, Furuya T, Nagai M, Nomura Y, Tanaka N, Kawaguchi Y. Development and validation of a nomogram predicting postoperative pneumonia after major abdominal surgery. Surg Today. 2019 Sep;49(9):769-777. doi: 10.1007/s00595-019-01796-8. Epub 2019 Mar 27. PMID: 30919124.
- Kokotovic D, Degett TH, Ekeloef S, Burcharth J. The ARISCAT score is a promising model to predict postoperative pulmonary complications after major emergency abdominal surgery: an external validation in a Danish cohort. Eur J Trauma Emerg Surg. 2022 Oct;48(5):3863-3867. doi: 10.1007/s00068-021-01826-6. Epub 2022 Jan 20. PMID: 35050387.
- Kor DJ, Warner DO, Alsara A, Fernández-Pérez ER, Malinchoc M, Kashyap R, Li G, Gajic O. Derivation and diagnostic accuracy of the surgical lung injury prediction model. Anesthesiology. 2011 Jul;115(1):117-28. doi: 10.1097/ALN.0b013e31821b5839. PMID: 21694510; PMCID: PMC3986041.
- Lee CZ, Kao LT, Lin HC, Wei PL. Comparison of clinical outcome between laparoscopic and open right hemicolectomy: a nationwide study. World J Surg Oncol. 2015 Aug 15;13:250. doi: 10.1186/s12957-015-0666-7. PMID: 26271770; PMCID: PMC4536701.
- Liu J, Ma Y, Xie W, Li X, Wang Y, Xu Z, Bai Y, Yin P, Wu Q. Lasso-Based Machine Learning Algorithm for Predicting Postoperative Lung Complications in Elderly: A Single-Center Retrospective Study from China. Clin Interv Aging. 2023 Apr 14;18:597-606. doi: 10.2147/CIA.S406735. PMID: 37082742; PMCID: PMC10112481.
- Lukannek C, Shaefi S, Platzbecker K, et al. The development and validation of the Score for the Prediction of Postoperative Respiratory Complications (SPORC-2) to predict the requirement for early postoperative tracheal re-intubation: a hospital registry study. Anaesthesia 2019; 74: 1165–74.
- Mazo V, Sabaté S, Canet J, Gallart L, de Abreu MG, Belda J, Langeron O, Hoeft A, Pelosi P. Prospective external validation of a predictive score for postoperative pulmonary complications. Anesthesiology. 2014 Aug;121(2):219-31. doi: 10.1097/ALN.0000000000000334. PMID: 24901240.
- Neto AS, da Costa LGV, Hemmes SNT, Canet J, Hedenstierna G, Jaber S, Hiesmayr M, Hollmann MW, Mills GH, Vidal Melo MF, Pearse R, Putensen C, Schmid W, Severgnini P, Wrigge H, Gama de Abreu M, Pelosi P, Schultz MJ; LAS VEGAS. The LAS VEGAS risk score for prediction of postoperative pulmonary complications: An observational study. Eur J Anaesthesiol. 2018 Sep;35(9):691-701. doi: 10.1097/EJA.0000000000000845. PMID: 29916860; PMCID: PMC7450515.
- Nithiuthai J, Siriussawakul A, Junkai R, Horugsa N, Jarungjitaree S, Triyasunant N. Do ARISCAT scores help to predict the incidence of postoperative pulmonary complications in elderly patients after upper abdominal surgery? An observational study at a single university hospital. Perioper Med (Lond). 2021 Dec 8;10(1):43. doi: 10.1186/s13741-021-00214-3. PMID: 34876228; PMCID: PMC8653534.
- Perilli V, Aceto P, Ancona P, De Cicco R, Papanice D, Magalini S, Pepe G, Cozza V, Gui D, Lai C, Sollazzi L. Role of surgical setting and patients-related factors in predicting the occurrence of postoperative pulmonary complications after abdominal surgery. Eur Rev Med Pharmacol Sci. 2018 Jan;22(2):547-550. doi: 10.26355/eurrev_201801_14208. PMID: 29424916.
- Ramspek CL, Jager KJ, Dekker FW, Zoccali C, van Diepen M. External validation of prognostic models: what, why, how, when and where? Clin Kidney J. 2020 Nov 24;14(1):49-58. doi: 10.1093/ckj/sfaa188. PMID: 33564405; PMCID: PMC7857818.
- Smetana GW, Lawrence VA, Cornell JE; American College of Physicians. Preoperative pulmonary risk stratification for noncardiothoracic surgery: systematic review for the American College of Physicians. Ann Intern Med. 2006 Apr 18;144(8):581-95. doi: 10.7326/0003-4819-144-8-200604180-00009. PMID: 16618956.
- Sousa Menezes A, Fernandes A, Rocha Rodrigues J, Salomé C, Machado F, Antunes L, Castro Silva J, Monteiro E, Lara Santos L. Optimizing classical risk scores to predict complications in head and neck surgery: a new approach. Eur Arch Otorhinolaryngol. 2021 Jan;278(1):191-202. doi: 10.1007/s00405-020-06133-1. Epub 2020 Jun 18. PMID: 32556466; PMCID: PMC7302498.
- STARSurg Collaborative and TASMAN Collaborative. Evaluation of prognostic risk models for postoperative pulmonary complications in adult patients undergoing major abdominal surgery: a systematic review and international external validation cohort study. Lancet Digit Health. 2022 Jul;4(7):e520-e531. doi: 10.1016/S2589-7500(22)00069-3. PMID: 35750401.
- Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW; Topic Group ‘Evaluating diagnostic tests and prediction models’ of the STRATOS initiative. Calibration: the Achilles heel of predictive analytics. BMC Med. 2019 Dec 16;17(1):230. doi: 10.1186/s12916-019-1466-7. PMID: 31842878; PMCID: PMC6912996.
- Warner DO, Warner MA, Barnes RD, Offord KP, Schroeder DR, Gray DT, et al. Perioperative respiratory complications in patients with asthma. Anesthesiology. 1996;85(3):460–7.
- Wood CB, Shinn JR, Rees AB, Patel PN, Freundlich RE, Smith DK, McEvoy MD, Rohde SL. Existing Predictive Models for Postoperative Pulmonary Complications Perform Poorly in a Head and Neck Surgery Population. J Med Syst. 2019 Aug 26;43(10):312. doi: 10.1007/s10916-019-1435-x. PMID: 31451999; PMCID: PMC6800103.
- Woods BD, Sladen RN. Perioperative considerations for the patient with asthma and bronchospasm. Br J Anaesth. 2009 Dec;103 Suppl 1:i57-65. doi: 10.1093/bja/aep271. PMID: 20007991.
- Wu WC, Schifftner TL, Henderson WG, Eaton CB, Poses RM, Uttley G, Sharma SC, Vezeridis M, Khuri SF, Friedmann PD. Preoperative hematocrit levels and postoperative outcomes in older patients undergoing noncardiac surgery. JAMA. 2007 Jun 13;297(22):2481-8. doi: 10.1001/jama.297.22.2481. PMID: 17565082.
Evidence tabellen
Table of quality assessment – prediction modelling studies
(The criteria used in this checklist are based on PROBASTA version 15/05/2019)
|
Study reference (first author, year of publication)
Classification1
|
Participant selection 1) Appropriate data sources?2 2) Appropriate in- and exclusion?
Definitely yes Probably yes Probably no Definitely no No information |
Predictors 1) Assessed similar for all participants? 2) Assessed without knowledge of outcome? 3) Available at time the model is intended to be used?
Definitely yes Probably yes Probably no Definitely no No information |
Outcome 1) Pre-specified or standard outcome definition? 2) Predictors excluded from definition? 3) Assessed similar for all participants? 4) Assessed without knowledge of predictors? 5) Time interval between predictor and outcome measurement appropriate?
Definitely yes Probably yes Probably no Definitely no No information |
Analysis 1) Reasonable number of participants with event/outcome? 2) All enrolled participants included in analysis? 3) Missing data handled appropriately? 4) No selection of predictors based on univariate analysis? 5) Relevant model performance measures evaluated appropriately?3 6) Accounted for model overfitting4 and optimism? 7) Predictors and weights correspond to results from multivariate analysis?
Definitely yes Probably yes Probably no Definitely no No information |
Overall judgment
High risk of bias: at least one domain judged to be at high risk of bias.
Model development only: high risk of bias.
Risk of bias: Low High |
|
Canet (2010)
Development and internal validation ARISCAT |
Conclusion: Probably yes
Reason: cohort study, appropriate in-/exclusion criteria.
|
Conclusion: Probably yes
Reason: multiple hospitals (59), but used a questionnaire with definitions for the predictors.
|
Conclusion: Probably yes
Reason: Outcome clearly defined, general and local training sessions were held to instruct the investigators on how to complete the structured questionnaire and how to identify the PPC outcomes recorded in the charts. An expert on the International Classification of Diseases, Ninth Revision, Clinical Modification, coded all diagnoses and procedures at the end of the study.
|
Conclusion: Probably no
Reason: Outcome incidence 123/2,464 patients (also includes validation subsample). EPV < 10 (33 variables entered). Calibration only assessed by Hosmer-Lemeshow test. |
High (model development only) |
|
Mazo (2014)
External validation ARISCAT |
Conclusion: Probably yes
Reason: cohort study, appropriate in-/exclusion criteria. |
Conclusion: No information/probably yes
Reason: multiple hospitals in multiple countries. Data recorded preoperatively by anesthesiologist
|
Conclusion: Probably yes
Reason: Outcome clearly defined. Patients with PPCs were identified by data collectors who consulted medical records in real time, daily while they were being created, to find events that fulfilled any PPC definition; they did not modify a center’s customary management of patients.
|
Conclusion: Probably yes
Reason: >100 patients with outcome, appropriate measures for model performance
|
Low |
|
Jin (2015)
External validation ARISCAT |
Conclusion: Probably yes
Reason: cohort study, appropriate in-/exclusion criteria. |
Conclusion: No information
Reason: multiple hospitals, two trained anesthesiologists were assigned at each center to collect the […] data, no information about timing/blinding. |
Conclusion: Probably yes/no information
Reason: Outcome defined, no information about knowledge of predictors.
|
Conclusion: Definitely no/no information
Reason: little information on analysis, <100 events in validation subsample, calibration not assessed.
|
High |
|
Neto (2018)
External validation ARISCAT |
Conclusion: Probably yes
Reason: cohort study, appropriate in-/exclusion criteria. |
Conclusion: No information
Reason: Data are collected as part of routine clinical care, multiple hospitals in different countries, so may be different. |
Conclusion: Probably yes/ no information
Reason: Outcome defined, no information about knowledge of predictors.
|
Conclusion: Definitely no
Reason: appropriate measures for module performance, but inappropriate comparison between models (internal validation vs. external validation). Missing data not handled appropriately (3,801/9,864 patients excluded due to missing data).
|
High |
|
Wood (2019)
External validation ARISCAT |
Conclusion: Probably yes/no information
Reason: cohort study, no exclusion criteria mentioned.
|
Conclusion: No information
Reason: No information on how predictors were assessed.
|
Conclusion: Probably yes/ no information
Reason: Outcome defined, no information about knowledge of predictors.
|
Conclusion: Probably yes
Reason: >100 patients with outcome, appropriate measures for model performance. Missing data was dealt with using multiple imputation.
|
Some concerns due to lack of information/applicability (target population) |
|
Nithiuthai (2021)
External validation ARISCAT |
Conclusion: Unclear
Reason: cohort study. Exclusion criteria may be inappropriate: incomplete medical records.
|
Conclusion: No information
Reason: data obtained from medical records, but no further information.
|
Conclusion: Probably yes/ no information
Reason: Outcome defined, but no further information.
|
Conclusion: Definitely no
Reason: Incomplete medical records used as exclusion criterium, <100 events, model calibration not assessed.
|
High |
|
Sousa Menezes (2021)
External validation ARISCAT |
Conclusion: Probably yes/no information
Reason: cohort study, exclusion criteria not reported.
|
Conclusion: No information
Reason: Data obtained from medical records, but no further information
|
Conclusion: Probably yes
Reason: outcome defined, follow-up time appropriate.
|
Conclusion: Definitely no
Reason: <100 events, model calibration not assessed, no information on how missing data was handled
|
High |
|
Kokotovic (2022)
External validation ARISCAT |
Conclusion: Probably yes/no information
Reason: cohort study, exclusion criteria not reported.
|
Conclusion: Probably yes
Reason: Data collected prospectively.
|
Conclusion: Probably yes/ no information
Reason: Outcome defined, but no further information. |
Conclusion: Definitely no
Reason: Only reported that few patients had missing data, no information on how it was handled; inappropriate measure for model calibration (Hosmer-Lemeshow). Original model equation was used instead of the simplified scoring system that would be used in practice.
|
High |
|
The STARSurg Collaborative and TASMAN Collaborative (2022)
External validation ARISCAT |
Conclusion: Probably yes
Reason: cohort study, exclusion criteria seem appropriate.
|
Conclusion: Probably yes
Reason: Data collected with a prespecified case report form, Data collection teams were unaware of the predictors that would be included in this external validation, therefore no blinding to outcomes or other predictors was deemed necessary.
|
Conclusion: Definitely yes
Reason: Outcome defined, follow-up period appropriate, data collection teams were unaware of the predictors that would be included in this external validation, therefore no blinding to outcomes or other predictors was deemed necessary.
|
Conclusion: Probably yes
Reason: Appropriate measures for model performance, no information on how missing data was handled, >100 events.
|
Low |
|
Liu (2023)
External validation ARISCAT |
Conclusion: Unclear
Reason: cohort study, exclusion criteria may not be propriate (discharged within 24 hours, patients with missing data).
|
Conclusion: No information
Reason: Data obtained from medical records, but no further information
|
Conclusion: Probably yes/ no information
Reason: Outcome defined, but no further information. |
Conclusion: Definitely no
Reason: inappropriate measure for calibration (Hosmer-Lemeshow), inappropriate comparison between models (internal validation vs. external validation). Missing data not handled appriopriately (patients with missing data were excluded)
|
High |
A Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, Reitsma JB, Kleijnen J, Mallett S; PROBAST Group. PROBAST: A Tool to Assess the Risk of Bias and Applicability of Prediction Model Studies. Ann Intern Med. 20191;170(1):51-58. doi: 10.7326/M18-1376. PubMed PMID: 30596875.
1 Development of model only / Development and external validation of model / External validation of model
2 Cohort, RCT or nested case-control study
3 E.g. calibration (total O:E ratio; expected outcome probabilities versus observed outcome frequencies) and discrimination (range 0.5 (no discriminative ability) to 1.0 (perfect discriminative ability)
4 Overfitting: for low ORs the predicted probability is too low, for high ORs the predicted probability is too high. Correcting is possible with shrinkage.
EPV = events per variable
Table of excluded studies
|
Reference |
Reason for exclusion |
|
Gupta S, Fernandes RJ, Rao JS, Dhanpal R. Perioperative risk factors for pulmonary complications after non-cardiac surgery. J Anaesthesiol Clin Pharmacol. 2020 Jan-Mar;36(1):88-93. doi: 10.4103/joacp.JOACP_54_19. Epub 2020 Feb 18. PMID: 32174665; PMCID: PMC7047701. |
Wrong outcome: no model performance outcomes for ARISCAT |
|
Kara S, Küpeli E, Yılmaz HEB, Yabanoğlu H. Predicting Pulmonary Complications Following Upper and Lower Abdominal Surgery: ASA vs. ARISCAT Risk Index. Turk J Anaesthesiol Reanim. 2020 Apr;48(2):96-101. doi: 10.5152/TJAR.2019.28158. Epub 2019 Oct 8. PMID: 32259139; PMCID: PMC7101190. |
Wrong outcome: correlations |
|
Kupeli E, Er Dedekarginoglu B, Ulubay G, Oner Eyuboglu F, Haberal M. American Society of Anesthesiologists Classification Versus ARISCAT Risk Index: Predicting Pulmonary Complications Following Renal Transplant. Exp Clin Transplant. 2017 Feb;15(Suppl 1):208-213. doi: 10.6002/ect.mesot2016.P89. PMID: 28260470. |
Wrong outcome: no model performance outcomes |
|
Luedike P, Totzeck M, Rammos C, Kindgen-Milles D, Kelm M, Rassaf T. The MACOCHA score is feasible to predict intubation failure of nonanesthesiologist intensive care unit trainees. J Crit Care. 2015 Oct;30(5):876-80. doi: 10.1016/j.jcrc.2015.04.118. Epub 2015 May 8. PMID: 26002431. |
Wrong risk score: truncated MACOCHA |
|
Min JJ, Kim G, Kim E, Lee JH. The diagnostic validity of clinical airway assessments for predicting difficult laryngoscopy using a grey zone approach. J Int Med Res. 2016 Aug;44(4):893-904. doi: 10.1177/0300060516642647. Epub 2016 Jun 6. PMID: 27268499; PMCID: PMC5536638. |
Wrong outcome (difficult laryngoscopy) |
|
Nijbroek SG, Schultz MJ, Hemmes SNT. Prediction of postoperative pulmonary complications. Curr Opin Anaesthesiol. 2019 Jun;32(3):443-451. doi: 10.1097/ACO.0000000000000730. PMID: 30893115. |
Wrong study design: narrative review |
|
Perilli V, Aceto P, Ancona P, De Cicco R, Papanice D, Magalini S, Pepe G, Cozza V, Gui D, Lai C, Sollazzi L. Role of surgical setting and patients-related factors in predicting the occurrence of postoperative pulmonary complications after abdominal surgery. Eur Rev Med Pharmacol Sci. 2018 Jan;22(2):547-550. doi: 10.26355/eurrev_201801_14208. PMID: 29424916. |
Wrong aim: to evaluate the role of surgical setting and approach in affecting PPC prevalence |
Verantwoording
Beoordelingsdatum en geldigheid
Publicatiedatum : 29-09-2025
Beoordeeld op geldigheid : 09-07-2025
Algemene gegevens
De ontwikkeling/herziening van deze richtlijnmodule werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten (www.demedischspecialist.nl/kennisinstituut) en werd gefinancierd uit de Stichting Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijnmodule.
Samenstelling werkgroep
Voor het ontwikkelen van de richtlijnmodule is in 2022 een multidisciplinaire werkgroep ingesteld, bestaande uit vertegenwoordigers van alle relevante specialismen (zie hiervoor de Samenstelling van de werkgroep) die betrokken zijn bij de zorg voor patiënten met een hoog risico op pulmonale complicaties die een niet-pulmonale ingreep ondergaan.
Werkgroep
Drs. R.P. (Peter) Meijer (voorzitter), anesthesioloog, NVA
Dr. J.P. (Jop) van den Berg, anesthesioloog, NVA
Dr. S.N.T. (Sabrine) Hemmes, anesthesioloog, NVA
Dr. M. (Marije) Marsman, anesthesioloog, NVA
Drs. M.W. (Mart) Groot, anesthesioloog-intensivist, NVIC
Drs. M. (Marjolein) van Laren, longarts, NVALT
Klankbordgroep
Dr. M. (Martijn) Boon, anesthesioloog, NVA
Drs. J.L.A (Jurriën) Embrechts, KNO-arts, NVKNO
Dr. H.J. (Erik) Hulzebos, klinisch inspanningsfysioloog en (sport)fysiotherapeut, KNGF
Drs. Y.J. (Yvonne) Kappe, senior beleidsadviseur/ patiëntvertegenwoordiger, Longfonds
Met ondersteuning van
Drs. F. (Femke) Janssen, junior adviseur, Kennisinstituut van de Federatie Medisch Specialisten, t/m mei 2023
Drs. A.E. (Amber) van der Meij, adviseur, Kennisinstituut van de Federatie Medisch Specialisten, vanaf maart 2023
Dr. M.S. (Matthijs) Ruiter, senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten
Belangenverklaringen
De Code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement) hebben gehad. Gedurende de ontwikkeling of herziening van een module worden wijzigingen in belangen aan de voorzitter doorgegeven. De belangenverklaring wordt opnieuw bevestigd tijdens de commentaarfase.
Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.
|
Werkgroeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
|
Romke Peter Meijer (voorzitter) |
Anesthesioloog, Amsterdam UMC adjunct medisch directeur, Amsterdam UMC tot 1-5-2019
|
Geen |
Geen |
Geen |
|
Johannes Pieter (Jop) van den Berg |
Anesthesioloog in het UMC Groningen, 0,9FTE, betaald. |
Medisch Manager Evenementenzorg, Rode Kruis, vrijwillig (inmiddels afgerond) Lid Medische Raad, Nederlandse Reanimatieraad, vrijwillig |
Uitsluitend de afdeling anesthesiologie ontving (soms) funding voor lopend onderzoek. Er zijn geen individuele financiële conflicten van belangen te vermelden. |
Geen |
|
Marjolein van Laren |
Longarts Dijklander Ziekenhuis Hoorn en Purmerend |
Geen |
Geen |
Geen |
|
Marije Marsman |
Anesthesioloog UMC Utrecht |
Geen |
Artikel gepubliceerd bij NTVG dat gaat over mate van implementatie van deze richtlijn in het UMC Utrecht. |
Geen |
|
Mart Wouter Groot |
Anesthesioloog-intensivist, Erasmus MC |
Geen |
Geen |
Geen |
|
Sabrine Nienke Tallechina Hemmes |
Anesthesioloog, Het Nederlands Kanker Instituut – Antoni van Leeuwenhoek Ziekenhuis, Afdeling Anesthesiologie. |
Geen |
Publicaties over postoperative pulmonale complicaties. Enkele gepubliceerde onderzoeken werden deels gefinancieerd door onderzoek-specifieke beurzen van de ESAIC. |
Geen |
|
Amber van der Meij |
Adviseur, Kennisinstituut van de Federatie Medisch Specialisten |
Geen |
Geen |
Geen |
|
Matthijs Ruiter |
Senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten |
Geen |
Geen |
Geen |
|
Klankbord-groeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
|
Erik Hulzebos
|
Medisch Fysioloog en (sport)fysiotherapeut, UMC Utrecht |
Secretaris VHVL |
Extern gefinancierd onderzoek: Prinses Beatrix Spierfonds |
Geen |
|
Jurriën Embrechts |
Rhinologist / anterior skull base surgeon, Christchurch city hospital, (New Zealand).
|
Data scientist, Expertisecentrum Zorgalgoritmen |
Geen |
Geen |
|
Martijn Boon |
Anesthesioloog Leids Universitair Medisch Centrum |
Geen |
Extern gefinancierd onderzoek: 2. MSD: Invloed van diepe neuromusculaire blokkade op de incidentie van intraoperatieve adverse events, projectleider Ja |
Geen |
|
Yvonne Kappe (Longfonds) |
Senior Beleidsadviseur Longfonds |
Beleidsadviseur astmaVereniging Nederland en Davos |
Geen |
Geen |
Inbreng patiëntenperspectief
Er werd aandacht besteed aan het patiëntenperspectief door het uitnodigen van de Patiëntenfederatie Nederland en Longfonds voor de knelpunteninventarisatie en deelname van Longfonds aan de klankbordgroep. De binnengekomen reacties tijdens op de knelpunteninventarisatie zijn besproken in de werkgroep. De verkregen input is meegenomen bij het opstellen van de uitgangsvragen, de keuze voor de uitkomstmaten en bij het opstellen van de overwegingen. De conceptrichtlijn is tevens voorgelegd aan Longfonds en de eventueel aangeleverde commentaren zijn bekeken en verwerkt.
Kwalitatieve raming van mogelijke financiële gevolgen in het kader van de Wkkgz
Bij de richtlijnmodule is conform de Wet kwaliteit, klachten en geschillen zorg (Wkkgz) een kwalitatieve raming uitgevoerd om te beoordelen of de aanbevelingen mogelijk leiden tot substantiële financiële gevolgen. Bij het uitvoeren van deze beoordeling is de richtlijnmodule op verschillende domeinen getoetst (zie het stroomschema op de Richtlijnendatabase).
|
Module |
Uitkomst kwalitatieve raming |
Toelichting |
|
Screening |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbevelingen breed toepasbaar zijn, volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft, het geen toename in het aantal in te zetten voltijdsequivalenten aan zorgverleners betreft en het geen wijziging in het opleidingsniveau van het zorgpersoneel betreft. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Werkwijze
AGREE
Deze richtlijnmodule is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010).
Knelpuntenanalyse en uitgangsvragen
Tijdens de voorbereidende fase beoordeelde de werkgroep de aanbevelingen uit de eerdere richtlijn Perioperatieve pulmonale complicaties (NVA, 2012) op noodzaak tot revisie. Daarnaast inventariseerde de werkgroep de knelpunten in de zorg voor patiënten met een hoog risico op pulmonale complicaties die een niet-pulmonale ingreep ondergaan. Tevens zijn er knelpunten aangedragen door de NVA, NVKNO en NVKG via een schriftelijke knelpunteninventarisatie. Een overzicht hiervan is opgenomen onder aanverwante producten.
Op basis van de uitkomsten van de knelpunteninventarisatie zijn door de werkgroep concept-uitgangsvragen opgesteld en definitief vastgesteld.
Uitkomstmaten
Na het opstellen van de zoekvraag behorende bij de uitgangsvraag inventariseerde de werkgroep welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. Hierbij werd een maximum van acht uitkomstmaten gehanteerd. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.
Methode literatuursamenvatting
Een uitgebreide beschrijving van de strategie voor zoeken en selecteren van literatuur is te vinden onder ‘Zoeken en selecteren’ onder Onderbouwing. Indien mogelijk werd de data uit verschillende studies gepoold in een random-effects model. Review Manager 5.4 werd gebruikt voor de statistische analyses. De beoordeling van de kracht van het wetenschappelijke bewijs wordt hieronder toegelicht.
Beoordelen van de kracht van het wetenschappelijke bewijs
De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/). De basisprincipes van de GRADE-methodiek zijn: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat, en een beoordeling van de bewijskracht per uitkomstmaat op basis van de acht GRADE-domeinen (domeinen voor downgraden: risk of bias, inconsistentie, indirectheid, imprecisie, en publicatiebias; domeinen voor upgraden: dosis-effect relatie, groot effect, en residuele plausibele confounding).
GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie, in het bijzonder de mate van zekerheid dat de literatuurconclusie de aanbeveling adequaat ondersteunt (Schünemann, 2013; Hultcrantz, 2017).
|
GRADE |
Definitie |
|
Hoog |
|
|
Redelijk |
|
|
Laag |
|
|
Zeer laag |
|
Bij het beoordelen (graderen) van de kracht van het wetenschappelijk bewijs in richtlijnen volgens de GRADE-methodiek spelen grenzen voor klinische besluitvorming een belangrijke rol (Hultcrantz, 2017). Dit zijn de grenzen die bij overschrijding aanleiding zouden geven tot een aanpassing van de aanbeveling. Om de grenzen voor klinische besluitvorming te bepalen moeten alle relevante uitkomstmaten en overwegingen worden meegewogen. De grenzen voor klinische besluitvorming zijn daarmee niet één op één vergelijkbaar met het minimaal klinisch relevant verschil (Minimal Clinically Important Difference, MCID). Met name in situaties waarin een interventie geen belangrijke nadelen heeft en de kosten relatief laag zijn, kan de grens voor klinische besluitvorming met betrekking tot de effectiviteit van de interventie bij een lagere waarde (dichter bij het nuleffect) liggen dan de MCID (Hultcrantz, 2017).
Overwegingen (van bewijs naar aanbeveling)
Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals aanvullende argumenten uit bijvoorbeeld de biomechanica of fysiologie, waarden en voorkeuren van patiënten, kosten (middelenbeslag), aanvaardbaarheid, haalbaarheid en implementatie. Deze aspecten zijn systematisch vermeld en beoordeeld (gewogen) onder het kopje ‘Overwegingen’ en kunnen (mede) gebaseerd zijn op expert opinion. Hierbij is gebruik gemaakt van een gestructureerd format gebaseerd op het evidence-to-decision framework van de internationale GRADE Working Group (Alonso-Coello, 2016a; Alonso-Coello 2016b). Dit evidence-to-decision framework is een integraal onderdeel van de GRADE methodiek.
Formuleren van aanbevelingen
De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk (Agoritsas, 2017; Neumann, 2016). De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen. De werkgroep heeft bij elke aanbeveling opgenomen hoe zij tot de richting en sterkte van de aanbeveling zijn gekomen.
In de GRADE-methodiek wordt onderscheid gemaakt tussen sterke en zwakke (of conditionele) aanbevelingen. De sterkte van een aanbeveling verwijst naar de mate van zekerheid dat de voordelen van de interventie opwegen tegen de nadelen (of vice versa), gezien over het hele spectrum van patiënten waarvoor de aanbeveling is bedoeld. De sterkte van een aanbeveling heeft duidelijke implicaties voor patiënten, behandelaars en beleidsmakers (zie onderstaande tabel). Een aanbeveling is geen dictaat, zelfs een sterke aanbeveling gebaseerd op bewijs van hoge kwaliteit (GRADE gradering HOOG) zal niet altijd van toepassing zijn, onder alle mogelijke omstandigheden en voor elke individuele patiënt.
|
Implicaties van sterke en zwakke aanbevelingen voor verschillende richtlijngebruikers |
||
|
|
||
|
|
Sterke aanbeveling |
Zwakke (conditionele) aanbeveling |
|
Voor patiënten |
De meeste patiënten zouden de aanbevolen interventie of aanpak kiezen en slechts een klein aantal niet. |
Een aanzienlijk deel van de patiënten zouden de aanbevolen interventie of aanpak kiezen, maar veel patiënten ook niet. |
|
Voor behandelaars |
De meeste patiënten zouden de aanbevolen interventie of aanpak moeten ontvangen. |
Er zijn meerdere geschikte interventies of aanpakken. De patiënt moet worden ondersteund bij de keuze voor de interventie of aanpak die het beste aansluit bij zijn of haar waarden en voorkeuren. |
|
Voor beleidsmakers |
De aanbevolen interventie of aanpak kan worden gezien als standaardbeleid. |
Beleidsbepaling vereist uitvoerige discussie met betrokkenheid van veel stakeholders. Er is een grotere kans op lokale beleidsverschillen. |
Organisatie van zorg
In de knelpuntenanalyse en bij de ontwikkeling van de richtlijnmodule is expliciet aandacht geweest voor de organisatie van zorg: alle aspecten die randvoorwaardelijk zijn voor het verlenen van zorg (zoals coördinatie, communicatie, (financiële) middelen, mankracht en infrastructuur). Randvoorwaarden die relevant zijn voor het beantwoorden van deze specifieke uitgangsvraag zijn genoemd bij de overwegingen. Meer algemene, overkoepelende, of bijkomende aspecten van de organisatie van zorg worden behandeld in de module Organisatie van zorg.
Commentaar- en autorisatiefase
De conceptrichtlijnmodule werd aan de betrokken (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd ter commentaar. De commentaren werden verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren werd de conceptrichtlijnmodule aangepast en definitief vastgesteld door de werkgroep. De definitieve richtlijnmodule werd aan de deelnemende (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd.
Literatuur
Agoritsas T, Merglen A, Heen AF, Kristiansen A, Neumann I, Brito JP, Brignardello-Petersen R, Alexander PE, Rind DM, Vandvik PO, Guyatt GH. UpToDate adherence to GRADE criteria for strong recommendations: an analytical survey. BMJ Open. 2017 Nov 16;7(11):e018593. doi: 10.1136/bmjopen-2017-018593. PubMed PMID: 29150475; PubMed Central PMCID: PMC5701989.
Alonso-Coello P, Schünemann HJ, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Rada G, Rosenbaum S, Morelli A, Guyatt GH, Oxman AD; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ. 2016 Jun 28;353:i2016. doi: 10.1136/bmj.i2016. PubMed PMID: 27353417.
Alonso-Coello P, Oxman AD, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Vandvik PO, Meerpohl J, Guyatt GH, Schünemann HJ; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Clinical practice guidelines. BMJ. 2016 Jun 30;353:i2089. doi: 10.1136/bmj.i2089. PubMed PMID: 27365494.
Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, Fervers B, Graham ID, Grimshaw J, Hanna SE, Littlejohns P, Makarski J, Zitzelsberger L; AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010 Dec 14;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348; PubMed Central PMCID: PMC3001530.
Hultcrantz M, Rind D, Akl EA, Treweek S, Mustafa RA, Iorio A, Alper BS, Meerpohl JJ, Murad MH, Ansari MT, Katikireddi SV, Östlund P, Tranæus S, Christensen R, Gartlehner G, Brozek J, Izcovich A, Schünemann H, Guyatt G. The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol. 2017 Jul;87:4-13. doi: 10.1016/j.jclinepi.2017.05.006. Epub 2017 May 18. PubMed PMID: 28529184; PubMed Central PMCID: PMC6542664.
Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwaliteit. http://richtlijnendatabase.nl/over_deze_site/over_richtlijnontwikkeling.html
Neumann I, Santesso N, Akl EA, Rind DM, Vandvik PO, Alonso-Coello P, Agoritsas T, Mustafa RA, Alexander PE, Schünemann H, Guyatt GH. A guide for health professionals to interpret and use recommendations in guidelines developed with the GRADE approach. J Clin Epidemiol. 2016 Apr;72:45-55. doi: 10.1016/j.jclinepi.2015.11.017. Epub 2016 Jan 6. Review. PubMed PMID: 26772609.
Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.
Zoekverantwoording
Algemene informatie
|
Database(s): Embase.com, Ovid/Medline |
Datum: 26 mei 2023 |
|
Periode: vanaf 2000 |
Talen: geen restrictie |
Zoekopbrengst
|
|
EMBASE |
OVID/MEDLINE |
Ontdubbeld |
|
SR |
3 |
3 |
3 |
|
RCT |
15 |
8 |
16 |
|
Observationele studies |
14 |
20 |
16 |
|
Totaal |
32 |
31 |
35* |
*in Rayyan
Zoekstrategie
Embase.com
|
No. |
Query |
Results |
|
#14 |
#7 AND (#10 OR #11) NOT (#12 OR #13) = observationeel |
14 |
|
#13 |
#7 AND #9 NOT #12 = RCT |
15 |
|
#12 |
#7 AND #8 = SR |
3 |
|
#11 |
'case control study'/de OR 'comparative study'/exp OR 'control group'/de OR 'controlled study'/de OR 'controlled clinical trial'/de OR 'crossover procedure'/de OR 'double blind procedure'/de OR 'phase 2 clinical trial'/de OR 'phase 3 clinical trial'/de OR 'phase 4 clinical trial'/de OR 'pretest posttest design'/de OR 'pretest posttest control group design'/de OR 'quasi experimental study'/de OR 'single blind procedure'/de OR 'triple blind procedure'/de OR (((control OR controlled) NEAR/6 trial):ti,ab,kw) OR (((control OR controlled) NEAR/6 (study OR studies)):ti,ab,kw) OR (((control OR controlled) NEAR/1 active):ti,ab,kw) OR 'open label*':ti,ab,kw OR (((double OR two OR three OR multi OR trial) NEAR/1 (arm OR arms)):ti,ab,kw) OR ((allocat* NEAR/10 (arm OR arms)):ti,ab,kw) OR placebo*:ti,ab,kw OR 'sham-control*':ti,ab,kw OR (((single OR double OR triple OR assessor) NEAR/1 (blind* OR masked)):ti,ab,kw) OR nonrandom*:ti,ab,kw OR 'non-random*':ti,ab,kw OR 'quasi-experiment*':ti,ab,kw OR crossover:ti,ab,kw OR 'cross over':ti,ab,kw OR 'parallel group*':ti,ab,kw OR 'factorial trial':ti,ab,kw OR ((phase NEAR/5 (study OR trial)):ti,ab,kw) OR ((case* NEAR/6 (matched OR control*)):ti,ab,kw) OR ((match* NEAR/6 (pair OR pairs OR cohort* OR control* OR group* OR healthy OR age OR sex OR gender OR patient* OR subject* OR participant*)):ti,ab,kw) OR ((propensity NEAR/6 (scor* OR match*)):ti,ab,kw) OR versus:ti OR vs:ti OR compar*:ti OR ((compar* NEAR/1 study):ti,ab,kw) OR (('major clinical study'/de OR 'clinical study'/de OR 'cohort analysis'/de OR 'observational study'/de OR 'cross-sectional study'/de OR 'multicenter study'/de OR 'correlational study'/de OR 'follow up'/de OR cohort*:ti,ab,kw OR 'follow up':ti,ab,kw OR followup:ti,ab,kw OR longitudinal*:ti,ab,kw OR prospective*:ti,ab,kw OR retrospective*:ti,ab,kw OR observational*:ti,ab,kw OR 'cross sectional*':ti,ab,kw OR cross?ectional*:ti,ab,kw OR multicent*:ti,ab,kw OR 'multi-cent*':ti,ab,kw OR consecutive*:ti,ab,kw) AND (group:ti,ab,kw OR groups:ti,ab,kw OR subgroup*:ti,ab,kw OR versus:ti,ab,kw OR vs:ti,ab,kw OR compar*:ti,ab,kw OR 'odds ratio*':ab OR 'relative odds':ab OR 'risk ratio*':ab OR 'relative risk*':ab OR 'rate ratio':ab OR aor:ab OR arr:ab OR rrr:ab OR ((('or' OR 'rr') NEAR/6 ci):ab))) |
14115542 |
|
#10 |
'major clinical study'/de OR 'clinical study'/de OR 'case control study'/de OR 'family study'/de OR 'longitudinal study'/de OR 'retrospective study'/de OR 'prospective study'/de OR 'comparative study'/de OR 'cohort analysis'/de OR ((cohort NEAR/1 (study OR studies)):ab,ti) OR (('case control' NEAR/1 (study OR studies)):ab,ti) OR (('follow up' NEAR/1 (study OR studies)):ab,ti) OR (observational NEAR/1 (study OR studies)) OR ((epidemiologic NEAR/1 (study OR studies)):ab,ti) OR (('cross sectional' NEAR/1 (study OR studies)):ab,ti) |
7657978 |
|
#9 |
'clinical trial'/exp OR 'randomization'/exp OR 'single blind procedure'/exp OR 'double blind procedure'/exp OR 'crossover procedure'/exp OR 'placebo'/exp OR 'prospective study'/exp OR rct:ab,ti OR random*:ab,ti OR 'single blind':ab,ti OR 'randomised controlled trial':ab,ti OR 'randomized controlled trial'/exp OR placebo*:ab,ti |
3796855 |
|
#8 |
'meta analysis'/exp OR 'meta analysis (topic)'/exp OR metaanaly*:ti,ab OR 'meta analy*':ti,ab OR metanaly*:ti,ab OR 'systematic review'/de OR 'cochrane database of systematic reviews'/jt OR prisma:ti,ab OR prospero:ti,ab OR (((systemati* OR scoping OR umbrella OR 'structured literature') NEAR/3 (review* OR overview*)):ti,ab) OR ((systemic* NEAR/1 review*):ti,ab) OR (((systemati* OR literature OR database* OR 'data base*') NEAR/10 search*):ti,ab) OR (((structured OR comprehensive* OR systemic*) NEAR/3 search*):ti,ab) OR (((literature NEAR/3 review*):ti,ab) AND (search*:ti,ab OR database*:ti,ab OR 'data base*':ti,ab)) OR (('data extraction':ti,ab OR 'data source*':ti,ab) AND 'study selection':ti,ab) OR ('search strategy':ti,ab AND 'selection criteria':ti,ab) OR ('data source*':ti,ab AND 'data synthesis':ti,ab) OR medline:ab OR pubmed:ab OR embase:ab OR cochrane:ab OR (((critical OR rapid) NEAR/2 (review* OR overview* OR synthes*)):ti) OR ((((critical* OR rapid*) NEAR/3 (review* OR overview* OR synthes*)):ab) AND (search*:ab OR database*:ab OR 'data base*':ab)) OR metasynthes*:ti,ab OR 'meta synthes*':ti,ab |
929801 |
|
#7 |
#6 AND [2000-2023]/py |
35 |
|
#6 |
#5 NOT ('conference abstract'/it OR 'editorial'/it OR 'letter'/it OR 'note'/it) NOT (('animal'/exp OR 'animal experiment'/exp OR 'animal model'/exp OR 'nonhuman'/exp) NOT 'human'/exp) NOT (('adolescent'/exp OR 'child'/exp OR adolescent*:ti,ab,kw OR child*:ti,ab,kw OR schoolchild*:ti,ab,kw OR infant*:ti,ab,kw OR girl*:ti,ab,kw OR boy*:ti,ab,kw OR teen:ti,ab,kw OR teens:ti,ab,kw OR teenager*:ti,ab,kw OR youth*:ti,ab,kw OR pediatr*:ti,ab,kw OR paediatr*:ti,ab,kw OR puber*:ti,ab,kw) NOT ('adult'/exp OR 'aged'/exp OR 'middle aged'/exp OR adult*:ti,ab,kw OR man:ti,ab,kw OR men:ti,ab,kw OR woman:ti,ab,kw OR women:ti,ab,kw)) |
37 |
|
#5 |
#1 AND #4 |
57 |
|
#4 |
#2 OR #3 |
11006437 |
|
#3 |
'sensitivity and specificity'/de OR sensitiv*:ab,ti OR specific*:ab,ti OR predict*:ab,ti OR 'roc curve':ab,ti OR 'receiver operator':ab,ti OR 'receiver operators':ab,ti OR likelihood:ab,ti OR 'diagnostic error'/exp OR 'diagnostic accuracy'/exp OR 'diagnostic test accuracy study'/exp OR 'inter observer':ab,ti OR 'intra observer':ab,ti OR interobserver:ab,ti OR intraobserver:ab,ti OR validity:ab,ti OR kappa:ab,ti OR reliability:ab,ti OR reproducibility:ab,ti OR ((test NEAR/2 're-test'):ab,ti) OR ((test NEAR/2 'retest'):ab,ti) OR 'reproducibility'/exp OR accuracy:ab,ti OR 'differential diagnosis'/exp OR 'validation study'/de OR 'measurement precision'/exp OR 'diagnostic value'/exp OR 'reliability'/exp OR 'predictive value'/exp OR ppv:ti,ab,kw OR npv:ti,ab,kw OR (((false OR true) NEAR/3 (negative OR positive)):ti,ab) |
9823848 |
|
#2 |
'area under the curve'/exp OR 'brier score'/exp OR 'computer prediction'/exp OR 'c statistic'/exp OR 'c statistics'/exp OR 'integrated discrimination improvement'/exp OR 'net reclassification improvement'/exp OR 'net reclassification index'/exp OR 'prediction'/exp OR 'predictive model'/exp OR 'predictive modeling'/exp OR 'predictive validity'/exp OR 'predictive value'/exp OR 'regression analysis'/exp OR 'statistical model'/exp OR 'area under the curve':ti,ab,kw OR 'brier score*':ti,ab,kw OR 'c statistic*' OR 'computer prediction':ti,ab,kw OR 'decision curve anal*':ti,ab,kw OR (('net reclassification' NEAR/2 (improvement OR index)):ti,ab,kw) OR (((predict* OR statistical*) NEAR/3 (model* OR validity OR value)):ti,ab,kw) OR 'proportional hazards model*':ti,ab,kw OR 'r square*':ti,ab,kw OR regression:ti,ab,kw OR predict*:ti OR multivariate:ti,ab,kw OR multivariab*:ti,ab,kw |
3213768 |
|
#1 |
ariscat:ti,ab,kw OR 'assess respiratory risk in surgical patients in catalonia':ti,ab,kw OR ((((seven OR 7) NEAR/3 'risk factor*'):ti,ab,kw) AND 'pulmonary complication*':ti,ab,kw) |
79 |
Ovid/Medline
|
# |
Searches |
Results |
|
14 |
(7 and (10 or 11)) not (12 or 13) = observationeel |
20 |
|
13 |
(7 and 9) not 12 = RCT |
8 |
|
12 |
7 and 8 = SR |
3 |
|
11 |
Case-control Studies/ or clinical trial, phase ii/ or clinical trial, phase iii/ or clinical trial, phase iv/ or comparative study/ or control groups/ or controlled before-after studies/ or controlled clinical trial/ or double-blind method/ or historically controlled study/ or matched-pair analysis/ or single-blind method/ or (((control or controlled) adj6 (study or studies or trial)) or (compar* adj (study or studies)) or ((control or controlled) adj1 active) or "open label*" or ((double or two or three or multi or trial) adj (arm or arms)) or (allocat* adj10 (arm or arms)) or placebo* or "sham-control*" or ((single or double or triple or assessor) adj1 (blind* or masked)) or nonrandom* or "non-random*" or "quasi-experiment*" or "parallel group*" or "factorial trial" or "pretest posttest" or (phase adj5 (study or trial)) or (case* adj6 (matched or control*)) or (match* adj6 (pair or pairs or cohort* or control* or group* or healthy or age or sex or gender or patient* or subject* or participant*)) or (propensity adj6 (scor* or match*))).ti,ab,kf. or (confounding adj6 adjust*).ti,ab. or (versus or vs or compar*).ti. or ((exp cohort studies/ or epidemiologic studies/ or multicenter study/ or observational study/ or seroepidemiologic studies/ or (cohort* or 'follow up' or followup or longitudinal* or prospective* or retrospective* or observational* or multicent* or 'multi-cent*' or consecutive*).ti,ab,kf.) and ((group or groups or subgroup* or versus or vs or compar*).ti,ab,kf. or ('odds ratio*' or 'relative odds' or 'risk ratio*' or 'relative risk*' or aor or arr or rrr).ab. or (("OR" or "RR") adj6 CI).ab.)) |
5429981 |
|
10 |
Epidemiologic studies/ or case control studies/ or exp cohort studies/ or Controlled Before-After Studies/ or Case control.tw. or cohort.tw. or Cohort analy$.tw. or (Follow up adj (study or studies)).tw. or (observational adj (study or studies)).tw. or Longitudinal.tw. or Retrospective*.tw. or prospective*.tw. or consecutive*.tw. or Cross sectional.tw. or Cross-sectional studies/ or historically controlled study/ or interrupted time series analysis/ [Onder exp cohort studies vallen ook longitudinale, prospectieve en retrospectieve studies] |
4444957 |
|
9 |
exp clinical trial/ or randomized controlled trial/ or exp clinical trials as topic/ or randomized controlled trials as topic/ or Random Allocation/ or Double-Blind Method/ or Single-Blind Method/ or (clinical trial, phase i or clinical trial, phase ii or clinical trial, phase iii or clinical trial, phase iv or controlled clinical trial or randomized controlled trial or multicenter study or clinical trial).pt. or random*.ti,ab. or (clinic* adj trial*).tw. or ((singl* or doubl* or treb* or tripl*) adj (blind$3 or mask$3)).tw. or Placebos/ or placebo*.tw. |
2591160 |
|
8 |
meta-analysis/ or meta-analysis as topic/ or (metaanaly* or meta-analy* or metanaly*).ti,ab,kf. or systematic review/ or cochrane.jw. or (prisma or prospero).ti,ab,kf. or ((systemati* or scoping or umbrella or "structured literature") adj3 (review* or overview*)).ti,ab,kf. or (systemic* adj1 review*).ti,ab,kf. or ((systemati* or literature or database* or data-base*) adj10 search*).ti,ab,kf. or ((structured or comprehensive* or systemic*) adj3 search*).ti,ab,kf. or ((literature adj3 review*) and (search* or database* or data-base*)).ti,ab,kf. or (("data extraction" or "data source*") and "study selection").ti,ab,kf. or ("search strategy" and "selection criteria").ti,ab,kf. or ("data source*" and "data synthesis").ti,ab,kf. or (medline or pubmed or embase or cochrane).ab. or ((critical or rapid) adj2 (review* or overview* or synthes*)).ti. or (((critical* or rapid*) adj3 (review* or overview* or synthes*)) and (search* or database* or data-base*)).ab. or (metasynthes* or meta-synthes*).ti,ab,kf. |
669837 |
|
7 |
limit 6 to yr="2000 -Current" |
33 |
|
6 |
5 not (comment/ or editorial/ or letter/) not ((exp animals/ or exp models, animal/) not humans/) not ((Adolescent/ or Child/ or Infant/ or adolescen*.ti,ab,kf. or child*.ti,ab,kf. or schoolchild*.ti,ab,kf. or infant*.ti,ab,kf. or girl*.ti,ab,kf. or boy*.ti,ab,kf. or teen.ti,ab,kf. or teens.ti,ab,kf. or teenager*.ti,ab,kf. or youth*.ti,ab,kf. or pediatr*.ti,ab,kf. or paediatr*.ti,ab,kf. or puber*.ti,ab,kf.) not (Adult/ or adult*.ti,ab,kf. or man.ti,ab,kf. or men.ti,ab,kf. or woman.ti,ab,kf. or women.ti,ab,kf.)) |
35 |
|
5 |
1 and 4 |
35 |
|
4 |
2 or 3 |
8820252 |
|
3 |
Area Under Curve/ or exp Forecasting/ or "Predictive Value of Tests"/ or exp Multivariate Analysis/ or exp Regression Analysis/ or exp Models, Statistical/ or area under the curve.ti,ab,kf. or brier score*.ti,ab,kf. or c statistic*.ti,ab,kf. or computer prediction.ti,ab,kf. or decision curve anal*.ti,ab,kf. or (net reclassification adj2 (improvement or index)).ti,ab,kf. or ((predict* or statistical*) adj3 (model* or validity or value)).ti,ab,kf. or proportional hazards model*.ti,ab,kf. or r square*.ti,ab,kf. or regression.ti,ab,kf. or predict*.ti. or multivaria*.ti,ab,kf. |
2405946 |
|
2 |
exp "Sensitivity and Specificity"/ or (Sensitiv* or Specific*).ti,ab. or (predict* or ROC-curve or receiver-operator*).ti,ab. or (likelihood or LR*).ti,ab. or exp Diagnostic Errors/ or (inter-observer or intra-observer or interobserver or intraobserver or validity or kappa or reliability).ti,ab. or reproducibility.ti,ab. or (test adj2 (re-test or retest)).ti,ab. or "Reproducibility of Results"/ or accuracy.ti,ab. or Diagnosis, Differential/ or Validation Study/ or ((false or true) adj3 (negative or positive)).ti,ab. |
7851745 |
|
1 |
(ariscat or 'assess respiratory risk in surgical patients in catalonia' or (((seven or "7") adj3 'risk factor*') and 'pulmonary complication*')).ti,ab,kf. |
47 |