Chirurgische mondneusmaskers en ademhalingsmaskers
Uitgangsvraag
Welk type chirurgisch mondneusmasker of ademhalingsbeschermingsmasker (Filtering Facepiece; FFP) beschermt de drager (zorgmedewerker in zorginstelling) tegen infecties veroorzaakt door pathogenen die overdraagbaar zijn via druppel- of aerogene transmissie?
Aanbeveling
Bescherming medewerker
- Draag een chirurgisch mondneusmasker type IIR bij risico op spatten van lichaamsvocht in het gezicht.
- Draag minimaal een chirurgisch mondneusmasker type IIR bij contact met patiënten met een infectieziekte die voornamelijk wordt overgedragen via druppels.
- Draag een FFP2-ademhalingsbeschermingsmasker (zonder uitademingsventiel) bij contact met patiënten met een infectieziekte die voornamelijk aerogeen wordt overgedragen.
Bescherming patiënt
- Draag conform de algemene voorzorgsmaatregelen minimaal een chirurgisch mondneusmasker type II, indien uitscheiding van micro-organismen uit de mond-keelholte of neus van de medewerker naar patiënt voorkomen moeten worden.
- Informeer de patiënt over het gebruik en de voor- en nadelen van het masker.
Hergebruik van chirurgische mondneusmaskers en ademhalingsbeschermingsmaskers is niet toegestaan.
Overwegingen
Voor- en nadelen van de aanbeveling
In deze uitgangsvraag werd de effectiviteit van mondneusmaskers vergeleken met een AHBM op het voorkomen van infecties veroorzaakt door respiratoire pathogenen die overdraagbaar zijn via druppeltransmissie en aerogene transmissie.
Hiervoor werd één systematische review geïncludeerd (Bartozko, 2020) die een meta-analyse uitvoerde met vier RCT’s waarin CMNM werden vergeleken met een N95-respirator. Alle vooraf gedefinieerde uitkomstmaten werden in deze systematische review beschreven. Voor alle uitkomstmaten werd geen statistisch significant verschil gevonden tussen de groep die een medisch masker droeg en de groep die een N95 respirator droeg. Ook de RCT van Loeb (2022) vond geen klinisch relevant verschil zien het dragen van een CMNM en een N95 respirator. De kwaliteit van het bewijs was laag tot zeer laag (overall bewijskracht zeer laag). Deze resultaten zijn in lijn met andere systematische reviews (die voornamelijk dezelfde RCTs includeerden) (Long, 2020; Barycka, 2020; Iannone, 2020).
Transmissieroute
Het is belangrijk om bij transmissie te bepalen of in dit kader gesproken wordt over overdracht van micro-organismen (besmetting) of overdracht van een infectie(ziekte). Of na besmetting ook een infectie(ziekte) optreedt, hangt namelijk van verschillende factoren af die van belang zijn om de meest belangrijke transmissieroute en nodige voorzorgsmaatregelen te bepalen. Deze factoren zijn: de aanwezige load (hoeveelheid micro-organismen), de besmettelijkheid (hoeveelheid micro-organismen die nodig is om ziekte te veroorzaken) en het tropisme van het micro-organisme (welke cellen/weefsels specifiek door het micro-organisme geïnfecteerd kunnen worden). De grootte van het partikel bepaalt bijvoorbeeld tot waar in het lichaam het kan doordringen (100 µm neus, 10 µm trachea en bronchus, 4 µm de alveoli).
Druppeltransmissie
Druppeltransmissie is gedefinieerd als transmissie van infectieuze micro-organismen die zich bevinden in druppels afkomstig van geïnfecteerd weefsel welke voornamelijk op korte afstand (meestal < 1,5 meter) van de geïnfecteerde persoon naar één of meerdere andere personen worden overgedragen. Ondanks dat bij hoesten en niezen druppels van verschillende grootte gevormd kunnen worden, spelen de grote druppels met veel infectieuze deeltjes de belangrijkste rol bij druppeltransmissie.
Voorbeelden van infectieziekten waarbij druppeltransmissie een voorname rol speelt, zijn kinkhoest, meningokokken en respiratoire virussen zoals SARS-CoV-2 en influenza.
Aerogene transmissie
Aerogene transmissie is gedefinieerd als transmissie van infectieuze micro-organismen afkomstig uit de luchtwegen van een geïnfecteerd persoon die ook via zwevende zeer kleine druppels of druppelkernen over langere afstanden en tijd door de lucht kunnen worden verspreid. Transmissie is hierbij ook mogelijk als de bron de ruimte kort daarvoor verlaten heeft of als iemand op ruime afstand (meerdere meters, andere kant van de ruimte) in dezelfde ruimte van een besmettelijke persoon is geweest.
Voorbeelden van infectieziekten waarbij aerogene transmissie een voorname rol speelt zijn mazelen, tuberculose en waterpokken. Bij respiratoire virussen kan aerogene transmissie ook een rol spelen in het geval van aerosolvormende handelingen waarbij mogelijk heel veel zeer kleine infectieuze druppels gevormd kunnen worden.
Chirurgische mondneusmaskers
Een CMNM is een masker dat over de mond en de neus wordt gedragen. Er bestaan 3 typen CMNM: type I, type II en type IIR (zie module wet- en regelgeving). Het primaire doel van een CMNM is om de uitgeademde lucht te filteren zodat de omgeving is beschermd tegen druppels (met besmettelijke micro-organismen) die o.a. ontstaan bij spreken, hoesten en niezen door de maskerdrager. CMNM type II of type IIR hebben een hogere filterefficiëntie dan CMNM type I. Het gebruik van type I-maskers wordt om die reden niet aanbevolen binnen de zorg. CMNM type II of type IIR beschermen ook de drager tegen pathogenen die overdraagbaar zijn via druppels. Het dragen van een CMNM door een zorgmedewerker verkleint de kans op overdracht van micro-organismen (via secreet) vanuit de neus en de mond van de zorgmedewerker naar (de omgeving van) de patiënt en vice versa. Het CMNM beschermt de drager (zorgmedewerker) bij juist gebruik ook tegen zelfbesmetting doordat het masker voorkomt dat de neus en de mond (onbewust) aangeraakt worden met de handen die vanuit de omgeving of via contact met een patiënt mogelijk in aanraking zijn gekomen met besmettelijke micro-organismen.
De vochtwerende variant van het CMNM, het type IIR, geeft extra bescherming omdat het tevens de kans op overdracht van micro-organismen via druppels of spatten van lichaamsvocht vanuit de patiënt naar de mond en de neus van een medewerker verkleint. Een CMNM IIR wordt ten gevolge van de ‘inward leakage’ vanaf de zijkanten (randlekkage) niet beschouwd als afdoende bescherming tegen pathogenen die overdraagbaar zijn middels aerogene transmissie.
Ademhalingsbeschermingsmaskers
Een AHBM wordt net als een CMNM over de mond en de neus gedragen en filtert de in- en uitgeademde lucht van de drager. AHBM kunnen worden onderverdeeld in halfgelaatsmaskers en volgelaatsmaskers. Het meest gebruikte AHBM in de gezondheidszorg is een wegwerp halfgelaatsmasker dat geheel bestaat uit filtermateriaal. AHBM die geschikt zijn voor hergebruik bestaan niet geheel uit filtermateriaal en hebben een verwisselbaar filter. Deze elastomeermaskers en PAPR (Powered Air Purifying Respirator)-maskers worden vanwege extreem hoge kosten weinig gebruikt.
AHBM hebben vergeleken met CMNM een hogere filterefficiëntie (dichtere propyleenfilter-laag) en minder randlekkage doordat ze (bij juist gebruik) strakker/nauwer aansluiten op het gezicht.
Van de wegwerp-halfgelaat-AHBM bestaan drie verschillende typen die worden ingedeeld o.b.v. de mate van filtratie, uitgedrukt in Filtering Facepiece Partikel; FFP 1, 2 en 3.
In tegenstelling tot de CMNM verkleinen FFP2 en FFP3-maskers, naast de kans op overdracht van pathogenen die overdraagbaar zijn middels druppeltransmissie, ook de kans op overdracht van pathogenen die overdraagbaar zijn middels aerogene transmissie. In de praktijk wordt FFP3 niet gebruikt in reguliere zorgsituaties, maar enkel bij risico op contact met kankerverwekkende of radioactieve stoffen. Ook het gebruik van FFP1-maskers is beperkt. Internationaal worden deze maskers niet toegepast. Er is geen indicatie en evidence welke het gebruik van dit type maskers ondersteunt.
Pasvorm
Om de meest effectieve bescherming te kunnen bieden moet een CMNM of een AHBM goed aansluiten op het gezicht van de drager. Een masker dat niet goed aansluit op het gezicht biedt minder bescherming omdat ongefilterde lucht dan via de open randen (randlekkage) langs het masker naar binnen kan stromen. Een pasvormtest is een methode om te beoordelen of een AHBM goed aansluit op het gezicht van de individuele medewerker (zie module Ademhalings- en mondneusmaskers pasvormtest).
Er zijn diverse masker modellen beschikbaar, dit geldt zowel voor CMNM als voor AHBM. Indien een masker niet goed aansluit op het gezicht dan is dit vaak het gevolg van de koordjes of elastieken waarmee het masker vastzit achter de oren of op het achterhoofd. Ook de vorm en grootte van het hoofd van de maskerdrager speelt een rol. Dit zorgt ervoor dat de kwaliteit van de pasvorm per persoon kan verschillen. Klemmetjes bij de koordjes of bij het neusgedeelte van het masker zorgen voor een betere aansluiting van het masker op het gezicht. Het is onbekend of in alle geïncludeerde RCT’s in de systematische review een pasvormtest is uitgevoerd. Daarnaast kan het al dan niet uitvoeren van aerosolvormende procedures invloed hebben op de kans om een infectie op te lopen. Er waren aanzienlijke verschillen tussen de vier RCT’s in het percentage medewerkers dat aerosolvormende procedures uitvoerde (van 33% tot 73%). Er werden geen subgroepanalyses uitgevoerd.
Uitademventielen bij AHBM
Uitademventielen op ADHM hebben als doel de drager extra comfort te bieden waardoor de mondneusmaskers langer achtereen gedragen kunnen worden.
Bij het dragen van mondneusmaskers met een uitademventiel is er echter een risico dat spatten via het ventiel binnen kunnen dringen, waardoor de zorgmedewerker een groter risico loopt op besmetting tijdens isolatiezorg. Het gebruik van AHBM met uitademventielen wordt daarom afgeraden, met name in zorgsituaties waarbij er risico is op aerogene en/of druppeltransmissie. De richtlijn van de WHO over gebruik van mondneusmaskers tijdens de COVID-19-pandemie onderschrijft dit (WHO, 2020).
Overige factoren van belang
De kans op besmetting tijdens specifieke zorgsituaties is behalve van de maskereigenschappen, afhankelijk van de omgang van de drager met het masker en de transmissieroute van het micro-organisme. Daarnaast is ook het immuunsysteem van de gastheer (besmette persoon) van belang.
Waarden en voorkeuren van patiënten (en eventueel hun verzorgers) en zorgmedewerkers
Om te bepalen in welke zorgsituatie welk type masker gedragen dient te worden zijn naast bovenstaande factoren ook de eventuele nadelen van het maskergebruik van belang. Maskergebruik door zorgmedewerkers kan leiden tot angst bij verwarde/angstige patiënten, slechte verstaanbaarheid van de zorgmedewerker, of het niet kunnen zien van het lipbeeld van de spreker voor zeer slechthorende patiënten. Het is daarom van belang om erop toe te zien dat de zorgverlener zich verstaanbaar heeft gemaakt. Dit kan bijvoorbeeld door het stellen van controlevragen ter bevestiging dat de patiënt de zorgverlener heeft verstaan en ook begrepen.
Maskers met een hogere filtratiegraad leiden eerder tot discomfort bij de drager i.v.m. de hogere ademweerstand. Dit discomfort leidt tot meer manipulatie/aanraken van het masker door de drager en dat geeft juist weer een hoger besmettingsrisico. Daarnaast kan het gedurende langere tijd dragen van een masker met hoge filtratiegraad leiden tot hoofdpijnklachten en ademhalingsproblemen. Een systematische review die de nadelige effecten van een AHBM ten opzichte van een CMNM onderzocht, liet zien dat zorgmedewerkers die frequent en langdurig een AHBM droegen vaker last hadden van hoofdpijn (OR=2,62; 95%BI 1,18 tot 5,81), ademhalingsproblemen (OR=4,21; 95%BI 1,46 tot 12,13), irritatie aan het gezicht (OR=1,80; 95%BI 1,03 tot 3,14) en drukgerelateerde verwondingen (OR=4,39; 95%BI 2,37 tot 8,15) (Kunstler, 2022).
Samengevat kan het (langdurig) dragen van een AHBM of CMNM zorgen voor huidirritatie en eczeem in het gelaat aan het gezicht en drukgerelateerde verwondingen. Indien er sprake is van huidproblematiek veroorzaakt door het dragen van het AHBM de medewerkers kan contact worden gezocht met de bedrijfsarts.
Kosten en middelen
AHBM zijn duurder dan CMNM. Op basis van de evidence is er geen indicatie om AHBM aan te bevelen bij een druppel overdraagbare infectieziekte.
Het dragen van een FFP2-masker wordt op basis van de technische specificaties wel aanbevolen bij infectieziekten of handelingen waarbij aerogene transmissie een voorname rol speelt, zoals bijvoorbeeld TBC, of bij het uitvoeren van zorghandelingen waarbij veel aerosolen worden gevormd.
Het voorkomen/verlagen van personeelsuitval door ziekte door middel van het dragen van persoonlijke beschermingsmiddelen zoals een masker bij het verzorgen/behandelen van infectieuze patiënten zal opwegen tegen de aanschafkosten van maskers.
Aanvaardbaarheid, haalbaarheid en implementatie van de aanbevelingen
Mede ten gevolge van de COVID-19-pandemie is het gebruik van mondneusmaskers als beschermmiddel in zorginstellingen algemeen bekend en aanvaard.
Door het wereldwijde hoge gebruik van AHBM zijn er veel varianten op de markt die qua aansluiting op het gezicht en comfort niet voor alle gezichten geschikt zijn. Om die reden is het raadzaam om verschillende maskers in huis te hebben.
In sommige zorgsettingen zoals de langdurige zorg zijn er wel problemen bij het dragen van maskers door angst bij patiënten en verminderde verstaanbaarheid van zorgmedewerkers.
Het langdurig dragen van maskers kan leiden tot huid- en vermoeidheidsklachten bij dragers. Daarnaast vormt langdurig en veelvuldig gebruik een risico voor minder zorgvuldig gebruik van mondneusmasker met hoger risico op zelf besmetting.
Duurzaamheidsaspecten
Ten tijde van de COVID-19-pandemie zijn persoonlijke beschermingsmiddelen veelvuldig gebruikt. Uit een Engels onderzoek naar de impact van PBM op het milieu blijkt dat de impact groot is geweest. De CO2-voetafdruk van een persoonlijk beschermingsmiddel is vooral afhankelijk van de gebruikte grondstoffen, het productieproces inclusief verpakkingsmaterialen, transport en het afvalverwerkingsproces. Voor mondneusmaskers is de CO2-voetafdruk van een CMNM type II en IIR aanzienlijk lager (13 en respectievelijk 20 gCO2e) t.o.v. een AHBM (125 respectievelijk 76 g CO2e) of een faceshield (231 gCO2e) (Rizan,2021).
Vanwege schaarste is onderzoek gedaan naar mogelijkheden voor persoonsgebonden hergebruik van FFP-maskers. Hier kunnen echter geen definitieve conclusies voor verantwoord hergebruik uit getrokken worden. Momenteel is hergebruik van mondneusmaskers niet toegestaan.
Randvoorwaarden voor gebruik
- Gebruik het AHBM/CMNM persoonsgebonden en eenmalig.
- Bevestig het ademhalingsbeschermingsmasker/mondneusmasker volgens voorschrift van de fabrikant en zorg daarbij dat:
- Het flexibele gedeelte van het AHBM/CMNM goed is aangedrukt op de neusbrug;
- Het middengedeelte van het AHBM/CMNM voor de mond en over de neus valt;
- De onderzijde van het masker onder de kin valt;
- Een mondneusmasker mag niet tijdelijk onder de kin gedragen worden.
- Gebruik het AHBM/CMNM maximaal voor de duur zoals aangegeven door de fabrikant.
- Indien het masker continue wordt gedragen (zonder afzetten), verwissel het AHBM/CMNM:
- Zodra de ademhaling beduidend zwaarder wordt;
- Zodra het ademhalingsbeschermingsmasker/mondneusmasker vochtig is;
- Bij zichtbare verontreiniging.
- Pas direct voorafgaand aan en na het verwijderen van het AHBM/CMNM handhygiëne toe om verspreiding van micro-organismen via de handen te voorkomen (zie richtlijn Handhygiëne en persoonlijke hygiëne).
- Train medewerkers in het juiste gebruik van een AHBM/CMNM.
Rationale van de aanbeveling
CMNM type II of type IIR verkleinen de kans op overdracht van pathogenen die overdraagbaar zijn via druppels. Het dragen van een CMNM IIR door een zorgmedewerker beschermt de medewerker tegen besmetting met micro-organismen (via secreet) vanuit de neus en de mond van de patiënt en ook vice versa. Het CMNM beschermt de drager (zorgmedewerker) ook tegen zelfbesmetting doordat het masker voorkomt dat de neus en de mond (onbewust) aangeraakt worden met de handen die vanuit de omgeving of via contact met een patiënt mogelijk in aanraking zijn gekomen met besmettelijke micro-organismen. In tegenstelling tot de CMNM verkleinen FFP2 en FFP3-maskers naast de kans op overdracht van pathogenen die overdraagbaar zijn middels druppeltransmissie ook de kans op overdracht van pathogenen die overdraagbaar zijn middels aerogene transmissie. Op basis van de evidence is er geen indicatie om een AHBM aan te bevelen bij een middels druppel overdraagbare infectieziekte. Bij een middels druppel overdraagbare infectieziekte wordt op basis van technische specificaties wel het gebruik van een CMNM type IIR aanbevolen.
Het dragen van een FFP2-masker wordt op basis van de technische specificaties aanbevolen bij (verdenking van) infectieziekten of handelingen waarbij aerogene transmissie een voorname rol speelt of bij het uitvoeren van zorghandelingen bij bepaalde isolatie-indicaties veel aerosolen worden gevormd (zie richtlijn Isolatie).
Onderbouwing
Achtergrond
Deze module beschrijft welk type masker de drager (zorgmedewerker) beschermt tegen infecties veroorzaakt door pathogenen die overdraagbaar zijn via druppels of aerogeen.
De maskers die door zorgmedewerkers voor deze doeleinden worden gebruikt vallen onder de chirurgische mondneusmaskers (CMNM) en ademhalingsbeschermingsmaskers (AHBM).
De mate van bescherming van de verschillende typen mondneusmaskers hangt af van een aantal factoren zoals het filtratievermogen en de doorlaatbaarheid van het masker voor vocht. Daarnaast zijn ook de pasvorm/aansluiting op het gezicht, het draagcomfort en het noodzakelijk gedrag voor correct gebruik bepalend voor de uiteindelijke effectiviteit van het mondneusmasker. Deze factoren samen bepalen uiteindelijk de ‘total inward leakage’ en daarmee de kans op besmetting van de drager.
De maskers die gebruikt worden binnen de zorg worden getest volgens Europese normen, zie module Wet- en regelgeving. AHBM zijn met name ontworpen om de blootstelling aan toxische stoffen te voorkomen. Desondanks staan AHBM in veel richtlijnen genoemd als beste keuze, vooral als men van doen heeft met een nieuw virus waarvan nog niet duidelijk is hoe het zich verspreidt, of tijdens het uitvoeren van aerosolvormende handelingen met het risico op contact met pathogene ziekteverwekkers.
Deze module is niet gericht op het dragen van mondneusmaskers op het OK-complex ter voorkoming van postoperatieve wondinfecties dan wel het dragen van maskers om de besmetting met radioactieve of toxische stoffen te voorkomen. Voor het dragen van een mondneusmasker op het OK-complex wordt verwezen naar de richtlijnen Infectiepreventie op het OK-complex en postoperatieve wondinfecties.
Conclusies
Low GRADE |
The evidence suggests that the use of medical masks results in little to no difference in ‘viral respiratory infection laboratory confirmed by PCR, serology, or viral culture’ when compared with N95 respirators/ FFP1/FFP2/FFP3.
Sources: Bartoszko, 2020 |
Very low GRADE |
The evidence is very uncertain about the effect of medical masks versus N95 (FFP1/FFP2/FFP3) respirators on laboratory‐confirmed coronavirus infection.
Sources: Bartoszko, 2020, Loeb 2022 |
Very low GRADE |
The evidence is very uncertain about the effect of medical masks versus N95 respirators/ FFP1/FFP2/FFP3 on laboratory‐confirmed influenza infection.
Sources: Bartoszko, 2020 |
Very low GRADE |
The evidence is very uncertain about the effect of medical masks versus N95 respirators/ FFP1/FFP2/FFP3 on Influenza‐like illness.
Sources: Bartoszko, 2020 |
Very low GRADE |
The evidence is very uncertain about the effect of medical masks versus N95 respirators/ FFP1/FFP2/FFP3 on clinical respiratory illness.
Sources: Bartoszko, 2020 |
Very low GRADE |
The evidence is very uncertain about the effect of medical masks versus N95 respirators/ FFP1/FFP2/FFP3 on workplace absenteeism.
Sources: Bartoszko, 2020 |
Samenvatting literatuur
Description of studies
Bartoszko (2020) conducted a systematic review to compare the use of medical masks to N95 respirators in healthcare workers. MEDLINE, Embase, and CENTRAL were searched from January 1, 2014, to March 9, 2020. RCTs were included if the RCT met the following criteria: the design was an RCT including cluster randomized trials; the intervention was medical masks (defined surgical, procedural, isolation, laser, fluid resistant or face masks certified for use as a medical device) compared with N95 respirators (defined as respirators were N95 filtering face piece respirators certified by the National Institute for Occupational Safety and Health (NIOSH) and European standard filtering facepiece (FFP2) respirators); the population was healthcare workers (defined as workers in a healthcare setting that could be exposed to a patient with acute respiratory illness) and reported on any of the following outcomes: viral respiratory infection laboratory confirmed by PCR, serology, or viral culture, laboratory confirmed coronavirus infection, laboratory-confirmed influenza infection, influenza-like illness, clinical respiratory illness, or workplace absenteeism. Four randomized controlled trials (RCTs) were included, and a meta-analysis was performed. There were differences between studies in the percentage of healthcare workers that undertook high-risk procedures. Risk of bias was high across all trials and outcomes due to lack of blinding of healthcare workers. Risk of detection bias was high for influenza-like and clinical respiratory illness due to lack of laboratory confirmation, but low for laboratory-confirmed viral respiratory and influenza infection.
Loeb (2022) conducted a randomized open-label controlled trial to determine whether medical masks are noninferior to N95 respirators to prevent COVID-19 in health care workers providing routine care. Included were Health care workers who provided direct care to patients with suspected or confirmed COVID-19 in specialized COVID-19 units and in emergency departments, medical units, pediatric units, and long-term care facilities. Health care workers were required to spend 60% or more of their time doing clinical work when enrolled. Health care workers were randomly assigned (1:1) to using either medical masks or N95 respirators for 10 weeks. In total, 500 health care workers were allocated to the medical mask group (mean age 34.6+10.2 years; 72.6% female) and 509 health care workers were assigned to the N95 respirator group (mean age 34.9+10.9 years; 66.7% female). Health care workers randomly assigned to the medical mask group were instructed to use the medical mask when providing routine care to patients with COVID-19 or suspected COVID-19, which aligned with the current policy in their setting. Health care workers randomly assigned to the N95 respirator group were instructed to use a fit-tested National Institute for Occupational Safety and Health–approved N95 respirator when providing routine care to patients with COVID-19 or suspected COVID-19. The primary outcome was time to reverse transcriptase polymerase chain reaction (RT-PCR)–confirmed COVID-19. This was measured from the date of randomization until the date of procurement of a specimen that was positive by RT-PCR. Follow-up continued until the end of 10 weeks, until 2 weeks (1 incubation period) after receipt of an mRNA vaccine, or until the date of a participant withdrawal from the trial. Secondary outcomes included serologic (IgG) evidence of COVID-19 infection.
Results
Respiratory infection laboratory confirmed by PCR, serology, or culture
Bartoszko (2020) included 4 RCTs that compared medical masks to N95 respirators in preventing viral respiratory infection laboratory confirmed by PCR, serology, or viral culture. Overall, 21% of healthcare workers in the medical mask group (416/1989) developed a viral respiratory infection and 16% in the N95 respirator group (393/2464). Bartoszko calculated a pooled OR, however since RR is het preferred effect measure when RCTs are included we calculated the RR. For laboratory-confirmed viral respiratory infection, the pooled effect of medical masks compared to N95 respirators was RR 1.04 (95% CI 0.92-1.17) (Figure 4.1). This is not a clinically relevant difference.
Figure 4.1. Meta-analysis viral respiratory infection.
Laboratory‐confirmed coronavirus infection
Only one trial in the review of Bartoszko (2020) reported directly on coronavirus. When seasonal coronavirus (OC43, HKU1, 229E, NL63) was tested for by PCR in this non-cluster randomized trial of medical masks versus N95 respirators, 9/212 (4.3%) of nurses in the medical mask group had reverse transcription PCR confirmed coronavirus infection compared with 12/210 (5.7%) in the N95 respirator group (P = 0.49). The RR (calculated by us based on the data from the study) was 1.35 (95% CI 0.58 – 3.13) in favour of medical masks. This is a clinically relevant difference.
Loeb (2022) reported that 52/497 (10.5%) of health care workers in the medical mask group had PCR confirmed COVID-19 compared to 47/507 (9.4%) of health care workers in the N95 respirator group. The HR was 1.14 (95% CI 0.77 to 1.69). This difference was not clinically relevant.
Laboratory‐confirmed influenza infection
Bartoszko (2020) included 4 RCTs that compared medical masks to N95 respirators in preventing Laboratory‐confirmed influenza infection. Overall, 7% healthcare workers in the medical mask group (139/1989) developed an influenza infection and 6% in the N95 respirator group (144/2464). For laboratory-confirmed influenza infection, the pooled effect of medical masks compared to N95 respirators was RR 0.95 (95% CI 0.76-1.18) (Figure 4.2). This is not a clinically relevant difference.
Figure 4.2. Laboratory-confirmed influenza infection.
Influenza‐like illness
Bartoszko (2020) included 4 RCTs that compared medical masks to N95 respirators in preventing influenza-like illness. Overall, 4% healthcare workers in the medical mask group (86/1989) developed an influenza infection and 3% in the N95 respirator group (65/2464). For influenza-like illness, the pooled effect of medical masks compared to N95 respirators was RR 1.33 (95% CI 0.89-1.98) in favour of N95 respirators (Figure 4.3). This is a clinically relevant difference.
Figure 4.3 Influenza Like Illness
Clinical respiratory illness
Bartoszko (2020) included 3 RCTs that compared medical masks to N95 respirators in preventing clinical respiratory illness. Overall, 71% healthcare workers in the medical mask group (827/1171) developed an influenza infection and 34% in the N95 respirator group (764/2243). For clinical respiratory illness, the pooled effect of medical masks compared to N95 respirators was RR 1.42 (95% CI: 0.90-2.25) in favour of N95 respirators (Figure 4.4). This is a clinically relevant difference.
Figure 4.4: Clinical respiratory illness
Workplace absenteeism
Since only one trial in the review of Bartoszko (2020) reported workplace absenteeism a meta-analysis was not possible. Work-related absenteeism was reported in 19.8% (42/212) of nurses in the medical mask group compared with 18.6% (39/210) of nurses in the N95 respirator group. The RR (calculated by us based on the data from the study) was 0.94 ( 95% CI 0.63 – 1.39) in favour of N95. This is not a clinically relevant difference.
Level of evidence of the literature
Respiratory infection laboratory confirmed by PCR, serology, or culture
The level of evidence regarding the outcome measures ‘Viral respiratory infection laboratory confirmed by PCR, serology, or viral culture’ started high and was downgraded to low because of risk of bias (-1) and imprecision (-1).
Laboratory‐confirmed coronavirus infection
The level of evidence regarding the outcome measures ‘Laboratory‐confirmed coronavirus infection’ started high and was downgraded to very low because of risk of bias (-2) and imprecision (-2).
Laboratory‐confirmed influenza infection
The level of evidence regarding the outcome measures ‘Laboratory‐confirmed influenza infection’ started high and was downgraded to very low because of risk of bias (-1) and imprecision (-2).
Influenza‐like illness
The level of evidence regarding the outcome measures ‘Influenza‐like illness’ started high and was downgraded to very low because of risk of bias (-1) and imprecision (-2).
Clinical respiratory illness
The level of evidence regarding the outcome measures ‘Clinical respiratory illness’ started high and was downgraded to very low because of risk of bias (-1), imprecision (-2) and inconsistency (-1).
Workplace absenteeism
The level of evidence regarding the outcome measures ‘Workplace absenteeism‘ started high and was downgraded to very low because of risk of bias (-2) and imprecision (-2).
Zoeken en selecteren
A systematic review of the literature was performed to answer the following question:
Which type of mask or respirators (FFP) protects the healthcare worker against infections caused by pathogens that can be transmitted via droplets and aerogenes?
P: Healthcare workers
I: Medical masks
C: N95 respirators/ FFP1/FFP2/FFP3
O: Respiratory infection laboratory confirmed by PCR, serology, or culture; laboratory‐confirmed coronavirus infection; laboratory‐confirmed influenza infection; influenza‐like illness; clinical respiratory illness; or workplace absenteeism.
Relevant outcome measures
The guideline development group considered ‘viral respiratory infection laboratory confirmed by PCR, serology, or viral culture’ as a critical outcome measure for decision making, and laboratory‐confirmed coronavirus infection; laboratory‐confirmed influenza infection; influenza‐like illness; clinical respiratory illness; and workplace absenteeism as an important outcome measure for decision making.
A priori, the working group did not define the outcome measures listed above but used the definitions used in the studies.
The working group defined the GRADE-standard limit of 25% difference for dichotomous outcomes (RR < 0.8 or > 1.25), and 10% for continuous outcomes as a minimal clinically (patient) important difference.
Search and select (methods)
For this literature search we used the systematic review of Bartoszko (2020). We searched for additional studies published after the search date of this systematic review. The databases Medline (via OVID) and Embase (via Embase.com) were searched with relevant search terms from 01 January 2020 until 30 November2022. The detailed search strategy is available on request (info@sri-richtlijnen.nl). The detailed search strategy is depicted under the tab Methods. The systematic literature search resulted in 506 hits. Studies were selected based on criteria as mentioned in the PICO. Sixteen studies were initially selected based on title and abstract screening (including the review of Bartoszko). After reading the full text, 14 studies were excluded (see the table with reasons for exclusion under the tab Methods), and one additional study was included (Loeb, 2022).
Results
Two studies were included in the analysis of the literature. Important study characteristics and results are summarized in the evidence tables. The assessment of the risk of bias is summarized in the risk of bias tables. The summary of literature, results and evidence tables are included below.
Referenties
- Bartoszko JJ, Farooqi MAM, Alhazzani W, Loeb M. Medical masks vs N95 respirators for preventing COVID-19 in healthcare workers: A systematic review and meta-analysis of randomized trials. Influenza Other Respir Viruses. 2020 Jul;14(4):365-373. doi: 10.1111/irv.12745. Epub 2020 Apr 21. PMID: 32246890; PMCID: PMC7298295.
- Barycka K, Szarpak L, Filipiak KJ, Jaguszewski M, Smereka J, Ladny JR, Turan O. Comparative effectiveness of N95 respirators and surgical/face masks in preventing airborne infections in the era of SARS-CoV2 pandemic: A meta-analysis of randomized trials. PLoS One. 2020 Dec 15;15(12):e0242901. doi: 10.1371/journal.pone.0242901. PMID: 33320847; PMCID: PMC7737973.
- Iannone P, Castellini G, Coclite D, Napoletano A, Fauci AJ, Iacorossi L, D'Angelo D, Renzi C, La Torre G, Mastroianni CM, Gianola S. The need of health policy perspective to protect Healthcare Workers during COVID-19 pandemic. A GRADE rapid review on the N95 respirators effectiveness. PLoS One. 2020 Jun 3;15(6):e0234025. doi: 10.1371/journal.pone.0234025. PMID: 32492045; PMCID: PMC7269249.
- Kunstler B, Newton S, Hill H, Ferguson J, Hore P, Mitchell BG, Dempsey K, Stewardson AJ, Friedman D, Cole K, Sim MR, Ferguson B, Burns P, King N, McGloughlin S, Dicks M, McCarthy S, Tam B, Hazelton B, McGurgan C, McDonald S, Turner T. P2/N95 respirators & surgical masks to prevent SARS-CoV-2 infection: Effectiveness & adverse effects. Infect Dis Health. 2022 May;27(2):81-95. doi: 10.1016/j.idh.2022.01.001. Epub 2022 Jan 20. PMID: 35151628; PMCID: PMC8769935.
- Loeb M, Bartholomew A, Hashmi M, Tarhuni W, Hassany M, Youngster I, Somayaji R, Larios O, Kim J, Missaghi B, Vayalumkal JV, Mertz D, Chagla Z, Cividino M, Ali K, Mansour S, Castellucci LA, Frenette C, Parkes L, Downing M, Muller M, Glavin V, Newton J, Hookoom R, Leis JA, Kinross J, Smith S, Borhan S, Singh P, Pullenayegum E, Conly J. Medical Masks Versus N95 Respirators for Preventing COVID-19 Among Health Care Workers : A Randomized Trial. Ann Intern Med. 2022 Nov 29. doi: 10.7326/M22-1966. Epub ahead of print. PMID: 36442064.
- Long Y, Hu T, Liu L, Chen R, Guo Q, Yang L, Cheng Y, Huang J, Du L. Effectiveness of N95 respirators versus surgical masks against influenza: A systematic review and meta-analysis. J Evid Based Med. 2020 May;13(2):93-101. doi: 10.1111/jebm.12381. Epub 2020 Mar 13. PMID: 32167245; PMCID: PMC7228345.
- Rizan C, Reed M, Bhutta MF. Environmental impact of personal protective equipment distributed for use by health and social care services in England in the first six months of the COVID-19 pandemic. J R Soc Med. 2021 May;114(5):250-263. doi: 10.1177/01410768211001583. Epub 2021 Mar 16. PMID: 33726611; PMCID: PMC8150566.
- WHO (World Health Organization), 2020. Mask use in the context of COVID-19: interim guidance, 1 December 2020. World Health Organization. https://apps.who.int/iris/handle/10665/337199 License: CC BY-NC-SA 3.0 IGO
Evidence tabellen
Evidence table for systematic review of RCTs and observational studies (intervention studies)
Study reference |
Study characteristics |
Patient characteristics |
Intervention (I) |
Comparison / control (C) |
Follow-up |
Outcome measures and effect size |
Comments |
Bartoszko, 2020 |
SR and meta-analysis of RCTs Study design: RCT Setting and Country: Source of funding and conflicts of interest: |
Inclusion criteria SR: Exclusion criteria SR: 4 studies included Important patient characteristics at baseline: N Time period % of healthcare workers that undertook high risk procedures Groups comparable at baseline? |
Describe intervention: |
Describe control: |
End-point of follow-up: For how many participants were no complete outcome data available? |
1.laboratory-confirmed viral respiratory infection Effect measure: OR [95% CI]: Pooled effect (random effects model): 2. laboratory‐confirmed coronavirus infection 3. Laboratory‐confirmed influenza infection Effect measure: OR [95% CI]: Pooled effect (random effects model): OR 0.94 [95% CI 0.73 to 1.20] favoring medical mask 4. influenza‐like illness Pooled effect (random effects model):OR 1.31 [95% CI 0.94 to 1.85] favoring N95 5. clinical respiratory illness Pooled effect (random effects model): OR 1.49 [95% CI 0.98 to 2.28] favoring N95 6. workplace absenteeism |
The authors report the OR, The RRs are calculated by ourselves. The authors state they used a random effects model for all outcome measures. However, when calculating the pooled effect using the data from the systematic review it seems that the authors used a fixed effects model for the outcome Influenza-Like Illness |
Loeb, 2022 |
Type of study: Setting and country: Canada, Israel, Pakistan, and Egypt Funding and conflicts of interest: The authors declared no conflicts of interest |
Inclusion criteria: Exclusion criteria: N total at baseline: Important prognostic factors: Sex: Groups comparable at baseline? |
Describe intervention (treatment/procedure/test): ASTM International certified medical masks |
Describe control (treatment/procedure/test): fit-tested National Institute for Occupational Safety and Health–approved N95 respirator |
Length of follow-up: Loss-to-follow-up: Control: Incomplete outcome data: No incomplete outcome data |
Outcome measures and effect size (include 95%CI and p-value if available): Laboratory confirmed COVID-19 |
The authors conclude that among health care workers who provided routine care to patients with COVID-19, the overall estimates rule out a doubling in hazard of PCR–confirmed COVID-19 for medical masks when compared with HRs of RT-PCR–confirmed COVID-19 for N95 respirators. The subgroup results varied by country, and the overall estimates may not be applicable to individual countries because of treatment effect heterogeneity. |
Quality-assessment-table
Table of quality assessment for systematic reviews of RCTs and observational studies
Study First author, year |
Appropriate and clearly focused question? Yes/no/unclear |
Comprehensive and systematic literature search? Yes/no/unclear |
Description of included and excluded studies? Yes/no/unclear |
Description of relevant characteristics of included studies? Yes/no/unclear |
Appropriate adjustment for potential confounders in observational studies? Yes/no/unclear/notapplicable |
Assessment of scientific quality of included studies? Yes/no/unclear |
Enough similarities between studies to make combining them reasonable? Yes/no/unclear |
Potential risk of publication bias taken into account? Yes/no/unclear |
Potential conflicts of interest reported? Yes/no/unclear |
Bartoszko, 2020 |
yes |
yes |
No (FT excluded studies not referenced) |
Unclear (information is limited) |
Not applicable |
yes |
yes |
Unclear (mentioned in the text that it was assessed but results not described) |
No |
Exclusie-tabel
Author and year |
Reason for exclusion |
Khunti K, Adisesh A, Burton C, Chan XHS, Coles B, Durand-Moreau Q, Jackson T, Ross L, Straube S, Toomey E, Greenhalgh T. The efficacy of PPE for COVID-19-type respiratory illnesses in primary and community care staff. Br J Gen Pract. 2020 Jul 30;70(697):413-416. doi: 10.3399/bjgp20X710969. PMID: 32661012; PMCID: PMC7363275. |
Wrong design (Not a systematic review or RCT, analysis) |
Griswold DP, Gempeler A, Kolias A, Hutchinson PJ, Rubiano AM. Personal protective equipment for reducing the risk of COVID-19 infection among health care workers involved in emergency trauma surgery during the pandemic: An umbrella review. J Trauma Acute Care Surg. 2021 Apr 1;90(4):e72-e80. doi: 10.1097/TA.0000000000003073. PMID: 33433175; PMCID: PMC7996059. |
Wrong I/C (does not compare masks vs respirators but PPE in general) |
Li Y, Wei Z, Zhang J, Li R, Li H, Cao L, Hou L, Zhang W, Chen N, Guo K, Li X, Yang K. Wearing masks to reduce the spread of respiratory viruses: a systematic evidence mapping. Ann Transl Med. 2021 May;9(9):811. doi: 10.21037/atm-20-6745. PMID: 34268424; PMCID: PMC8246209. |
Wrong O and Presents combined results of different populations |
Hegde S. Which type of personal protective equipment (PPE) and which method of donning or doffing PPE carries the least risk of infection for healthcare workers? Evid Based Dent. 2020 Jun;21(2):74-76. doi: 10.1038/s41432-020-0097-3. PMID: 32591668; PMCID: PMC7317256. |
Wrong design (Not a systematic review or RCT, commentary, dentist) |
MacIntyre CR, Chughtai AA, Seale H, Dwyer DE, Quanyi W. Human coronavirus data from four clinical trials of masks and respirators. Int J Infect Dis. 2020 Jul;96:631-633. doi: 10.1016/j.ijid.2020.05.092. Epub 2020 Jun 1. PMID: 32497810; PMCID: PMC7263249. |
Wrong design |
Barycka K, Szarpak L, Filipiak KJ, Jaguszewski M, Smereka J, Ladny JR, Turan O. Comparative effectiveness of N95 respirators and surgical/face masks in preventing airborne infections in the era of SARS-CoV2 pandemic: A meta-analysis of randomized trials. PLoS One. 2020 Dec 15;15(12):e0242901. doi: 10.1371/journal.pone.0242901. PMID: 33320847; PMCID: PMC7737973. |
Wrong P (included hcw and households and included studies with wrong design) |
Long Y, Hu T, Liu L, Chen R, Guo Q, Yang L, Cheng Y, Huang J, Du L. Effectiveness of N95 respirators versus surgical masks against influenza: A systematic review and meta-analysis. J Evid Based Med. 2020 May;13(2):93-101. doi: 10.1111/jebm.12381. Epub 2020 Mar 13. PMID: 32167245; PMCID: PMC7228345. |
More recent SRs available |
Dugré N, Ton J, Perry D, Garrison S, Falk J, McCormack J, Moe S, Korownyk CS, Lindblad AJ, Kolber MR, Thomas B, Train A, Allan GM. Masks for prevention of viral respiratory infections among health care workers and the public: PEER umbrella systematic review. Can Fam Physician. 2020 Jul;66(7):509-517. PMID: 32675098; PMCID: PMC7365162. |
Wrong C (all types of interventions), included observational studies |
Zhang M, Emery AR, Tannyhill RJ 3rd, Zheng H, Wang J. Masks or N95 Respirators During COVID-19 Pandemic-Which One Should I Wear? J Oral Maxillofac Surg. 2020 Dec;78(12):2114-2127. doi: 10.1016/j.joms.2020.08.024. Epub 2020 Aug 27. PMID: 32926868; PMCID: PMC7451003. |
Comprehensive review while sys review is available |
Collins AP, Service BC, Gupta S, Mubarak N, Zeini IM, Osbahr DC, Romeo AA. N95 respirator and surgical mask effectiveness against respiratory viral illnesses in the healthcare setting: A systematic review and meta-analysis. J Am Coll Emerg Physicians Open. 2021 Oct 28;2(5):e12582. doi: 10.1002/emp2.12582. PMID: 34746923; PMCID: PMC8552225. |
Same RCTs as in Bartoszko |
Iannone P, Castellini G, Coclite D, Napoletano A, Fauci AJ, Iacorossi L, D'Angelo D, Renzi C, La Torre G, Mastroianni CM, Gianola S. The need of health policy perspective to protect Healthcare Workers during COVID-19 pandemic. A GRADE rapid review on the N95 respirators effectiveness. PLoS One. 2020 Jun 3;15(6):e0234025. doi: 10.1371/journal.pone.0234025. PMID: 32492045; PMCID: PMC7269249. |
Same RCTs as in Bartoszko |
Kunstler B, Newton S, Hill H, Ferguson J, Hore P, Mitchell BG, Dempsey K, Stewardson AJ, Friedman D, Cole K, Sim MR, Ferguson B, Burns P, King N, McGloughlin S, Dicks M, McCarthy S, Tam B, Hazelton B, McGurgan C, McDonald S, Turner T. P2/N95 respirators & surgical masks to prevent SARS-CoV-2 infection: Effectiveness & adverse effects. Infect Dis Health. 2022 May;27(2):81-95. doi: 10.1016/j.idh.2022.01.001. Epub 2022 Jan 20. PMID: 35151628; PMCID: PMC8769935. |
Includes observational studies and focussess more on advere effects of masks vs respirators |
Li J, Qiu Y, Zhang Y, Gong X, He Y, Yue P, Zheng X, Liu L, Liao H, Zhou K, Hua Y, Li Y. Protective efficient comparisons among all kinds of respirators and masks for health-care workers against respiratory viruses: A PRISMA-compliant network meta-analysis. Medicine (Baltimore). 2021 Aug 27;100(34):e27026. doi: 10.1097/MD.0000000000027026. PMID: 34449478; PMCID: PMC8389967. |
More broad than PICO, also includes occupation/clinical setting/current measures etc |
Violante T, Violante FS. Surgical masks vs respirators for the protection against coronavirus infection: state of the art. Med Lav. 2020 Oct 31;111(5):365-371. doi: 10.23749/mdl.v111i5.9692. PMID: 33124607; PMCID: PMC7809975. |
Low quality review |
Risk-of-bias-tabel
Risk of bias table for intervention studies (randomized controlled trials; based on Cochrane risk of bias tool and suggestions by the CLARITY Group at McMaster University)
Study reference (first author, publication year) |
Was the allocation sequence adequately generated? Definitely yes |
Was the allocation adequately concealed? Definitely yes |
Blinding: Was knowledge of the allocated interventions adequately prevented? Were patients blinded? Definitely yes |
Was loss to follow-up (missing outcome data) infrequent? Definitely yes |
Are reports of the study free of selective outcome reporting? Definitely yes |
Was the study apparently free of other problems that could put it at a risk of bias? Definitely yes |
Overall risk of bias If applicable/necessary, per outcome measure LOW |
Loeb, 2022 |
Definitely yes Reason: Trial participants were randomly assigned (1:1) to either medical masks or N95 respirators. Participants were randomly assigned centrally by a study statistician who generated the sequence using a computerized random number generator. Randomization was stratified by site in permuted blocks of 4. The randomization scheme was provided by an interactive web response system and performed centrally. |
Definitely yes Reason: Investigators were blinded to the group assignment |
Definitely no Reason: it was not possible to conceal the identity of the medical mask or N95 respirator assignment to the study staff or participants |
Definitely yes Reason: loss to-follow-up was minimal and an ITT-analysis was performed |
Definitely yes Reason: All relevant outcomes were reported, and the trial was registered (ClinicalTrials.gov: NCT04296643) |
Definitely no Reason: Potential acquisition of SARS-CoV-2 through household and community exposure, heterogeneity between countries, uncertainty in the estimates of effect, differences in self-reported adherence, differences in baseline antibodies, and between-country differences in circulating variants and vaccination. |
HIGH |
Verantwoording
Autorisatiedatum en geldigheid
Laatst beoordeeld : 11-11-2023
Laatst geautoriseerd : 11-11-2023
Geplande herbeoordeling : 11-11-2025
Algemene gegevens
De ontwikkeling/herziening van deze richtlijnmodule is ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten (www.demedischspecialist.nl/kennisinstituut) en is gefinancierd door het ministerie van VWS. De financier heeft geen enkele invloed gehad op de inhoud van de richtlijnmodule.
Samenstelling werkgroep
Voor het ontwikkelen van de richtlijnmodule is in 2021 een multidisciplinaire werkgroep samengesteld, bestaande uit vertegenwoordigers van alle relevante specialismen (zie hiervoor de Samenstelling van de werkgroep).
De werkgroep bestaat uit:
- Dr. M.S.L. Liem (voorzitter), chirurg, Nederlandse Vereniging voor Heelkunde (NVvH)
- Dr. S.J. Vainio, arts-microbioloog, Nederlandse Vereniging voor Medische Microbiologie (NVMM)
- Dr. H.F. Wunderink, arts-microbioloog, Nederlandse Vereniging voor Medische Microbiologie (NVMM)
- Dr. K.E. Veldkamp, arts-microbioloog, Nederlandse Vereniging voor Medische Microbiologie (NVMM)
- Dr. J.M.T. Klein Gunnewiek, klinisch chemicus, Nederlandse Vereniging voor Klinische Chemie en Laboratoriumgeneeskunde (NVKC)
- Dr. A.M.L. Oude Lashof, internist-infectioloog, Nederlandse Vereniging van Internist-Infectiologen (NIV/NVII)
- Dr. J. Honings, KNO-arts/Hoofd-hals chirurg, Nederlandse Vereniging voor KNO-heelkunde (NVKNO)
- Dr. L.A.M. Bruijstens, anesthesioloog, Nederlandse Vereniging voor Anesthesiologen (NVA)
- M. den Otter, Verpleegkundig specialist, Verpleegkundigen & Verzorgenden Nederland (V&VN)
- Drs. A. Harteloh-Schepers, Specialist Ouderengeneeskunde, Verenso(t/m juli 2022)
- Drs. D.C.M. aan de Stegge. Specialist Ouderengeneeskunde, Verenso(vanaf oktober 2022)
- Drs. K. Weijdema, deskundige infectiepreventie, Rijksinstituut voor Volksgezondheid en Milieu (RIVM)
- Dr. H. Ruijs, arts maatschappij en gezondheid, Rijksinstituut voor Volksgezondheid en Milieu (RIVM)
- G. Stoffer BSc, deskundige infectiepreventie, Vereniging voor Hygiëne & Infectiepreventie in de Gezondheidszorg (VHIG)
- Ing. E. de Bruijne, deskundige infectiepreventie, Vereniging voor Hygiëne & Infectiepreventie in de Gezondheidszorg (VHIG)
- Drs. R.J. Naber, bedrijfsarts, Nederlandse Vereniging voor Arbeids- en Bedrijfsgeneeskunde (NVAB)
- J. Luijten, arbeidshygiënist, Nederlandse Vereniging voor Arbeidshygiëne (NVvA)
Met ondersteuning van:
- Dr. I. van Dusseldorp, literatuurspecialist, Kennisinstituut van Federatie Medisch Specialisten
- Dr. E. Belfroid, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- Drs. A.E. Sussenbach, junior adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- A. Eikelenboom-Boskamp, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- Dr. A.J. Versteeg, adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- Dr. H. Graveland, senior adviseur, Kennisinstituut van Federatie Medisch Specialisten
Belangenverklaringen
De Code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard dat zij in de laatste drie jaar wel/geen directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement) hebben gehad. Gedurende de ontwikkeling of herziening van een module worden wijzigingen in belangen aan de voorzitter doorgegeven. De belangenverklaring wordt opnieuw bevestigd tijdens de commentaarfase.
Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.
Werkgroeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
Dr. M.S.L. Liem |
chirurg, Medisch manager operatie-kamers, MST - Enschede |
SKMS beoordelingen kwaliteitsprojecten (vacatie-gelden). Penningmeester DLSG (onbetaald). Richtlijn commissie NVvH (tot 1 jan. 2022 – onbetaald). Wetenschappelijke cie, DHBA (onbetaald; soms vacatiegelden) |
geen |
Geen actie vereist |
Dr. S.J. Vainio |
arts-microbioloog (medisch specialist niet in loondienst), St Antonius Ziekenhuis |
geen |
geen |
Geen actie vereist |
Dr. H.F. Wunderink |
arts-microbioloog, UMCU |
geen |
geen |
Geen actie vereist |
Dr. K.E. Veldkamp |
arts-microbioloog, hoofd eenheid Infectiepreventie en voorzitter Infectie-commissie LUMC |
Voorzitter werkgroep Hygiëne en Infectiepreventie van de NVMM – onbetaald. Lid algemene visitatiecommissie Medische Microbiologie van de NVMM – onbetaald (m.u.v. vacatiegelden voor visitaties). OMT COVID-19, RIVM –vacatiegelden. |
geen |
Geen actie vereist |
Dr. J.M.T. Klein Gunnewiek |
senior adviseur bij Zorgverzekeraars Nederland |
Extern auditor bij de Raad van Accreditatie (ISO 15189). |
geen |
Geen actie vereist |
Dr. A.M.L. Oude Lashof |
internist-infectioloog Maastricht UMC+ |
geen |
geen |
Geen actie vereist |
Dr. J. Honnigs |
KNO-arts / hoofd-hals chirurg Radboud UMC |
geen |
geen |
Geen actie vereist |
Dr. L.A.M. Bruijstens |
anesthesioloog, Radboud UMC |
geen |
geen |
Geen actie vereist |
M. den Otter |
verpleegkundig specialist AGZ, St Jansdal ziekenhuis |
V&VN VS bestuur, vacatieregeling |
geen |
Geen actie vereist |
Drs. A. Harteloh-Schepers |
Specialist ouderengeneeskunde bij Archipelzorggroep |
RCT lid Rezisto |
geen |
Geen actie vereist |
Drs. D.C.M. aan de Stegge |
Werkgever: Beweging 3.0 te Amersfoort. Specialist Ouderengeneeskunde |
geen |
geen |
Geen actie vereist |
Drs. K. Weijdema |
deskundige infectiepreventie SRI namens RIVM en LCI |
Lid Green Team infectiepreventie NL |
geen |
Geen actie vereist |
Dr. H. Ruijs |
arts maatschappij en gezondheid/Infectieziektebestrijding RIVM, Centrum Infectieziektebestrijding |
geen |
geen |
Geen actie vereist |
G. Stoffer BSc |
Deskundige infectiepreventie |
Lid KRIZ commissie |
geen |
Geen actie vereist |
Ing. E. de Bruijne |
Deskundige infectiepreventie |
geen |
geen |
Geen actie vereist |
Drs. R.J. Naber |
Bedrijfsarts, arbodienst Amsterdam UMC |
Secretaris NVAB werkgroep BaZ. Lid NVAB commissie richtlijnontwikkeling en wetenschap. Lid NVAB commissie Intercollegiale toetsing en deskundigheidsbevordering. |
geen |
Geen actie vereist |
J. Luijten |
Arbeidshygiënist en Veiligheidskundige. Werkgever: Isala Zwolle
|
Werkzaam als Arbeidshygiënist en Veiligheidskundige bij de interne arbodienst van Isala in Zwolle. Dit betreft mijn hoofdwerkzaamheden (fulltime) en is een betaalde functie. |
geen |
Geen actie vereist |
Inbreng patiëntenperspectief
Met het uitnodigen van Patiëntfederatie Nederland (PFNL) voor de invitational conference is aandacht besteed aan het patiëntenperspectief. De verkregen input is meegenomen bij het opstellen van de uitgangsvragen, de keuze voor de uitkomstmaten en bij het opstellen van de overwegingen. De conceptrichtlijn is tevens voor commentaar voorgelegd aan PFNL en de eventueel aangeleverde commentaren zijn bekeken en verwerkt.
Wkkgz en kwalitatieve raming van mogelijke substantiële financiële gevolgen
Kwalitatieve raming van mogelijke financiële gevolgen in het kader van de Wet kwaliteit, klachten en geschillen zorg (Wkkgz). Bij de richtlijn is conform de Wkkgz een kwalitatieve raming uitgevoerd van mogelijke substantiële gevolgen van de aanbevelingen. Bij het uitvoeren van deze beoordeling zijn richtlijnmodules op verschillende domeinen getoetst (zie het stroomschema op de Richtlijnendatabase).
Uit de kwalitatieve raming blijkt dat er waarschijnlijk geen substantiële financiële gevolgen zijn, zie onderstaande tabel.
Module |
Uitkomst raming |
Toelichting |
Module wet- en regelgeving |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar is (zijn) (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module handschoenen |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar is (zijn) (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module beschermende kleding (schorten) |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar zijn (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module (chirurgische) mondneusmaskers en ademhalingsbeschermingsmaskers |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar zijn (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module pasvormtest (fittest) |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar zijn (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module oogbescherming |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar zijn (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module beschermende hoofdbedekking |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar zijn (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Module overschoenen en laarzen |
Geen substantiële financiële gevolgen |
Hoewel uit de toetsing volgt dat de aanbeveling(en) breed toepasbaar zijn (5.000-40.000 patiënten), volgt ook uit de toetsing dat het geen nieuwe manier van zorgverlening of andere organisatie van zorgverlening betreft. Er wordt geen toename in voltijdsequivalenten dan wel opleidingsniveau verwacht. Er worden daarom geen substantiële financiële gevolgen verwacht. |
Werkwijze
Deze richtlijnmodule is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010).
Knelpuntenanalyse
Tijdens de voorbereidende fase inventariseerde de werkgroep de knelpunten in de zorg met betrekking tot persoonlijke beschermingsmiddelen. De werkgroep beoordeelde de aanbeveling(en) uit de eerdere richtlijnen ‘Persoonlijke beschermingsmiddelen ziekenhuizen’, ‘Persoonlijke beschermingsmiddelen revalidatiecentra’ en ‘Persoonlijke beschermingsmiddelen verpleeghuizen, woonzorgcentra en voorzieningen voor kleinschalig wonen’ op noodzaak tot revisie. Tevens zijn er knelpunten aangedragen door SVN, NVP, ActiZ, NOG, IGJ, NVAVG, VGN, NVDV, NVIC en NVR via de invitational conference. Een verslag hiervan is opgenomen onder aanverwante producten.
Op basis van de uitkomsten van de knelpuntenanalyse zijn door de werkgroep conceptuitgangsvragen opgesteld en definitief vastgesteld.
Uitkomstmaten
Na het opstellen van de zoekvraag behorende bij de uitgangsvraag inventariseerde de werkgroep welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. Hierbij werd een maximum van acht uitkomstmaten gehanteerd. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.
Strategie voor zoeken en selecteren van literatuur
Een uitgebreide beschrijving van de strategie voor zoeken en selecteren van literatuur is te vinden onder ‘Zoeken en selecteren’ onder Onderbouwing. Indien mogelijk werd de data uit verschillende studies in een random-effects model. Review Manager 5.4 werd gebruikt voor de statistische analyses. De beoordeling van de kracht van het wetenschappelijke bewijs wordt hieronder toegelicht.
Beoordelen van de kracht van het wetenschappelijke bewijs
De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/). De basisprincipes van de GRADE-methodiek zijn: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat en een beoordeling van de bewijskracht per uitkomstmaat op basis van de acht GRADE-domeinen (domeinen voor downgraden: risk of bias, inconsistentie, indirectheid, imprecisie en publicatiebias; domeinen voor upgraden: dosis-effect relatie, groot effect en residuele plausibele confounding).
GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie, in het bijzonder de mate van zekerheid waarin de literatuurconclusie de aanbeveling adequaat ondersteunt (Schünemann, 2013; Hultcrantz, 2017).
GRADE |
Definitie |
Hoog |
er is hoge zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt; het is zeer onwaarschijnlijk dat de literatuurconclusie klinisch relevant verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd. |
Redelijk |
er is redelijke zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt; het is mogelijk dat de conclusie klinisch relevant verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd. |
Laag |
er is lage zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt; er is een reële kans dat de conclusie klinisch relevant verandert wanneer er resultaten van nieuw grootschalig onderzoek aan de literatuuranalyse worden toegevoegd. |
Zeer laag |
er is zeer lage zekerheid dat het ware effect van behandeling dichtbij het geschatte effect van behandeling ligt; de literatuurconclusie is zeer onzeker. |
Bij het beoordelen (graderen) van de kracht van het wetenschappelijk bewijs in richtlijnen volgens de GRADE-methodiek spelen grenzen voor klinische besluitvorming een belangrijke rol (Hultcrantz, 2017). Dit zijn de grenzen die bij overschrijding aanleiding zouden geven tot een aanpassing van de aanbeveling. Om de grenzen voor klinische besluitvorming te bepalen moeten alle relevante uitkomstmaten en overwegingen worden meegewogen. De grenzen voor klinische besluitvorming zijn daarmee niet een-op-een vergelijkbaar met het minimaal klinisch relevant verschil (Minimal Clinically Important Difference, MCID). Met name in situaties waarin een interventie geen belangrijke nadelen heeft en de kosten relatief laag zijn, kan de grens voor klinische besluitvorming met betrekking tot de effectiviteit van de interventie bij een lagere waarde (dichter bij het nuleffect) liggen dan de MCID (Hultcrantz, 2017).
Overwegingen (van bewijs naar aanbeveling)
Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk om mee te wegen, zoals aanvullende argumenten uit bijvoorbeeld de biomechanica of fysiologie, waarden en voorkeuren van patiënten, kosten (middelenbeslag), aanvaardbaarheid, haalbaarheid en implementatie. Deze aspecten zijn systematisch vermeld en beoordeeld (gewogen) onder het kopje ‘Overwegingen’ en kunnen (mede) gebaseerd zijn op expert-opinion. Hierbij is gebruik gemaakt van een gestructureerd format gebaseerd op het evidence-to-decision framework van de internationale GRADE Working Group (Alonso-Coello, 2016a; Alonso-Coello 2016b). Dit evidence-to-decision framework is een integraal onderdeel van de GRADE-methodiek.
Formuleren van de aanbevelingen
De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk (Agoritsas, 2017; Neumann, 2016). De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen. De werkgroep heeft bij elke aanbeveling opgenomen hoe zij tot de richting en sterkte van de aanbeveling zijn gekomen.
In de GRADE-methodiek wordt onderscheid gemaakt tussen sterke en zwakke (of conditionele) aanbevelingen. De sterkte van een aanbeveling verwijst naar de mate van zekerheid dat de voordelen van de interventie opwegen tegen de nadelen (of vice versa), gezien over het hele spectrum van patiënten waarvoor de aanbeveling is bedoeld. De sterkte van een aanbeveling heeft duidelijke implicaties voor patiënten, behandelaars en beleidsmakers (zie onderstaande tabel). Een aanbeveling is geen dictaat, zelfs een sterke aanbeveling gebaseerd op bewijs van hoge kwaliteit (GRADE-gradering HOOG) zal niet altijd van toepassing zijn, onder alle mogelijke omstandigheden en voor elke individuele patiënt.
Implicaties van sterke en zwakke aanbevelingen voor verschillende richtlijngebruikers
|
Sterke aanbeveling |
Zwakke (conditionele) aanbeveling |
Voor patiënten |
De meeste patiënten zouden de aanbevolen interventie of aanpak kiezen en slechts een klein aantal niet. |
Een aanzienlijk deel van de patiënten zou de aanbevolen interventie of aanpak kiezen, maar veel patiënten ook niet. |
Voor behandelaars |
De meeste patiënten zouden de aanbevolen interventie of aanpak moeten ontvangen. |
Er zijn meerdere geschikte interventies of aanpakken. De patiënt moet worden ondersteund bij de keuze voor de interventie of aanpak die het beste aansluit bij zijn of haar waarden en voorkeuren. |
Voor beleidsmakers |
De aanbevolen interventie of aanpak kan worden gezien als standaardbeleid. |
Beleidsbepaling vereist uitvoerige discussie met betrokkenheid van veel stakeholders. Er is een grotere kans op lokale beleidsverschillen. |
Randvoorwaarden (organisatie van zorg)
In de knelpuntenanalyse en bij de ontwikkeling van de richtlijnmodule is expliciet aandacht geweest voor de organisatie van zorg: alle aspecten die randvoorwaardelijk zijn voor het verlenen van zorg (zoals coördinatie, communicatie, (financiële) middelen, mankracht en infrastructuur). Randvoorwaarden die relevant zijn voor het beantwoorden van deze specifieke uitgangsvraag zijn genoemd bij de overwegingen. Meer algemene, overkoepelende of bijkomende aspecten van de organisatie van zorg worden behandeld in de module Organisatie van zorg.
Formuleren van kennislacunes
Tijdens de ontwikkeling van de richtlijn Persoonlijke beschermingsmiddelen is systematisch gezocht naar onderzoeksbevindingen die nuttig kunnen zijn voor het beantwoorden van de uitgangsvragen. Een deel (of een onderdeel) van de hiervoor opgestelde zoekvragen is met het resultaat van deze zoekacties te beantwoorden, een groot deel echter niet. Door gebruik te maken van de evidence-based methodiek (EBRO) is duidelijk geworden dat er nog kennislacunes bestaan. De werkgroep is van mening dat (vervolg)onderzoek wenselijk is om in de toekomst een duidelijker antwoord te kunnen geven op vragen uit de praktijk. Om deze reden heeft de werkgroep per module aangegeven waar wetenschappelijke kennis beperkt is en dus op welke vlakken nader onderzoek gewenst is.
Commentaar- en autorisatiefase
De conceptrichtlijnmodule is aan de betrokken (wetenschappelijke) verenigingen en (patiënt)organisaties voorgelegd ter commentaar. De commentaren zijn verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren is de conceptrichtlijnmodule aangepast en definitief vastgesteld door de werkgroep. De definitieve richtlijnmodule is aan de deelnemende (wetenschappelijke) verenigingen en (patiënt)organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd.
Literatuur
Agoritsas T, Merglen A, Heen AF, Kristiansen A, Neumann I, Brito JP, Brignardello-Petersen R, Alexander PE, Rind DM, Vandvik PO, Guyatt GH. UpToDate adherence to GRADE criteria for strong recommendations: an analytical survey. BMJ Open. 2017 Nov 16;7(11):e018593. doi: 10.1136/bmjopen-2017-018593. PubMed PMID: 29150475; PubMed Central PMCID: PMC5701989.
Alonso-Coello P, Schünemann HJ, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Rada G, Rosenbaum S, Morelli A, Guyatt GH, Oxman AD; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ. 2016 Jun 28;353:i2016. doi: 10.1136/bmj.i2016. PubMed PMID: 27353417.
Alonso-Coello P, Oxman AD, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S,Mustafa RA, Vandvik PO, Meerpohl J, Guyatt GH, Schünemann HJ; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Clinical practice guidelines. BMJ. 2016 Jun 30;353:i2089. doi: 10.1136/bmj.i2089. PubMed PMID: 27365494.
Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, Fervers B, Graham ID, Grimshaw J, Hanna SE, Littlejohns P, Makarski J, Zitzelsberger L; AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010 Dec 14;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348; PubMed Central PMCID: PMC3001530.
Hultcrantz M, Rind D, Akl EA, Treweek S, Mustafa RA, Iorio A, Alper BS, Meerpohl JJ, Murad MH, Ansari MT, Katikireddi SV, Östlund P, Tranæus S, Christensen R, Gartlehner G, Brozek J, Izcovich A, Schünemann H, Guyatt G. The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol. 2017 Jul;87:4-13. doi: 10.1016/j.jclinepi.2017.05.006. Epub 2017 May 18. PubMed PMID: 28529184; PubMed Central PMCID: PMC6542664.
Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. http://richtlijnendatabase.nl/over_deze_site/over_richtlijnontwikkeling.html
Neumann I, Santesso N, Akl EA, Rind DM, Vandvik PO, Alonso-Coello P, Agoritsas T, Mustafa RA, Alexander PE, Schünemann H, Guyatt GH. A guide for health professionals to interpret and use recommendations in guidelines developed with the GRADE approach. J Clin Epidemiol. 2016 Apr;72:45-55. doi: 10.1016/j.jclinepi.2015.11.017. Epub 2016 Jan 6. Review. PubMed PMID: 26772609.
Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.