Prognose fractuurrisico
Uitgangsvraag
Hoe kan het fractuurrisico worden ingeschat bij patiënten met botmetastasen?
Aanbeveling
Gebruik bij twijfel over de hoogte van het fractuurrisico het ACI >3 cm model om de kans op een pathologische fractuur in te schatten.
Overweeg aanvullend de BOS-score indien beschikbaar.
Overwegingen
Voor- en nadelen van de interventie en de kwaliteit van het bewijs
Scoringssystemen gebaseerd op röntgenonderzoek al dan niet gecombineerd met anamnestisch en klinisch onderzoek zijn eenvoudig toe te passen waardoor kosten beperkt blijven. De ACI-methode (>30mm) op basis van röntgendiagnostiek heeft vanwege de voorspellende waarde, de beschikbaarheid en de kosten de voorkeur.
Conventionele beeldvorming kan snel verricht worden, is makkelijk toegankelijk, goedkoop en geeft een goede eerste indruk van de ossale aantasting. CT is superieur ten opzichte van conventionele beeldvorming in het beoordelen van corticaal en trabeculair bot en geeft derhalve een betere inschatting van het fractuurrisico. Echter, vaak is conventionele beeldvorming voldoende geschikt voor het inschatten van het fractuurrisico. De genoemde ACI > 3cm is alleen onderzocht bij conventionele beeldvorming en van toepassing op het gehele proximale femur. Bij twijfel kan aanvullend een CT vervaardigd worden, zoals bij lesies met permeatief destructiepatroon. Oncologische follow-up vereist ook veelvuldig een CT-onderzoek waarop het axiale skelet beoordeeld kan worden.
Het gebruik van Mirels raadt de richtlijnwerkgroep af, omdat deze een lage voorspellende waarde heeft en eerder tot overbehandeling leidt.
Pathologische afwijkingen kunnen groeien. Als het botweefsel niet gestabiliseerd wordt door middel van een ingreep, kan door ziekteprogressie het bot in de tijd verder verzwakken.
Ondanks betere methoden om in te schatten of een pathologische fractuur zal ontstaan, is het voorspellen van het effect van een behandeling door middel van systemische therapie of radiotherapie op de stevigheid van het bot nog steeds lastig. Derhalve verdient de voorkeur deze afwijkingen te vervolgen.
Waarden en voorkeuren van patiënten (en evt. hun naasten)
Patiënten kunnen bang zijn voor fracturen en hebben ook vaak pijn. Zij zijn gebaat bij het behoud van mobiliteit om zoveel mogelijk zelfstandig te kunnen blijven functioneren. Daarom is het wenselijk om te weten of hun bot een verhoogd fractuurrisico kent (zodat ze er rekening mee kunnen houding bij sport, belasting etc.) en zo nodig tijdig te kunnen behandelen. Overbehandeling (te veel stabiliserende operaties) wordt door patiëntvertegenwoordigers in de werkgroep als minder problematisch gezien dan onderbehandeling (toch optreden van een pathologische fractuur). Het gebruik van een model ter ondersteuning van de inschatting van het fractuurrisico kan bijdragen aan het proces van samen beslissen. Daarbij is het wel essentieel dat patiënten goed voorgelicht worden over de waarde en de beperkingen van een model. Ook clinici moeten zich dat realiseren.
Kosten (middelenbeslag)
Het gebruik van geavanceerde modellen met behulp van extra beeldvorming en bewerkingen brengt extra kosten met zich mee.
Aanvaardbaarheid, haalbaarheid en implementatie
Op dit moment wordt vanwege de beschikbaarheid en bekendheid in Nederland de ACI (>30mm) gebruikt. Deze is makkelijk en kosteloos inzetbaar. Toch zijn modellen als de BOS veelbelovend en mogelijk superieur, toekomstig klinische inzetbaarheid daarvan zal grotendeels afhankelijk zijn van de beschikbaarheid, gemak van gebruik en bekendheid. De BOS-score kan momenteel alleen in studieverband worden aangevraagd in een beperkt aantal instellingen.
Onderbouwing
Achtergrond
Tussen de 5 en 10% van de patiënten met een botmetastase krijgt uiteindelijk te maken met een dreigende of bestaande pathologische fractuur. De sterkte van pathologisch bot hangt af van zowel kenmerken van het bot als van de laesie (d.w.z. voor het bot: de grootte, de vorm en de driedimensionale variatie in dichtheid van trabeculair en corticaal bot, en bot-microarchitectuur, en voor de laesies: grootte, vorm, en aard). Natuurlijk is de belasting als externe factor ook van invloed voor het optreden van een fractuur. Progressieve chronische pijn (belastingafhankelijk, palpatoir, nachtelijk) is vaak het eerste symptoom van een pathologische afwijking in het bot, maar is in de praktijk maar van matig voorspellende waarde op een pathologische fractuur (Van der Linden, 2004; Nguyễn, 2021; Ardakani 2022).
Tijdige inschatting van het risico op fracturen is essentieel, aangezien dit een belangrijke overweging is voor de keuze van een lokale behandeling, zoals radiotherapie bij een laag risico en preventieve chirurgie bij een hoog risico. Daarnaast heeft het consequenties voor bijvoorbeeld adviezen rondom belasting, bijvoorbeeld door mobiliseren met krukken te adviseren. Er zijn verschillende scoresystemen in de literatuur beschreven die clinici helpen om een risico-inschatting te doen. Het scoringsysteem van Mirels (2003) bevat vier items (anatomische lokalisatie, mate van corticale aantasting, lytisch of blastisch, en mate van pijn) en wordt sinds de jaren negentig wereldwijd gebruikt. Op basis van later Nederlands onderzoek naar femora wordt inmiddels in Nederland de zogenaamde 3cm regel geadviseerd, die nauwkeuriger blijkt in het voorspellen van een fractuur op basis van een eenvoudig te verkrijgen röntgenfoto (Van der Linden 2004, Van der Wal 2020). Omdat Mirels een overschatting van het risico op daadwerkelijke fractuur geeft werd in de vorige richtlijn geadviseerd dit scoresysteem niet meer te gebruiken. Maar omdat in de praktijk het systeem nog veel gebruikt wordt beschrijven we de uitkomsten tov andere scoringssystemen in dit hoofdstuk
Omdat zowel over- als onderbehandeling nog steeds voorkomt, wordt er op verschillende vlakken gewerkt aan verbetering van voorspellende modellen om de keuze voor een behandeling (conservatief, radiotherapie of operatief) te ondersteunen.
Conclusies
Very low GRADE |
The evidence is very uncertain about the impact (on clinical decision making and patient outcomes) of using CT-RA or the BOS score for the identification of patients with bone metastases that are at risk for fractures.
No studies were found that evaluated the impact of other prognostic instruments on clinical decision making and patient outcomes.
Source: Nazarian 2015; Nguyễn, 2021; Eggermont 2022 |
Samenvatting literatuur
Description of studies
The quality of the literature review by Nguyễn (2021) was very low. The main methodological limitations are the absence of a systematic search strategy, no comprehensive literature search strategy, the absence of in- and exclusion criteria and no risk of bias assessments. Despite these limitations, Nguyễn (2021) pointed out that the prediction of long bone pathologic fracture remains a clinical challenge. In many cases, conservative treatment will suffice, although some patients with impending fractures are likely to benefit from preventive surgery. However, because of the variation between patients in disease characteristics such as life expectancy or response to irradiation or chemotherapy, it is difficult to establish a general yet accurate predictive tool for pathologic fracture risk assessment (Nguyễn, 2021).
Nguyễn (2021) summarized available instruments for the risk assessment of long bone metastasis fractures (see Table 1).
Table 1. Instruments of the risk assessment of long bone metastasis fractures (from: Nguyễn, 2021)
Tool |
Prognostic information |
Score |
The Mirels Scoring System |
Lesion size (in relation to the bone diameter), its radiological appearance, its anatomical site, and its related pain. |
Each item is subdivided into three categories, rated from 1 to 3, resulting in a total score of between 4 and 12 |
SPECT-CT-modified Mirels scores (99mTc MDP SPECT-CT) |
Same as Mirels score, but with technetium 99m-methyl diphosphonate (99mTC-MDP) single-photon emission computed tomography– computed tomography (SPECT-CT) scintigraphy as a substitute for radiography. |
see Mirels score |
Add-on: hybrid bone imaging (X-rays along with SPECT-CT) |
Mirels score plus the metabolic activity of the lesions. |
see Mirels score, and: high metabolic = high risk of fracture |
Mirels score with 18F-fluorodeoxyglucose (18F-FDG) PET-CT |
Mirels score plus the metabolic activity of the lesions. |
see Mirels score, and: a total lesion glycolysis of 81 = high risk of fracture |
Axial cortical involvement (ACI) > 30 mm |
A cortical invasion of more than 30 mm in the axial plane (axial cortical involvement (ACI), ACI > 30 mm), detected on a frontal and lateral X-ray or CT scan, |
ACI > 30 mm: yes/no fracture risk |
Circumferential cortical involvement (CCI) > 30 mm |
A circumferential involvement ≥30% by using three-dimensional CT scans. |
CCI > 30 mm: yes/no fracture risk |
Computed Tomography–Rigidity Analysis (CT-RA) |
Bone rigidity |
A reduction in axial, bending, or torsional rigidities of more than 35% = high risk of fracture |
Curved CT-RA |
Bone rigidity |
Not validated in vivo. |
Computed Tomography–Finite Element Analysis (CT-FEA) |
Femoral strength |
Different cut-off score described in literature |
CT-FEA The Femoral Inner Cortex Thickness Threshold |
Thickness of the inner cortex |
3.67 mm = high risk of fracture |
CT-FEA Strain Fold Ratio |
The patient’s weight, the femur anatomy, and a loading force representing stance position. |
1.48 the ratio between the maximum principal strain in the vicinity of the tumor and the typical median strain in the contralateral region of healthy bones = high risk of fracture |
CT-FEA: Bone Strength Score (BOS Score) |
The patient’s weight, the femur anatomy, and a loading force representing sit-to-stand position. |
7.5 × body weight |
Results
The impact of using a prognostic instrument
One study assessed the impact of using a scoring system (CT-RA) on treatment planning (Nazarian, 2015) and one study assessed the impact on clinical decision making of using the BOS score (Eggermont, 2022).
Computed Tomography–Rigidity Analysis (CT-RA)
In the study by Nazarian (2015), 124 patients with 149 metastatic lesions were assigned to a treatment plan on the basis of the Mirels score. The Mirels criteria assigned 96 lesions (96/149; 64%) to the high-risk group (Mirels score > 9), whereas the physicians recommended surgery for 64 lesions (64/149; 43%).
Of the 85 patients (57%) that did not undergo prophylactic stabilization, 65 were followed over the following 4-month period. Seven new fractures, all at the lesion sites, were reported during follow-up in 7 different patients (11%). All 7 new fractures were correctly predicted to fracture using the CT-RA method (100% sensitivity). Of the 58 lesions that did not fracture, CT-RA predicted 52 not to fracture (90% specificity).
After obtaining the CT-RA results, the physicians changed the treatment for 36 patients (29%). Seven of those who did not undergo fixation ended up suffering fractures (19%). Although all seven of these fractures were correctly predicted by CT-RA, the physicians were influenced by subjective criteria, considering pain and the primary source of metastasis before opting for preventive stabilization. Only five of the seven lesions were predicted as being at high risk of fracture on the basis of the Mirels scores (Nguyễn; 2021).
The certainty of the evidence regarding the clinical impact of using CT-RA versus the Mirels score is very low. The certainty of the evidence started at “low” because of the pre-post study design and was downgraded to very low because of very serious study limitations and very serious imprecision (only one small study with insufficient power).
The 30mm (axial length)
The study of Van der Linden prospectively followed up patients taking part in a randomised trial of radiotherapy in order to predict pathologic fractures. In 102 patients with 110 femoral lesions, 14 fractures occurred during follow-up. The risk factors studied were increasing pain, the size of the lesion, radiographic appearance, localisation, transverse/axial/circumferential involvement of the cortex and a modified scoring system of Mirels. Axial cortical involvement >30 mm (p = 0.01) was most predictive for fracture. Their results indicate that most conventional risk factors overestimate the actual occurrence of pathological fractures of the femur. The assessment of axial cortical involvement provides a simple, objective tool using simple radiographs in order to decide which treatment is appropriate.
The BOne Strength (BOS) score
In the study by Eggermont (2022), 39 patients with 42 metastatic lesions were assigned to a treatment plan on the basis of the BOS score. BOS scores were requested by eighteen different physicians, of which ten requested more than one BOS score. The BOS score assigned 20 lesions (20/42; 48%) to the high-risk group, whereas the physicians estimated a high risk for 14 lesions (14/42; 33%).
For five femurs (5/42; 12%), both the initial estimation by the physician and the BOS score indicated a high fracture risk. These five patients were all scheduled for elective surgery, and in two patients, a pathological fracture occurred shortly prior to the scheduled surgery. In one case, the patient refused surgery but changed her mind after the BOS score indicated a high fracture risk.
For six femurs (6/42; 14%), both the initial estimation by the physician and the BOS score indicated a low fracture risk. One patient was treated with multiple fractions of radiotherapy because of pain complaints, four patients received a single dose, and one patient was not treated at all.
For 31 femurs (31/42); 74%), a discrepancy existed between the physician’s estimation and the BOS score. For 22 femurs (22/42; 52%), the initial fracture risk was assessed as low, but the BOS score indicated a high risk (n = 15) or moderate risk (n = 7). In 18 of these cases (18/22; 82%), the treatment plan was adapted based on the BOS score (1x elective surgery and 17x higher dose of radiotherapy. One patient who received multiple fractions of radiotherapy developed a fracture.
Regarding the impact of using the BOS score, physicians stated the BOS score had a decisive effect on the treatment decision. It was mentioned that treatment decisions were better substantiated. Another theme was “reassurance”. If the BOS score was in correspondence with the clinical fracture risk estimation, it gave both physicians (16 times) and patients (6 times) additional confirmation that the most appropriate treatment decision was made.
Regarding the theme “shared decision making”, it was mentioned the BOS score helped to open the conversation between the physician and patient.
The certainty of the evidence regarding the clinical impact of using the BOS score is very low. The certainty of the evidence started at “low” because of the pre-post study design and was downgraded to very low because of very serious study limitations and very serious imprecision (only one small study with insufficient power).
No studies were found that described and compared the impact of other scoring systems.
Comparative prognostic value
Nguyễn (2021) described three comparative studies: one prospective study comparing a cortical invasion of more than 30 mm in the axial plane (axial cortical involvement (ACI) > 30 mm), detected on a frontal and lateral X-ray or CT-scan, with the Mirels score, in 102 patients (Van der Linden 2003). The ACI > 30 mm was more specific of the risk of fracture than the Mirels score (Table 2). In a validation study on the axial cortical involvement using a new prospective set of 100 patients, all treated with radiotherapy for pain, again, the predictive value of the ACI as simple tool over Mirels was shown (van der Wal, 2020).
The second prospective study (Eggermont, 2020) compared the BOS Score with ACI in 45 patients. The CT-FEA model showed a better prognostic value with higher sensitivity and higher specificity.
Tatar (2014) proposed use of three-dimensional CT scans in order to obtain a more precise assessment of cortical involvement. In their retrospective multivariate analysis, based on 37 patients, a circumferential involvement ≥30% was the only predictive parameter for pathological fracture. Table 2) shows results from the prospective studies.
Table 2. Comparative predictive values obtained from prospective studies (from: Nguyễn, 2021).
Tool |
Sensitivity |
Specificity |
PPV |
NPV |
Van der Linden 2003 |
||||
Mirels score > 9 |
100% |
13% |
14% |
94% |
ACI > 30 mm |
86% |
58% |
23% |
97% |
Van der Wal 2020 |
||||
Mirels score > 8 |
77% |
45% |
17%% |
93% |
ACI > 30 mm |
86% |
50% |
20% |
96% |
Eggermont 2020 |
||||
CT-FEA model (BOS Score) |
100% |
74% |
39% |
100% |
ACI |
86% |
42% |
19% |
95% |
Zoeken en selecteren
A systematic review of the literature was performed to answer the following question:
What is the impact on clinical decision-making and patient outcomes of using a prognostic instrument for the identification of patients with bone metastases that are at risk for fractures?
P: | patients with bone metastases |
I: | a fracture risk evaluation tool, such as a prognostic tool, decision rule, scoring algorithm |
C: | not using a tool or another tool |
O: |
1) outcome measures reflecting the impact of using a prognostic tool in practice: (change in) treatment decisions; fractures; quality of life (including physical activity); 2) outcome measures reflecting theoretical effects when using a prognostic instrument, such as overall performance, calibration, discrimination, classification (true positives, true negatives, false positives, false negatives) or other performance measures. |
Timing: at the moment of diagnosing osseal metastasis.
Setting: first, second or third line.
About prognostic research in general
There are currently few examples of the implementation of prognostic research resulting in improved patient care. The methodological quality of prognostic research is often low (Kent 2020).
For clinical use, externally validated prediction models should be translated into simple clinical prediction rules and help clinical decision making. Those rules guide the choice for treatment by providing information on the likely outcome of an individual (given different interventions), whereas prognostic rules inform the likely prognosis of an individual given just one treatment or care pathway. In a final stage, clinical prediction and decision rules, as well as single prognostic determinants can be tested in intervention studies (e.g. randomised clinical trials) to determine the impact of using the rule on patient outcomes and the cost-effectiveness of care or the effects of intervening on the prognostic determinant. Randomised and non-randomised impact studies can also play a role in describing the pragmatic ability of clinical rules to be adopted, change practice and improve outcomes.
This literature review focuses primarily on the clinical application of prognostic information and, secondary, confirmatory studies (prediction model external validation and investigation of causal relationships) and excludes exploratory studies (descriptive, association, and model development studies). The clinical application of prognostic information can include the development of clinical prediction or decision rules, and studies that seek to determine whether those rules do make a difference to outcomes when applied in treatment settings.
Relevant outcome measures
The guideline development group considered outcome measures reflecting the impact of using a prognostic tool on clinical decision making and patient outcomes as critical outcome measures for decision making; and outcome measures reflecting theoretical effects and the prognostic value of using a prognostic instrument, such as true positives, true negatives, false positives, and false negatives as important outcome measures for decision making.
The working group did not define the outcome measures listed above but used the definitions used in the studies.
Clinical and/or patient important differences
The working group agreed that sensitivity should outweigh specificity: overtreatment and to prevent a fracture (operating on a patient who would eventually not get a fracture) would be less serious than undertreatment (not operating on a patient and fracture occurs), while surgery also contributes to stability. This is also preferable from a patient perspective, patients are often afraid to move for fear of a fracture.
Search and select (Methods)
On 11 July 2022, the Embase and Ovid/Medline databases were searched with relevant search terms for systematic reviews on the prognosis of fractures in patients with bone metastases. The literature search yielded 670 unique hits. The detailed search strategy is depicted under the tab Methods. Studies were selected based on the following criteria:
- The patient population consists of patients with bone metastases other than vertebral metastases (for example long bones, such as the femur);
- The scope of the study is preferably the clinical application of prognostic information or external model validation;
- The design is a systematic literature review.
Seven studies were initially selected based on title and abstract screening. After reading the full text, five studies were excluded (see the table with reasons for exclusion under the tab Methods), and two studies were included (Benca 2016; Nguyễn, 2021). Although the review by Nguyễn (2021) was not a systematic literature review, it was decided to include this review for this guideline module (deviation from protocol). Despite its limitations, the guideline working group did not believe that conducting a new systematic literature review into this topic would be of substantial additional value that would outweigh the efforts and costs involved in a systematic literature review on this topic.
After the search date, in November 2022, an article was published about a Dutch prospective pilot study that evaluates the added clinical value of the Bone Strength Score (BOS) towards treatment-related decision making (Eggermont, 2022). Based on the relevance of this article for this guideline module, it was added to the body of evidence.
Results
Systematic reviews
Both Nguyễn (2021) and Benca (2016) were included in the analysis of the literature, but Nguyễn (2021) provided the most relevant information, included more recent literature (up to 2021) and included studies relevant for long bone metastases in general while Benca (2016) included only studies applicable for femoral metastases. Benca (2016) was therefore mainly used for cross-checking the information provided by Nguyễn (2021). Important study characteristics of Nguyễn (2021) are summarized in the evidence tables. The assessment of the risk of bias is summarized in the table of quality assessment.
Individual study not included in Nguyễn (2021)
One original study was included (Eggermont 2022). The original research on which this study was based (Eggermont 2020), was included in Nguyễn (2021). Eggermont 2022 was included because of additional information on effect on decision making.
Referenties
- 1 - Ardakani AHG, Faimali M, Nystrom L, Mesko N, Mughal M, Ware H, Gikas P. Metastatic bone disease: Early referral for multidisciplinary care. Cleve Clin J Med. 2022 Jul 1;89(7):393-399. doi: 10.3949/ccjm.89a.21062. PMID: 35777838.
- 2 - Benca E, Patsch JM, Mayr W, Pahr DH, Windhager R. The insufficiencies of risk analysis of impending pathological fractures in patients with femoral metastases: A literature review. Bone Rep. 2016 Mar 2;5:51-56. doi: 10.1016/j.bonr.2016.02.003. eCollection 2016 Dec. PMID: 28326347.
- 3 - Coleman RE. Skeletal complications of malignancy. Cancer 1997; 80(8 Suppl):1588-1594.
- 4 - Eggermont F, van der Linden Y, Verdonschot N, Dierselhuis E, Ligthert S, Bitter T, Westhoff P, Tanck E. A Patient-Specific Fracture Risk Assessment Tool for Femoral Bone Metastases: Using the Bone Strength (BOS) Score in Clinical Practice. Cancers (Basel). 2022 Nov 29;14(23):5904. doi: 10.3390/cancers14235904.PMID: 36497388.
- 5 - Eggermont F, van der Wal G, Westhoff P, Laar A, de Jong M, Rozema T, Kroon HM, Ayu O, Derikx L, Dijkstra S, Verdonschot N, van der Linden Y, Tanck, E. (2020). Patient-specific finite element computer models improve fracture risk assessments in cancer patients with femoral bone metastases compared to clinical guidelines. Bone 2020 Jan:130:115101. doi: 10.1016/j.bone.2019.115101. Epub 2019 Oct 23. PMID: 31655223.
- 6 - Mirels, H. The Classic: Metastatic Disease in Long Bones A Proposed Scoring System for Diagnosing Impending Pathologic Fractures. Clin. Orthop. 2003; 415, S4-S13
- 7 - Nazarian A, Entezari V, Zurakowski D, Calderon N, Hipp JA, Villa-Camacho JC, Lin PP, Cheung FH, Aboulafia AJ, Turcotte R, Anderson ME, Gebhardt MC, Cheng EY, Terek RM, Yaszemski M, Damron TA, Snyder BD. Treatment Planning and Fracture Prediction in Patients with Skeletal Metastasis with CT-Based Rigidity Analysis. Clin Cancer Res. 2015 Jun 1;21(11):2514-9. doi: 10.1158/1078-0432.CCR-14-2668. Epub 2015 Feb 27. PMID: 25724521; PMCID: PMC4452435.
- 8 - Nguyễn MV, Carlier C, Nich C, Gouin F, Crenn V. Fracture Risk of Long Bone Metastases: A Review of Current and New Decision-Making Tools for Prophylactic Surgery. Cancers (Basel). 2021 Jul 21;13(15):3662. doi: 10.3390/cancers13153662. PMID: 34359563; PMCID: PMC8345078.
- 9 - Tatar Z, Soubrier M, Dillies AF, Verrelle P, Boisgard S, Lapeyre M. Assessment of the risk factors for impending fractures following radiotherapy for long bone metastases using CT scan-based virtual simulation: a retrospective study. Radiat Oncol. 2014 Oct 16;9:227. doi: 10.1186/s13014-014-0227-1. PMID: 25319635; PMCID: PMC4205287.
- 10 - Van der Linden YM, Dijkstra PD, Kroon HM, Lok JJ, Noordijk EM, Leer JW et al. Comparative analysis of risk factors for pathological fracture with femoral metastases. J Bone Joint Surg Br 2004; 86(4):566-573.
- 11 - Van der Linden YM, Kroon HM, Dijkstra SP, Lok JJ, Noordijk EM, Leer JW, Marijnen CA; Dutch Bone Metastasis Study Group. Simple radiographic parameter predicts fracturing in metastatic femoral bone lesions: results from a randomised trial. Radiother Oncol. 2003 Oct;69(1):21-31. doi: 10.1016/s0167-8140(03)00232-9. PMID: 14597353.
- 12 - Van der Wal CWPG, Eggermont F, Fiocco M, Kroon HM, Ayu O, Slot A, Snyers A, Rozema T, Verdonschot NJJ, Dijkstra PDS, Tanck E, van der Linden YM. Axial cortical involvement of metastatic lesions to identify impending femoral fractures; a clinical validation study. Radiother Oncol. 2020 Mar;144:59-64. doi: 10.1016/j.radonc.2019.10.007. Epub 2019 Nov 14.
Evidence tabellen
Research question: What is the impact on clinical decision-making and patient outcomes of using a prognostic instrument for the identification of patients with bone metastases that are at risk for fractures?
Study reference |
Study characteristics |
Patient characteristics |
Intervention (I) |
Comparison / control (C)
|
Follow-up |
Outcome measures and effect size |
Comments |
Nguyễn, 2021
(individual study characteristics deduced from Nguyễn, 2021)
|
Narrative review
Studies assessing the impact of using a prognostic instrument: A: Nazarian 2015 B. Eggermont 2022.
Setting and Country: Not reported for individual studies.
Source of funding and conflicts of interest: None reported |
Inclusion criteria: Not reported.
Exclusion criteria: Not reported. |
A: CT-RA B: BOne Strength (BOS) score
|
A: Mirels score B: Care as usual/not a specific instrument |
End-point of follow-up (median) A: 4 months B: 6 months
For how many participants were no complete outcome data available? Not reported
|
See narrative description of results in text. |
Risk of bias: high This review does not fulfil the criteria of a systematic review.
|
Table of quality assessment for systematic reviews of RCTs and observational studies
Based on AMSTAR checklist (Shea et al.; 2007, BMC Methodol 7: 10; doi:10.1186/1471-2288-7-10) and PRISMA checklist (Moher et al 2009, PLoS Med 6: e1000097; doi:10.1371/journal.pmed1000097)
Study
First author, year |
Appropriate and clearly focused question?
Yes/no/unclear |
Comprehensive and systematic literature search?
Yes/no/unclear |
Description of included and excluded studies?
Yes/no/unclear |
Description of relevant characteristics of included studies?
Yes/no/unclear |
Appropriate adjustment for potential confounders in observational studies?
Yes/no/unclear/not applicable |
Assessment of scientific quality of included studies?
Yes/no/unclear |
Enough similarities between studies to make combining them reasonable?
Yes/no/unclear |
Potential risk of publication bias taken into account?
Yes/no/unclear |
Potential conflicts of interest reported?
Yes/no/unclear |
Nguyễn 2021 |
No |
No |
No |
No |
Not applicable |
No
|
Not applicable |
No |
Yes |
Table of excluded studies
Reference |
Reason for exclusion |
Falcinelli C, Whyne C. Image-based finite-element modeling of the human femur. Comput Methods Biomech Biomed Engin. 2020 Nov;23(14):1138-1161. doi: 10.1080/10255842.2020.1789863. Epub 2020 Jul 12. PMID: 32657148 |
No additional information on top of information in Nguyen 2021 |
Kaupp SM, Mann KA, Miller MA, Damron TA. Predicting fracture risk in patients with metastatic bone disease of the femur: a pictorial review using three different techniques. Adv Orthop. 2021 Jun 16:2021:5591715. doi: 10.1155/2021/5591715. eCollection 2021. PMID: 34221514 PMCID: PMC8221853 |
no additional information on top of information in Nguyen 2021 |
Sternheim A, Traub F, Trabelsi N, Dadia S, Gortzak Y, Snir N, Gorfine M, Yosibash Z. When and where do patients with bone metastases actually break their femurs? Bone Joint J. 2020 May;102-B(5):638-645. doi: 10.1302/0301-620X.102B5.BJJ-2019-1328.R2. PMID: 32349590 |
no additional information on top of information in Nguyen 2021 |
Van der Linden YM, Kroon HM, Dijkstra SPDS, Lok JJ, Noordijk EM, Leer JWH, Marijnen CAM, Dutch Bone Metastasis Study Group. Simple radiographic parameter predicts fracturing in metastatic femoral bone lesions: results from a randomised trial. Radiother Oncol. 2003 Oct;69(1):21-31. doi: 10.1016/s0167-8140(03)00232-9. PMID: 14597353 |
no additional information on top of information in Nguyen 2021 |
Van der Linden YM, Dijkstra SPDS, Kroon HM, Lok JJ, Noordijk EM, Leer JWH, Marijnen CAM. Comparative analysis of risk factors for pathological fracture with femoral metastases. J Bone Joint Surg Br. 2004 May;86(4):566-73. PMID: 15174555 |
no additional information on top of information in Nguyen 2021 |
Verantwoording
Autorisatiedatum en geldigheid
Laatst beoordeeld : 10-10-2024
Laatst geautoriseerd : 10-10-2024
Geplande herbeoordeling : 10-10-2029
Algemene gegevens
De ontwikkeling/herziening van deze richtlijnmodule werd ondersteund door het Kennisinstituut van de Federatie Medisch Specialisten (www.demedischspecialist.nl/kennisinstituut) en werd gefinancierd uit de Kwaliteitsgelden Medisch Specialisten (SKMS). De financier heeft geen enkele invloed gehad op de inhoud van de richtlijnmodule.
Samenstelling werkgroep
Het initiatief voor deze richtlijn is afkomstig van Nederlandse Orthopaedische Vereniging (NOV). De richtlijn is opgesteld door een multidisciplinaire commissie met vertegenwoordigers vanuit de orthopedisch chirurgen, radiotherapeuten, radiologen, nucleair geneeskundigen, internist-oncologen, en chirurgen/traumatologen.
Het perspectief van patiënten werd ingebracht door een vertegenwoordiger van de Nederlandse Federatie van Kankerpatiëntenorganisaties (NFK) samen met een aantal patiënten. Zie hiervoor ook de samenstelling van de werkgroep.
Werkgroep
- Dr. J.J.W. Ploegmakers, orthopedisch chirurg, Universitair Medisch Centrum Groningen, NOV (voorzitter)
- Dr. P.G. Westhoff, radiotherapeut-oncoloog, Radboud UMC Nijmegen, NVRO (vice-voorzitter)
- Dr. E.F. Dierselhuis, orthopedisch chirurg, Radboud UMC Nijmegen, NOV
- Drs. B. Meesters, traumachirurg, Zuyderland Medisch Centrum, NVVH NVT
- Dr. C.S.P. van Rijswijk, interventieradioloog, Leids Universitair Medisch Centrum, NVVR
- Dr. F. Intema, nucleair geneeskundige, Rijnstate Ziekenhuis, NVNG
- Prof. Dr. Y.M. van der Linden, radiotherapeut-oncoloog, Leids Universitair Medisch Centrum, NVRO
- Dr. mr. J.J. de Haan, internist-oncoloog, Universitair Medisch Centrum Groningen, NIV
- W. van der Veen, namens Borstkankervereniging Nederland (BVN) (tot juni 2023)
- E. Walrave, namens Longkanker Nederland (tot januari 2022)
- J. Rijlaarsdam, namens Longkanker Nederland (van februari 2022 tot september 2022)
- Dr. K.M. Holtzer, Nederlandse Federatie van Kankerpatiëntenorganisaties (vanaf september 2022)
Met ondersteuning van
- Dr. M.A. Pols, senior adviseur, Kennisinstituut van de Federatie Medisch Specialisten
- Drs M. Oerbekke, adviseur, Kennisinstituut van de Federatie Medisch Specialisten (tot september 2022)
- Dr. J. Boschman, senior adviseur (vanaf september 2022)
- I. van Dusseldorp, senior informatiespecialist, Kennisinstituut van de Federatie Medisch Specialisten
Wilma van der Veen heeft namens de NFK/BVN een waardevolle bijdrage geleverd aan de totstandkoming van deze richtlijnmodules. Helaas heeft zij de afronding van de richtlijn niet meer mee mogen maken. De werkgroep is Wilma dankbaar voor de prettige en open samenwerking en heeft bewondering voor de manier waarop zij zich heeft ingezet voor huidige en toekomstige patiënten.
Belangenverklaringen
De Code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling is gevolgd. Alle werkgroepleden hebben schriftelijk verklaard of zij in de laatste drie jaar directe financiële belangen (betrekking bij een commercieel bedrijf, persoonlijke financiële belangen, onderzoeksfinanciering) of indirecte belangen (persoonlijke relaties, reputatiemanagement) hebben gehad. Gedurende de ontwikkeling of herziening van een module worden wijzigingen in belangen aan de voorzitter doorgegeven. De belangenverklaring wordt opnieuw bevestigd tijdens de commentaarfase.
Een overzicht van de belangen van werkgroepleden en het oordeel over het omgaan met eventuele belangen vindt u in onderstaande tabel. De ondertekende belangenverklaringen zijn op te vragen bij het secretariaat van het Kennisinstituut van de Federatie Medisch Specialisten.
Werkgroeplid |
Functie |
Nevenfuncties |
Gemelde belangen |
Ondernomen actie |
E. Dierselhuis
|
Orthopedisch chirurg |
Opleidingscommissie Nederlandse Orthopedische Vereniging (onbetaald) |
Betrokken bij onderzoek naar BOS-score (niet commercieel)
|
Geen restricties |
J. de Haan
|
Internist-oncoloog |
Geen |
Betrokken bij onderzoek van Astellas, Boehringer, Cogent, Incyte, Inhibrx, Zentalis, Zymeworks (geen relatie met onderwerp richtlijn, geen persoonlijke vergoeding) |
Geen restricties |
F. Intema |
Nucleair geneeskundige |
Geen |
Geen |
Geen restricties |
Y. van der Linden
|
Radiotherapeut-oncoloog. Hoofd expertisecentrum palliatieve zorg. |
Course director ESTRO cursus Palliative Care and Radiotherapy |
Betrokken bij onderzoek naar BOS-score (niet commercieel) AlpduZes UL 2013-6286 OPTIMAL study |
Geen restricties |
B. Meesters
|
Traumachirurg |
Bestuurslid Nederlandse Vereniging voor Trauma Chirurgie |
Geen |
Geen restricties |
J. Ploegmakers |
Orthopedisch chirurg |
Geen |
Stryker, 3M: honorarium dienstverlening (2020, 2021, geen relatie met onderwerp richtlijn)
|
Geen restricties |
J. Rijlaarsdam
|
Panellid Longkanker Nederland. Onbezoldigd |
Geen |
Geen |
Geen restricties |
C. van Rijswijk |
Interventieradioloog |
Geen |
PI van FLOW-project (met Philips): geen relatie met botmetastasen. W.L. Gore & Associates: honorarium dienstverlening (2021, 2022, geen relatie met onderwerp richtlijn Cordis Netherlands: honorarium dienstverlening (2022, geen relatie met onderwerp richtlijn) |
Geen restricties |
W. van der Veen |
Patient advocate Borstkankervereniging Nederland, onbetaald |
Vrijwilliger Abrona, dagbesteding, onbetaald |
Geen |
Geen restricties |
P. Westhoff |
Radiotherapeut-oncoloog |
Geen |
Betrokken bij onderzoek naar BOS-score (niet commercieel) |
Geen restricties |
Inbreng patiëntenperspectief
Er werd aandacht besteed aan het patiëntenperspectief door deelname in de werkgroep van vertegenwoordigers vanuit patiëntenverenigingen en van de Nederlandse Federatie van Kankerpatiëntenorganisaties. De vertegenwoordigers zijn betrokken bij het opstellen van de uitgangsvragen, de keuze voor de uitkomstmaten en bij het opstellen van de overwegingen en aanbevelingen. De conceptrichtlijn is tevens voor commentaar voorgelegd aan betrokken patiëntenverenigingen en de eventueel aangeleverde commentaren zijn besproken en verwerkt.
Kwalitatieve raming van mogelijke financiële gevolgen in het kader van de Wkkgz
Bij de richtlijn is conform de Wet kwaliteit, klachten en geschillen zorg (Wkkgz) een kwalitatieve raming uitgevoerd om te beoordelen of de aanbevelingen mogelijk leiden tot substantiële financiële gevolgen. Bij het uitvoeren van deze beoordeling is de richtlijnmodule op verschillende domeinen getoetst (zie het stroomschema op de Richtlijnendatabase).
Module |
Uitkomst raming |
Toelichting |
Module Prognose fractuurrisico |
Geen financiële gevolgen |
Uit de toetsing volgt dat de aanbevelingen niet breed toepasbaar zijn (<5.000 patiënten) en daarom naar verwachting geen substantiële financiële gevolgen zal hebben voor de collectieve uitgaven. |
Werkwijze
AGREE
Deze richtlijn is opgesteld conform de eisen vermeld in het rapport Medisch Specialistische Richtlijnen 2.0 van de adviescommissie Richtlijnen van de Raad Kwaliteit. Dit rapport is gebaseerd op het AGREE II instrument (Appraisal of Guidelines for Research & Evaluation II; Brouwers, 2010).
Knelpuntenanalyse en uitgangsvragen
Tijdens de voorbereidende fase inventariseerde de werkgroep de knelpunten in de zorg voor patiënten met botmetastasen door middel van een schriftelijke knelpuntenanalyse. De werkgroep beoordeelde de aanbeveling(en) uit de eerdere richtlijn Botmetastasen (IKNL, 2010) op noodzaak tot revisie. Tevens zijn er knelpunten aangedragen door de NVRO, IGJ, KNGF, NVKF, NVRO, NVKG. Een verslag hiervan is opgenomen onder aanverwante producten.
Op basis van de uitkomsten van de knelpuntenanalyse zijn door de werkgroep concept-uitgangsvragen opgesteld en definitief vastgesteld.
Uitkomstmaten
Na het opstellen van de zoekvraag behorende bij de uitgangsvraag inventariseerde de werkgroep welke uitkomstmaten voor de patiënt relevant zijn, waarbij zowel naar gewenste als ongewenste effecten werd gekeken. Hierbij werd een maximum van acht uitkomstmaten gehanteerd. De werkgroep waardeerde deze uitkomstmaten volgens hun relatieve belang bij de besluitvorming rondom aanbevelingen, als cruciaal (kritiek voor de besluitvorming), belangrijk (maar niet cruciaal) en onbelangrijk. Tevens definieerde de werkgroep tenminste voor de cruciale uitkomstmaten welke verschillen zij klinisch (patiënt) relevant vonden.
Methode literatuursamenvatting
Een uitgebreide beschrijving van de strategie voor zoeken en selecteren van literatuur is te vinden onder ‘Zoeken en selecteren’ onder Onderbouwing. Indien mogelijk werd de data uit verschillende studies gepoold in een random-effects model. Review Manager 5.4 werd gebruikt voor de statistische analyses. De beoordeling van de kracht van het wetenschappelijke bewijs wordt hieronder toegelicht.
Beoordelen van de kracht van het wetenschappelijke bewijs
De kracht van het wetenschappelijke bewijs werd bepaald volgens de GRADE-methode. GRADE staat voor ‘Grading Recommendations Assessment, Development and Evaluation’ (zie http://www.gradeworkinggroup.org/). De basisprincipes van de GRADE-methodiek zijn: het benoemen en prioriteren van de klinisch (patiënt) relevante uitkomstmaten, een systematische review per uitkomstmaat, en een beoordeling van de bewijskracht per uitkomstmaat op basis van de acht GRADE-domeinen (domeinen voor downgraden: risk of bias, inconsistentie, indirectheid, imprecisie, en publicatiebias; domeinen voor upgraden: dosis-effect relatie, groot effect, en residuele plausibele confounding).
GRADE onderscheidt vier gradaties voor de kwaliteit van het wetenschappelijk bewijs: hoog, redelijk, laag en zeer laag. Deze gradaties verwijzen naar de mate van zekerheid die er bestaat over de literatuurconclusie, in het bijzonder de mate van zekerheid dat de literatuurconclusie de aanbeveling adequaat ondersteunt (Schünemann, 2013; Hultcrantz, 2017).
GRADE |
Definitie |
Hoog |
|
Redelijk |
|
Laag |
|
Zeer laag |
|
Bij het beoordelen (graderen) van de kracht van het wetenschappelijk bewijs in richtlijnen volgens de GRADE-methodiek spelen grenzen voor klinische besluitvorming een belangrijke rol (Hultcrantz, 2017). Dit zijn de grenzen die bij overschrijding aanleiding zouden geven tot een aanpassing van de aanbeveling. Om de grenzen voor klinische besluitvorming te bepalen moeten alle relevante uitkomstmaten en overwegingen worden meegewogen. De grenzen voor klinische besluitvorming zijn daarmee niet één op één vergelijkbaar met het minimaal klinisch relevant verschil (Minimal Clinically Important Difference, MCID). Met name in situaties waarin een interventie geen belangrijke nadelen heeft en de kosten relatief laag zijn, kan de grens voor klinische besluitvorming met betrekking tot de effectiviteit van de interventie bij een lagere waarde (dichter bij het nuleffect) liggen dan de MCID (Hultcrantz, 2017).
Overwegingen (van bewijs naar aanbeveling)
Om te komen tot een aanbeveling zijn naast (de kwaliteit van) het wetenschappelijke bewijs ook andere aspecten belangrijk en worden meegewogen, zoals aanvullende argumenten uit bijvoorbeeld de biomechanica of fysiologie, waarden en voorkeuren van patiënten, kosten (middelenbeslag), aanvaardbaarheid, haalbaarheid en implementatie. Deze aspecten zijn systematisch vermeld en beoordeeld (gewogen) onder het kopje ‘Overwegingen’ en kunnen (mede) gebaseerd zijn op expert opinion. Hierbij is gebruik gemaakt van een gestructureerd format gebaseerd op het evidence-to-decision framework van de internationale GRADE Working Group (Alonso-Coello, 2016a; Alonso-Coello 2016b). Dit evidence-to-decision framework is een integraal onderdeel van de GRADE methodiek.
Formuleren van aanbevelingen
De aanbevelingen geven antwoord op de uitgangsvraag en zijn gebaseerd op het beschikbare wetenschappelijke bewijs en de belangrijkste overwegingen, en een weging van de gunstige en ongunstige effecten van de relevante interventies. De kracht van het wetenschappelijk bewijs en het gewicht dat door de werkgroep wordt toegekend aan de overwegingen, bepalen samen de sterkte van de aanbeveling. Conform de GRADE-methodiek sluit een lage bewijskracht van conclusies in de systematische literatuuranalyse een sterke aanbeveling niet a priori uit, en zijn bij een hoge bewijskracht ook zwakke aanbevelingen mogelijk (Agoritsas, 2017; Neumann, 2016). De sterkte van de aanbeveling wordt altijd bepaald door weging van alle relevante argumenten tezamen. De werkgroep heeft bij elke aanbeveling opgenomen hoe zij tot de richting en sterkte van de aanbeveling zijn gekomen.
In de GRADE-methodiek wordt onderscheid gemaakt tussen sterke en zwakke (of conditionele) aanbevelingen. De sterkte van een aanbeveling verwijst naar de mate van zekerheid dat de voordelen van de interventie opwegen tegen de nadelen (of vice versa), gezien over het hele spectrum van patiënten waarvoor de aanbeveling is bedoeld. De sterkte van een aanbeveling heeft duidelijke implicaties voor patiënten, behandelaars en beleidsmakers (zie onderstaande tabel). Een aanbeveling is geen dictaat, zelfs een sterke aanbeveling gebaseerd op bewijs van hoge kwaliteit (GRADE gradering HOOG) zal niet altijd van toepassing zijn, onder alle mogelijke omstandigheden en voor elke individuele patiënt.
Implicaties van sterke en zwakke aanbevelingen voor verschillende richtlijngebruikers |
||
|
||
|
Sterke aanbeveling |
Zwakke (conditionele) aanbeveling |
Voor patiënten |
De meeste patiënten zouden de aanbevolen interventie of aanpak kiezen en slechts een klein aantal niet. |
Een aanzienlijk deel van de patiënten zouden de aanbevolen interventie of aanpak kiezen, maar veel patiënten ook niet. |
Voor behandelaars |
De meeste patiënten zouden de aanbevolen interventie of aanpak moeten ontvangen. |
Er zijn meerdere geschikte interventies of aanpakken. De patiënt moet worden ondersteund bij de keuze voor de interventie of aanpak die het beste aansluit bij zijn of haar waarden en voorkeuren. |
Voor beleidsmakers |
De aanbevolen interventie of aanpak kan worden gezien als standaardbeleid. |
Beleidsbepaling vereist uitvoerige discussie met betrokkenheid van veel stakeholders. Er is een grotere kans op lokale beleidsverschillen. |
Organisatie van zorg
In de knelpuntenanalyse en bij de ontwikkeling van de richtlijn is expliciet aandacht geweest voor de organisatie van zorg: alle aspecten die randvoorwaardelijk zijn voor het verlenen van zorg (zoals coördinatie, communicatie, (financiële) middelen, mankracht en infrastructuur). Randvoorwaarden die relevant zijn voor het beantwoorden van de specifieke uitgangsvraag zijn genoemd bij de overwegingen. Een aantal bijkomende aspecten van de organisatie van zorg worden behandeld in de modules Ondersteunende zorg en Multidisciplinaire zorg.
Commentaar- en autorisatiefase
De conceptrichtlijn werd aan de betrokken (wetenschappelijke) verenigingen en (patiënt) organisaties voorgelegd ter commentaar. De commentaren werden verzameld en besproken met de werkgroep. Naar aanleiding van de commentaren werd de conceptrichtlijn aangepast en definitief vastgesteld door de werkgroep. De definitieve richtlijn werd aan de deelnemende (wetenschappelijke) verenigingen en (patiënten)organisaties voorgelegd voor autorisatie en door hen geautoriseerd dan wel geaccordeerd.
Literatuur
Agoritsas T, Merglen A, Heen AF, Kristiansen A, Neumann I, Brito JP, Brignardello-Petersen R, Alexander PE, Rind DM, Vandvik PO, Guyatt GH. UpToDate adherence to GRADE criteria for strong recommendations: an analytical survey. BMJ Open. 2017 Nov 16;7(11):e018593. doi: 10.1136/bmjopen-2017-018593. PubMed PMID: 29150475; PubMed Central PMCID: PMC5701989.
Alonso-Coello P, Schünemann HJ, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Rada G, Rosenbaum S, Morelli A, Guyatt GH, Oxman AD; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ. 2016 Jun 28;353:i2016. doi: 10.1136/bmj.i2016. PubMed PMID: 27353417.
Alonso-Coello P, Oxman AD, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Vandvik PO, Meerpohl J, Guyatt GH, Schünemann HJ; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Clinical practice guidelines. BMJ. 2016 Jun 30;353:i2089. doi: 10.1136/bmj.i2089. PubMed PMID: 27365494.
Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, Fervers B, Graham ID, Grimshaw J, Hanna SE, Littlejohns P, Makarski J, Zitzelsberger L; AGREE Next Steps Consortium. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ. 2010 Dec 14;182(18):E839-42. doi: 10.1503/cmaj.090449. Epub 2010 Jul 5. Review. PubMed PMID: 20603348; PubMed Central PMCID: PMC3001530.
Hultcrantz M, Rind D, Akl EA, Treweek S, Mustafa RA, Iorio A, Alper BS, Meerpohl JJ, Murad MH, Ansari MT, Katikireddi SV, Östlund P, Tranæus S, Christensen R, Gartlehner G, Brozek J, Izcovich A, Schünemann H, Guyatt G. The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol. 2017 Jul;87:4-13. doi: 10.1016/j.jclinepi.2017.05.006. Epub 2017 May 18. PubMed PMID: 28529184; PubMed Central PMCID: PMC6542664.
Medisch Specialistische Richtlijnen 2.0 (2012). Adviescommissie Richtlijnen van de Raad Kwalitieit. http://richtlijnendatabase.nl/over_deze_site/over_richtlijnontwikkeling.html
Neumann I, Santesso N, Akl EA, Rind DM, Vandvik PO, Alonso-Coello P, Agoritsas T, Mustafa RA, Alexander PE, Schünemann H, Guyatt GH. A guide for health professionals to interpret and use recommendations in guidelines developed with the GRADE approach. J Clin Epidemiol. 2016 Apr;72:45-55. doi: 10.1016/j.jclinepi.2015.11.017. Epub 2016 Jan 6. Review. PubMed PMID: 26772609.
Schünemann H, Brożek J, Guyatt G, et al. GRADE handbook for grading quality of evidence and strength of recommendations. Updated October 2013. The GRADE Working Group, 2013. Available from http://gdt.guidelinedevelopment.org/central_prod/_design/client/handbook/handbook.html.
Zoekverantwoording
Zoekacties zijn opvraagbaar. Neem hiervoor contact op met de Richtlijnendatabase.