The Best Study Design… For Dummies.

When I had those tired looks again, my mother in law recommended coenzyme Q, which research had proven to have wondrous effects on tiredness. Indeed many sites and magazines advocate this natural energy producing nutrient which mobilizes your mitochondria for cellular energy! Another time she asked me if I thought komkommerslank (cucumber pills for slimming) would work to loose some extra weight. She took my NO for granted.

It is often difficult to explain people that not all research is equally good, and that outcomes are not always equally “significant” (both statistically and clinically). It is even more difficult to understand “levels of evidence” and why we should even care. Pharmaceutical Industries (especially the supplement-selling ones) take advantage of this ignorance and are very successful in selling their stories and pills.

If properly conducted, the Randomized Controlled Trial (RCT) is the best study-design to examine the clinical efficacy of health interventions. An RCT is an experimental study where individuals who are similar at the beginning are randomly allocated to two or more treatment groups and the outcomes of the groups are compared after sufficient follow-up time. However an RCT may not always be feasible, because it may not be ethical or desirable to randomize people or to expose them to certain interventions.

Observational studies provide weaker empirical evidence, because the allocation of factors is not under control of the investigator, but “just happen” or are choosen (e.g. smoking). Of the observational studies, cohort studies provide stronger evidence than case control studies, because in cohort studies factors are measured before the outcome, whereas in case controls studies factors are measured after the outcome.

Most people find such a description of study types and levels of evidence too theoretical and not appealing.

Last year I was challenged to tell about how doctors search medical information (central theme = Google) for and here it comes…. “the Society of History and ICT”.

To explain the audience why it is important for clinicians to find ‘the best evidence’ and how methodological filters can be used to sift through the overwhelming amount of information in for instance PubMed, I had to introduce RCT’s and the levels of evidence. To explain it to them I used an example that stroke me when I first read about it.

I showed them the following slide :

And clarified: Beta-carotene is a vitamine in carrots and many other vegetables, but you can also buy it in pure form as pills. There is reason to believe that beta-carotene might help to prevent lung cancer in cigarette smokers. How do you think you can find out whether beta-carotene will have this effect?

• Suppose you have two neighbors, both heavy smokers of the same age, both males. The neighbor who doesn’t eat much vegetables gets lung cancer, but the neighbor who eats a lot of vegetables and is fond of carrots doesn’t. Do you think this provides good evidence that beta-carotene prevents lung cancer?
  There is a laughter in the room, so they don’t believe in n=1 experiments/case reports. (still how many people don’t think smoking does not necessarily do any harm because “their chainsmoking father reached his nineties in good health”).
  I show them the following slide with the lowest box only.
• O.k. What about this study? I’ve a group of lung cancer patients, who smoke(d) heavily. I ask them to fill in a questionnaire about their eating habits in the past and take a blood sample, and I do the same with a simlar group of smokers without cancer (controls). Analysis shows that smokers developing lung cancer eat much less beta-carotene containing vegetables and have lower bloodlevels of beta-carotene than the smokers not developing cancer. Does this mean that beta-carotene is preventing lung cancer?
  Humming in the audience, till one man says: “perhaps some people don’t remember exactly what they eat” and then several people object “that it is just an association” and “you do not yet know whether beta-carotene really causes this”. Right! I show the box patient-control studies.
• Than consider this study design. I follow a large cohort of ‘healthy’ heavy smokers and look at their eating habits (including use of supplements) and take regular blood samples. After a long follow-up some heavy smokers develop lung cancer whereas others don’t. Now it turns out that the group that did not develop lung cancer had significantly more beta-carotene in their blood and eat larger amount of beta-carotene containing food. What do you think about that then?
  Now the room is a bit quiet, there is some hesitation. Then someone says: “well it is more convincing” and finally the chair says: “but it may still not be the carrots, but something else in their food or they may just have other healthy living habits (including eating carrots). Cohort-study appears on the slide (What a perfect audience!)
• O.k. you’re not convinced that these study designs give conclusive evidence. How could we then establish that beta-carotene lowers the risk of lung cancer in heavy smokers? Suppose you really wanted to know, how do you set up such a study?
  Grinning. Someone says “by giving half of the smokers beta-carotene and the other half nothing”. “Or a placebo”, someone else says. Right! Randomized Controlled Trial is on top of the slide. And there is not much room left for another box, so we are there. I only add that the best way to do it is to do it double blinded.

Than I reveal that all this research has really been done. There have been numerous observational studies (case-control as well cohorts studies) showing a consistent negative correlation between the intake of beta-carotene and the development of lung cancer in heavy smokers. The same has been shown for vitamin E.

“Knowing that”, I asked the public: “Would you as a heavy smoker participate in a trial where you are randomly assigned to one of the following groups: 1. beta-carotene, 2. vitamin E, 3. both or 4. neither vitamin (placebo)?”

The recruitment fails. Some people say they don’t believe in supplements, others say that it would be far more effective if smokers quit smoking (laughter). Just 2 individuals said they would at least consider it. But they thought there was a snag in it and they were right. Such studies have been done, and did not give the expected positive results.
In the first large RCT (appr. 30,000 male smokers!), the ATBC Cancer Prevention Study, beta-carotene rather increased the incidence of lung cancer with 18 percent and overall mortality with 8 percent (although harmful effects faded after men stopped taking the pills). Similar results were obtained in the CARET-study, but not in a 3rd RCT, the Physician’s Health Trial, the only difference being that the latter trial was performed both with smokers ànd non-smokers.
It is now generally thought that cigarette smoke causes beta-carotene to breakdown in detrimental products, a process that can be halted by other anti-oxidants (normally present in food). Whether vitamins act positively (anti-oxidant) or negatively (pro-oxidant) depends very much on the dose and the situation and on whether there is a shortage of such supplements or not.

I found that this way of explaining study designs to well-educated layman was very effective and fun!
The take-home message is that no matter how reproducible the observational studies seem to indicate a certain effect, better evidence is obtained by randomized control trials. It also shows that scientists should be very prudent to translate observational findings directly in a particular lifestyle advice.

On the other hand, I wonder whether all hypotheses have to be tested in a costly RCT (the costs for the ATCB trial were $46 million). Shouldn’t there be very very solid grounds to start a prevention study with dietary supplements in healthy individuals ? Aren’t their any dangers? Personally I think we should be very restrictive about these chemopreventive studies. Till now most chemopreventive studies have not met the high expectations, anyway.
And what about coenzyme-Q and komkommerslank? Besides that I do not expect the evidence to be convincing, tiredness can obviously be best combated by rest and I already eat enough cucumbers…. 😉
To be continued…

SOURCES:
Clinical Studies and designs: several paper books; online e.g. GlossClinStudy on a vetenarian site
The ATCB study: The Alpha-Tocopherol, Beta Carotene Cancer Prevention Study Group. The effect of vitamin E and beta carotene on the incidence of lung cancer and other cancers in male smokers. N Engl J Med 1994;330:1029-35. See free full text here
Overview of ATBC and CARET study 2 overwiews at www.cancer.gov, one about the ATBCfollowup and one about the CARET-trial
Overview of other RCT’s with surprising outcomes: on wikipedia

—————————-

Toen ik er weer eens donkere kringen onder mijn ogen had, raadde mijn schoonmoeder me coenzym Q aan, waarvan ze net gelezen had dat het een wetenschappelijk bewezen effectieve vermindering van vermoeidheid geeft. Inderdaad bevelen veel webpagina’s en huis-aan-huis bladen deze “natuurlijke en energie-mobiliserende voedingstof die je mitochondrien aanzet tot cellulaire energie” aan. Een andere keer vroeg ze me of ik dacht dat je wat pondjes zou kunnen kwijtraken door komkommerslank. Ze nam met een stellig NEE genoegen.

Het is vaak heel moeilijk duidelijk te maken dat niet alle research even goed is en niet alle uitkomsten even significant (zowel statistisch als klinisch). Nog moeilijker is het om de “bewijsniveau’s (levels of evidence)” uit de doeken te doen of om uit te leggen waarom je uberhaupt zoiets zou willen weten. De pharmacie en zeker de supplement verkopende bedrijfjes varen wel bij de goedgelovigheid van de gemiddelde consument. Hun verhalen en pillen vinden gretig aftrek.

Een gerandomiseerde gecontroleerde trial (RCT) is, indien goed uitgevoerd, het ‘beste’ studietype om aan te tonen of een behandeling werkzaam of nuttig is. Een RCT is een experimentele studie waarbij de deelnemers, die bij start van de studie vergelijkbaar zijn, door het lot worden toegewezen aan een (bepaalde) interventie- of controlegroep en waarbij na een bepaalde tijd de uitkomsten in beide groepen worden vergeleken. Een RCT is echter niet altijd haalbaar of wenselijk, bijvoorbeeld omdat het niet ethisch is om mensen te randomiseren of om hen bloot te stellen aan bepaalde interventies.

Observationele studies zijn zwakker in bewijskracht, omdat de toewijzing van de factoren niet in handen liggen van de onderzoeker, maar van het lot (natuur, werkomstandigheden, eigen keuzes). Van de observationele studies hebben cohort studies een hogere bewijskracht dan case control studies, omdat de te onderzoeken factoren bij cohort studies worden bepaald vòòrdat de uitkomst bekend is, terwijl dit bij case control studies juist gebeurt nadat de uitkomst bekend is.

De meeste mensen vinden zo’n beschrijving van studietypes the theoretisch en nietszeggend. Het spreekt ze niet aan, omdat ze zich er niets bij voor kunnen stellen.

Afgelopen jaar werd ik uitgedaagd om te vertellen “hoe artsen medische informatie zoeken” (het centrale thema was Google en informatie) voor …en nou komt-ie.. “De Vereniging voor Geschiedenis en Informatica”.

Om het publiek uit te leggen waarom het belangrijk is dat klinici de beste evidence vinden en hoe zij met behulp van methodologische filters het kaf van het koren kunnen scheiden, moest ik hen eerst uitleggen wat RCT’s en bewijsniveau’s zijn. Ik legde hen dit uit aan de hand van een onderwerp dat mij na aan het hart ligt.

Ik toonde hen een dia met daarop de vraag: Voorkomt bètacaroteen longkanker?
En ik legde hen uit dat bètacaroteen een vitamine is die veel in worteltjes en bepaalde andere groente voorkomt, maar die je ook als pillen kan slikken. Er zijn aanwijzingen dat bètacaroteen longkanker bij rokers zou helpen voorkomen. Hoe denkt u dat u dit het best kunt aantonen?

• Stel u heeft 2 buren, beiden kettingroker, man, en even oud. De buurman die weinig groente eet krijgt longkanker, maar de buurman die heel veel groente eet en gek is op worteltjes krijgt het niet. Kunnen we nu concluderen, dat bètacaroteen longkanker bij rokers voorkomt?
  Er wordt hartelijk gelachen, dus men gelooft hier niet in n=1 experimenten/case reports. (maar je moet ze maar de kost geven die denken dat roken geen kwaad kan omdat hun shaggies verslindende vader een taaie kerel was die nog tot op hoge leeftijd volop van het leven genoot).
  Ik toon hen een nieuwe slide met daarop het woord “casus”.
• O.k. Wat vind u hiervan? Er is een groep longkankerpatienten, die veel gerookt heeft. Ik vraag of de patienten een vragenlijst willen invullen en neem wat bloed af. Datzelfde doe ik met een vergelijkbare groep rokers die géén kanker ontwikkeld heeft. Ik analyseer alles en wat blijkt? In de groep met longkanker zitten vooral rokers met een minder caroteenrijk voedingspatroon en minder caroteen in hun bloed. Betekent dit dat bètacaroteen longkanker voorkomt?
  Geroezemoes. Iemand zegt: “misschien kunnen sommige mensen zich helemaal niet zo goed herinneren wat ze vroeger precies hebben gegeten”. Anderen werpen tegen “dat het alleen maar een associatie is” en “dat je niet zeker weet of het echt alleen de betacaroteen is die dit effect geeft.” Heel goed! Op het scherm verschijnt “patient-controle onderzoek”.
• Dan doe ik het anders. Ik volg een grote groep ‘gezonde’ zware rokers, ik volg hun eetgewoonten (inclusief het gebruik van supplementen) nauwgezet en neem regelmatig bloed af. Na lange tijd krijgen sommige rokers longkanker, maar andere niet. Nou blijkt wéér dat de groep die geen longkanker kreeg meer caroteenrijk voedsel at en meer betacaroteen in zijn bloed had. Wat denkt u hiervan?
  Het is een beetje stiller, je voelt de aarzeling, tot iemand zegt. “Nou, het overtuigt wel iets meer”. Een ander werpt tegen: “maar wie zegt dat het de worteltjes zijn, misschien is het wel iets anders in het eten of misschien is de levensstijl sowieso gezonder. Cohort-studie verschijnt op het scherm. Wat een perfect publiek, daar kan menig geneeskunde student nog een puntje aan zuigen.
• Ik begrijp dat u niet geheel overtuigd bent van de bewijskracht van deze studies. Maar hoe zou u dan vaststellen dat bètacaroteen de kans op longkanker verlaagt bij rokers? Stel dat u het echt zou willen weten, hoe zet u de studie dan op?
  Gegrinnik. Iemand zegt: “Geef de helft van de rokers beta-caroteen en de andere helft niets”. “Of een placebo”. zegt een ander. Prima! Er verschijnt “Randomized Controlled Trial” boven aan de slide. Er is geen ruimte meer over, dus we zijn er. Ik vertel alleen nog iets over het belang van dubbelblind onderzoek.

Dan onthul ik dat dergelijke onderzoeken ook werkelijk gedaan zijn. Uit tal van observationele (case-control en cohort) studies is gebleken dat er een omgekeerde relatie bestaat tussen inname van bètacaroteen en ontwikkelen van longkanker bij rokers. Hetzelfde geldt voor vitamine E.

“Nu u dat weet”, vraag ik het publiek “Zou u dan als kettingroker deelnemen aan een studie waar u random toegewezen wordt aan een van de volgende behandelingen:
1. bètacaroteen, 2. vitamine E, 3. beiden of 4. geen van beiden (placebo)?”

De inclusie faalt. Sommigen geloven niet in supplementen, anderen stellen dat het beter zou zijn als rokers stopten met roken (instemmend gelach). Twee mensen zeggen dat ze het in overweging zouden nemen. Maar men vermoed (gezien het voorafgaande) een addertje onder het gras en ze hebben gelijk. Dergelijke studies zijn gedaan en hebben niet het gewenste resultaat opgeleverd.
In de eerste grote RCT (ca. 30.000 mannelijke rokers!), de ATBC Cancer Prevention Study, verhoogde bètacaroteen juist het aantal longkankergevallen met 18% en de algehele sterfte met 8% (hoewel het effect langzaam uitdooft als mensen met de pillen stoppen). Vergelijkbare resultaten werden verkregen in de CARET-studie, maar niet in een 3e RCT, de Physician’s Health Trial, die ook niet-rokers had geincludeerd.
Aangenomen wordt nu dat sigaretterook bètacaroteen afbreekt tot gevaarlijke afvalproducten, een proces dat gekeerd kan worden door andere oxidanten (normaal aanwezig in het voedsel). Of vitaminen een positieve (anti-oxidant) of negatieve (pro-oxidant) werking hebben hangt erg af van de dosis, de vorm, en de situatie: vitamines in fysiologische concentraties zijn met name nuttig bij een tekort eraan.

Deze manier van studietypes uitleggen aan goed-ontwikkelde leken vond ik erg effectief en leuk om te doen bovendien.

De boodschap is dat hoezeer observationele studies ook op een bepaald effect wijzen, beter evidence verkregen kan worden met een RCT (hoewel dit niet altijd kan en mag). Het laat ook zien dat je als wetenschapper (en dokter) heel voorzichtig moet zijn met het direct vertalen van ‘waarnemingen’ naar adviezen richting een bepaalde therapie of levensstijl.

Aan de andere kant vraag ik me wel af, of alle hypothesen getest moeten worden in een overigens zeer kostbare RCT (kosten van de ATCB trial bedroegen $46 miljoen). Zou er niet een heel stevige basis moeten zijn vòòr je een preventieve studie doet met supplementen bij gezonde individuen? Zijn er geen risico’s ? Zelf denk ik dat we heel terughoudend moeten zijn met chemopreventie studies. Tot op heden hebben ze trouwens niet aan de hoge verachtingen voldaan.
Wat coenzym-Q en komkommerslank betreft? Behalve dat ik er gewoon niet in geloof (ik bedoel dat er evidence bestaat dat ze werken), denk ik dat vermoeidheid het best bestreden kan worden met rust en ik eet zat komkommers. 😉 Volgende keer meer…..