Kaleidoscope 2: 2010 wk 31

8 08 2010

Almost a year ago I started a new series Kaleidoscope, with a “kaleidoscope” of facts, findings, views and news gathered over the last 1-2 weeks.
It never got beyond the first edition. Perhaps the introduction of this Kaleidoscope was to overwhelming & dazzling: lets say it was very rich in content. Or as
Andrew Spong tweeted: “Part cornucopia, part cabinet of wonders, it’s @laikas Kaleidoscope 2009 wk 47”

This is  a reprise in a (somewhat) “shorter” format. Lets see how it turns out.

This edition will concentrate on Social Media (Blogging, Twitter Google Wave). I fear that I won’t keep my promise, if I deal with more topics.

Medical Grand Rounds and News from the Blogosphere

Life in the Fast Lane is the host of this weeks Grand Rounds. This edition is truly terrific, if not terrifying. Not only does it contain “killer posts”, each medblogger has also been coupled to its preferred deadly Aussie critter.
Want to know how a full time ER-doctor/educator/textbook author/blogger/editor /health search engine director manages to complete work-related tasks …when the kids are either at school or asleep(!), then read this recent interview with Mike Cadogan, the founder of Life in the Fast Lane.

Don’t forget to submit your medical blog post to next weeks Grand Rounds over at Dispatch From Second Base. Instructions and theme details can be found on the post “You are invited to Grand Rounds!“ (update here).

And certainly don’t forget to submit your post related to medical information to the MedLibs Round (about medical information) here. More details can be found at Laika’s MedLibLog and at Highlight Health, the host of the upcoming Edition.
(sorry, writing this post took longer than I thought: you have one day left for submission)

Dr Shock of the blog with the same name advises us to submit good quality, easy-to-understand posts dealing with science, environment or medicine to Scientia Pro Publica via the blog carnival submission form.

There is a new on-line science blogging community – Scientopia, till now mostly consisting of bloggers who left Scienceblogs after (but not because of) Pepsigate. New members can only be added to the collective by invitation (?). Obviously, pepsi-researchers will not be invited, but it remains to be seen who will…  Hopefully it doesn’t become an elitist club.
Virginia Heffernan (NY-Times) has an outspoken opinion about the (ex-) sciencebloggers, illustrated by this one-liner

“ScienceBlogs has become Fox News for the religion-baiting, peak-oil crowd.”

Although I don’t appreciate the ranting-style of some of the blogs myself (the sub-“South Park” blasphemy style of PZ Myers, as Virginia puts it). I don’t think most Scienceblogs deserve to be labelled as “preoccupied with trivia, name-calling and saber rattling”.
See balanced responses at: NeurodojoNeuron Culture & Neuroanthropology (anything with neuro– makes sense, I guess).
Want to understand more about ScienceBlogs and why it was such a terrific community, then read Bora Z’s (rather long) ScienceBlog farewell post.

Oh.. and there is yet another new science blogging platform: http://www.labspaces.net/, that has evolved from a science news aggregator . It looks slick.

Social Media

Speaking about Twitter, did you know that  Twitter reached its 20 billionth tweet over the weekend, a milestone that came just a few months after hitting the 10 billion tweet mark!? (read more in the Guardian)

Well and if you have no idea WHAT THE FUCK IS MY SOCIAL MEDIA “STRATEGY”? you might click the link to get some (new) ideas. You probably need to refresh the site a couple of times to find the right answer.

First-year medical school and master’s of medicine students of Stanford University will receive an i-pad at the start of the year. The extremely tech-savvy Students do appreciate the gift:

“Especially in medicine, we’re using so many different resources, including all the syllabuses and slides. I’m able to pull them up and search them whenever I need to. It’s a fantastic idea.”

Good news for Facebook friends: VoIP giant Vonage has just introduced a new iPhone, iPod touch and Android app that allows users to call their Facebook friends for free (Mashable).

It was a shock – or wasn’t it – that Google pulled the plug on Google Wave (RRW), after being available to the general public for only 78 days?  The unparalleled tool that “could change the web”, but was too complex to be understood. Here are some thoughts why Google wave failed.  Since much of the Code is open source, ambitious developers may pick up where Google left.

Votes down for the social media site Digg.com: an undercover investigation has exposed that a group of influential conservative members were involved in censorship, deliberately trying to ban progressives, by “burying them” (voting down), which effectively means these progressives don’t get enough “digs” to reach the front page where most users spend their time.

Votes up for Healthcare Social Media Europe (#HCSMEU), which just celebrated its first birthday.

Miscellanous

A very strange move: a journal has changed a previously stated conclusion of a previously published paper after a Reuters Health story about serious shortcomings in the report. Read more about it at Gary Schwitzer’s HealthNewsReview Blog.

Finally for the EBM-addicts among us: The Center of Evidence Based Medicine released a new (downloadable) Levels of Evidence Table. At the CEBM-blog they stress that hierarchies of evidence have been somewhat inflexibly used, but are essentially a heuristic, or short-cut to finding the likely best evidence. At first sight the new Table looks simpler, and more easy to use.

Are you a Twitter user? Tweet this!

Advertisements




Time to weed the (EBM-)pyramids?!

26 09 2008

Information overload is a major barrier in finding that particular medical information you’re really looking for. Search- and EBM-pyramids are designed as a (search) guidance both for physicians, med students and information specialists. Pyramids can be very handy to get a quick overview of which sources to use and which evidence to look for in which order.

But look at the small collection of pyramids I retrieved from Internet plus the ones I made myself (8,9)………

ALL DIFFERENT!!!!

What may be particularly confusing is that these pyramids serve different goals. As pyramids look alike (they are all pyramids) this may not be directly obvious.

There are 3 main kinds of pyramids (or hierarchies):

  1. Search Pyramid (no true example, 4, 5 and 6 come closest)
    Guiding searches to answer a clinical question as promptly as possible. Begin with the easiest/richest source, for instance UpToDate, Harrison’s (books), local hospital protocols or useful websites. Search aggregate evidence respectively the best original studies if answer isn’t found or doubtful.
  2. Pyramid of EBM-sources (3 ,4, 8 )
    Begin with the richest source of aggregate (pre-filtered) evidence and decline in order to to decrease the number needed to read: there are less EBM guidelines than there are Systematic Reviews and (certainly) individual papers.
  3. Pyramid of EBM-levels (1, 2, 5, 7, 9)
    Begin to look for the original papers with the highest level of evidence.
    Often only individual papers/original research, including Systematic Reviews, are considered (1, 9), but sometimes the pyramid is a mixture of original and aggregated literature (2,5)
  4. A mixture of 2, 3 and/or 4 (2,5)

Further discrepancies:

  • Hierarchies.
    • Some place Cochrane Systematic Reviews higher than ‘other systematic reviews’, others place meta-analysis above Systematic reviews (2,6). This is respectively unnecessary or wrong. (Come back to that in another post).
    • Sometimes Systematic reviews are on top, sometimes Systems (never found out what that is), sometimes meta-analysis or Evidence based Guidelines
    • Synopses (critically appraised individual articles) may be placed above or below Syntheses (critically appraised topics).
    • Textbooks and Reviews may at the base of the pyramid or a little more up.
    • etcetera
  • Nomenclature
    • Evidence Summaries ?= Summaries of the evidence? = Evidence Syntheses? = critically appraised topics?
    • Etcetera
  • Categorization
    • UpToDate is sometimes placed at the top of the pyramid in Summaries (4) OR at the base in Textbooks (5), where I think it should belong in terms of evidence levels, but not in terms of usefulness.
    • DARE is considered a review, but it is really a synopsis (critical appraised summary) of a Systematic Review.

Isn’t it about time to weed the pyramids rigorously?

Are pyramids really serving the aim of making it easier for the meds to find their information?

Like to hear your thoughts about this.

What my thoughts are? I will give a hint: I would rather guide the informationseeker through different routes, dependent on his background, question, available time and goal. The pyramid of evidence sources and the levels of evidence would just be part of that scheme, ideally.

Will be continued….





The Best Study Design… For Dummies.

25 08 2008

When I had those tired looks again, my mother in law recommended coenzyme Q, which research had proven to have wondrous effects on tiredness. Indeed many sites and magazines advocate this natural energy producing nutrient which mobilizes your mitochondria for cellular energy! Another time she asked me if I thought komkommerslank (cucumber pills for slimming) would work to loose some extra weight. She took my NO for granted.

It is often difficult to explain people that not all research is equally good, and that outcomes are not always equally “significant” (both statistically and clinically). It is even more difficult to understand “levels of evidence” and why we should even care. Pharmaceutical Industries (especially the supplement-selling ones) take advantage of this ignorance and are very successful in selling their stories and pills.

If properly conducted, the Randomized Controlled Trial (RCT) is the best study-design to examine the clinical efficacy of health interventions. An RCT is an experimental study where individuals who are similar at the beginning are randomly allocated to two or more treatment groups and the outcomes of the groups are compared after sufficient follow-up time. However an RCT may not always be feasible, because it may not be ethical or desirable to randomize people or to expose them to certain interventions.

Observational studies provide weaker empirical evidence, because the allocation of factors is not under control of the investigator, but “just happen” or are choosen (e.g. smoking). Of the observational studies, cohort studies provide stronger evidence than case control studies, because in cohort studies factors are measured before the outcome, whereas in case controls studies factors are measured after the outcome.

Most people find such a description of study types and levels of evidence too theoretical and not appealing.

Last year I was challenged to tell about how doctors search medical information (central theme = Google) for and here it comes…. “the Society of History and ICT”.

To explain the audience why it is important for clinicians to find ‘the best evidence’ and how methodological filters can be used to sift through the overwhelming amount of information in for instance PubMed, I had to introduce RCT’s and the levels of evidence. To explain it to them I used an example that stroke me when I first read about it.

I showed them the following slide :

And clarified: Beta-carotene is a vitamine in carrots and many other vegetables, but you can also buy it in pure form as pills. There is reason to believe that beta-carotene might help to prevent lung cancer in cigarette smokers. How do you think you can find out whether beta-carotene will have this effect?

  • Suppose you have two neighbors, both heavy smokers of the same age, both males. The neighbor who doesn’t eat much vegetables gets lung cancer, but the neighbor who eats a lot of vegetables and is fond of carrots doesn’t. Do you think this provides good evidence that beta-carotene prevents lung cancer?
    There is a laughter in the room, so they don’t believe in n=1 experiments/case reports. (still how many people don’t think smoking does not necessarily do any harm because “their chainsmoking father reached his nineties in good health”).
    I show them the following slide with the lowest box only.
  • O.k. What about this study? I’ve a group of lung cancer patients, who smoke(d) heavily. I ask them to fill in a questionnaire about their eating habits in the past and take a blood sample, and I do the same with a simlar group of smokers without cancer (controls). Analysis shows that smokers developing lung cancer eat much less beta-carotene containing vegetables and have lower bloodlevels of beta-carotene than the smokers not developing cancer. Does this mean that beta-carotene is preventing lung cancer?
    Humming in the audience, till one man says: “perhaps some people don’t remember exactly what they eat” and then several people object “that it is just an association” and “you do not yet know whether beta-carotene really causes this”. Right! I show the box patient-control studies.
  • Than consider this study design. I follow a large cohort of ‘healthy’ heavy smokers and look at their eating habits (including use of supplements) and take regular blood samples. After a long follow-up some heavy smokers develop lung cancer whereas others don’t. Now it turns out that the group that did not develop lung cancer had significantly more beta-carotene in their blood and eat larger amount of beta-carotene containing food. What do you think about that then?
    Now the room is a bit quiet, there is some hesitation. Then someone says: “well it is more convincing” and finally the chair says: “but it may still not be the carrots, but something else in their food or they may just have other healthy living habits (including eating carrots). Cohort-study appears on the slide (What a perfect audience!)
  • O.k. you’re not convinced that these study designs give conclusive evidence. How could we then establish that beta-carotene lowers the risk of lung cancer in heavy smokers? Suppose you really wanted to know, how do you set up such a study?
    Grinning. Someone says “by giving half of the smokers beta-carotene and the other half nothing”. “Or a placebo”, someone else says. Right! Randomized Controlled Trial is on top of the slide. And there is not much room left for another box, so we are there. I only add that the best way to do it is to do it double blinded.

Than I reveal that all this research has really been done. There have been numerous observational studies (case-control as well cohorts studies) showing a consistent negative correlation between the intake of beta-carotene and the development of lung cancer in heavy smokers. The same has been shown for vitamin E.

“Knowing that”, I asked the public: “Would you as a heavy smoker participate in a trial where you are randomly assigned to one of the following groups: 1. beta-carotene, 2. vitamin E, 3. both or 4. neither vitamin (placebo)?”

The recruitment fails. Some people say they don’t believe in supplements, others say that it would be far more effective if smokers quit smoking (laughter). Just 2 individuals said they would at least consider it. But they thought there was a snag in it and they were right. Such studies have been done, and did not give the expected positive results.
In the first large RCT (
appr. 30,000 male smokers!), the ATBC Cancer Prevention Study, beta-carotene rather increased the incidence of lung cancer with 18 percent and overall mortality with 8 percent (although harmful effects faded after men stopped taking the pills). Similar results were obtained in the CARET-study, but not in a 3rd RCT, the Physician’s Health Trial, the only difference being that the latter trial was performed both with smokers ànd non-smokers.
It is now generally thought that cigarette smoke causes beta-carotene to breakdown in detrimental products, a process that can be halted by other anti-oxidants (normally present in food). Whether vitamins act positively (anti-oxidant) or negatively (pro-oxidant) depends very much on the dose and the situation and on whether there is a shortage of such supplements or not.

I found that this way of explaining study designs to well-educated layman was very effective and fun!
The take-home message is that no matter how reproducible the observational studies seem to indicate a certain effect, better evidence is obtained by randomized control trials. It also shows that scientists should be very prudent to translate observational findings directly in a particular lifestyle advice.

On the other hand, I wonder whether all hypotheses have to be tested in a costly RCT (the costs for the ATCB trial were $46 million). Shouldn’t there be very very solid grounds to start a prevention study with dietary supplements in healthy individuals ? Aren’t their any dangers? Personally I think we should be very restrictive about these chemopreventive studies. Till now most chemopreventive studies have not met the high expectations, anyway.
And what about coenzyme-Q and komkommerslank? Besides that I do not expect the evidence to be convincing, tiredness can obviously be best combated by rest and I already eat enough cucumbers…. 😉
To be continued…

SOURCES:
Clinical Studies and designs:
several paper books; online e.g. GlossClinStudy on a vetenarian site
The ATCB study: The Alpha-Tocopherol, Beta Carotene Cancer Prevention Study Group. The effect of vitamin E and beta carotene on the incidence of lung cancer and other cancers in male smokers. N Engl J Med 1994;330:1029-35. See free full text here
Overview of ATBC and CARET study 2 overwiews at www.cancer.gov, one about the ATBCfollowup and one about the CARET-trial
Overview of other RCT’s with surprising outcomes: on wikipedia

—————————-

Toen ik er weer eens donkere kringen onder mijn ogen had, raadde mijn schoonmoeder me coenzym Q aan, waarvan ze net gelezen had dat het een wetenschappelijk bewezen effectieve vermindering van vermoeidheid geeft. Inderdaad bevelen veel webpagina’s en huis-aan-huis bladen deze “natuurlijke en energie-mobiliserende voedingstof die je mitochondrien aanzet tot cellulaire energie” aan. Een andere keer vroeg ze me of ik dacht dat je wat pondjes zou kunnen kwijtraken door komkommerslank. Ze nam met een stellig NEE genoegen.

Het is vaak heel moeilijk duidelijk te maken dat niet alle research even goed is en niet alle uitkomsten even significant (zowel statistisch als klinisch). Nog moeilijker is het om de “bewijsniveau’s (levels of evidence)” uit de doeken te doen of om uit te leggen waarom je uberhaupt zoiets zou willen weten. De pharmacie en zeker de supplement verkopende bedrijfjes varen wel bij de goedgelovigheid van de gemiddelde consument. Hun verhalen en pillen vinden gretig aftrek.

Een gerandomiseerde gecontroleerde trial (RCT) is, indien goed uitgevoerd, het ‘beste’ studietype om aan te tonen of een behandeling werkzaam of nuttig is. Een RCT is een experimentele studie waarbij de deelnemers, die bij start van de studie vergelijkbaar zijn, door het lot worden toegewezen aan een (bepaalde) interventie- of controlegroep en waarbij na een bepaalde tijd de uitkomsten in beide groepen worden vergeleken. Een RCT is echter niet altijd haalbaar of wenselijk, bijvoorbeeld omdat het niet ethisch is om mensen te randomiseren of om hen bloot te stellen aan bepaalde interventies.

Observationele studies zijn zwakker in bewijskracht, omdat de toewijzing van de factoren niet in handen liggen van de onderzoeker, maar van het lot (natuur, werkomstandigheden, eigen keuzes). Van de observationele studies hebben cohort studies een hogere bewijskracht dan case control studies, omdat de te onderzoeken factoren bij cohort studies worden bepaald vòòrdat de uitkomst bekend is, terwijl dit bij case control studies juist gebeurt nadat de uitkomst bekend is.

De meeste mensen vinden zo’n beschrijving van studietypes the theoretisch en nietszeggend. Het spreekt ze niet aan, omdat ze zich er niets bij voor kunnen stellen.

Afgelopen jaar werd ik uitgedaagd om te vertellen “hoe artsen medische informatie zoeken” (het centrale thema was Google en informatie) voor …en nou komt-ie.. “De Vereniging voor Geschiedenis en Informatica”.

Om het publiek uit te leggen waarom het belangrijk is dat klinici de beste evidence vinden en hoe zij met behulp van methodologische filters het kaf van het koren kunnen scheiden, moest ik hen eerst uitleggen wat RCT’s en bewijsniveau’s zijn. Ik legde hen dit uit aan de hand van een onderwerp dat mij na aan het hart ligt.

Ik toonde hen een dia met daarop de vraag: Voorkomt bètacaroteen longkanker?
En ik legde hen uit dat bètacaroteen een vitamine is die veel in worteltjes en bepaalde andere groente voorkomt, maar die je ook als pillen kan slikken. Er zijn aanwijzingen dat bètacaroteen longkanker bij rokers zou helpen voorkomen. Hoe denkt u dat u dit het best kunt aantonen?

  • Stel u heeft 2 buren, beiden kettingroker, man, en even oud. De buurman die weinig groente eet krijgt longkanker, maar de buurman die heel veel groente eet en gek is op worteltjes krijgt het niet. Kunnen we nu concluderen, dat bètacaroteen longkanker bij rokers voorkomt?
    Er wordt hartelijk gelachen, dus men gelooft hier niet in n=1 experimenten/case reports. (maar je moet ze maar de kost geven die denken dat roken geen kwaad kan omdat hun shaggies verslindende vader een taaie kerel was die nog tot op hoge leeftijd volop van het leven genoot).
    Ik toon hen een nieuwe slide met daarop het woord “casus”.
  • O.k. Wat vind u hiervan? Er is een groep longkankerpatienten, die veel gerookt heeft. Ik vraag of de patienten een vragenlijst willen invullen en neem wat bloed af. Datzelfde doe ik met een vergelijkbare groep rokers die géén kanker ontwikkeld heeft. Ik analyseer alles en wat blijkt? In de groep met longkanker zitten vooral rokers met een minder caroteenrijk voedingspatroon en minder caroteen in hun bloed. Betekent dit dat bètacaroteen longkanker voorkomt?
    Geroezemoes. Iemand zegt: “misschien kunnen sommige mensen zich helemaal niet zo goed herinneren wat ze vroeger precies hebben gegeten”. Anderen werpen tegen “dat het alleen maar een associatie is” en “dat je niet zeker weet of het echt alleen de betacaroteen is die dit effect geeft.” Heel goed! Op het scherm verschijnt “patient-controle onderzoek”.
  • Dan doe ik het anders. Ik volg een grote groep ‘gezonde’ zware rokers, ik volg hun eetgewoonten (inclusief het gebruik van supplementen) nauwgezet en neem regelmatig bloed af. Na lange tijd krijgen sommige rokers longkanker, maar andere niet. Nou blijkt wéér dat de groep die geen longkanker kreeg meer caroteenrijk voedsel at en meer betacaroteen in zijn bloed had. Wat denkt u hiervan?
    Het is een beetje stiller, je voelt de aarzeling, tot iemand zegt. “Nou, het overtuigt wel iets meer”. Een ander werpt tegen: “maar wie zegt dat het de worteltjes zijn, misschien is het wel iets anders in het eten of misschien is de levensstijl sowieso gezonder. Cohort-studie verschijnt op het scherm. Wat een perfect publiek, daar kan menig geneeskunde student nog een puntje aan zuigen.
  • Ik begrijp dat u niet geheel overtuigd bent van de bewijskracht van deze studies. Maar hoe zou u dan vaststellen dat bètacaroteen de kans op longkanker verlaagt bij rokers? Stel dat u het echt zou willen weten, hoe zet u de studie dan op?
    Gegrinnik. Iemand zegt: “Geef de helft van de rokers beta-caroteen en de andere helft niets”. “Of een placebo”. zegt een ander. Prima! Er verschijnt “Randomized Controlled Trial” boven aan de slide. Er is geen ruimte meer over, dus we zijn er. Ik vertel alleen nog iets over het belang van dubbelblind onderzoek.

Dan onthul ik dat dergelijke onderzoeken ook werkelijk gedaan zijn. Uit tal van observationele (case-control en cohort) studies is gebleken dat er een omgekeerde relatie bestaat tussen inname van bètacaroteen en ontwikkelen van longkanker bij rokers. Hetzelfde geldt voor vitamine E.

“Nu u dat weet”, vraag ik het publiek “Zou u dan als kettingroker deelnemen aan een studie waar u random toegewezen wordt aan een van de volgende behandelingen:
1. bètacaroteen, 2. vitamine E, 3. beiden of 4. geen van beiden (placebo)?”

De inclusie faalt. Sommigen geloven niet in supplementen, anderen stellen dat het beter zou zijn als rokers stopten met roken (instemmend gelach). Twee mensen zeggen dat ze het in overweging zouden nemen. Maar men vermoed (gezien het voorafgaande) een addertje onder het gras en ze hebben gelijk. Dergelijke studies zijn gedaan en hebben niet het gewenste resultaat opgeleverd.
In de eerste grote RCT (
ca. 30.000 mannelijke rokers!), de ATBC Cancer Prevention Study, verhoogde bètacaroteen juist het aantal longkankergevallen met 18% en de algehele sterfte met 8% (hoewel het effect langzaam uitdooft als mensen met de pillen stoppen). Vergelijkbare resultaten werden verkregen in de CARET-studie, maar niet in een 3e RCT, de Physician’s Health Trial, die ook niet-rokers had geincludeerd.
Aangenomen wordt nu dat sigaretterook bètacaroteen afbreekt tot gevaarlijke afvalproducten, een proces dat gekeerd kan worden door andere oxidanten (normaal aanwezig in het voedsel). Of vitaminen een positieve (anti-oxidant) of negatieve (pro-oxidant) werking hebben hangt erg af van de dosis, de vorm, en de situatie: vitamines in fysiologische concentraties zijn met name nuttig bij een tekort eraan.

Deze manier van studietypes uitleggen aan goed-ontwikkelde leken vond ik erg effectief en leuk om te doen bovendien.

De boodschap is dat hoezeer observationele studies ook op een bepaald effect wijzen, beter evidence verkregen kan worden met een RCT (hoewel dit niet altijd kan en mag). Het laat ook zien dat je als wetenschapper (en dokter) heel voorzichtig moet zijn met het direct vertalen van ‘waarnemingen’ naar adviezen richting een bepaalde therapie of levensstijl.

Aan de andere kant vraag ik me wel af, of alle hypothesen getest moeten worden in een overigens zeer kostbare RCT (kosten van de ATCB trial bedroegen $46 miljoen). Zou er niet een heel stevige basis moeten zijn vòòr je een preventieve studie doet met supplementen bij gezonde individuen? Zijn er geen risico’s ? Zelf denk ik dat we heel terughoudend moeten zijn met chemopreventie studies. Tot op heden hebben ze trouwens niet aan de hoge verachtingen voldaan.
Wat coenzym-Q en komkommerslank betreft? Behalve dat ik er gewoon niet in geloof (ik bedoel dat er evidence bestaat dat ze werken), denk ik dat vermoeidheid het best bestreden kan worden met rust en ik eet zat komkommers. 😉 Volgende keer meer…..