Problems with Disappearing Set Numbers in PubMed’s Clinical Queries

18 10 2010

In some upcoming posts I will address various problems related to the changing interfaces of bibliographic databases.

We, librarians and end users, are overwhelmed by a flood of so-called upgrades, which often fail to bring the improvements that were promised….. or which go hand-in-hand with temporary glitches.

Christina of Christina’s Lis Rant even made rundown of the new interfaces of last summer. Although she didn’t include OVID MEDLINE/EMBASE, the Cochrane Library and Reference manager in her list, the total number of changed interfaces reached 22 !

As a matter of fact, the Cochrane Library was suffering some outages yesterday, to repair some bugs. So I will postpone my coverage of the Cochrane bugs a little.

And OVID send out a notice last week: This week Ovid will be deploying a software release of the OvidSPplatform that will add new functionality and address improvements to some existing functionality.”

In this post I will confine myself to the PubMed Clinical Queries. According to Christina PubMed changes “were a bit ago”, but PubMed continuously tweaks  its interface, often without paying much attention to its effects.

Back in July, I already covered that the redesign of the PubMed Clinical Queries was no improvement for people who wanted to do more than a quick and dirty search.

It was no longer possible to enter a set number in the Clinical Queries search bar. Thus it wasn’t possible to set up a search in PubMed first and to then enter the final set number in the Clinical Queries. This bug was repaired promptly.

From then on, the set number could be entered again in the clinical queries.

However, one bug was replaced by another: next, search numbers were disappearing from the search history.

I will use the example I used before: I want to know if spironolactone reduces hirsutism in women with PCOS, and if it works better than cyproterone acetate.

Since little is published about this topic,  I only search for  hirsutism and spironolactone. These terms  map correctly with  MeSH terms. In the MeSH database I also see (under “see also”) that spironolactone belongs to the aldosterone antagonists, so I broaden spironolactone (#2) with “Aldosterone antagonists”[pharmacological Action] using “OR” (set #7). My last set (#8) consists of #1 (hirsutism) AND #7 (#2 OR #6)

Next I go to the Clinical Queries in the Advanced Search and enter #8. (now possible again).

I change the Therapy Filter from “broad”  to “narrow”, because the broad filter gives too much noise.

In the clinical queries you see only the first five results.

Apparently even the clinical queries are now designed to just take a quick look at the most recent results, but of course, that is NOT what we are trying to achieve when we search for (the best) evidence.

To see all results for the narrow therapy filter I have to go back to the Clinical Queries again and click on see all (27) [5]

A bit of a long way about. But it gets longer…


The 27 hits, that result from combining the Narrow therapy filter with my search #8 appears. This is set #9.
Note it is a lower number than set #11 (search + systematic review filter).

Meanwhile set #9 has disappeared from my history.

This is a nuisance if I want to use this set further or if I want to give an overview of my search, i.e. for a presentation.

There are several tricks by which this flaw can be overcome. But they are all cumbersome.

1. Just add set number (#11 in this case, which is the last search (#8) + 3 more) to the search history (you have to remember the search set number though).

This is the set number remembered by the system. As you see in the history, you “miss” certain sets. #3 to #5 are for instance are searches you performed in the MeSH-database, which show up in the History of the MeSH database, but not in PubMed’s history.

The Clinical query set number is still there, but it doesn’t show either. Apparently the 3 clinical query-subsets yield a separate set number, whether the search is truly performed or not. In this case  #11 for (#8) AND systematic[sb], #9 for (#8) AND (Therapy/Narrow[filter]). And #10 for (#8) AND the medical genetics filter.

In this way you have all results in your history. It isn’t immediately clear, however, what these sets represent.

2. Use the commands rather than going to the clinical queries.

Thus type in the search bar: #8 AND systematic[sb]

And then: #8 AND (Therapy/Narrow[filter])

It is easiest to keep all filters in Word/Notepad and copy/paste each time you need the filter

3. Add clinical queries as filters to your personal NCBI account so that the filters show up each time you do a search in PubMed. This post describes how to do it.

Anyway these remain just tricks to try to make something right that is wrong.

Furthermore it makes it more difficult to explain the usefulness of the clinical queries to doctors and medical students. Explaining option 3 takes too long in a short course, option 1 seems illogical and 2 is hard to remember.

Thus we want to keep the set numbers in the history, at least.

A while ago Dieuwke Brand notified the NLM of this problem.

Only recently she received an answer saying that:

we are aware of the continuing problem.  The problem remains on our programmers’ list of items to investigate.  Unfortunately, because this problem appears to be limited to very few users, it has been listed as a low priority.

Only after a second Dutch medical librarian confirmed the problem to the NLM, saying it not only affects one or two librarians, but all the students we teach (~1000-2000 students/university/yearly), they realized that it was a more widespread problem than Dieuwke Brand’s personal problem. Now the problem has a higher priority.

Where is the time that a problem was taken for what it was? As another librarian sighed: Apparently something is only a problem if many people complain about it.

Now I know this (I regarded Dieuwke as a delegate of all Dutch Clinical Librarians), I realize that I have to “complain” myself, each time I and/or my colleagues encounter a problem.

Related Articles





Thoughts on the PubMed Clinical Queries Redesign

7 07 2010

Added 2010-07-09:  It is possible to enter the set numbers again, but the results are not yet reliable. They are probably working on it.

Last Wednesday (June 30th 2010) the PubMed Clinical Queries were redesigned.

Clinical Queries are prefab search filters that enable you to find aggregate evidence (Systematic Reviews-filter) or articles in a certain domain (Clinical study category-filters: like diagnosis and therapy), as well as papers in the field of  Medical Genetics (not shown below).

This was how it looked:

Since there were several different boxes you had to re-enter your search each time you tried another filter.

Now the Clinical Queries page has been reconfigured with columns to preview the first five citations of the results for all three research areas.

So this is how it looks now (search= PCOS spironolactone cyproterone hirsutism (PubMed automatically connects with “AND”))

Click to enlarge

Most quick responses to the change are “Neat”, “improved”, “tightened up”…….

This change might be a stylistic improvement for those who are used to enter words in the clinical queries without optimizing the search. At least you see “what you get”, you can preview the results of 3 filters, and you can still see “all” results by clicking on “see all”.  However, if you want to see the all results of another filter, you still have to go back to the clinical queries again.

But… I was not pleased to notice that it is no longer possible to enter a set number (i.e. #9) in the clinical queries search bar.

….Especially since the actual change was just before the start of an EBM-search session. I totally relied on this feature….

  1. Laika (Jacqueline)
    laikas Holy shit. #Pubmed altered the clinical queries, so that I can’t optimize my search first and enter the setnumber in the clin queries later.
  2. Laika (Jacqueline)
    laikas Holy shit 2 And I have a search class in 15 minutes. Can’t prepare changes. I hate this #pubmed #fail
  3. Mark MacEachern
    markmac perfect timing (for an intrface chnge) RT @laikas Holy shit 2 And I have a search class in 15 min. Can’t prepare changes. #pubmed #fail

this quote was brought to you by quoteurl

Furthermore the clinical study category is now default on “therapy broad” instead of narrow. This means a lot more noise: the broad filter searches for (all) clinical trials, while the narrow filter is meant to find randomized controlled trials only.

Normally I optimize the search first before entering the final search set number into the clinical queries.(see  Tip 9 of  “10+1 Pubmed tips for residents and their instructors“).  For instance, the above search would not include PCOS (which doesn’t map to the proper MeSH and isn’t required) and cyproterone, but would consist of hirsutism AND spironolactone (both mapping to the appropriate MeSH).

The set number of the “optimized” search is then entered in the search box of the Systematic Review filter. This yields 9 more hits, including Cochrane systematic reviews. The narrow therapy filter gives more hits, that are more relevant as well (24).

The example that is shown in the NLM technical bulletin (dementia stroke) yields 142 systematic reviews and 1318 individual trials of which only the 5 most recent trials are shown. Not very helpful to doctors and scientists, IMHO.

Anyway, we “lost” a (roundabout) way- to optimize the search before entering it into the search box.

The preview of 3 boxes is o.k., the looks are o.k. but why is this functionality lost?

For the moment I decided to teach my class another option that I use myself: adding clinical queries to your personal NCBI account so that the filters show up each time you perform a search in PubMed ( this post describes how to do it).

It only takes some time to make NCBI accounts and to explain the procedure to the class, time you would like to save for the searches themselves  (in a 1-2 hr workshop). But it is the most practical solution.

We notified PubMed, but it is not clear whether they plan to restore this function.

Note: 2010-07-09:  It is possible to enter the set numbers again, but the results are not yet reliable. They are probably working on it.

Still, for advanced users, adding filters to your NCBI may be most practical.

——-

*re-entering spironolactone and hirsutism in the clinical queries is doable here, but often the search is more complex and different per filter. For instance I might add a third concept when looking for an individual trial.





An Evidence Pyramid that Facilitates the Finding of Evidence

20 03 2010

Earlier I described that there are so many search- and EBM-pyramids that it is confusing. I described  3 categories of pyramids:

  1. Search Pyramids
  2. Pyramids of EBM-sources
  3. Pyramids of EBM-levels (levels of evidence)

In my courses where I train doctors and medical students how to find evidence quickly, I use a pyramid that is a mixture of 1. and 2. This is a slide from a 2007 course.

This pyramid consists of 4 layers (from top down):

  1. EBM-(evidence based) guidelines.
  2. Synopses & Syntheses*: a synopsis is a summary and critical appraisal of one article, whereas synthesis is a summary and critical appraisal of a topic (which may answer several questions and may cover many articles).
  3. Systematic Reviews (a systematic summary and critical appraisal of original studies) which may or may not include a meta-analysis.
  4. Original Studies.

The upper 3 layers represent “Aggregate Evidence”. This is evidence from secondary sources, that search, summarize and critically appraise original studies (lowest layer of the pyramid).

The layers do not necessarily represent the levels of evidence and should not be confused with Pyramids of EBM-levels (type 3). An Evidence Based guideline can have a lower level of evidence than a good systematic review, for instance.
The present pyramid is only meant to lead the way in the labyrinth of sources. Thus, to speed up to process of searching. The relevance and the quality of evidence should always be checked.

The idea is:

  • The higher the level in the pyramid the less publications it contains (the narrower it becomes)
  • Each level summarizes and critically appraises the underlying levels.

I advice people to try to find aggregate evidence first, thus to drill down (hence the drill in the Figure).

The advantage: faster results, lower number to read (NNR).

During the first courses I gave, I just made a pyramid in Word with the links to the main sources.

Our library ICT department converted it into a HTML document with clickable links.

However, although the pyramid looked quite complex, not all main evidence sources were included. Plus some sources belong to different layers. The Trip Database for instance searches sources from all layers.

Our ICT-department came up with a much better looking and better functioning 3-D pyramid, with databases like TRIP in the sidebar.

Moving the  mouse over a pyramid layer invokes a pop-up with links to the databases belonging to that layer.

Furthermore the sources included in the pyramid differ per specialty. So for the department Gynecology we include POPLINE and MIDIRS in the lowest layer, and the RCOG and NVOG (Dutch) guidelines in the EBM-guidelines layer.

Together my colleagues and I decide whether a source is evidence based (we don’t include UpToDate for instance) and where it  belongs. Each clinical librarian (we all serve different departments) then decides which databases to include. Clients can give suggestions.

Below is a short You Tube video showing how this pyramid can be used. Because of the rather poor quality, the video is best to be viewed in full screen mode.
I have no audio (yet), so in short this is what you see:

Made with Screenr:  http://screenr.com/8kg

The pyramid is highly appreciated by our clients and students.

But it is just a start. My dream is to visualize the entire pathway from question to PICO, checklists, FAQs and database of results per type of question/reason for searching (fast question, background question, CAT etc.).

I’m just waiting for someone to fulfill the technical part of this dream.

————–

*Note that there may be different definitions as well. The top layers in the 5S pyramid of Bryan Hayes are defined as follows: syntheses & synopses (succinct descriptions of selected individual studies or systematic reviews, such as those found in the evidence-based journals), summaries, which integrate best available evidence from the lower layers to develop practice guidelines based on a full range of evidence (e.g. Clinical Evidence, National Guidelines Clearinghouse), and at the peak of the model, systems, in which the individual patient’s characteristics are automatically linked to the current best evidence that matches the patient’s specific circumstances and the clinician is provided with key aspects of management (e.g., computerised decision support systems).

Begin with the richest source of aggregate (pre-filtered) evidence and decline in order to to decrease the number needed to read: there are less EBM guidelines than there are Systematic Reviews and (certainly) individual papers.




Searching Skills Toolkit. Finding the Evidence [Book Review]

4 03 2010

Most books on Evidence Based Medicine give little attention to the first two steps of EBM: asking focused answerable questions and searching the evidence. Being able to appraise an article, but not being able to find the best evidence may be challenging and frustrating to the busy clinicians.

Searching Skills Toolkit: Finding The Evidence” is a pocket-sized book that aims to instruct the clinician how to search for evidence. It is the third toolkit book in the series edited by Heneghan et al. (author of the CEBM-blog Trust the Evidence). The authors Caroline de Brún and Nicola Pearce Smith are experts in searching (librarian and information scientist respectively).

According to the description at Wiley’s, the distinguishing feature of this searching skills book,  is its user-friendliness. “The guiding principle is that readers do not want to become librarians, but they are faced with practical difficulties when searching for evidence, such as lack of skills, lack of time and information overload. They need to learn simple search skills, and be directed towards the right resources to find the best evidence to support their decision-making.”

Does this book give guidance that makes searching for evidence easy? Is this book the ‘perfect companion’ to doctors, nurses, allied health professionals, managers, researchers and students, as it promises?

I find it difficult to answer, partly because I’m not a clinician and partly because, being a medical information specialist myself, I would frequently tackle a search otherwise.

The booklet is in pocket-size, easy to take along. The lay-out is clear and pleasant. The approach is original and practical. Despite its small size, the booklet contains a wealth of information. Table one, for instance, gives an overview of truncation symbols, wildcards and Boolean operators for Cochrane, Dialog, EBSCO, OVID, PubMed and Webspirs (see photo). And although this is mouth watering for many medical librarians one wonders whether this detailed information is really useful for the clinician.

Furthermore 34 pages of the 102 (1/3) are devoted on searching these specific health care databases. IMHO of these databases only PubMed and the Cochrane Library are useful to the average clinician. In addition most of the screenshots of the individual databases are too small to read. And due to the PubMed Redesign the PubMed description is no longer up-to-date.

The readers are guided to the chapters on searching by asking themselves beforehand:

  1. The time available to search: 5 minutes, an hour or time to do a comprehensive search. This is an important first step, which is often not considered by other books and short guides.
    Primary sources, secondary sources and ‘other’ sources are given per time available. This is all presented in a table with reference to key chapters and related chapters. These particular chapters enable the reader to perform these short, intermediate or long searches.
  2. What type of publication he is looking for: a guideline, a systematic review, patient information or an RCT (with tips where to find them).
  3. Whether the query is about a specific topic, i.e. drug or safety information or health statistics.

All useful information, but I would have discussed topic 3 before covering EBM, because this doesn’t fit into the ‘normal’ EBM search.  So for drug information you could directly go to the FDA, WHO or EMEA website. Similarly, if my question was only to find a guideline I would simply search one or more guideline databases.
Furthermore it would be more easy to pile the small, intermediate and long searches upon each other instead of next to each other. The basic principle would be (in my opinion at least) to start with a PICO and to (almost) always search for secondary searches first (fast), search for primary publications (original research) in PubMed if necessary and broaden the search in other databases (broad search) in case of exhaustive searches. This is easy to remember, even without the schemes in the book.

Some minor points. There is an overemphasis on UK-sources. So the first source to find guidelines is the (UK) National Library of Guidelines, where I would put the National Guideline Clearinghouse (or the TRIP-database) first. And why is MedlinePlus not included as a source for patients, whereas NHS-choices is?

There is also an overemphasis on interventions. How PICO’s are constructed for other domains (diagnosis, etiology/harm and prognosis) is barely touched upon. It is much more difficult to make PICOs and search in these domains. More practical examples would also have been helpful.

Overall, I find this book very useful. The authors are clearly experts in searching and they fill a gap in the market: there is no comparable book on “the searching of the evidence”. Therefore, despite some critique and preferences for another approach, I do recommend this book to doctors who want to learn basic searching skills. As a medical information specialist I keep it in my pocket too: just in case…

Overview

What I liked about the book:

  • Pocket size, easy to take a long.
  • Well written
  • Clear diagrams
  • Broad coverage
  • Good description of (many) databases
  • Step for step approach

What I liked less about it:

  • Screen dumps are often too small to read and thereby not useful
  • Emphasis on UK-sources
  • Other domains than “therapy” (etiology/harm, prognosis, diagnosis) are almost not touched upon
  • Too few clinical examples
  • A too strict division in short, intermediate and long searches: these are not intrinsically different

The Chapters

  1. Introduction.
  2. Where to start? Summary tables and charts.
  3. Sources of clinical information: an overview.
  4. Using search engines on the World Wide Web.
  5. Formulating clinical questions.
  6. Building a search strategy.
  7. Free text versus thesaurus.
  8. Refining search results.
  9. Searching specific healthcare databases.
  10. Citation pearl searching.
  11. Saving/recording citations for future use.
  12. Critical appraisal.
  13. Further reading by topic or PubMed ID.
  14. Glossary of terms.
  15. Appendix 1: Ten tips for effective searching.
  16. Appendix 2: Teaching tips

References

  1. Searching Skills Toolkit – Finding The Evidence (Paperback – 2009/02/17) by Caroline De Brún and Nicola Pearce-smith; Carl Heneghan et al (Editors). Wiley-Blackell BMJ\ Books
  2. Kamal R Mahtani Evid Based Med 2009;14:189 doi:10.1136/ebm.14.6.189 (book review by a clinician)

Reblog this post [with Zemanta]




Time to weed the (EBM-)pyramids?!

26 09 2008

Information overload is a major barrier in finding that particular medical information you’re really looking for. Search- and EBM-pyramids are designed as a (search) guidance both for physicians, med students and information specialists. Pyramids can be very handy to get a quick overview of which sources to use and which evidence to look for in which order.

But look at the small collection of pyramids I retrieved from Internet plus the ones I made myself (8,9)………

ALL DIFFERENT!!!!

What may be particularly confusing is that these pyramids serve different goals. As pyramids look alike (they are all pyramids) this may not be directly obvious.

There are 3 main kinds of pyramids (or hierarchies):

  1. Search Pyramid (no true example, 4, 5 and 6 come closest)
    Guiding searches to answer a clinical question as promptly as possible. Begin with the easiest/richest source, for instance UpToDate, Harrison’s (books), local hospital protocols or useful websites. Search aggregate evidence respectively the best original studies if answer isn’t found or doubtful.
  2. Pyramid of EBM-sources (3 ,4, 8 )
    Begin with the richest source of aggregate (pre-filtered) evidence and decline in order to to decrease the number needed to read: there are less EBM guidelines than there are Systematic Reviews and (certainly) individual papers.
  3. Pyramid of EBM-levels (1, 2, 5, 7, 9)
    Begin to look for the original papers with the highest level of evidence.
    Often only individual papers/original research, including Systematic Reviews, are considered (1, 9), but sometimes the pyramid is a mixture of original and aggregated literature (2,5)
  4. A mixture of 2, 3 and/or 4 (2,5)

Further discrepancies:

  • Hierarchies.
    • Some place Cochrane Systematic Reviews higher than ‘other systematic reviews’, others place meta-analysis above Systematic reviews (2,6). This is respectively unnecessary or wrong. (Come back to that in another post).
    • Sometimes Systematic reviews are on top, sometimes Systems (never found out what that is), sometimes meta-analysis or Evidence based Guidelines
    • Synopses (critically appraised individual articles) may be placed above or below Syntheses (critically appraised topics).
    • Textbooks and Reviews may at the base of the pyramid or a little more up.
    • etcetera
  • Nomenclature
    • Evidence Summaries ?= Summaries of the evidence? = Evidence Syntheses? = critically appraised topics?
    • Etcetera
  • Categorization
    • UpToDate is sometimes placed at the top of the pyramid in Summaries (4) OR at the base in Textbooks (5), where I think it should belong in terms of evidence levels, but not in terms of usefulness.
    • DARE is considered a review, but it is really a synopsis (critical appraised summary) of a Systematic Review.

Isn’t it about time to weed the pyramids rigorously?

Are pyramids really serving the aim of making it easier for the meds to find their information?

Like to hear your thoughts about this.

What my thoughts are? I will give a hint: I would rather guide the informationseeker through different routes, dependent on his background, question, available time and goal. The pyramid of evidence sources and the levels of evidence would just be part of that scheme, ideally.

Will be continued….





Related Articles = Lateral Navigation

18 05 2008

What I did pick up form the WordPress announcement by Matt on possibly related posts (see previous post) is the term “lateral navigation” for navigating from one post to another. Why is this such a nice term?

Well, in my classes on systematic searching I teach people to perform (1) backward searching (checking citations in the reference list of selected papers), (2) forward searching (looking for papers that cite relevant papers) and (3) to browse Related Articles in PubMed or use “Find Similar” in OVID (MEDLINE, EMBASE). This approach is called snowballing or pearl method. It serves to find papers that you might have missed, but even more so to find new terms to add to your search, so you catch these ‘missing studies’ with your final search strategy.

The term lateral searching is so perfect because you can easily vissualize what this word stands for and it fits in with backward and forward searching.

So lateral searching will now be added to my slides! (see figure)

lateral searching

———————————————-

NL flag NL vlag

De post van Matt (WordPress) over “possibly related posts” (zie mijn vorige post) bracht me op een voor mij nieuw begrip. “lateral navigation”, of in mijn geval nog beter “lateral searching” (lateraal of zijwaarts zoeken). Dit vind ik nl. een heel toepasselijke term voor het zoeken naar verwante artikelen.

In mijn cursussen “systematisch zoeken” raad ik mensen aan om aan de hand van geincludeerde (geselecteerde) artikelen systematisch ontbrekende studies te vinden door (1) “backward searching” (referentielijst checken), (2) “forward searching” (citerende artikelen zoeken) en (3) Related Articles in PubMed or “Find Similar” in OVID (MEDLINE, EMBASE) door te nemen. Deze zoekmethode wordt ook wel de sneeuwbal- of parelmethode genoemd. Het dient niet alleen om de ontbrekende artikelen te vinden maar vooral om nieuwe termen te vinden waarmee je je zoekactie kunt vervolmaken, zodat je deze èn andere artikelen met je uiteindelijke zoekactie vangt.

The term “lateral searching” past zo mooi bij de termen backward and forward searching, omdat ze alle 3 een beweging uitdrukken, waarbij de zijwaartse beweging nog het minst doelgericht lijkt en dat is het ook. Als je niet uitkijkt zwalk je zo van de ene naar de andere studie, en daarmee verlies je de systematiek. Leuk als je op nieuwe ideeen wilt komen, niet goed als je systematisch wilt zoeken.

Dus vanaf nu komt “lateral searching” op mijn powerpoint-presentatie te staan! (zie figuur))

——————————

Previous posts on related articles/posts at this blog:
http://laikaspoetnik.wordpress.com/2008/05/16/possibly-an-announcement-about-possibly-related-posts/






BMI bijeenkomst april 2008

21 04 2008

Afgelopen vrijdag 18 April was de Landelijke Dag BMI, CCZ, PBZ en WEB&Z. De BMI is afdeling Biomedische Informatie van de Nederlandse Vereniging voor Beroepsbeoefenaren (NVB). De andere afkortingen staan voor werkgroepen/commissies binnen de NVB: CCZ = Centrale Catalogus Ziekenhuisbibliotheken, BPZ = Bibliothecarissen van Psychiatrische Zorginstellingenen en WEB&Z = voorheen Biomedische werkgroep VOGIN.

Het programma bestond uit 3 ALV’s, van de CCZ, de BPZ en de BMI, afgewisseld met 3 lezingen. Een beetje lastig 3 ALV’s en 1 zaal. Dat betekende in mijn geval dat ik wel de BMI-ALV heb bijgewoond, maar tijdens de andere ALV’s (langdurig) in de koffieruimte annex gang moest wachten. Weliswaar heb ik die nuttig en plezierig doorgebracht, maar het zou wat gestroomlijnder kunnen. Ook vond ik het bijzonder jammer dat er nauwelijks een plenaire discussie was na de lezingen en dat men geacht werd de discussie letterlijk in de wandelgang voort te zetten. En stof tot discussie was er…..

Met name de eerste lezing deed de nodige stof opwaaien. Helaas heb ik deze voor de helft gemist, omdat ik in het station Hilversum dat van Amersfoort meende te herkennen ;) . Gelukkig heeft Ronald van Dieën op zijn blog ook de BMI-dag opgetekend, zodat ik de eerste punten van hem kan overnemen.

De eerste spreker was Geert van der Heijden, Universitair hoofddocent Klinische Epidemiologie bij het Julius Centrum voor Gezondheidswetenschappen van het UMC Utrecht. Geert is coördinator van het START-blok voor zesdejaars (Supervised Training in professional Attitude, Research and Teaching) en van de Academische Vaardigheden voor het GNK Masteronderwijs. Ik kende Geert oppervlakkig, omdat wij (afzonderlijk) geinterviewd waren voor het co-assistenten blad “Arts in Spe” over de integratie van het EBM-zoekonderwijs in het curriculum. Nu ik hem hier in levende lijve heb gehoord, lees ik zijn interview met heel andere ogen. Ik zag toen meer de overeenkomsten, nu de verschillen.

Zijn presentatie had als titel: “hoe zoekt de clinicus?”. Wie verwachtte dat Geert zou vertellen hoe de gemiddelde clinicus daadwerkelijk zoekt komt komt bedrogen uit. Geert vertelde vooral de methode van zoeken die hij artsen aanleert/voorhoudt. Deze methode is bepaald niet ingeburgerd en lijkt diametraal te staan tegenover de werkwijze van medisch informatiespecialisten, per slot zijn gehoor van dat moment. Alleen al het feit dat hij beweert dat je VOORAL GEEN MeSH moet gebruiken druist in tegen wat wij medisch informatiespecialisten leren en uitdragen. Het is de vraag of de zaal zo stil was, omdat zij overvallen werd door al het schokkends wat er gezegd werd of omdat men niet wist waar te beginnen met een weerwoord. Ik zag letterlijk een aantal monden openhangen van verbazing.

Zoals Ronald al stelde was dit een forse knuppel in het hoenderhok van de ‘medisch informatiespecialisten’. Ik deel echter niet zijn mening dat Geert het prima kon onderbouwen met argumenten. Hij is weliswaar een begenadigd spreker en bracht het allemaal met verve, maar ik had toch sterk de indruk dat zijn aanpak vooral practice- of eminence- en niet evidence-based was.

Hieronder enkele van zijn stellingen, 1ste 5 overgenomen van Ronald:

  1. “Een onderzoeker probeert publicatie air miles te verdienen met impact factors”
  2. “in Utrecht krijgen de studenten zo’n 500 uur Clinical Epidemiology en Evidence Based Practice, daar waar ze in Oxford (roots van EBM) slechts 10 uur krijgen”
  3. “contemporary EBM tactics (Sicily statement). (zie bijvoorbeeld hier:….)
  4. “fill knowledge gaps met problem solving skills”
  5. EBM = eminence biased medicine. Er zit veel goeds tussen, maar pas op….
  6. Belangrijkste doelstelling van literatuuronderzoek: reduceer Numbers Needed to Read.
  7. Vertrouw nooit 2e hands informatie (dit noemen wij voorgefilterde of geaggregeerde evidence) zoals TRIP, UpToDate, Cochrane Systematic Reviews, BMJ Clinical Evidence. Men zegt dat de Cochrane Systematic Reviews zo goed zijn, maar éen verschuiving van een komma heeft duizenden levens gekost. Lees en beoordeel dus de primaire bronnen!
  8. De Cochrane Collaboration houdt zich alleen maar bezig met systematische reviews van interventies, het doet niets aan de veel belangrijker domeinen “diagnose” en “prognose”.
  9. PICO (patient, intervention, comparison, outcome) werkt alleen voor therapie, niet voor andere vraagstukken.
  10. In plaats daarvan de vraag in 3 componenten splitsen: het domein (de categorie patiënten), de determinant (de diagnostische test, prognostische variabele of behandeling) en de uitkomst (ziekte, mortaliteit en …..)
  11. Zoeken doe je als volgt: bedenk voor elk van de 3 componenten zoveel mogelijk synoniemen op papier, verbind deze met “OR”, verbind de componenten met “AND”.
  12. De synoniemen alleen in titel en abstract zoeken (code [tiab]) EN NOOIT met MeSH (MEDLINE Subject Headings). MeSH zijn NOOIT bruikbaar volgens Geert. Ze zijn vaak te breed, ze zijn soms verouderd en je vindt er geen recente artikelen mee, omdat de indexering soms 3-12 maanden zou kosten.
  13. NOOIT Clinical Queries gebruiken. De methodologische filters die in PubMed zijn opgenomen, de zogenaamde Clinical Queries zijn enkel gebaseerd op MeSH en daarom niet bruikbaar. Verder zijn ze ontwikkeld voor heel specifieke onderwerpsgebieden, zoals cardiologie, en daarom niet algemeen toepasbaar.
  14. Volgens de Cochrane zou je als je een studie ‘mist’ de auteurs moeten aanschrijven. Dat lukt van geen kant. Beter is het te sneeuwballen via Web of Science en related articles en op basis daarvan JE ZOEKACTIE AAN TE PASSEN.

Wanneer men volgens de methode van der Heijden werkt zou men in een half uur klaar zijn met zoeken en in 2 uur de artikelen geselecteerd en beoordeeld hebben. Nou dat doe ik hem niet na.

De hierboven in rood weergegeven uitspraken zijn niet (geheel) juist. 8. Therapie is naar mijn bescheiden mening nog steeds een belangrijk domein; daarnaast is gaat de Cochrane Collaboration ook SR’s over diagnostische accuratesse studies schrijven. 13. in clinical queries worden (juist) niet alleen MeSH gebruikt.

In de groen weergegeven uitspraken kan ik me wel (ten dele) vinden, maar ze zijn niet essentieel verschillend van wat ik (men?) zelf nastreef(t)/doe(t), en dat wordt wel impliciet gesuggereerd.
Vele informatiespecialisten zullen ook:

  • 6 nastreven (door 7 te doen weliswaar),
  • 9 benadrukken (de PICO is inderdaad voor interventies ontwikkeld en minder geschikt voor andere domeinen)
  • en deze analoog aan 10 opschrijven (zij het dat we de componenten anders betitelen).
  • Het aanschrijven van auteurs (14) gebeurt als uiterste mogelijkheid. Eerst doen we de opties die door Geert als alternatief aangedragen worden: het sneeuwballen met als doel de zoekstrategie aan te passen. (dit weet ik omdat ik zelf de cursus “zoeken voor Cochrane Systematic Reviews” geef).

Als grote verschillen blijven dan over: (7) ons motto: geaggregeerde evidence eerst en (12) zoeken met MeSH versus zoeken in titel en abstract en het feit dat alle componenten met AND verbonden worden, wat ik maar mondjesmaat doe. Want: hoe meer termen/componenten je met “AND” combineert hoe groter de kans dat je iets mist. Soms moet het, maar je gaat niet a priori zo te werk.

Ik vond het een beetje flauw dat Geert aanhaalde dat er door één Cochrane reviewer een fout is gemaakt, waardoor er duizenden doden zouden zijn gevallen. Laat hij dan ook zeggen dat door het initiatief van de Cochrane er levens van honderd duizenden zijn gered, omdat eindelijk goed in kaart is gebracht welke therapieën nu wel en welke nu niet effectief zijn. Bij alle studies geldt dat je afhankelijk bent van hoe goed te studie is gedaan, van een juiste statistiek etcetera. Voordeel van geaggregeerde evidence is nu net dat een arts niet alle oorspronkelijke studies hoeft door te lezen om erachter te komen wat werkt (NNR!!!). Stel dat elke arts voor elke vraag ALLE individuele studies moet zoeken, beoordelen en moet samenvatten….. Dat zou, zoals de Cochrane het vaak noemt ‘duplication of effort’ zijn. Maar wil je precies weten hoe het zit, of wil je heel volledig zijn dan zul je inderdaad zelf de oorspronkelijke studies moeten zoeken en beoordelen.
Wel grappig trouwens dat 22 van de 70 artikelen waarvan Geert medeauteur is tot de geaggregeerde evidence (inclusief Cochrane Reviews) gerekend kunnen worden….. Zou hij de lezers ook afraden deze artikelen te selecteren? ;)

Voor wat betreft het zoeken via de MeSH. Ik denk dat weinig ‘zoekers’ louter en alleen op MeSH zoeken. Wij gebruiken ook tekstwoorden. In hoeverre er gebruik van gemaakt wordt hangt erg van het doel en de tijd af. Je moet steeds afwegen wat de voor- en de nadelen zijn. Door geen MeSH te gebruiken, maak je ook geen gebruik van de synoniemen functie en de mogelijkheid tot exploderen (nauwere termen meenemen). Probeer maar eens in een zoekactie alle synoniemen voor kanker te vinden: cancer, cancers , tumor, tumour(s), neoplasm(s), malignancy (-ies), maar daarnaast ook alle verschilende kankers: adenocarcinoma, lymphoma, Hodgkin’s disease, etc. Met de MeSH “Neoplasms” vind je in een keer alle spellingswijzen, synoniemen en alle soorten kanker te vinden.

Maar in ieder geval heeft Geert ons geconfronteerd met een heel andere zienswijze en ons een spiegel voorgehouden. Het is soms goed om even wakkergeschud te worden en na te denken over je eigen (soms te ?) routinematige aanpak. Geert ging niet de uitdaging uit de weg om de 2 zoekmethodes met elkaar te willen vergelijken. Dus wie weet wat hier nog uit voortvloeit. Zouden we tot een consensus kunnen komen?

De volgende praatjes waren weliswaar minder provocerend, maar toch zeker de moeite waard.

De web 2.0-goeroe Wouter Gerritsma (WoWter) praatte ons bij over web 2.0, zorg 2.0 en (medische) bibliotheek 2.0. Zeer toepasselijk met zeer moderne middelen: een powerpointpresentatie via slideshare te bewonderen en met een WIKI, van waaruit hij steeds enkele links aanklikte. Helaas was de internetverbinding af en toe niet zo 2.0, zodat bijvoorbeeld deze beeldende YOU TUBE-uitleg Web 2.0 … The machine is us/ing us niet afgespeeld kon worden. Maar handig van zo’n wiki is natuurlijk dat je het alsnog kunt opzoeken en afspelen. In de presentatie kwamen wat practische voorbeelden aan de orde (bibliotheek, zorg, artsen) en werd ingegaan op de verschillende tools van web 2.0: RSS, blogs, gepersonaliseerde pagina’s, tagging en wiki’s. Ik was wel even apetrots dat mijn blog alsmede dat van de bibliotheker even als voorbeeld getoond werden van beginnende (medische bieb) SPOETNIKbloggers. De spoetnikcursus en 23 dingen werden sowieso gepromoot om te volgen als beginner. Voor wie meer wil weten, kijk nog eens naar de wiki: het biedt een mooi overzicht.

Als laatsten hielden Tanja van Bon en Sjors Clemens een duo-presentatie over e-learning. Als originele start begonnen ze met vragen te stellen in plaats van ermee te eindigen. Daarna gaven ze een leuke introductie over e-learning en lieten ze zien hoe ze dit in hun ziekenhuis implementeerden.

Tussen en na de lezingen was er ruim tijd om met elkaar van gedachten te wisselen, aan het slot zelfs onder genot van een borrel voor wie niet de BOB was. Zeker een heel geslaagde dag. Hier ga ik vaker naar toe!

**************************************************************************************************

met de W: ik zie dat de bibliotheker inmiddels ook een stukje heeft geschreven over de lezing van Geert van der Heiden. Misschien ook leuk om dit te lezen.

N.B. VOOR WIE DE HELE PRESENTATIE VAN GEERT WIL ZIEN, DEZE IS MET ZIJN TOESTEMMING GEZET OP

http://www.slideshare.net/llkool/bmi-18-april-2008-geert-van-der-heijden/





De naald in de hooiberg zoeken?

24 03 2008

naald in hooiberg

Deze week werd op de AMC-homepage middels bovenstaand plaatje reclame gemaakt voor de Cursussen ‘Evidence-Based Zoeken voor (para)medici en bibliothecarissen’ april a.s. Onze Medische Bibliotheek doet dat in samenwerking met het Dutch Cochrane Centre (DCC).

Vroeger heb ik begrepen, kwamen koppels van artsen en informatiespecialisten samen naar deze cursus om zo voldoende kennis van EBS (evidence based searching) te krijgen om het op eigen locatie te kunnen implementeren. Sinds enkele jaren komen artsen, paramedici en informatiespecialisten individueel naar de cursus.fournituren2.jpg

Hoewel het plaatje “een naald zoeken in de hooiberg” erg aanschouwelijk is, vind ik het eigenlijk niet direct van toepassing is op onze cursussen EBS. Wat wij de cursisten (en ook onze klanten) willen leren is juist dat ze niet in eerste instantie op zoek moeten gaan naar de naalden in de hooiberg, maar eerst moeten kijken in ‘winkels’, waar die ‘naalden’ reeds netjes verzameld, gesorteerd en beoordeeld zijn. Er zijn tal van bronnen waar je die verzamelde naalden snel kunt bekijken. Met andere woorden men zou juist eerst naar geaggregeerde evidence moeten zoeken. Bij een uitgebreide vraag (voor een systematic review) kijken we wel op diverse plaatsen, maar dan nog richten we ons met behulp van allerlei trucs op die naalden die ons het meest van dienst kunnen zijn.

EBS is juist een manier om niet meer voor elke zoekactie zelf die hooiberg in te duiken.








Follow

Get every new post delivered to your Inbox.

Join 607 other followers