PubMed: Past, Present and Future PART III

27 06 2008

The Future: ????

This is a continuation of Part I and II

Part I (click here) describes that PubMed contains many different tools, some of which are quite difficult in use and/or hidden, i.e. Single Citation Matcher, MeSH database and Clinical Queries.

This counterintuitive character of the PubMed interface leads to Google-like searches, that are often ineffective, driving some people crazy. Anna Kushnir for instance started a little riot on her blog by shouting out loud that she hates PubMed. Her ranting elicited a response of Dr. Lipman of the NCBI who reassured her “that a number of changes are underway that will make PubMed work better for her and many other users”.

Part II (click here) describes the new PubMed features recently introduced to meet the wishes of an apparent majority of people that come to PubMed in search for specific information ‘with one finger snap’:

  • ATM has been modified to enable retrieval of citations: multi-word terms are split and sought individually in all fields, including author, address, journal-title field
  • Introduction of a Citation Sensor, that matches searches with citations
  • Advanced Search Beta that allows to specify fields for searching
  • Disappearance of the blue side bar to play along with new features.

These modifications facilitate retrieval of citations to some extent, though not as effectively as the ‘good old’ Single Citation Matcher and at the cost of effective subject searching. In particular, the renewed ATM leads to an unacceptable low precision (ample examples given).

Part III is about the future, but what the future has in store I do not know. I have some ideas though as to what I would like the (near) future to bring (or NLM/NCBI to change) :

[General]
People come to PubMed with different kinds of backgrounds, information skills, questions and aims. Rather than creating one tool that serves them all, but imperfectly, why not create different tools that serves each group well? Why replace Mercedes-cars by Flintstone-mobiles, because 90% of the people rather use their feet? Make 10% Mercedes or learn the Flintstones how to enjoy driving a real motor-driven car!
Thus make it easy on newbies and people just passing by, give them an idea what they might have missed and why, but still enable exhaustive subject searching for those that wish/need to do so. PubMed should not be just Google-like because people are used to that. Number one priority should be that people find what they are looking for! If this means that they have to do a little training: o.k., what’s wrong with that? I agree fully with David Rothman’s view on the anna-kushnir-when-the-user-actually-is-broken story as expressed in his excellent post. I particularly like the parable he gave:

“I remember asking my father to teach me to program in BASIC. He cheerfully agreed and handed me the big brown manual”

PubMed should not imitate its look-alikes, which do an awful lot better with regard to user-friendliness (see for instance here), but generally are NOT very suitable for (more exhaustive) medical subject searching.

[Specific]
At least disconnect reference and subject searching (please??…)

  • The Single Citation Matcher is a perfect tool that, when found, is easy to use for everyone. Why not give it a more self-evident name, like “reference-seeker” OR “find (the) citation” and put it in a more prominent place?
    If NLM/NCBI decides that the general search bar (or PubMed entrance) should be apt for citation searching, why not create a second one for subject searching? Perhaps give people (optional) tips how to continue:

Want to look up a reference: Go to the Single Citation Matcher.
Have a medical question? Go to the subject search bar (or -page).
Do you want to find the best evidence? Go to clinical queries.

Institutional or personal customization of the interface would be a pro. The OVID-SP interface has many of the above characteristics.

  • For subject searching, the old features suffice. Indeed:
    • Give back the blue side bar to reduce the number of clicks needed to (re)enter the MeSH-database, Clinical Queries, Single Citation Matcher etc.
    • Undo the new ATM feature! The only thing that is ‘enhanced’ is the number needed to read. It’s awful!
    • No Advanced Search Beta in the present form, only some of its features, like locking/unlocking some of the limits and multiple field-selection in the index.
      The idea of boxes is nice though.
      MeSH-fields should be default in any new (advanced) interface, as are Clinical Queries and the MeSH-database.
  • [Dreams]
    • Two different interfaces: for simple and for advanced searches. The first may look like advanced search beta (but with optional boxes), the second with an interface that facilitates comprehensive searching, i.e. staying within the History, powerful tools always one click away, easy navigating and sending terms from MeSH-database to PubMed (no ‘Send to Search Box’).
    • Possibility to save and edit the History and not just one search (like in OVID) and perhaps, perhaps, the adjacency function?
    • All important tools like MyNCBI, RSS, MeSH, more ‘visible and intuitive’ for all.
    • Modernization of MeSH (especially in the non-clinical field) and one MeSH for one concept, i.e. not: (Protein Kinase Inhibitors AND Receptor, Epidermal Growth Factor/antagonists & inhibitors) for EGFR tyrosine kinase inhibitors.

How can (some of) these changes be achieved? “Should I shout out loud: I hate PubMed” in order to be heard? No way. I like PubMed. In essence it is a powerful tool freely available to everyone.

But I hope that PubMed (NCBI/NLM) will not merely watch statistics and listen to the voice of the clamorous crowd, but will also listen to the few expert librarians, who represent a large community. They often know the information needs of our clients and the barrieres in the information-seeking process very well, since they help and train them every day…
—————————-

NL flag NL vlagDe toekomst: ????

Dit is een vervolg van deel I en II

Deel I (klik hier) bespreekt dat Pubmed veel zoekfuncties heeft die vaak nogal complex zijn en moeilijk te vinden, zoals de zoekbalk, de Single Citation Matcher, de MeSH-database en Clinical Queries.

Omdat PubMed zo ingewikkeld overkomt zoeken mensen veelal zoals in Google via de zoekbalk, met als gevolg dat het resultaat te wensen overlaat. Uit onwetendheid schuift men de schuld af op PubMed. Zo ging Anna Kushnir op haar weblog luid te keer dat ze PubMed haatte. Hierop reageerde Dr. Lipman (NCBI) met de mededeling: “a number of changes are underway that will make PubMed work better for her and many other users”.

Deel II ((klik hier) Beschrijft de nieuwe zoekfuncties, die recent zijn geintroduceerd om aan de wensen van die mensen tegemoet komen die kennelijk de meerderheid vormen: diegenen die snel even in PubMed zoeken om iets te vinden:

  • ATM is gewijzigd dat PubMed ook citaties kan vinden: Termen worden nu in alle velden gezocht en opgesplitst, indien ze uit meerdere woorden bestaan.
  • Citation Sensor, die citaties ‘herkent’.
  • Advanced Search Beta, waarin je op specifieke velden kunt zoeken.
  • Verdwijnen van de blauwe balk rechts.

Door deze veranderingen kunnen specifieke referenties soms iets beter gevonden worden, maar lang niet zo effectief als met de ‘oude vertrouwde’ Single Citation Matcher en ten koste van een onacceptabele hoeveelheid ruis, vooral door de nieuwe ATM.

Part III gaat over de toekomst. Wat die brengt weet ik natuurlijk niet. Wel weet ik wat ik graag zou willen dat er verandert.

[Algemeen]
PubMedgebruikers verschillen qua achtergrond, zoekvaardigheid, vragen en doelstelling. Waaorm zou je al deze mensen op dezelfde manier laten zoeken, waarom niet verschillende mogelijkheden voor verschillende gebruikers? Waarom zou je mercedes-auto’s willen vervangen door flinstone-auto’s, omdat 90% van de mensen liever zijn voeten gebruikt? Maak voor die 10% Mercedes-auto’s (of Opel Astra’s) of leer de Flintstones hoe ze moeten rijden in een auto die op benzine rijdt.
Maak het makkelijk voor beginners of mensen die eventjes iets zoeken, attendeer ze op wat ze misschien missen en waarom, maar laat het ook mogelijk blijven om op een makkelijke manier uitgebreide zoekacties te doen. PubMed moet toch niet op Google lijken, omdat mensen aan Google gewend zijn? Het allerbelangrijkste is dat mensen vinden waar ze naar zoeken. Als dat betekent dat ze zich er een beetje in moeten verdiepen, dan is dat toch o.k.?! Ik ben het helemaal met David Rothman’s visie op het Anna Kushnir gebeuren eens. Deze vergelijking is ook wel treffend:

“I remember asking my father to teach me to program in BASIC. He cheerfully agreed and handed me the big brown manual”

PubMed moet ook niet proberen zijn kopieen na te bootsen. Die zijn veel gebruikersvriendelijker (zie bijv hier), maar meestal niet bijzonder geschikt voor het uitgebreid zoeken op onderwerp. En dat is nu juist de meerwaarde van PubMed.

[Specifiek]
Koppel het zoeken van citaties los van het zoeken op onderwerp.

  • De Single Citation Matcher is uitermate geschikt voor het vinden van citaties en makkelijk in het gebruik. Het zou wat makkelijker te vinden moeten zijn en een vanzelfsprekender naam moeten hebben, zoals “reference-seeker” of “find (the) citation”.
    Als NLM/NCBI besluit dat de algemene zoekbalk vooral citaties moet kunnen vinden, waarom zou je dan geen 2e balk/pagina kunnen hebben om wel op onderwerp te zoeken? Misschien met wat (optionele) tips:

Want to look up a reference: Go to the Single Citation Matcher.
Have a medical question? Go to the subject search bar (or -page).
Do you want to find the best evidence? Go to clinical queries.

Het zou fijn zijn als je, net als bij OVID-SP, de default instellingen zou kunnen wijzigen.

  • V.w.b. het zoeken op onderwerp voldoet het oude PubMed eigenlijk grotendeels, dus:
    • Geef ons de blauwe menubalk terug! zodat we niet eindeloos moeten klikken om (weer) in de MeSH-database, Clinical Queries en Single Citation te komen.
    • Geef ons de oude ATM terug! Het enige wat ‘vooruit is gegaan’ is de “number needed to read”. Zoveel meer artikelen en zoveel meer ruis.
    • Niet een Advanced Search Beta, hooguit in een aangepaste vorm. Het vastzetten van bepaalde limieten, het kunnen selecteren van verschillende velden zijn goede aanpassingen.
      Ook de velden (voor zoeken, zoekgeschiedenis, limiteren e.d.) zijn geen slecht idee.
      MeSH-index-velden zouden standaard aanwezig moeten zijn, evenals Clinical Queries en MeSH-database.
  • [Dromen]
    • Twee verschillende interfaces voor beginners en gevorderden. De 1e zou op Advanced Search Beta mogen lijken (maar met MeSH-velden), de 2e zou uitgebreid zoeken mogelijk moeten maken. Je zou graag in de Zoekgeschiedenis willen blijven, alle belangrijke hulpmiddelen binnen bereik willen hebben en makkelijk willen navigeren vanuit PubMed naar de MeSH database en v.v. (niet via de ‘Send to Search box’ bijvoorbeeld).
    • De mogelijkheid om de hele zoekgeschiedenis te bewaren en te bewerken en misschien, misschien …. nabijheidszoeken (net als in OVID)?
    • Alle belangrijke zoekopties zoals MyNCBI, RSS, MeSH duidelijker zichtbaar en makkelijk in het gebruik.
    • Aanpassen van MeSH aan de moderne tijd/prekinische vakken en één MeSH voor één concept, bijv niet: (Protein Kinase Inhibitors AND Receptor, Epidermal Growth Factor/antagonists & inhibitors) om ‘EGFR tyrosine kinase inhibitors’ te vinden.

Hoe (enkele van) deze veranderingen te bereiken? Moet ik ook uitschreeuwen dat ik PubMed haat voor ik gehoord word?
Tuurlijk niet, ik haat PubMed niet. Het is prachtig dat zoiets als PubMed bestaat. In principe is het een geweldig goede database met heel veel mogelijkheden. En wat ook ook heel belangrijk is: het is gratis beschikbaar voor iedereen.

Maar ik hoop alleen dat de mensen achter PubMed (NCBI/NLM) niet alleen maar naar de statistieken kijken en naar de stem van de massa luisteren, maar ook de mening van informatiespecialisten ter harte nemen. Want zij vertegenwoordigen eigenlijk een heel grote groep gebruikers en weten uit ervaring waar hun klanten naar op zoek zijn en tegen welke problemen ze oplopen.

Advertisements




PubMed: Past, Present And Future, PART II

15 06 2008

The Present: PubMed is going for the mass.

This is a continuation of Part I (click here to read)

… Well, it seems that some of these enhancements are in the process of being implemented, considering recent major changes to PubMed’s interface:

1. Automatic Term Mapping (ATM).

ATM is the most recent, most radical and yet most poorly announced change.

Suddenly, when preparing a Master Class, searching via the search bar gave different, sometimes odd results. PubMed looked the same, but the DETAILS-tab showed the automatic search mapping (ATM) to be different. PubMed’s “New and Noteworthy” confirmed that ATM had been drastically modified. See here for the announcement’.

Consider this (given) example. Searching gene therapy would give:

with the Old ATM:
“gene therapy”[MeSH Terms] OR gene therapy[Text Word]

and the NEW ATM:
“gene therapy”[MeSH Terms] OR (“gene”[All Fields] AND “therapy”[All Fields]) OR “gene therapy”[All Fields].

Thus the new ATM expands the search:

1. by searching in All Fields instead of the tw-field (Title, Abstract, MeSH)
2. by splitting multi-word terms. Gene therapy is no longer sought as “gene therapy”, but as “gene” and “therapy”.

According to the NLM this facilitates finding synonyms like “gene silencing therapy…” and finding X in the author field. They should add: whether you WANT TO FIND IT OR NOT. Thus from now on you will search all fields automatically, including author, journal and address field.

Should I be glad to find more? NO, I use the Single Citation Mapper if I want to find a citation by author X, and I rather expand the search by adding terms that matter.
Suppose I would like to search´gene silencing therapy´ as well, then I would add gene silencing therap*[tiab], since searching for these words in a string will broaden the search without increasing noise.

However gene silencing (preventing a gene to work, i.e. by antisense oligo’s OR siRNA) is not really a gene therapy (insertion of a gene). So for most searches on ´gene therapy´ ´gene silencing´ is no valuable addition. And if it would be, MeSH like “Gene Silencing” and its narrow term RNA Interference should be included as well.

With gene therapy ATM will now (June 5th) retrieve 90942 hits instead of 36557, thus a surplus of 54385 hits, that is 2 ½ times as much!!! The expansion does add very little meaningful terms. It mainly retrieves citations with therapy in ANY field and:

  • gene as an author [au] : 53 extra hits
  • gene in the addressfield [ad], like hkj@gene.com or Department of Gene Regulation : 1327 extra hits
  • gene in the journal name, including “Gene” : 1487 extra hits
  • gene and therapy in the abstract/MeSH without direct connection to each other: papers about the impact of gene expression profiling on breast cancer outcomes (following chemotherapy NOT gene therapy), of experimental studies on change in gene-regulation following therapy etcetera: the majority of the extra hits. Estimation > 90%?: does anyone realize how often ‘gene’ and ‘therapy’ (in text, MeSH, subheadings and all other fields?) are used outside the context of gene therapy?

I guess I’m not the only one that is not pleased with this “enhancement”. Most users I know use Pubmed for subject searching and they unanimously experience the high number needed to read (high recall, low precision) as the major obstacle. ATM will only make this worse.

And what about:

  • people unaware of any changes and just relying on the search bar for subject searching, supposing it works the same as before?
  • the effect on alerts (RSS or MyNCBI)?
  • important updates of prior searches, i.e. for systematic reviews. With ATM you may retrieve MUCH more irrelevant papers. How to explain different results over time?
  • Although of minor importance, our courses, tutorials, exercises, the PubMed book my colleagues just wrote, all have to be adapted.

Thus I stop advising students/meds to simply use the search bar and just check the details, because this will surely frustate them. Rather I will advise them to add tags themselves: Look for the appropriate MeSH for Y in the MeSH-database and add Y*[tiab] as well. Even for simple subject searches!

Who wants the search d-dimer diagnosis lung embolism to be translated as:

(“fibrin fragment D”[Substance Name] OR (“fibrin”[All Fields] AND “fragment”[All Fields] AND “D”[All Fields]) OR “fibrin fragment D”[All Fields] OR (“d”[All Fields] AND “dimer”[All Fields]) OR “d dimer”[All Fields]) AND (“diagnosis”[Subheading] OR “diagnosis”[All Fields] OR “diagnosis”[MeSH Terms]) AND (“lung”[MeSH Terms] OR “lung”[All Fields]) AND (“embolism”[MeSH Terms] OR “embolism”[All Fields])

Very impressive, isn’t it, but the correct MeSH for lung embolism, pulmonary embolism is not mapped!!!!

Is it good then for preclinical guys, i.e.molecular biologist? Suppose you’re looking for signal transducer and activator of transcription 3 (that’s one protein), most lab people will use either the whole word or stat 3, stat(3), stat-3 or stat3

1. stat 3 maps to: (“Stat”[Journal] OR “stat”[All Fields]) AND 3[All Fields] = 4031 hits

2. Stat-3 maps to: stat-3[All Fields] = 591 hits

3. stat3 maps to: “stat3 transcription factor”[MeSH Terms] OR (“stat3″[All Fields] AND “transcription”[All Fields] AND “factor”[All Fields]) OR “stat3 transcription factor”[All Fields] OR “stat3″[All Fields] = 4639 hits
(Note that grey terms are superfluous: by searching stat3 you already find stat3 transcription factors)

Not very consistent and only the 3rd variation will be mapped to the proper MeSH, BUT (like 1.) will also give things like:

  • DeltaB=(1.18+/-0.09_{stat}+/-0.07_{syst}+/-0.01_{theor})x10;{-3}
  • EPI STAT, version 3.2.2.
  • Via Santa Marta n. 3 (address) and pH-stat
  • D Stat (author) and vol nr 3.

Thus it would be better to search for either merely

“stat3 transcription factor”[MeSH Terms]

or add synonyms (with OR) like stat-3[tiab], stat3[tiab], “stat 3″[tiab], “signal transducer and activator of transcription 3″[tiab].

This will increase precision and even recall.
However, one has to know how to find the correct terms and tags.

2. Citation Sensor

The renewed ATM was introduced together with the Citation Sensor that recognizes combinations of search terms characteristic of citation searching, e.g. volume nrs, author names, journal titles and publication dates, which it then matches to citations. These are shown separately in a yellow area above the retrieval.

Searching for limpens oncogene indeed suggests one paper of Limpens in Oncogene. This option can be very handy when one wants to retrieve a citation.

However typing: gene therapy 2007 405 gives 59 hits, but the citation sensor does not sense the specific paper in “Gene” year 2007, vol 405 (although retreived).

The Single Citation Mapper would have done better…. giving a single (correct) hit on both occasions.

Donna Berryman came to a very similar conclusion when writing to the MedLibList. She shows some other nice examples (i.e. that the citation sensor shows 4 citations from the journal Cancer by author Lung when searching lung cancer!!).

Donna explains that at the NLM booth at MLA, she was told that Pubmed changes were made to meet the wishes of a “significant” number of people that were going to PubMed, entering an author name and a journal title (with no field qualifiers) and expecting to retrieve a particular citation.

I’ve seen the nih.gov webmeeting presentation Donna referred to (click here)] as well as another (click here) (tips of the MedLib twitters @pfanderson and @eagledawg. Eagledawg (Nikki) also wrote 2 blogposts about this subject, see here (May) and here (June) )

It was quite revealing to see that empasis was given to numbers: number of visitors, numbers of queries versus number of documents and speed:

“if the query takes 2-3 minutes we loose users!”.

Well I can understand that NLM doesn’t want to discourage potential users, but I don’t understand why all functionalities have to be mixed in a way that it only serves the quick and dirty searches and even not very effectively. As Donna puts it: the new ATM is moving PubMed away from being a subject-based search. Again, most of my customers do subject searching.

3. Advanced search beta

Advanced search is a beta (version) and thus may be adapted based on findings and feedback (see here for announcement)

I don’t really know what to think of it. Firstly I wonder whether the Advanced Search is an extra option or meant to replace the present front page in due course. Secondly the Advanced Search looks quite complex, but not particularly advanced. The regular front page has more options (although hidden). This is certainly not an advanced tool for librarians, but is it an adequate tool for other users, clinicians or researchers?

Advanced Search beta consist of 5 separate “boxes”.

  1. The search-bar with a preview or a search option. Surprisingly the search option brings you back to the old front page. When you opt for “preview” you stay in the ‘advanced’ search.
  2. Search History showing the last 5 searches. If you exceed 5 searches a “More History” button appears. When clicked it brings up the full display.
  3. Seach by selected Fields. There are 3 default lines set up for Author, Journal and Publication date searching. Thus again, emphasis is given to reference instead of subject searching. Similar to the Single Citation Mapper, there is an auto-complete feature for authors and journals. On the right of each line is an index-feature.If you want to do a subject search (which in fact most advanced searchers do), you have to open the list of fields using the pull-down menu. However, for MeSH terms this is not ideal. Suppose you want to look up the MeSH for recurrent pregnancy loss (the term mostly used by clinicians). The MeSH is Abortion, Habitual. You won’t find the MeSH by looking at recur….. In effect, you won’t find it by looking up habit…. either. You have to start typing abortion…!?
    When you find an appropriate MeSH, you can choose to search for the MeSH coupled to a particular subheading (i.e. haemonchiasis/blood). You can see immediately how many hits will be retrieved (63).

    Suppose a clinician wants to know whether PGS is indicated in RPL. He pulls open the MeSH-field, types recurrent pregnancy loss, adds another MeSH-field and fills in preimplantation genetic screening, because he thinks PubMed will match it for him.


    He
    clicks a few limits because he thinks that might help to narrow his search, clicks the search button, waits and … ends up the regular front page showing zero results. So all steps he took didn’t lead him anywhere, because the appropriate MeSH (Abortion, Habitual and Preimplantation Diagnosis) weren’t found and he still has no clue as to what terms he should use.

    Even if the correct MeSH is found, the notation may be quite misleading. For example, after typing lung cancer into the box next to ‘Search MeSH terms’ , the History in PubMed will show lung cancer[MeSH Terms], whereas “lung cancer” is NOT the MeSH term. Thus people are going to think that lung cancer is the MeSH, because it looks like this. If they look in the Details box, however, they’ll see the real “lung neoplasms”[MeSH terms]. How are people going to know what’s what? (Thanks to Donna for providing this example).

    At least, in case of lung cancer, the correct MeSH-term is being searched. In contrast, a term like Lung embolism is not searched as Pulmonary embolism[mesh], and gives zero hits. Funny, because searching via the normal search bar would at least translate lung embolism in embolism[mesh] and lung[mesh]. (and there are several tricks whereby you can subsequently find the proper MeSH)


    Thus, in Advanced Search Beta, searching MeSH via ‘search MeSH-terms’ will only work when you know the (exact) MeSH-term in advance.

  4. The 4th box is really the limits-tab from the usual front page, but shown in full. A nice option is that you can lock certain limits while unlocking others (that is you can apply one limit to the next search and other limits to this and subsequent searches).
  5. The 5th box is (again) an Index of Fields. However it allows you to enter multiple terms.

In short, I’m not particularly impressed by this advanced search beta. It is too complex for a quick and dirty search as well as for a reference search. However, it is also not very well suited for an (advanced) subject search. It is not possible to look up any MeSH other than by index, and even this often goes wrong.
Some important functionalities are not included, like the clinical queries. Furthermore by displaying limits so prominently, many people will automatically use them. Personally I’m very reticent in using limits, because you miss non-indexed (i.e. recent) papers.

So I agree with tunaiskewl

“I stumbled across a beta Advanced Search in PubMed today. Has anyone else played with this? It appears that it merges the Preview/Index, History, Limits, and field searching screens all together in one place. Perhaps this will make some of PubMed’s features more obvious to searchers, but I’m not seeing too much benefit to it otherwise…”

4. Other minor recent changes include:

  • Create Collection in MyNCBI by one step via the send to option (this is wonderful!)
  • PubMedID (ID for Pubmed Central, at the bottom right)
  • Collaborators -display (separate from autors)
  • In Abstract Plus – (very popular with users, dynamic display format)
  • Blue side bar gone in certain display formats. Again this is done to make room for new functionalities (bad!, takes me 2 steps to go back to MeSH, Clinical Queries or whatsoever)

—————–

NL flag NL vlag

The Present: PubMed is going for the mass.

Dit is een vervolg op deel 1(zie hier)

Het lijkt erop dat enkele aanpassingen inmiddels doorgevoerd zijn, t.w.

1. Automatic Term Mapping (ATM).

Hoewel ATM een zeer ingrijpende verandering is, is de gebruiker hier nauwelijks van op de hoogte gesteld.

Ik kwam er bij toeval achter toen ik met een collega een keuzevak voor 2e jaars voorbereidde. Zoeken via de zoekbalk gaf heel andere resultaten, terwijl er uiterlijk aan PubMed niets te zien viel. De Details tab toonde een geheel afwijkende automatic term mapping, ook wel ATM of mapping genoemd. In PubMed’s “New and Noteworthy” werd dit wel aangekondigd, maar hoe velen lezen dit?

Men geeft hier het volgende voorbeeld:

Gene therapy wordt als volgt gemapt:

met de oude ATM: “gene therapy”[MeSH Terms] OR gene therapy[Text Word]

met de nieuwe ATM: “gene therapy”[MeSH Terms] OR (“gene”[All Fields] AND “therapy”[All Fields]) OR “gene therapy”[All Fields].

Dus de nieuwe ATM breidt de search uit:

1. door op All Fields te zoeken ipv. het tw-field (Titel, Abstract, MeSH)

2. door termen bestaande uit meerdere woorden op te hakken in de individuele woorden. Gene therapy wordt niet langer gezocht als “gene therapy”, maar als “gene” en “therapy”.

Volgens de NLM zoek je daarmee ook op synoniemen als “gene silencing therapy…” en vind je ook X in het auteursveld als je op X zoekt. Eigenlijk hadden ze moeten zeggen; ongeacht of je het wilt vinden. Dus van nu af aan zoek je automatisch in alle velden als je zelf geen tags toevoegt.

Of ik blij ben dat ik nu meer vind? Nou nee, ik gebruik de Single Citation Mapper wel als ik een citatie Y door auteur X wil vinden en ik breid searches liever uit door er relevante termen aan toe te voegen.
Dus hooguit zou ik gene silencing therap*[tiab] aan de search toevoegen, als ik heel breed wil zoeken. Dit breidt mijn search uit zonder onnodige ruis. Echter, goed beschouwd, is “gene therapy” (gentherapie, invoegen van een gen) toch wezenlijk anders dan gene-silencing (voorkomen dat een gen werkt door antisense oligo’s of siRNA). Daarom lijkt het me dit begrip voor de meeste searches over gentherapie niet echt bruikbaar. (Tussen 2 haakjes: er is een goede MeSH voor “Gene Silencing”, de nauwere term is RNA Interference)

Met gene therapy vindt ATM nu (5 juni) 90942 hits i.p.v. 36557, dus 54385 extra hits, dit is 2 ½ keer zoveel!!! De meeste van deze extra hits zijn niet relevant. Je vind nl ook citaties met therapy in ELK veld en:

  • gene als auteur : 53 extra hits
  • gene in het adresveld: hkj@gene.com of Department of Gene Regulation : 1327 extra hits
  • gene in de tijdschrifttitel, zoals “Gene” : 1487 extra hits
  • gene en therapy in het abstract/de MeSH zonder enig betekenisvolle relatie: artikelen over het effect van gene expression profiling op de prognose van borstkanker (na chemo, niet na gentherapie), studies over veranderingen in genregulatie na therapie X. De meerderheid van de extra hits zal onder deze noemer vallen.

Waarschijnlijk vinden meer mensen ‘deze enhancement’ niet prettig. De meeste gebruikers die ik ken zoeken op onderwerp en het grootste probleem dat ze hierbij ondervinden is dat ze teveel vinden wat niet relevant is (hoog number needed to read). ATM verergert dit alleen maar.

En wat te zeggen van:

  • mensen die zich van niets bewust zijn en de zoekbalk net zo gebruiken als vanouds
  • effect op bestaande alerts (RSS of MyNCBI)?
  • updates van eerdere searches, bijvoorbeeld voor een systematisch review. Ten gevolge van ATM vind je dan opeens na een bepaald tijdstip meer hits met dezelfde search (indien geen tags gebruikt)
  • het aanpassen van cursussen, tutorials, opdrachten, het PubMed boek dat mijn collega’s net hebben gemaakt? En wie zegt dat dit het einde is?

Van nu af aan zal ik (bijna) iedereen adviseren om niet langer maar via de zoekbalk te zoeken en slechts de Details te controleren, maar om de meest geschikte Mesh-term(en) te gebruiken en evt. op een of meer synoniemen in titel en abstract te zoeken.

D-dimer diagnosis lung embolism wordt volgens de huidige ATM vertaald als:

(“fibrin fragment D”[Substance Name] OR (“fibrin”[All Fields] AND “fragment”[All Fields] AND “D”[All Fields]) OR “fibrin fragment D”[All Fields] OR (“d”[All Fields] AND “dimer”[All Fields]) OR “d dimer”[All Fields]) AND (“diagnosis”[Subheading] OR “diagnosis”[All Fields] OR “diagnosis”[MeSH Terms]) AND (“lung”[MeSH Terms] OR “lung”[All Fields]) AND (“embolism”[MeSH Terms] OR “embolism”[All Fields])

Indrukwekkend niet, maar de meest geeigende MeSH, pulmonary embolism wordt niet gevonden!!!!

Is het dan goed voor de moleculair biologen e.a. preclinici? Stel dat je bijv. op zoek bent naar het eiwit signal transducer and activator of transcription 3. De meesten zoeken dan op het hele woord of stat 3, stat(3), stat-3 or stat3

1. stat 3 geeft: (“Stat”[Journal] OR “stat”[All Fields]) AND 3[All Fields] = 4031 hits

2. Stat-3 geeft: stat-3[All Fields] = 591 hits

3. stat3 geeft: “stat3 transcription factor”[MeSH Terms] OR (“stat3″[All Fields] AND “transcription”[All Fields] AND “factor”[All Fields]) OR “stat3 transcription factor”[All Fields] OR “stat3″[All Fields] = 4639 hits
(De grijze termen zijn dus eigenlijk overbodig want door op stat3 te zoeken vind je die al.

Niet erg consistent vertaald; alleen variatie 3 wordt gemapt met een MeSH, MAAR vindt evenals 1 geheel irrelevante hits als:

  • DeltaB=(1.18+/-0.09_{stat}+/-0.07_{syst}+/-0.01_{theor})x10;{-3}
  • EPI STAT, version 3.2.2.
  • Via Santa Marta n. 3 (address) and pH-stat
  • D Stat (author) and vol nr 3.

Daarom is het beter om of alleen op de MeSH te zoeken

“stat3 transcription factor”[MeSH Terms]

of om daar synoniemen aan toe te voegen als stat-3[tiab], stat3[tiab], “stat 3″[tiab], “signal transducer and activator of transcription 3″[tiab].

Hierdoor neemt de precisie en zelfs de recall toe. Maar je moet wel weten hoe de termen en tags te vinden.

2. Citation Sensor

Tegelijk met de nieuwe ATM werd ook de Citation Sensor ingevoerd. Deze herkent termen die karakteristiek zijn voor citaties. Als Citaties gevonden worden, worden ze apart in een geel vlak boven de zoekresultaten getoond.

Wanneer je op limpens oncogene zoekt zijn wordt het artikel van Limpens in Oncogene getoond. Deze optie kan handig zijn als je een citatie wil vinden.

Zoek je echter: gene therapy 2007 405 dan pikt de citation sensor niet het artikel in “Gene” 2007, vol 405 op temidden van de 57 hits.

De Single Citation Mapper zou dit beter gedaan hebben: 1 enkele goede hit in beide voorbeelden.

Donna Berryman kwam tot dezelfde conclusie in haar MedLibList-Mail. Ze geeft nog een paar andere leuke voorbeelden, zoals dat de citation sensor 4 citaties vindt van auteur Lung in het tijdschrift Cancer als je op lung cancer zoekt!!).

Donna vertelt dat ze op een NLM stand op de MLA hoorde dat er PubMed veranderingen doorgevoerd werden ten behoeve van een niet te verwaarlozen groot aantal mensen die alleen naar PubMed kwamen om een auteur of tijdschrifttitel in te voeren, omdat ze zo dachten een bepaald artikel te kunnen vinden

Hier is (waarschijnlijk) de webmeeting waar Donna aan refereert en hier een andere (tip van de MedLib twitters @pfanderson en @eagledawg. Eagledawg (Nikki) schreef, zo las ik later, ook 2 blogberichten over dit onderwerp, zie hier (Mei) en hier (Juni) )

Ik vond het nogal onthutsend dat getallen zo zwaar telden.

“if the query takes 2-3 minutes we loose users!”.

Ik begrijp natuurlijk wel dat de NLM ook degenen wil tegemoetkomen die alleen maar een artikeltje zoeken, maar moet dat ten koste gaan van andere functionaliteiten? Zelfs zoeken op een specifiek artikel verloopt niet altijd vlekkeloos. Het lijkt erop dat, zoals Donna het zegt, met de nieuwe ATM het zoeken op onderwerp minder belangrijk wordt. Nogmaals, de meeste mensen die ik ken zoeken op onderwerp.

3. Advanced search beta

Advanced search is een beta (versie), dus nog in de probeerfase. (zie hier).

Ik weet nog niet helemaal wat ik ervan moet denken. Komt het naast of in plaats van de oude entree? Ik het er nogal erg complex uitzien en toch niet erg geavanceerd. Niet alle opties van de normale openingspagina zijn aanwezig.

Er zijn 5 verschillende vakjes.

  1. De zoekbalk met een preview en een zoekoptie. Gek genoeg kom je als je op search klikt weer op de oude vertrouwde Pubmed pagina terecht. Als je daarentegen voor “preview” kiest blijf je wel in de ‘advanced’ search.
  2. Search History. Bij meer dan 5 searches moet je op “More History” klikken om de volledige zoekgeschiedenis te kunnen zien.
  3. Seach by selected Fields. Standaard kun je op Author, Journal and Publication date zoeken. Dus wederom erg gericht op het vinden van referenties. Handig is de auto-complete-functie voor auteurs en tijdschriften (net als in de Single Citation Mapper). Rechts is een aanklikbare index.Je kunt in andere velden zoeken door op het pull-down menu te klikken. Het is echter niet erg handig om zo op MeSH te zoeken. Stel dat je op recurrent pregnancy loss wil zoeken. De MeSH is Abortion, Habitual. Dat vindt je dus niet door op recur….. te zoeken in de index, en ook niet door op habit…. te zoeken.(in een update van de engelse versie heb ik een aantal voorbeelden toegevoegd die laten zien dat het zoeken van MeSH-termen via Advanced Serach beta niet goed verloopt, t.z.t zal ik die hier vertalen)

    Je kunt als je een MeSH vindt, deze alleen zoeken of met een subheading eraan gekopeld (bijv. haemonchiasis/blood). Het aantal hits (63) is direct te zien.

  4. Het 4e vak is eigenlijk de limit-tab, maar dan volledig getoond. Nieuw is dat je bepaalde limieten aan kan laten staan (locked), terwijl je andere alleen voor de volgende search gebruikt.
  5. Het 5e vak is weer een index van alle velden. je kunt hier wel verschillende termen tegelijk invoeren.

Samenvattend, ik ben niet bijzonder onder de indruk van deze ‘geavanceerde’ seach optie. het is te ingewikkeld en te weinig intuitief voor een snelle search of het opzoekwerk, maar het is ook niet erg geschikt voor een geavanceerde search. Met name omdat je de MeSH alleen via indexen kunt opzoeken. Ook zijn er minder opties. De Clinical Queries ontbreken bijvoorbeeld. Aan de andere kant zijn de Limits zo prominent aanwezig dat gebruikers misschien sneller dan normaal geneigd zijn ze toe te passen. Persoonlijk gebruik ik ze zeer beperkt!

4. Kleinere veranderingen

  • Je kunt een Collection in MyNCBI nu simpel aanmaken via de send to option (perfect!)
  • PubMedID (ID voor Pubmed Central, rechtsonderaan)
  • Collaborators -display (gescheiden van auteurs)
  • In Abstract Plus
  • De linker blauwe balk (met geavanceerde opties) wordt in bepaalde display formats niet meer getoond. Hierdoor zou er meer ruimte komen voor nieuwe functionaliteiten (als de related reviews), maar ik vind het heel vervelend omdat ik meer stappen nodig heb om na elke individuele zoekactie weer naar de MeSH of Clinical Queries terug te gaan.







PubMed: Past, Present And Future, PART I

11 06 2008

I.The Past:
Extremely simple, yet incredibly difficult

For Part II (discussion ATM, Advanced Search beta: see here).

Searching PubMed has never been easy, not for the advanced searcher nor the beginner.

As an advanced searcher you have (had?) to find your way through the Search Bar, MeSH-database, look for broader, narrower or related terms, know when to explode MeSH, add major topics or subheadings or not, know when to use ‘Links’ or the ‘Search to Sendbox’ to send Searches to PubMed. Know when and how to use Clinical Queries, Limits, Field Codes (nowadays called tags 🙂 ), History, MyNCBI saved searches and collections, linkouts, AND, OR, NOT and so on….

It takes some investment of time to become an effective & advanced PubMed searcher.

For the less experienced and/or more rushed people (busy clinicians, young investigators, lab-people) trying to find an answer to medical questions, the search bar often sufficed. Here you just typed in some words that were not only searched in title and abstract, but also translated into the corresponding MeSH (if recognized as synonyms), a process called automatic mapping. People just haved to check “Details” to verify proper mapping. It often went well, but sometimes the mapping was completely wrong (i.e. typ: walking aids and you will search for the MeSH term for AIDS, although HIV has nothing to do with it).

The overwhelming number of hits could be effectively reduced with some risk of loosing relevant hits by using the Limits option or using Methodological Filters in the Clinical Queries (EBM). Because of the disease-oriented MeSH, PubMed is not very well suited for preclinical or basic scientific searches. This often leads to frustrations (see below).

Some people just want to look up citations and there is a perfect tool for it: the Single Citation Mapper. It is so wonderful, just type in an author, the journal, first page or whatever. It has an autofill function, so I even prefer this tool to find a journal or an author (instead of the indexes, which is yet another option).

Now let alone the summing up of these possibilities makes me see stars. After a course PubMed a student who knew a lot about programming, sighed:

Wow, there is a lot of stuff in there, but it is all so concealed and difficult to find….”

That’s true, and this together with the superficial resemblance of the search bar with the Google search bar makes inexperienced users use PubMed in a Googlish way: just typ in some words ….. and you probably… don’t find what you want. This was especially true for people looking up a particular paper and not familiar with the Single Citation Mapper, hidden in the blue side bar. (The picture left is from “Arts in Spe”, with the Title: Searching like in Google”)

Or as the Harvard PhD student Anna Kushnir expressed her frustations when ranting against PubMed :

“I hate PubMed. I hate it with a burning passion. For a site that is as vital to scientific progress as PubMed is, their search engine is shamefully bad. It’s embarrassingly, frustratingly, painfully bad. (…)

… I can hold a paper in my hands, search for two authors’ last names and have PubMed come up with nothing. (….)

Why is PubMed so behind the times? Why? How does it even work? Does it search only the abstract? Does it also search the body of the papers that are available online? Why does it get so massively confused by an author’s initials and last name together, in one search. […]

I don’t think I should have to be, or enlist the services of, a medical librarian in order to do a simple search on a literature search engine. PubMed should be an intuitive search engine such as Google, or others. […] PubMed should be tuned to my needs and my skill set. I should not have to tune to it. […]”

There was an overwhelming response to her post and Anna’s story was covered in many blogs. I don’t want to revive that discussion, just want to mention Graham Steele’s comment.

“@ Anna,

You might just be in luck thanks to voicing your frustrations online !!

I brought this post to the attention of Dr Lipman who I’ve just heard back from.

He’s authorized me to post here on his behalf. (Thanks Dr Lipman)

Although the current engine works well for some users and some queries, I understand Anna’s frustration and we are in the midst of a number of changes that will make PubMed work better for her and many other users.

We will be adding a number of other “sensors” which will run in parallel with the default search. From monitoring results of enhancements we’ve added to some of our other Entrez databases.

A number of these complaints are fair and we’ll be doing our best to address them. With the large number of users we have, it will be clear what areas we’ll improving and what areas will need more work.”

I’m now beginning to understand what Graham Steel meant in his reply to Anna.

Coincidantly or not, PubMed has introduced a couple of changes that seem to concede Anna’s demands. This will be the subject of the second part of this Trilogy, see HERE

—————-

NL flag NL vlag

I.The Past:Extremely simple, yet incredibly difficult

Zoeken in PubMed is nooit makkelijk geweest, voor wie dan ook, beginner of gevorderde.

Als je echt volop gebruik wil maken van PubMed dan moet je niet alleen overweg kunnen met de zoekbalk, maar ook met de MeSH database. Je moet weten wat bredere en nauwere termen zijn, weten wanneer automatische explosie gewenst is of niet, wanneer je major topics gebruikt, subheading toevoegt en of je MeSH-termen via ‘Links’ of via de ‘Search to Sendbox’ naar PubMed ‘brengt’. Je moet weten of en hoe je Clinical Queries, Limits, Field Codes (tags), de History, MyNCBI saved searches and collections, linkouts, AND, OR, NOT enzovoorts, enzoverder gebruikt….

Het duurt dus even voor je alle ins en outs kent en op een effectieve manier van de geavanceerde mogelijkheden van PubMed gebruik maakt.

Voor de minder gevorderde gebruikers of de mensen die snel een antwoord willen op een (bio)medische vraag zoals artsen in de drukke klinische praktijk, fundamentele wetenschappers, preklinici voldeed vaak de zoekbalk. Je kon hier gewoon wat woorden intypen en ongezien zoekt (zocht) PubMed niet alleen in titel en abstract, maar vertaalde ze woorden ook in MeSH (als ze als synoniem herkend worden). Dit heet (automatic term) mapping of ATM. Makkelijk, maar het is wel aan te bevelen de “Details”-tab te bekijken om te zien of de search goed vertaald wordt. Soms gaat het namelijk helemaal fout. Bijv. als je walking aids typt, wordt o.a. op de MeSH voor de ziekte Aids gezocht, terwijl dat er natuurlijk niets mee van doen heeft.

Om de enorme hoeveelheid hits te reduceren kun je Limits of Methodologische Filters in de Clinical Queries (EBM-vragen) toepassen. Omdat de MeSH nogal georienteerd zijn op ziekten, is PubMed niet bij uitstek geschikt voor niet-medische vragen. Dit kan nog wel eens tot frustaties leiden. (zie onder)

Wanneer je alleen maar bepaalde artikelen wil opzoeken, kun je dat heel handig doen via de Single Citation Mapper. Typ gewoon de naam van een auteur, het tijdschrift, het pagina- of volumenummer, en/of een titelwoord in. En het artikel is zo gevonden.

Bij het opsommen van al deze mogelijkheden gaat het me al duizelen. Hoe moet het dan op beginners overkomen?

Na een PubMedcursus verzuchtte een student met veel ervaring in programmeren tegen mij.

“Wat een mogelijkheden, maar het is wel heel erg verborgen allemaal en erg moeilijk te vinden. Niet erg gebruikersvriendelijk.

Dat is zondermeer waar en omdat de PubMed zoekbalk oppervlakkig gezien wel op Google lijkt gaan onervaren zoekers (en met name de Google-generatie) erin zoeken als in Google. Ze typen de hele zoekstrategie gewoon in en verwachten dan snel wat te vinden. Helaas is dat niet zo. Zeker specifieke artikelen kon men zo vaak juist niet vinden, omdat wel automatisch met MeSH gemapt werd, maar meestal (juist niet) in het tijdschrift- of auteursveld gezocht werd. Daar was nu juist die handige Single Citation Mapper voor. Veel mensen kennen die echter niet, want de naam is nietszeggend en de optie zit in de blauwe zijbalk verscholen.

Ook promovenda Anna Kushnir liep hier tegenop en blies daarover stoom af op haar blog:

“I hate PubMed. I hate it with a burning passion. For a site that is as vital to scientific progress as PubMed is, their search engine is shamefully bad. It’s embarrassingly, frustratingly, painfully bad. (…)

… I can hold a paper in my hands, search for two authors’ last names and have PubMed come up with nothing. (….)

Why is PubMed so behind the times? Why? How does it even work? Does it search only the abstract? Does it also search the body of the papers that are available online? Why does it get so massively confused by an author’s initials and last name together, in one search. […]

I don’t think I should have to be, or enlist the services of, a medical librarian in order to do a simple search on a literature search engine. PubMed should be an intuitive search engine such as Google, or others. […] PubMed should be tuned to my needs and my skill set. I should not have to tune to it. […]”

Dit blog heeft heel wat losgemaakt, zowel onder voor- en tegenstanders. Ik zal nu niet het stof weer doen opwaaien, maar ik wil alleen nog even Graham Steele’s commentaar vermelden.

@ Anna,

You might just be in luck thanks to voicing your frustrations online !!

I brought this post to the attention of Dr Lipman who I’ve just heard back from.

He’s authorized me to post here on his behalf. (Thanks Dr Lipman)

Although the current engine works well for some users and some queries, I understand Anna’s frustration and we are in the midst of a number of changes that will make PubMed work better for her and many other users.

We will be adding a number of other “sensors” which will run in parallel with the default search. From monitoring results of enhancements we’ve added to some of our other Entrez databases.

A number of these complaints are fair and we’ll be doing our best to address them. With the large number of users we have, it will be clear what areas we’ll improving and what areas will need more work.

Ik begin nu een beetje te begrijpen wat Graham hiermee bedoelde.

Want toevalligerwijs of niet, zijn er enkele zaken ingrijpend veranderd in PubMed, veranderingen die Anna’s eisen lijken in te willigen.

Welke veranderingen dat zijn en wat voor een effect ze sorteren wordt in deel 2 van deze trilogie besproken, zie HIER





Related Articles = Lateral Navigation

18 05 2008

What I did pick up form the WordPress announcement by Matt on possibly related posts (see previous post) is the term “lateral navigation” for navigating from one post to another. Why is this such a nice term?

Well, in my classes on systematic searching I teach people to perform (1) backward searching (checking citations in the reference list of selected papers), (2) forward searching (looking for papers that cite relevant papers) and (3) to browse Related Articles in PubMed or use “Find Similar” in OVID (MEDLINE, EMBASE). This approach is called snowballing or pearl method. It serves to find papers that you might have missed, but even more so to find new terms to add to your search, so you catch these ‘missing studies’ with your final search strategy.

The term lateral searching is so perfect because you can easily vissualize what this word stands for and it fits in with backward and forward searching.

So lateral searching will now be added to my slides! (see figure)

lateral searching

———————————————-

NL flag NL vlag

De post van Matt (WordPress) over “possibly related posts” (zie mijn vorige post) bracht me op een voor mij nieuw begrip. “lateral navigation”, of in mijn geval nog beter “lateral searching” (lateraal of zijwaarts zoeken). Dit vind ik nl. een heel toepasselijke term voor het zoeken naar verwante artikelen.

In mijn cursussen “systematisch zoeken” raad ik mensen aan om aan de hand van geincludeerde (geselecteerde) artikelen systematisch ontbrekende studies te vinden door (1) “backward searching” (referentielijst checken), (2) “forward searching” (citerende artikelen zoeken) en (3) Related Articles in PubMed or “Find Similar” in OVID (MEDLINE, EMBASE) door te nemen. Deze zoekmethode wordt ook wel de sneeuwbal- of parelmethode genoemd. Het dient niet alleen om de ontbrekende artikelen te vinden maar vooral om nieuwe termen te vinden waarmee je je zoekactie kunt vervolmaken, zodat je deze èn andere artikelen met je uiteindelijke zoekactie vangt.

The term “lateral searching” past zo mooi bij de termen backward and forward searching, omdat ze alle 3 een beweging uitdrukken, waarbij de zijwaartse beweging nog het minst doelgericht lijkt en dat is het ook. Als je niet uitkijkt zwalk je zo van de ene naar de andere studie, en daarmee verlies je de systematiek. Leuk als je op nieuwe ideeen wilt komen, niet goed als je systematisch wilt zoeken.

Dus vanaf nu komt “lateral searching” op mijn powerpoint-presentatie te staan! (zie figuur))

——————————

Previous posts on related articles/posts at this blog:
https://laikaspoetnik.wordpress.com/2008/05/16/possibly-an-announcement-about-possibly-related-posts/






New: Related Reviews in PubMed

14 05 2008

The latest feature to be added to the PubMed AbstractPlus display format is ‘Related Reviews’, links from the set of “Related Articles’ to review articles (articles indexed with the Publication Type ‘Review’).

Reading this in the NLM Technical Bulletin ( May 06 2008 ) I rushed to have a look in PubMed, but all I could find was the familiar set of 5 related articles (sometimes companied by Patient Drug Information) to the paper I selected.

related reviews PubMed

What went wrong?

Looking at “the small print” in the bulletin I read:

“Related Reviews will initially appear during randomly selected PubMed sessions; therefore, not all users will see them. We expect that this feature will be expanded to all users if it proves to be popular.”

O.k. this it is in fact a random trial, and I just received the placebo.

How would NLM decide whether this featured feature is popular? The number of clicks?

*****************************

NL flagVers van de pers uit het NLM Technical Bulletin (May 06 2008 ) : Aan het PubMed AbstractPlus display format worden ‘Related Reviews’ toegevoegd, dat zijn links van “related articles” naar reviews (artikelen met het Publicatietype ‘Review’).

Heb het meteen geprobeerd in PubMed, maar ik zag alleen maar de oude, vertrouwde 5 related articles (en soms “Patient Drug Information”) naast een geselecteerd artikel (zie Figuur hierboven?)

Wat was er mis?

In de ‘kleine lettertjes’ onderaan las ik het volgende:

“Related Reviews will initially appear during randomly selected PubMed sessions; therefore, not all users will see them. We expect that this feature will be expanded to all users if it proves to be popular.”

O.k. het is dus een random trial, en ik kreeg net de placebo.

Hoe zou de NLM nu op grond van deze gegevens tot een juist besluit kunnen komen: het aantal kliks op de related reviews?………)





Presentatie Geert van der Heijden op Slideshare

23 04 2008

De presentatie van Geert van der Heijden van vrijdag 18 april j.l. (BMI-ALV) is nu op Slideshare geplaatst (Lieuwe Kool slaat enkele web 2.0 stappen over ;).
Ik had er al in een eerder post melding van gemaakt, maar daar stond het zo temidden van de grote hoeveelheid tekst, dat het waarschijnlijk wat ondergesneeuwd raakte.
Verder had ik nog geen ervaring met embedden van een slide-serie, dus dat leek me meteen een aardig experimentje. Jammer dat Geert’s presentatie niet gepodcast is, want dan had ik meteen de SPOETNIK opdracht van deze week voltooid. Ik loop wat dat betreft nogal achter.

Fijn dat Geert deze presentatie ter beschikking heeft gesteld. Zo kan men even rustig Geerts’ verhaal in zijn eigen woorden (na) lezen in plaats van de afgeleiden hiervan op deze of gene blog.
Zo kan ik ook nog even lezen wat ik het eerste kwartier heb gemist.

Presentatie Geert staat online op slideshare:





The best moment teaching EBM-searching skills?

6 04 2008

When you are a (future) doctor you will obviously need to look for publications at one stage or another. PubMed is the place to look for relevant medical papers. Usually medical students begin to feel the urge to learn the ins and outs of PubMed (and searching in general) once they do their scientific training (4th year) or their internship, especially when they have to perform a CAT, critically appraised topic. Then it turns out their superficial knowledge of PubMed is one of the main hurdles. They find too many hits or too few and/or miss the relevant ones.

To help them I started a monthly class of 2 hours in which I learn interns (at the dept. Gynaecology) the basics of EBM, at least the first two steps: constructing a well answerable question using the PICO method (including defining the domain/levels of evidence) and finding the evidence in PubMed as well as in aggregate resources. (these two steps are called EBS or evidence based searching). Interns are asked to prepare 4 questions, all based on previous CATs. The first question is answered during an interactive power point presentation (first hour), the other 3 are practised ‘hands on’. If needed I give them personal aftercare.

It is a highly appreciated course, and it helped to improve the quality of the CATs. So that’s very encouraging.

I often get the same feedback from the user surveys:

  • well structured and informative
  • why didn’t we get this earlier?
  • too much information at once (especially at the end of the day)

To meet their wish my colleagues started a short introduction in PubMed prior to this ‘advanced’ class. As a result, the students are better acquainted with PubMed and we can delve more in depth into the subject. Last session they even prepared all questions. I wasn’t aware and asked one of the students (quite disappointed) why he still put the words in one string in the search bar instead of looking up each word separately and checking whether the words mapped correctly to the appropriate MeSH. He replied: “But I already did this at home. I checked out all the words.” showing his notes. And I must admit his search was quite good. So I was very satisfied with this group of students.

But the feedback remains the same. well structured and informative – why didn’t we get this earlier? – too much information at once. (especially at the end of the day)

Thus one would be inclined to think there is a need to teach students earlier on.

Now coincidently, a new curriculum has started in our academic hospital, in which EBM is incorporated into the clinical modules. The 1st year students learn about information resources and study designs. In the 2nd year they learn the basics of PubMed, EBM, PICO’s, Evidence Based Searching and Systematic Reviews.

Our library is involved in the educational process with respect to information resources, PICO’s and searching. Most of the teaching is in the form of e-learning (Dutch: COO, computer ondersteunend onderwijs) using the QMP (question mark perception) system, which is basically designed to test knowledge.

We have made a tutorial for PubMed (a-basic-learn-the-buttons-and-MeSH-course) and I prepared an e-learning module on PICO’s, study-designs and aggregate evidence, for the Cardiology block. This took me 6 weeks! It was reasonably well received by the students… That is, who bothered to give feedback.

During the course “Pulmonology” (february/march) we gave 30 “Finding the Evidence Search Workshops” to 6-12 students.
I had quite high expectations, since in theory these students should have a good theoretical basis (considering the earlier e-learning tutorials).

However their knowledge was quite disappointing, and even more so were their motivation and attitude. They were just a bunch of kids, most of them not very interested in PubMed, searching, EBM or whatsoever. They were often giggling and chatting, which I find rather distracting, or were passive, silent and gazing, which is even more distracting. And when I took a glimpse at their screens I often saw g-mail and unfamiliar colourful sites instead of PubMed.

I wondered at what point these students would pupate and transform into the butterflies called interns? And at this stage I couldn’t imagine them sitting on my bedside as a doctor I would trust unconditionally.

Was it really this bad? No, I’m a bit exaggerating. When I sound them out it appeared that they find the scientific methodology courses to fragmented, too basic and not the core of their study: firstly they want to pass their exams and secondly they want to become a doctor(!), not a scientist nor a librarian. I suppose E-learning and tutorials are not the ideal tools, not even for the computer generation. E-learning has to be dosed and is not as inspiring as a good tutor (at least that is what I think).

Anyway after one hour yawning, sighing and bewildered looks and after a much needed coffee break with cookies (a brilliant move of two of my collegues) I got the impression the penny finally dropped. Some students mumbled: “Mmm, I think I come to understand it” others smiled and uttered “Yes!” and the remaining questions were answered rather swiftly by most students. It even turned out that some of the glossy sites I had seen were on-line medical dictionaries, they used to look up the correct terms. Yes, this young generation is capable of multitasking.

If these courses were evaluated the same way as the above mentioned CAT-course, I guess the outcome would be as follows:

  • not particularly interesting
  • why do we have to learn this now? can’t it wait?
  • too much information….

We still need to find the ideal timing for these courses and also a better dosing. The best timing is when they need it the most, I suppose. The students who absorbed the information best were those who needed the information right now or found out that needed it before (i.e. they now realized that their previous searches were far from ideal). The form is also something to workat. Especially the e-learning modules should be better integrated into the clinical blocks. It is not sufficient to tune in with the subject. For students to appreciate and retain information, searching skills need to be taught in tandem with assignments. Students need to see the relevance of what they learning.