Dit stukje is in licht gewijzigde vorm als artikel verschenen in Eos.
(Jaargang 32, nummer 9. Pdf-versie van het artikel.)
Bij mijn eerdere radiobijdrage was het me niet helemaal gelukt om de punten die ik zelf het belangrijkste vond aan dit onderzoek goed uit te leggen. Daarom schreef ik mijn aantekeningen uit tot een artikel voor Eos.
~
Sluimerende wetenschap
Schone slaapsters
De meeste wetenschappelijke artikels vertonen een gelijkaardig citatiepatroon: de eerste jaren wordt het artikel in toenemende mate geciteerd, daarna dooft de aandacht uit. Er blijken echter ook slaapkoppen tussen te zitten, waarbij de erkenning voor een studie pas vele jaren na de publicatie volgt. Wat zorgt ervoor dat deze artikels alsnog populair worden? En welke lessen moeten we hieruit trekken voor het wetenschapsbeleid?
‘Schone slaapsters in de wetenschap’ zijn artikels die pas na verloop van jaren plots veel geciteerd worden. Recent onderzoek toont aan dat dit fenomeen meer voorkomt dan eerder gedacht. Deze vondst stemt tot nadenken: de huidige manier om de impact van onderzoek te meten en onderzoekers te evalueren en te financieren, kijkt immers vooral naar citaties op korte termijn (binnen twee tot vijf jaar na publicatie).
Mendelsyndroom
Er zijn bekende voorbeelden van wetenschappers die hun tijd zo ver vooruit waren dat hun werk pas werd gewaardeerd na hun dood. Denk maar aan Gregor Mendel die rond 1860 experimenten deed met het kruisen van bonenplanten en zo de erfelijkheid van hun eigenschappen ontdekte. Mendel overleed in 1884, maar het belang van zijn pionierswerk voor de genetica werd pas later erkend.
Een ander voorbeeld is de Hongaarse arts Ignaz Semmelweis. Hij voerde in 1847 een antiseptische procedure in op de kraamafdeling van een ziekenhuis in Wenen: iedereen moest voortaan de handen wassen met bleekwater alvorens een aanstaande moeder te onderzoeken. Door deze maatregel kwam kraamvrouwenkoorts – die vaak dodelijk was – veel minder voor op de afdeling. Toch vonden de ideeën van Semmelweis pas echt ingang na zijn dood in 1865, toen de relatie tussen micro-organismen en ziektes beter werd begrepen (onder andere door de experimenten van Louis Pasteur).
Ook nu beweren sommige wetenschappers dat hun ideeën niet worden opgepikt omdat ze hun tijd te ver vooruit zijn. De Nederlandse bibliometrist professor Anthony van Raan, verbonden aan de universiteit van Leiden, spreekt in dit verband over het “Mendel-syndroom”. Van Raan wou nagaan of wetenschappers gelijk hebben als ze vrezen dat hun werk pas na tientallen jaren zal worden erkend, of als ze hopen op een posthume erkenning. In een artikel van hem uit 2004 onderzocht hij daarom de citatiepatronen die gepaard gaan met uitgestelde erkenning.
Schone slaapsters
Van Raan lanceerde hierbij de term ‘sleeping beauties in science’. Daarmee bedoelde hij:
“a publication that goes unnoticed (sleeps) for a long time and then, almost suddenly, attracts a lot of attention (is awakened by a prince).”
Een schone slaapster in de wetenschap is dus een publicatie die in de eerste jaren niet of nauwelijks geciteerd wordt (slaapt), maar na verloop van decennia plots alsnog piekt (gewekt wordt door een prins).
De database die van Raan onderzocht bevatte 20 miljoen artikels. De meest slaperige schone in dit corpus was een artikel van Larry J. Romans uit 1986. Dit was inderdaad een geval van een idee dat zijn tijd ver vooruit was: in het artikel stelt Romans een model op van supergravitatie in tien dimensies, waarbij er een nieuw fenomeen optreedt, namelijk het breken van een supersymmetrie. De ruimere gemeenschap van snaartheoretici was op het moment van publicatie nog niet bezig met supergravitatie. Tegen 1995 was dit wel het geval. Doordat een fysicus die aan hetzelfde instituut werkte als Romans zich diens artikel herinnerde, kon het alsnog geciteerd worden.
Van Raan probeerde ook een kansfunctie op te stellen om te voorspellen welke slapende artikels nog uit hun sluimer gewekt zullen worden. Uit de gegevens blijkt bijvoorbeeld dat de waarschijnlijkheid om nog gewekt te worden na een heel diepe slaap (gekenmerkt door extreem weinig citaties: maximaal één per jaar) kleiner wordt naarmate de slaap langer aanhoudt.
De beauty-factor
Een team van vier onderzoekers aan de Amerikaanse universiteit van Indiana heeft nu een andere manier bedacht om schone slaapsters op te sporen en te meten. De eerste auteur is Qing Ke, een derdejaars doctoraatsstudent, en het team stond onder leiding van Alessandro Flammini. Hun studie is recent online verschenen in het wetenschappelijke vakblad Proceedings of the National Academy of Sciences (PNAS; persbericht).
In oudere modellen moest de onderzoeker handmatig keuzes maken, bijvoorbeeld: hoe lang moet de citatiepiek op zich laten wachten voor er sprake is van een schone slaapster? Flammini en zijn collega’s hebben nu een nieuw model opgesteld dat geen parameters bevat. hiervoor bedachten ze de beauty-factor van een artikel, dat rekening houdt met de de lengte en diepte van de slaap en met het maximale aantal citaties per jaar.
Het team van Flammini gebruikte de database van Web of Science. Deze bevat gegevens over 22 miljoen artikels, in alle disciplines van zowel natuurwetenschappen als de sociale wetenschappen en dit binnen een periode van meer dan een eeuw. De top 15 van de meest uitgesproken schone slaapsters uit deze database ziet u in de tabel. Daarnaast onderzochten ze ook een kleinere database met enkel artikels binnen de fysica.
Op basis van deze studie concluderen de onderzoekers dat het verschijnsel van schone slaapsters niet zo zeldzaam is als eerder gedacht. Dit verschil komt onder andere doordat ze naar meerdere disciplines tegelijk kijken: het blijkt geregeld voor te komen dat slapende artikels gewekt worden door aandacht uit een andere discipline. Ook zien ze een continuüm tussen schone slaapsters en artikels met een courant citatiepatroon.
Tabel: Top 15 van meest uitgeproken schone slaapsters uit de studie van Flammini en collega’s.
Disciplines
Hoewel de grote database gegevens bevatte over nagenoeg alle academische disciplines valt het meteen op dat in de top 15 vooral chemie, fysica en statistiek vertegenwoordigd zijn. Andere domeinen die met een bovengemiddelde frequentie schone slaapsters blijken te produceren zijn multidisciplinaire wetenschap, wiskunde, en algemene en interne geneeskunde.
Laten we dan eens aandachtiger kijken naar enkele artikels uit de top 15. Op de eerste plaats staat een artikel van de Duitse scheikundige Herbert Freundlich, vooral bekend als pionier van de colloïdechemie. Zijn publicatie over adsorptie uit 1906 werd tijdens zijn leven weinig opgemerkt, maar ontwaakte – bijna een eeuw later – in 2002 en wordt nu gebruikt om metalen en farmaceutische stoffen uit drinkwater te zuiveren.
Ook op de tweede plaats staat een artikel uit de chemie: een methode om grafietoxide te maken door Hummers en Offeman uit 1958. Hun methode bleek nuttig in de productie van grafeen, de tweedimensionale vorm van grafiet die in 2003 voor het eerst in een labo geïsoleerd werd, waardoor het artikel in 2007 ontwaakte.
Op de zesde plaats vinden we de slaperigste schone: een artikel van statisticus Karl Pearson uit 1901 ontwaakte pas na meer dan honderd jaar, in 2002. Ook op de tiende plaats staat er een artikel uit de statistiek. Heel wat oude resultaten uit de statistiek vergen grote databases en rekenkracht: beide zijn pas recent beschikbaar en dit verklaart dat dit vakgebied ook schone slaapsters oplevert.
Einstein
Op de veertiende plaats staat een artikel van Albert Einstein, Boris Podolsky en Nathan Rosen uit 1935. Einstein en zijn co-auteurs, vaak samen aangeduid als EPR, probeerden aan te tonen dat de kwantummechanica onvolledig was. Met behulp van een gedachte-experiment met vertrengelde deeltjes probeerden ze aan te tonen dat er lokale verborgen variabelen zouden zijn in de kwantumtheorie.
Het team van Flammini ziet het EPR-artikel ontwaken in 1994 of iets eerder, in 1987, als ze enkel in de fysica-database kijken. Achter de schermen was er intussen echter al heel wat gebeurd. In 1964 schreef J.S. Bell een artikel over de zogenaamde EPR-paradox. Bell stelde een ongelijkheid op waarmee de ideeën van EPR experimenteel toetsbaar werden: als de ongelijkheid geschonden wordt, zijn er geen lokale verborgen variabelen in de kwantumtheorie. Een belangrijke test gebeurde door Aspect en twee co-auteurs in 1982: hierbij werd Bell’s ongelijkheid inderdaad geschonden. De ideeën van EPR konden dus definitief in de prullenbak. Toch moet de echte piek in citaties dan nog komen.
Ondertussen was namelijk ook duidelijk geworden hoe verstrengelde deeltjes in het labo gerealiseerd kunnen worden en dat heeft heel wat toepassingen. Intussen maken deze EPR-paren van deeltjes deel uit van protocollen voor kwantumteleportatie en kwantumcryptografie. Hierbij wordt niet zo zeer het deeltje zelf, maar wel de kwantumtoestand ervan op lange afstand overgebracht, namelijk naar een deeltje waarmee het eerste verstrengeld is.
Moraal
Zoals elk goed sprookje, heeft ook dit verhaal een moraal. De auteurs zelf trekken volgende les uit hun werk: als je de impact van wetenschappelijke impact wil meten, dan is deze studie empirisch bewijs tegen het gebruik van citatiemetrieken die enkel naar de korte termijn kijken. Nochtans zijn dat precies de methodes die tegenwoordig wél gebruikt worden. Bij aanvragen voor fondsen moet een onderzoeker bijvoorbeeld de zogenaamde impactfactor vermelden van het tijdschrift waarin hij of zij gepubliceerd heeft, maar dit gaat enkel over citaties in de eerste twee jaar na publicatie. (Er bestaat ook een 5-jarige impactfactor, maar die wordt niet standaard gebruikt en dat is nog steeds een vrij korte termijn.)
Anderzijds is het zoeken naar extreme schone slaapsters, die pas na vele decennia populair worden, evenmin relevant voor het onderzoeksbeleid: als de onderzoekers in kwestie op pensioen zijn, is het te laat om fondsen of bevorderingen toe te kennen. Hiervoor zijn de schone slaapsters met een kortere slaaptijd wel relevant.
Er zijn nog kanttekeningen te maken bij deze manier om aan ‘wetenschap over wetenschap’ te doen. Enkel rekening houden met gemakkelijk te verkrijgen getallen is nefast. Een veelzeggend voorbeeld: als een onderzoeker op een fout wil wijzen in een ander artikel, zal hij of zij dit artikel óók citeren, zonder dat dit een signaal is van kwaliteit. Laten we dus niet vergeten dat niet alles van waarde meetbaar is. Het belang van wetenschap is nooit in een ééndimensionaal getal te vangen.
~
Bronnen en andere aanvullingen
(0) Voor de radiobijdrage contacteerde ik prof. van Raan en Qing Ke per e-mail en beiden waren zeer snel en behulpzaam!
(1) Over de auteurs van de PNAS-studie
- Eerste auteur: Qing Ke
Wellicht een Chine(e)s(e) (naam + M.Sc. Peking); ME Computer Science and Technology; derde jaar doctoraat: hij verwacht zijn proefschrift te verdedigen in 2017.
Nuttige pagina’s op zijn website:- Links naar persberichten
- Top 100 alles (Web of Science) natuurwetenschappen én sociale wetenschappen 22.4 miljoen artikels
- Top 100 fysica (APS) = Physical Review A, B, …, E; Physical Review Letters; … 380,000 publications
- Tweede auteur: Emilio Ferarra (eigen website; Twitter)
Wellicht een Italiaan (naam + M.Sc. & PhD Messina); PhD in wiskunde en computerwetenschap - Derde auteur: Filippo Radicchi
Wellicht een Italiaan (naam + M.Sc. Rome); PhD in fysica. - Vierde auteur (corresponderend auteur): Alessandro Flammini
Wellicht een Italiaan (naam + PhD Triëste); PhD in vastestof-fysica (statistische mechanica)
(2) Wetenschapsfilosofie en bibliometrie hebben met elkaar gemeen dat ze proberen om uitspraken te doen over de wetenschap als geheel. Dat is een andere soort vraag dan waar de fysic, chemici, of biologen zich beroepshalve mee bezighouden (al zullen ook deze mensen zich natuurlijk wel een beeld vormen over de wetenschap als geheel).
- De numerieke gegevens die bibliometristen aanreiken kunnen zeker nuttig zijn voor de wetenschapsfilosoof: we kunnen in de citatiepatronen proberen aflezen hoe wetenschap zich ontwikkelt, zoals je in de groeiringen van een boom ook iets van de ontwikkeling van die plant kan naspeuren.
- Maar bibliometrie bemoeilijkt potentieel ook het werk van de wetenschapsfilosoof, omdat al die citatie-analyses het beleid beïnvloeden (bijvoorbeeld de verdeling van fondsen over wetenschappelijke groepen) en wetenschappers op basis daarvan hun eigen gedrag gaan aanpassen. De situtatie lijkt dan op de economie: er zijn modellen en indicatoren, maar kennis van deze modellen kan het gedrag van de mensen in het model grondig veranderen.
(3) Links naar andere artikels over dit onderwerp
- Persbericht universiteit: link
- Nature news: ‘Sleeping beauty’ papers slumber for decades (Daniel Cressey) 25 mei 2015
- Nature editorial: Wakey wakey online 26 mei 2015
(Nature 521, 394 doi:10.1038/521394a; 28 mei 2015) - Vox: Sleeping beauties 26 mei
- NYT: Even Einstein 25 mei
- CEN: 28 mei
- Pacific Standard: 28 mei
- ABC news: 26 mei
- phys.org: 25 mei
Gelijkaardige berichten:
Pingback: Vlindereffect: de schone slaapster van Lorenz » Sylvia's blog