Over nepartikels en nepconferenties

Prietpraat.Sinds de Sokal-affaire is het alom bekend dat niet alle academische tijdschriften even hoge standaarden hebben om iets te publiceren. In de meeste vaktijdschriften is er peer review, waarbij één of meerdere collega’s uit hetzelfde vakgebied een inzending beoordelen. Dit systeem is uiteraard niet waterdicht, want mensen kunnen zich vergissen. Aan de hand van ogenschijnlijk zorgvuldig gepresenteerde resultaten is het bijvoorbeeld niet altijd mogelijk om te zien of het experiment zelf even zorgvuldig is uitgevoerd.

Toch zou je verwachten dat regelrechte onzin direct door de mand valt bij een aandachtige lezing door minstens één buitenstaander. Wanneer ik zelf als referent optreedt, ben ik altijd uren bezig – zelfs als het een vrij kort artikel is; vaak laat ik het daarna nog even bezinken om er in de volgende dagen een rapport over te schrijven. Daarom blijft het me verbazen dat er geregeld nepartikels door de mazen van dit controlenet glippen.

Vorig jaar had iemand opzettelijk onzinartikels ingestuurd naar open access tijdschriften om te kijken wat er zou gebeuren en hij kreeg daarbij verrassend vaak groen licht. Zijn studie werd toen bekritiseerd omdat hij enkel open access tijdschriften viseerde, terwijl er weinig reden is om te geloven dat het controlesysteem bij betalende tijdschriften wel altijd goed zou werken.

Op de website van Nature wordt er nu inderdaad gewag gemaakt van computer-gegenereerde nepartikels die verschenen zijn in betalende tijdschriften (van twee grote wetenschappelijke uitgevers). Het gaat om meer dan honderdtwintig artikels over computerwetenschappen die in conferentie-bijdragen zijn verschenen tussen 2008 en 2013. (Dit bericht op de Eos-website vat het nieuws in het Nederlands samen.)

Het is nog onduidelijk wie er achter de inzending van de huidige nepartikels zit. (Er staan natuurlijk namen vermeld op de artikels, maar het is nog de vraag of deze aan bestaande onderzoekers toebehoren en zo ja, of de mensen in kwestie al dan niet op de hoogte zijn van ‘hun’ inzending.) Het is dus ook nog niet geweten wat de motieven waren van de inzender(s).

Zelf denk ik dat het om fictieve inzendingen van grotendeels fictieve conferenties zou kunnen gaan. Ik heb hier vandaag iets over geschreven op NewAPPS (een Engelstalige groepsblog die vooral gelezen wordt door filosofen).

In mijn Engelstalige blogstukje staan er meer details, dus kopieer ik dat hieronder (na de vouw).

On the Nature website, Richard Van Noorden reports that a French computer scientist, Cyril Labbé, has discovered over 120 computer-generated papers that have been published in conference proceedings between 2008 and 2013. Over 100 of these papers were published by the Institute of Electrical and Electronic Engineers (IEEE) and 16 others appeared in Springer publications.

The papers have been composed using SCIgen, which only requires the user to input author names, and automatically generates random papers that look like Computer Science, but which are actually meaningless. Cyril Labbé has written a program that is able to recognize papers that have been generated by SCIgen. (The program compares the vocabulary of a text to that of a reference corpus; in particular, it measures the inter-textual distance as the proportion of word-tokens shared by two texts. For details of the method, see Labbé’s 2012 paper published in Scientometrics.)

The proceedings issues that appeared in Springer publications were (supposed to be) peer-reviewed; for the IEEE proceedings, it is less clear whether they underwent peer review. In any case, the former examples show that the peer review system is not always watertight, not just in the case of open-access journals (which was also discussed here at NewApps).

Most of the conferences took place in China and most of the authors have Chinese affiliations. Of course, it remains to be checked whether the author names correspond to real scholars and if so, whether they were aware of the submission in their name. Nature was able to contact one actual researcher: he does not know why his name appeared in the author list of such a computer-generated paper.

Below, I offer a speculation on the motivation behind the submission of these fake papers.

At this point, it is unclear who is behind the submission of the papers that have now been discovered as fake. Regarding the motivation for this, there are various possibilities: yet another attempt to show that pre-publication screening fails, an attempt to increase someone’s own impact factor, an attempt to decrease another researcher’s reputation, etc. Here, I’d like to speculate about another possible motivation: these computer-generated papers may belong to proceedings of spamferences.

I don’t know whether the spamference (also called scamference or junk conference) phenomenon exists in Philosophy, but I still get many invitations to speak at dubious conferences in Material Science, most of which take place in China (but Toronto seems popular in Soil Science). In my case, it is easy to tell the messages are fake, since I am no longer active in the field. Most of the e-mails raise enough red flags to be filtered as spam automatically, but some would be harder to judge if I would still be working in Material Science. Of course, a telltale sign of a spamference is when they charge (a lot of) money, even for invited speakers. (Check this list for more signs.)

Apparently, at least some of these conferences actually do take place. These are best seen as vanity events (all speaker are “invited”) organized by clever travel organizers who have realized that many researchers have a budget for covering travel costs. To make it look more genuine, it is better to present the event as part of an annual conference series and to have proceedings volumes published – preferably by high-profile publishers – to show for it. Presumably, there are similar spamferences in Computer Science and the spamference-proceedings-hypothesis would provide ample motivation for what has now been discovered.

Let me end with another speculation. Before long, there will be a computer algorithm to generate such spamference announcements. Developing a counteralgorithm to filter these messages will keep a lot of brilliant computer scientists busy.

Gelijkaardige berichten:

Facebooktwitterredditpinteresttumblrmail

Laat een reactie achter

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

1 × 7 =