What not to pipet

[Bartjes]

Dat klopt, en het is ook zo. Maar zelfs nu is die hoeveelheid geld gewoon beperkt en wordt binnen de wetenschap geselecteerd op welk onderzoek het meest beloftevol is. Daar is mijn inziens niets verkeerd mee.

Blij dat je het met mijn benadering van wetenschap als cultuurgoed eens bent.

En citaten en dergelijke maatstaven zijn gelukkig geen economische maatstaven. Je wordt wel beoordeeld op je productiviteit en dat is niet meer dan normaal.

Ik betwijfel sterk of de wetenschappelijke waarde van onderzoek op korte termijn aan de hand van publicaties, citaten e.d. beoordeeld kan worden. Als je de wetenschapsgeschiedenis bekijkt gaan er vaak jaren overheen voordat het belang (of de onzin) van een zekere benadering duidelijk wordt. Niet zelden is de bedenker/ontdekker dan al dood en begraven.

Vergelijk het met theater. Theater moet gemaakt worden, ook al gaan er maar 1000 mensen naar kijken. Het is een soort van cultuur, de economische maatstaven zijn dus niet van belang, theater moet niet uit de kosten komen. Maar een theatercompanie die ieder jaar maar 1 zo'n stuk maakt, of een compagnie die er ieder jaar 5 maakt van hetzelfde geld, DAT is wel belangrijk. De productiviteit zelf moet wel van tel zijn. En dat is de methode die nu ook in de wetenschap gebruikelijk is.

Ik bestrijd dan ook dat de productiviteit van wetenschappelijk onderzoek op korte termijn beoordeeld kan worden. In sommige gevallen is dat inderdaad het geval, hoewel er ook dan nog het nodige vervolgonderzoek nodig is om te kijken of het inderdaad is wat het lijkt te zijn. Maar in veel andere gevallen is dat niet zo. Het komt zelfs voor dat revolutionair onderzoek niet eens te publiceren is, omdat de gevestigde bladen er hun vingers niet aan willen branden.

Kortom: ik wil wel eens een bron zien waarin wordt beargumenteerd dat je de productie van wetenschappers op de huidige manier zinvol kunt meten.

[eendavid]

Ik denk dat de meeste wetenschappers het ermee eens zijn dat het tellen van aantal publicaties en citaties, verre van een ideale manier is om een waardeoordeel over de resultaten van een wetenschapper te bekomen. Maar zo'n oordeel is wel nodig wanneer wordt beslist wie geld krijgt, en een betere manier om dit oordeel te vellen hebben we niet. Het is in de praktijk ook zo slecht niet: met citaties schat je hoe groot de impact van je onderzoek op de wetenschapsgemeenschap is. De papers die vaak geciteerd worden zijn naar mijn ervaring van sublieme kwaliteit (het is eerder in de middenmoot dat er een subjectiviteit ontstaat).

Ik zie niet goed welk alternatief je voorstelt. Je zal toch akkoord zijn dat we niet zomaar iedereen die beweert goed wetenschapper te zijn geld kunnen geven?

[Bartjes]

Ik zie niet goed welk alternatief je voorstelt. Je zal toch akkoord zijn dat we niet zomaar iedereen die beweert goed wetenschapper te zijn geld kunnen geven?

Het is inderdaad een probleem dat er hoe dan ook keuzes gemaakt moeten worden. Maar ten eerste vraag ik mij af hoe dat dan ging voordat het huidige systeem werd ingevoerd, en ten tweede kan ik mij iets in de geest van de bedrijfsvoering bij Google voorstellen. Je zou de wetenschappers aan universiteiten en hogescholen één of twee dagen in de week vrij kunnen stellen om te onderzoeken wat zij maar willen (dit uiteraard wel binnen de grenzen van de wet- en regelgeving). Voor de overige dagen blijft dan het huidige waarderingssysteem gelden.

[WendyTje]

Ik weet niet of dat zo zou werken. Veel wetenschappers, zeker als je naar AIOS kijkt, zijn al vrij bezeten van hun werk, en daar gaat veel meer dan de 40-50 uur per week in zitten. Als je ze extra tijd zou geven om iets leuks te onderzoeken, heb je nog kans dat ze gewoon aan dat project doorgaan ook, wat ze vaak in weekenden ook doen. Ondanks dat het voor een deel wel draait om prestaties en publicaties, ben ik ervan overtuigd dat een groot deel van de wetenschappers zeker doet wat hij interessant is. Dat dat niet hetzelfde is als de interesse waarmee je er bent ingerold maakt denk ik weinig uit. Desalniettemin kunnen interessante side projectjes zeker leuk zijn en helpen bij de creativiteit en motivatie, maar ik denk dat het in verreweg de meeste gevallen niet haalbaar is.

[mvbandit650]

De vrijheid geven aan onderzoekers om te doen wat ze willen klinkt heel nobel, maar zal in de praktijk niet werken vrees ik. Door op projectbasis te werken creëert men de verlangde "transparantie". Dit woord is vaak heilig binnen het onderzoek.

Het huidige waarderingsysteem is in mijn ogen ook niet geheel, of geheel niet, waterdicht. Het hangt er namelijk ook wel vanaf in welke hoek je onderzoek zit. Sommige onderzoeken hebben een vrij klein afzetgebied als het gaat om publiceren. Dit neemt dan niet weg dat je voor een "beter" tijdschrift kunt gaan, maar daarvoor moet vaak meer werk worden verzet, wat meer geld kost. Dan is de keuze dus meer publiceren bij een lage impact-factor, of een enkele keer met een hoge impact-factor.

Daarnaast is het publiceren op zichzelf ook niet transparant. Editors van tijdschriften (vaak zelf onderzoeker) hebben soms een flinke vinger in de pap over wie en wat er gepubliceerd wordt.

Misschien dat het hier zou helpen als artikelen "geblindeerd" kunnen worden aangeboden voor publicaties. De editor en de reviewers hebben dan minder last van een vooroordeel.

[WendyTje]

Misschien dat het hier zou helpen als artikelen "geblindeerd" kunnen worden aangeboden voor publicaties. De editor en de reviewers hebben dan minder last van een vooroordeel.

Is dit al niet (vaak) het geval? Het zit m er meer in dat het werk gereviewd wordt door mensen die er verstand van hebben, en dat zijn vaak je concullegas in het vak. Dus, geblindeerd of niet, ze weten meestal toch van wie het komt. Zelfde als de commentaren van de reviewers, t is anoniem, maar aan wat ze aandragen kun je soms al zeggen welke van de "collegas" in het werkveld het was.

[mvbandit650]

Klopt als een bus. Dat heeft dus ook weinig zin.

Aangezien het systeem dus verre van perfect is. Wat zou dan de beste strategie zijn. Meerdere publicaties met een lagere impact-factor of een enkele met hoge impact-factor. Let wel, voor de hogere impact-factor is de kans op publicatie weer kleiner vrees ik.

[DePurpereWolf]

Een instituut heeft vaak als doel om enkel in de top 20% journals te publiceren. Tenminste, dat zou zo'n 50% van het totaal moeten zijn. Soms is de studie gewoon niet goed genoeg en kun je beter ergens anders publiceren. Maar het is een goed idee om het eerst te proberen bij de betere journals.

[Benm]

Het is inderdaad een probleem dat er hoe dan ook keuzes gemaakt moeten worden. Maar ten eerste vraag ik mij af hoe dat dan ging voordat het huidige systeem werd ingevoerd, ...

Qua exacte wetenschappen denk ik dat het korte antwoord hierop 'niet' is.

Academische journals bestaan al sinds pakweg de 17e eeuw, al is het pas in de 19e eeuw een echt serieus fenomeen geworden, eigenlijk tijdens de opkomst van de exacte wetenschappen.

Dat het systeem met impact scores en citaties tellen zijn nadelen heeft zal ik zeker niet betwisten, maar het is wel de huidige praktijk om er rekening mee te houden voordat je een artikel gaat schrijven. Uiteraard gaat er daardoor kennis verloren, zowel over dingen die niet werken, als over dingen die wel werken maar niet bijzonder interessant zijn.

De intentie om alleen in de top 20% te publiceren gaat m.i. wel erg ver - als zoiets algemeen beleid wordt kun je je afvagen wie er dan in de andere 80% gaat publiceren

[Bartjes]

Dat het systeem met impact scores en citaties tellen zijn nadelen heeft zal ik zeker niet betwisten, maar het is wel de huidige praktijk om er rekening mee te houden voordat je een artikel gaat schrijven. Uiteraard gaat er daardoor kennis verloren, zowel over dingen die niet werken, als over dingen die wel werken maar niet bijzonder interessant zijn.

Waar ik bezwaar tegen maak is de gedachte dat het onmiddellijk duidelijk zou zijn wat wetenschappelijk wel of niet van belang is. Het citaten-tellen gaat daar impliciet van uit. Voor ontwikkelingen binnen een gevestigd vakgebied zou dat wel zo kunnen zijn, maar voor revolutionair andere benaderingen of minuscule vakgebiedjes hoeft dat helemaal niet zo te zijn. De waan van de dag krijgt zo een veel te grote rol toebedeeld, en de academische vrijheid wordt te veel gekortwiekt.

[317070]

Waar ik bezwaar tegen maak is de gedachte dat het onmiddellijk duidelijk zou zijn wat wetenschappelijk wel of niet van belang is. Het citaten-tellen gaat daar impliciet van uit. Voor ontwikkelingen binnen een gevestigd vakgebied zou dat wel zo kunnen zijn, maar voor revolutionair andere benaderingen of minuscule vakgebiedjes hoeft dat helemaal niet zo te zijn. De waan van de dag krijgt zo een veel te grote rol toebedeeld, en de academische vrijheid wordt te veel gekortwiekt.

Ik denk dat niemand dat gaat ontkennen, maar heb je dan een beter en praktisch werkbaar idee?

[Bartjes]

Ik denk dat niemand dat gaat ontkennen, maar heb je dan een beter en praktisch werkbaar idee?

Dat idee heb ik al geopperd, namelijk dat men wetenschappers gedeeltelijk vrijstelt om hun eigen onderzoeksprojecten te volgen. Als bezwaar is daar tegenin gebracht dat zoiets niet zou werken, maar het heeft bij Google al gewerkt. Dus erg sterk vind ik dat (tegen)argument niet.

[eendavid]

Dat idee heb ik al geopperd, namelijk dat men wetenschappers gedeeltelijk vrijstelt om hun eigen onderzoeksprojecten te volgen. Als bezwaar is daar tegenin gebracht dat zoiets niet zou werken, maar het heeft bij Google al gewerkt. Dus erg sterk vind ik dat (tegen)argument niet.

Je lijkt er vanuit te gaan dat wetenschappers die vrijheid niet hebben. Ze hebben die vrijheid wel, ze moeten gewoon op het einde van de rit resultaten voorleggen. Het is gemakkelijk om werken bij google te romantiseren, maar als je daar geen resultaten kan voorleggen zal je er sneller dan op een universiteit op worden aangesproken. Een systeem waarbij je geen resultaten moet voorleggen is gewoon een slecht systeem. Het enige dat je kan bekritiseren is de manier waarop de waarde van de resultaten wordt gemeten, iets waar je geen alternatief voor geeft. Bovendien is het niet altijd simpelweg een rekensommetje van publicaties/impactfactoren/citaties, soms mag je je voorstel gaan verdedigen (zoiets werkt volgens mij enkel goed als je concurrenten uit hetzelfde vakgebied komen).

[Bartjes]

Je lijkt er vanuit te gaan dat wetenschappers die vrijheid niet hebben. Ze hebben die vrijheid wel, ze moeten gewoon op het einde van de rit resultaten voorleggen.

Er is in de wetenschap geen einde van de rit. Voorbeeldje: tegenwoordig geldt het idee van een ether als achterhaald, het is echter niet uitgesloten dat nieuwe ontwikkelingen daar ooit weer naar terugkeren. Dan zouden theorieën van wetenschappers die in die richting voortgeborduurd hebben plotseling weer interessant kunnen worden. Nog een voorbeeld: tegenwoordig neigt men tot de gedachte dat paranormale verschijnselen niet bestaan, maar het is niet uitgesloten dat men ooit met een reproduceerbaar experiment op de proppen komt dat aantoont dat laat ons zeggen telepathie voorkomt. In dat geval worden de theorieën die er in de loop van de tijd zijn ontwikkeld om telepathie te verklaren ineens weer interessant. Een minder vergezocht voorbeeld zijn de golf- en deeltjestheorieën van het licht. Of het rekenen met infinitesimalen na de introductie van de niet-standaard analyse.

Het is gemakkelijk om werken bij google te romantiseren, maar als je daar geen resultaten kan voorleggen zal je er sneller dan op een universiteit op worden aangesproken.

http://www.google.com/search?q=google+20+p...amp;safe=images

Ik lees er ook wat kritische artikelen bij. Om romantiseren is het mij niet te doen.

Een systeem waarbij je geen resultaten moet voorleggen is gewoon een slecht systeem. Het enige dat je kan bekritiseren is de manier waarop de waarde van de resultaten wordt gemeten, iets waar je geen alternatief voor geeft. Bovendien is het niet altijd simpelweg een rekensommetje van publicaties/impactfactoren/citaties, soms mag je je voorstel gaan verdedigen (zoiets werkt volgens mij enkel goed als je concurrenten uit hetzelfde vakgebied komen).

Je zal natuurlijk wel moeten kunnen laten zien dat je iets uitvoert! Dat begrijp ik. Alleen zal voor sommig onderzoek niet kunnen worden bepaald wat dat waard is, eenvoudig omdat het niet aanhaakt bij tegenwoordig populaire benaderingen en problemen. Je kan wel nagaan of het onderzoek methodologisch in orde is, maar meer ook niet. Dan is de enig zinvolle uitspraak: we weten niet of deze benadering en/of resultaten ooit nog van wetenschappelijk belang zullen worden. Er dan toch een waardering aan toekennen heeft geen zin.

[eendavid]

Je hekelt het belang dat gehecht wordt aan aantal publicaties/citaties/impactfactoren (een punt waarmee de meeste mensen hier in meer of mindere mate akkoord gingen). Om dat te veranderen, moet je veranderen dat instituten/wetenschappers (deels) geld krijgen op basis van deze rekensommen. Wat de meesten zeggen is dat er niet echt een alternatief bestaat voor deze rekensom. Je 'alternatief' is een heel raar 'alternatief' omdat het

1. Geen andere manier is om te beslissen hoe instituten/wetenschappers geld krijgen.

2. Wetenschappers wat betreft onderzoek vrij zijn om te doen wat ze willen, op enkele nuances na (naar een ander vakgebied overstappen is administratief -en ook inhoudelijk- niet zo eenvoudig, het moet uiteindelijk van voldoende kwaliteit zijn om het te publiceren). Ik betwijfel overigend of je gelijk hebt dat je in google meer vrijheid zou hebben, een standpunt dat ik zonder verdere onderbouwing romantisch noemde (de link naar google

Verborgen inhoud

een link naar google benoemen als kritisch artikel over google vind ik nogal raar

lijkt me niet echt een onderbouwing van dat standpunt te geven). Maar dat terzijde.