What not to pipet

[Miels]

What not to pipet.

Fundamenteel onderzoek in het lab

Beste forumlezer, laat ik mij eerst netjes voorstellen. Ik ben Wendy, 28, en heb de laatste zeven jaar als analist in een moleculair biologisch onderzoekslab op het NKI (Nederlands Kanker Instiuut - [url=http://www.nki.nl%5dgewerkt]www.nki.nl[/url]) gewerkt. Fundamenteel onderzoek. Toen besloot ik mijn horizon te gaan verbreden, en sinds ruim een half jaar ben ik researchanalist bij de VSBN (Vereniging Samenwerkende Brandwondencentra Nederland - www.adbc.nl). Daar is het celbiologie en weefselkweken al wat de klok slaat, dus ik heb inderdaad een volledig andere wereld betreden.

De Heilige Publicatie

Hoewel, andere wereld, ook hier blijft publiceren het hoogste doel. Alle inspanningen dienen maar één ding: de Heilige Publicatie, op welk researchlab je ook werkt. Helaas komt maar een zeer klein deel van al je bloed, zweet en tranen ooit in een artikel terecht.

Zo heb ik door de jaren heen heel wat projectjes “on the side” gehad die tot grootse ontdekkingen en revolutionaire doorbraken hadden moeten leiden. Niet alleen werd mijn gehannes in het beginstadium al eens ingehaald door een sprankelende nieuwe techniek, (naast deep-sequencing stond mijn projectje, hoopvol Dharma genoemd, kansloos) maar meestal werd het gewoon alles bij elkaar niets. Helaas, zoals we allemaal weten, werkt theorie niet per se in de praktijk.

Soms werkt het gewoon niet

Waarom sommige experimenten gewoon niet willen werken blijft een raadsel. Vaak wordt de schuld gegeven aan een experiment van een collega dat stond te dampen, de hoeveelheid ozon die dag in de lucht, of de verkeerde stand van de maan. Maar meestal is er geen oorzaak, sommige dingen werken niet. Of ze hebben maanden van optimalisatie nodig wil het ergens op gaan lijken. Daarbij komt dan altijd wel weer, zodra iets volledig is geoptimaliseerd in een lab, iemand is die het al 10 jaar anders doet. Dat als de enige juiste manier ziet, en het tot in de eeuwigheid zo zal blijven doen. In de labs waar ik tot dusver heb gewerkt heb ik gezien dat overal dezelfde dingen mis gaan, en iedereen bezig is deze dingen te optimaliseren. Zoals ik al zei, verreweg het meeste van wat je ooit in een lab doet komt nooit in een artikel terecht. En dat is gewoon zonde! In vele labs op deze wereld zijn mensen met dezelfde briljante ideeën, geïnspireerd door dezelfde artikelen, dezelfde proeven aan het doen. Ik schat de kans zelfs vrij groot, dat na jaren van mijn gepriegel in het lab, waar uiteindelijk een heel ander project is voortgevloeid en warempel iets prachtigs gepubliceerd is, iemand een prachtig idee heeft gekregen. En weer bezig is met dezelfde proeven die eraan ten grondslag lagen. Al dat werk! Van al die ijverige wetenschappers in die labs over de hele wereld!

Kijk, zo moet het niet

Ik pleit daarom voor een “Journal of experiments that failed to work” (JOE FTW) waarin je helder kan publiceren hoe het dus juist NIET moet. Dan kun je eindelijk collega’s waarschuwen. Van klein: deze proef werkt helemaal niet in medium met FCS, magnesium bij deze PCR is waanzin. Tot groot: hoewel iedereen het al jaren doet, RNAi werkt niet juist op die en die manier. Tegelijkertijd laat je de wereld weten dat je helemaal niet op je luie achterste gezeten hebt de laatste jaren, het geluk was gewoon niet met je. Wetenschappers met (zo denken ze) vernieuwende ideeën kunnen nu eerst nagaan of het al niet eens geprobeerd is en niet werkt. Bespaart ze jàren aan gepruts om het werkend te krijgen, scheelt avonden, nee, weekenden overwerk en redt zo nog eens een relatie op de koop toe. Nooit meer zal diezelfde, toch niet werkende proef, herhaald en herhaald worden. Men kan zich eindelijk richten op echt nieuwe wetenschap. Ik zie een stroomversnelling aan werkelijke ontdekkingen in het verschiet.

Kanttekeningen

Uiteraard is hieraan gelinkt het al bekende probleem van de publication bias: dat wat wel werkt, maar niet significant is, of wat niet het gehoopte resultaat geeft met betrekking op de werkende hypothese of eerder gepubliceerde resultaten. Is een experiment met prachtige, reproduceerbare uitkomsten maar met een onsignificante p-waarde van 0.011 echt zo slecht? Zijn de experimenten mislukt terwijl het met een p-waarde van 0.009 in de goede tijdschriften gepubliceerd zou worden? Misschien. Maar dat is voer voor een hele nieuwe column, waar ik me vandaag even niet aan waag. Wie weet een extra sectie voor onsignificante mooie resultaten in JOE FTW.

Ik hoop hiermee mijn toch wel grootste bijdrage aan de wetenschap te leveren, lang leve de mislukte experimenten!

- Wendy, onderzoeksanalist.

[Bartjes]

Mooi idee!

Wel zijn er een paar zaken die ik mij afvraag:

- Hoe weet je dat zoiets (in de vorm van een tijdschrift of boek) nog niet bestaat?

- Kunnen we hier wellicht beginnen met een forum om te zien hoe dat uitpakt?

- Is het een idee om er ook theoretische (wiskundige en natuurkundige) benaderingen bij te pakken die niet werken?

[Marko]

Op zich een goed idee. Probleem is wel: Het kost al een hoop tijd en moeite om een artikel te schrijven over dingen die wél werken. Daarnaast ook nog alle dingen opschrijven die niet werkten trekt een zware wissel op de auteurs én de reviewers.

Dan lijkt het mij beter om de zaken die men heeft geprobeerd en die niet werkten gewoon kort te beschrijven in de supporting info. Die zijn normaal gesproken sowieso vrij toegankelijk, dus dat scheelt al.

In zekere zin gebeurt het ook al wel. Soms worden dingen die geprobeerd zijn maar niet werkten wel aangestipt. Soms vragen referees er ook naar - als iets voor de hand lijkt te liggen maar niet in het artikel staat. Dan kan het zijn dat de auteurs nog een paar regels tekst toevoegen over deze experimenten.

Tenslotte nog een andere kanttekening: Soms zijn dingen wel heel erg specialistisch. Het is dan een stuk efficiënter om je direct tot een expert te wenden, in plaats van dat die expert het publiceert ten voordele van die ene collega die er jaren later eens tegenaan loopt. Tegelijkertijd: Als veel mensen zich met vragen tot een expert wenden zal die vanzelf het een of het ander op papier zetten. Zeker als er ook een beetje inzicht (of onderbouwd vermoeden) is waarom iets niet werkt is het wetenschap zeker relevant om te publiceren.

Ik zou overigens voorstellen om het tijdschrif gewoon We Tried but Failed te noemen (WTF). Dan nemen onderzoekers de naam vanzelf in de mond wanneer een experiment niet werkt!

[mvbandit650]

Allereerst hulde collega voor een leuke bijdrage waar iedere onderzoeker zich in kan herkennen.

Het schrijven van een artikel met publiceerbaar resultaat vergt inderdaad voldoende energie van de auteur. Er zijn ook vele journals met hun eigen stijl en visie waar men uit kan kiezen, dat maakt het ook soms onnodig lastig. Een forum waarop men bijhoudt wat er al geprobeerd is lijkt mij dan ook geen slecht idee. Onderzoek is in vele gevallen echter nog geen "open source" sector. Soms werk je aan onderzoek wat (hopelijk) uniek is en het laatste wat je wil is dat andere groepen in kijkje in jouw keuken krijgen.

Maar dit geldt voor alles, als je het niet probeert, dan weet je ook niet of het werkt. Dus zet dat forum maar op zou ik zeggen. Mocht het niet het gewenste resultaat opleveren, dan kunnen we altijd nog zeggen WTF.

[DePurpereWolf]

Publiceren is niet het enigste wat heilig is in de onderzoekswereld. Wat ook belangrijk is is om financiering binnen te krijgen.

Het is makkelijker om financiering te krijgen als je kunt aantonen dat alleen jouw lab bepaalde technieken succesvol kan toepassen. De resultaten van deze technieken zijn dan inderdaad wel gepubliceerd.

Een onderzoeksgroep heeft dus baat bij een zekere know-how. En daarom is het niet zo belangrijk om de praktische methode te presenteren. De resultaten moeten natuurlijk wel geplubliceerd worden, je moet aantonen dat je het kan. Maar de precieze praktische methode, die soms heel simpel en voor de hand ligt (vochtigheid moet lager dan 50% zijn, ik noem maar iets.). Daar heb je eigenlijk niets aan, om dat te publiceren.

Je krijgt daarvoor vaak ook geen vermelding in andere publicaties, men refereert naar resultaten, niet naar methodes, want wie weet dat je die regel van 50% vochtigheid niet zelf hebt verzonnen? Je journal is geen slecht idee, maar ik denk niet dat schrijvers er uit geciteerd zullen worden.

Maar, al die experimenten die je hebt gedaan, en die niet tot een publicatie hebben geleden, dat was om jou know-how op te bouwen. Je hebt er meer van geleerd dan je denkt.

Er is inderdaad druk om te publiceren, maar zonder het praktische gedeelte, zonder het vallen en opstaan, kom je nooit aan echt goede publicaties.

[WendyTje]

Leuk dat er op gereageerd wordt! Het stukje was bedoeld als column bij de nieuwsbrief, maar de nieuwsbrief heb ik nog niet gezien? Maar het hoeft dan ook allemaal niet perse heel serieus te worden genomen. Het is meer bedoeld als uiting van een algemene frustratie in het lab.

Uiteraard hebben jullie helemaal gelijk dat het veel te veel schrijfwerk zou kosten. Maar toch.

[Ger]

Het stukje was bedoeld als column bij de nieuwsbrief, maar de nieuwsbrief heb ik nog niet gezien?

De nieuwsbrief is afgelopen vrijdag verstuurd, dus je zou hem al gehad moeten hebben. Tenzij je in je instellingen de optie "Ontvang berichten verstuurd door het beheer" hebt uitgevinkt.

Mocht je die optie toch aan hebben staan, weet je dan zeker dat je het niet in je ongewenste email hebt staan?

Overigens kun je de nieuwsbrief ook online bekijken via sciencetalk.nl/forum/nieuwsbrief

[WendyTje]

Ah ik zie dat ik nog een erg oud e-mail adres erin had staan, dat heb ik even verandert. Ik dacht eigenlijk dat hij in de inbox van het wetenschapsforum zou komen?

Maar goed, ik heb m ondertussen gevonden, en mn mail maar even aangepast.

[Wouter_Masselink]

Een bijkomend probleem is dat je je conculega's niet veel wijzer wil maken over wat je allemaal hebt geprobeerd maar niet werkt. Zodoende kan je een voorsprong behouden en eerder dingen publiceren dan anderen. Dit is niet alleen een probleem in dit voorstel maar ook in een ander voorstel wat in een ted talk ook al een keer ter sprake is gebracht.

[WendyTje]

Ik houd niet zo van die strijd, ik weet heus dat dat is hoe het werkt, en dat gescoopt worden t ergste is wat je kan overkomen, zeker als aio die al zn papers hard nodig heeft. Maar ik heb ergens toch nog een soort van ideaalbeeld in mn hoofd, dat we aan wetenschap doen voor kennis en inzicht, ten bate van ons allemaal, en dan je vorderingen stil houden zodat jij lekker de eerste bent.. het voelt gewoon niet heel nobel..

Maar ja, zo werkt het, dus je hebt gelijk.

[Bartjes]

Maar ik heb ergens toch nog een soort van ideaalbeeld in mn hoofd, dat we aan wetenschap doen voor kennis en inzicht, ten bate van ons allemaal, en dan je vorderingen stil houden zodat jij lekker de eerste bent.. het voelt gewoon niet heel nobel..

Maar ja, zo werkt het, dus je hebt gelijk.

Het is geen alles of niets kwestie, hier op het Wetenschapsforum bijvoorbeeld steken we al een deel van onze tijd in het delen van kennis, of het gezamenlijk uitwerken van een bepaald probleem.

[ProtFromKPAX]

Het idee en de gedachte er achter vind ik geweldig.

En ik denk dat we tegenwoordig daar het juiste medium voor hebben: het Internet.

Beetje naast dit topic maar ik wil het toch even melden:

wat hebben we aan al die geweldige onderzoeken (en hun resultaten) als het niet bij degenen aankomt waar het uiteindelijk om gaat? Uit eigen ervaring weet ik inmiddels dat artsen vaak slecht geïnformeerd zijn (lees: geïnteresseerd). En zijn dat niet de juiste en vaak uiteindelijke "landingsplaatsen" voor met name medische "ontdekkingen"?

Zolang het gaat om belangen als (eerste) publicatie en dergelijke dan zullen veel zaken ergens onderweg in de ketting blijven steken. Jammer.

[WendyTje]

hier op het Wetenschapsforum bijvoorbeeld steken we al een deel van onze tijd in het delen van kennis, of het gezamenlijk uitwerken van een bepaald probleem.

Een groot deel van waarom ik het hier zo leuk vind

[317070]

Het is alsof ze de gastcolumn gelezen hebben: http://standaard.be/artikel/detail.aspx?artikelid=3H3LAH1V

[Bartjes]

Het is alsof ze de gastcolumn gelezen hebben: http://standaard.be/artikel/detail.aspx?artikelid=3H3LAH1V

Leuk! Maar waarom anoniem publiceren? Het is geen schande om op dwaalwegen te belanden, per slot van rekening weet je pas achteraf dat iets niet werkt.

En waarom alleen voor de biowetenschappen, of wordt het tijdschrift algemener?

Verder zou het voor Wendy misschien wel leuk zijn om een vermelding in het eerste nummer te vragen...