tisdag, juli 22, 2008

Nature vs PLoS

Declan Butler, journalist på Nature:s nyhetsdel Nature News, skrev i början av månaden en rätt raljant artikel om PLoS (Public Library of Science; en organisation som publicerar fritt tillgängliga forskningsartiklar, s.k. open access), och dess brist på lönsamhet.

Eftersom Nature är en av de traditionellt högst rankade vetenskapliga tidskrifterna, och dessutom en konkurrent till PLoS, ser kombinationen av tonläge och avsändare rätt mycket ut som att sparka på lillebror. Resultatet blev en lång och mångröstad bloggdebatt om open access, publiceringsmetoder och värdering av vetenskap (och en hel del kritik riktad mot Butler) - en mycket intressant sådan, som jag hittade först nu eftersom jag varit begravd i konferensförberedelser.

Artikeln i sig är - ironiskt och träffande nog - nu bakom Nature:s betalmur (men stora stycken finns citerade i bloggosfären). Bora Zivkovic har en bra länklista över bloggposter med reaktioner, och en bit av diskussionen finns på FriendFeed.

Butlers kritik byggde främst på att PLoS "flaggskepp" PLoS Medicine och PLoS Biology inte går med vinst efter en handfull år, men att mycket av PLoS lönsamhet kommer från den mer experimentella PLoS ONE. (Jonathan Eisen dissekerar logiken)

Vetenskapspublicering i korthet - tradition kontra open access
Alla traditionella högrankade vetenskapliga tidskrifter gör en "viktighetsbedömning" av manuskript som de får in - och returnerar det som inte anses platsa. Förutom att experimenten ska vara väl utförda och rätt representerade ska forskningsfynden i sig vara banbrytande nog för publicering. Något förenklat kan man säga att Nature och Science tar det mest banbrytande, högrankade andra tidskrifter som Cell tar det som Nature och Science ratar, etcetera - och att man som forskare skickar sin artikel till den bästa tidskrift man tror man kan komma in i. Den stora barriären, eller åtminstone den första stora barriären, är att att accepteras för granskning i de högrankade tidskrifterna - ett papper kan refuseras på flera ställen innan det slutligen kommer in.

PLoS ONE gör ingen bedömning av hur banbrytande forskningen är; bara om den är rätt utförd och representerad. Forskningsvärlden får själva göra bedömningen efteråt (dels på traditionellt sätt, genom att prata med varandra och citera, men också mer direkt genom att kommentera pappret direkt på plats). Däremot sker bedömningen av de tekniska/vetenskapliga detaljerna på samma sätt oavsett vilken tidskrift det gäller; genom peer review (dvs, granskat av andra forskare i fältet). Att kalla det "bulk publishing" med implikationen att det är undermålig vetenskap, som Butler gör, är därmed både orättvist och orättvisande (se även Lars Juhl Jensens kommentar).

Traditionella vetenskapliga tidskrifter finansieras genom (ofta fruktansvärt dyra) prenumerationsavgifter, medan open-access-tidskrifter finansieras genom författaravgifter (som inte heller är särskilt billiga). Traditionella tidskrifter är dock inte heller gratis att publicera i; oftast får du som forskare ifrånsäga dig copyright till ditt material, och vill du ha färgbilder får du betala en rätt rejäl klumpsumma extra. Den stora kostnaden är dock så klart att det är dyrt för andra att läsa om dina resultat; så mycket att varken forskare på fattigare universitet eller den intresserade allmänheten har råd att ta del av vad du gjort - men det priset mäts inte i pengar från egna forskningsanslag.

I USA finns numer ett krav på att forskning som finansieras med skattebetalarnas medel ska vara fritt tillgänglig inom en kortare tidsperiod (jag tror det är 12 månader). Det har lett till att många traditionella tidskrifterna ger forskare möjligheten att betala extra för att göra artikeln fritt tillgänglig - något som så klart ger extra politiskt bränsle till Nature vs open-access-debatten.

Vem bestämmer vad som är viktigt?
En mer intressant facett av debatten som uppstått är frågan om vem som är bäst utrustad att avgöra vad som är viktig, riktigt banbrytande forskning. Redaktörerna på tidskrifterna, eller forskare "ute i fältet"? (Även redaktörerna är forskarutbildade, och har ofta gjort en postdoc eller mer).

Föga förvånande anser redaktörerna att de gör ett stort och viktigt jobb:


"[...] We have so much more GOOD influence over the way that science comes out in the end than you will ever know. We pick the referees who we know will request specific experiments or steer the paper/authors in a good direction. Then we get feedback that the paper and field were so much more improved as a result. In some cases we work with authors for YEARS before papers are submitted to suggest experiments and lines of thought. The difference between editors at this level and PI's essentially comes down to the fact that we do the same work behind the scenes and don't need to jump up and down taking credit for it.[...]" [signerat "A former Nature editor", kommentar till denna post]

Och forskare har en tendens att tycka att de som tar sin doktorsexamen och går är de som inte klarade sig som forskare - oavsett var de hamnar (till exempel på en readaktörsstol):

"[...]Geez d00d, do you understand that one of the biggest knocks on the GlamourMagz is the fact that the editorial decisions aren't being made by respected senior (active, working) scientists? Instead of a bunch of wet-behind-the-ears punks who opted for publishing jobs because they were barely hacking it as postdocs, never mind barely making it as junior faculty?[...]" [ur bloggposten som fick den ovanstående kommentaren]
Båda de här citaten är rätt extrema exempel, men åsikterna är nog inte ovanliga i mildare form (även om inte alla delar dem). Kan man ha god kännedom om ett forskningsfält genom att läsa artiklar, diskutera med forskare och åka på konferenser - men utan det perspektiv man får genom att göra egna experiment och skriva egna artiklar? Frågan kan nog diskuteras i oändlighet, men jag har svårt att se att en godtycklig redaktör skulle vara automatiskt sämre än en godtycklig senior forskare...

4 kommentarer:

Magnus sa...

Kan man ha god kännedom om ett forskningsfält genom att läsa artiklar, diskutera med forskare och åka på konferenser - men utan det perspektiv man får genom att göra egna experiment och skriva egna artiklar?

Helt ärligt och uppriktigt tror jag att svaret på den frågan är ja. Särskilt om vi talar om att ha överblick och helhetsbild över ett forskningsfält och dess utveckling över tid. Som forskare håller man sig naturligtvis uppdaterad så gott man kan genom att följa med i de artiklar som publiceras på det egna specialområdet, men det ligger i sakens natur att man ägnar stora mängder tid åt att gräva ner sig i de egna forskningsprojektens detaljer. Det är knappast ägnat att ge ett balanserat perspektiv på fältet som helhet. Jag kan livligt föreställa mig att en duktig tidskriftsredaktör kan ha en betydligt bättre överblick över vad som är hett, intressant och viktigt än vad de flesta aktiva forskare har.

Sedan kan man ju också fråga sig hur många dåliga publiceringsbeslut som fattas av redaktörerna på prestigetidskrifter som Nature och Science. Visst, det finns massor av lysande och banbrytande artiklar som ratats av dessa tidskrifter, eller som på grund av kännedom om deras publiceringsprinciper (uttalade eller inte) aldrig skickas dit. Frågan är snarare hur många exempel det finns på motsatsen, d.v.s. artiklar som blivit publicerade i Nature, Science o.s.v. som man i efterhand kan konstatera inte var förstklassig forskning. Jag tror inte de är många.

Malin Sandström sa...

Frågan är snarare hur många exempel det finns på motsatsen, d.v.s. artiklar som blivit publicerade i Nature, Science o.s.v. som man i efterhand kan konstatera inte var förstklassig forskning. Jag tror inte de är många.
Ja och nej, får man väl säga. Det är nog väldigt, väldigt lite som är fel, så på det sättet är det nog förstklassigt - men är det som publiceras verkligen det allra viktigaste och mest banbrytande i fältet? (Och är det som ratas alltid oviktigare?)

Det senare är jag lite tveksam till. Banbrytande resultat som bryter mot tidigare känd kunskap verkar ha väldigt svårt att ta sig in och förbi viktighetsbedömningen (baserat på de anekdoter jag hört, vilket kanske inte är den säkraste av faktabakgrunder), jämfört med banbrytande prestationer som ändå är i linje med vad som är tidigare känt. Och de stora tidskrifterna verkar ha precis samma känslighet för fads som vem som helst (bland annat för "small world"-grejer, för ett par år sedan).

Erik Svensson sa...

Malin:

Jättebra bloggpost! Jag, som ingår i redaktionen för PLoS ONE, lärde mig en massa nytt, och fick bra länkar, och det är det bästa betyg jag kan ge på en bloggpost om Open Access. Jag anser mig nämligen tämligen insatt redan.

Jag vill passa på att säga att visst har det publicerats dåliga artiklar i "Nature" och "Science" som inte "borde" ha accepterats där. Inom mina fält, ekologi och evolution, så är de stora citeringsklassikerna knappast artiklar i Nature eller Science, utan snarare artiklar i American Naturalist, Evolution och Ecology. Kanske är det annorlunda i anda fält, men jag har sett åtskilliga exempel på artiklar som publicerats i "Nature" som har visat sig vara dagsländor.

(Detta är inte bara en kommentar av typen "Surt sa räven", jag har själv artiklar i "Nature" och "PNAS", men är inte säker på att de är mina bästa alster)

Malin Sandström sa...

Erik: tack!

Jag har själv fått intrycket att de riktigt spännande, banbrytande grejerna (eller deras omedelbara föregångare - t ex tekniken som möjliggör nästa papper, det som "platsar" i Nature) ofta hamnar i högrankade specialtidskrifter inom sina respektive fält, snarare än i Nature och Science. Intressant att du verkar tycka samma sak. (Men det är säkert väldigt fältberoende)

Jag har följt Open Access-debatten med stort intresse under ett par år (nästan lika länge som jag bloggat). Det händer ju saker hela tiden!