Studien bestod, i korthet, av att Nature sände ut en artikel från Wikipedia och en från Britannica (på samma ämne) till en expert som fick granska dem och komma med kommentarer om felaktigheter. Antalet felaktigheter räknades, varvid Britannica hade 123 och Wikipedia 162 (antalet grova fel räknades också, och befanns vara fyra för var och en av encyclopedierna).
Britannicas (något senkomna) svar till Nature är ett 20-sidigt dokument (pdf) som i detalj framför Britannicas alla klagomål. Natures svar (pdf) lät inte vänta på sig. Det finns några tydliga delar av diskussionen som kan behandlas var för sig:
Artikelns tvetydiga status - vetenskaplig studie eller ett stycke journalistik? Britannica kräver att Nature ska dra tillbaka artikeln, vilket vanligen är något som man gör med vetenskapliga studier snarare än vanliga (journalistförfattade) artiklar (och det sker extremt sällan). Nature påpekar (i ursprungsartikeln, och igen i repliken till Britannica) att artikeln är skriven av deras "news staff", dvs nyhetsbevakare (journalister). De flesta förknippar Nature med enbart forskningsartiklar, vilket nog har bidragit till artikelns lustiga mellanstatus. Hade undersökningen gjorts av en vanlig tidning hade den sannolikt mer framstått som journalistik snarare än vetenskap.
Vad som egentligen jämfördes. Den faktiska jämförelsen gjordes mellan innehåll på Wikipedias respektive Britannicas webbsidor, inte mellan Wikipedias webbinnehåll och Encyclopaedia Britannicas tryckta version. Det står också i Natures originalartikel (men kan kanske tänkas gå många läsare förbi). På Britannicas webbsidor finns inte bara text från själva "huvudlexikonet" Encyclopaedia Britannica, utan också från barnlexikon och årsböcker. Ett antal av Britannicas klagomål grundar sig på att man valt en barnlexikon- eller årsbokstext istället för en encyclopedi-text, på vilket Nature svarar att man tagit texter som kom upp när man sökte efter nyckelordet ifråga. Rimligtvis kan man tycka att det är Britannicas ansvar att all text tillgänglig via deras webbsida är korrekt - det är knappast troligt att den vanliga användaren kommer göra stor skillnad i tilltro till materialet beroende på om det kom från en årsbok eller encyclopedi-text, inte så länge som de publiceras under Britannicas namn och man litar på Britannica.
Vad som inte jämfördes. Britannica klagar på att man inte beaktat sådant som textens kvalitet och läsbarhet. Det ingick inte i studien, och det är klart att det antagligen skulle ha vridit resultatet mer åt Britannicas fördel om det hade gjort det (en text skriven av en författare, eller av ett fåtal i tätt samråd kommer sannolikt i genomsnitt bli mer sammanhängande och konsistent än en skriven stegvis av måna oberoende författare). Men det påstås inte heller i Nature:s artikel att det var textkvaliteten som jämfördes. Man jämförde också vetenskapligt intriktade artiklar snarare än generella, vilket likaledes lär vara till Wikipedias fördel i och med att det nog är ett större gap mellan generella artiklar än mellan vetenskapliga specialistartiklar i de två encyclopedierna. Å andra sidan är det ju vetenskap Nature sysslar med, det vore fånigt att förvänta sig att undersökningen skulle fokuseras på till exempel kultur eller sport.
Vem som egentligen har det yttersta tolkningsföreträdet. Britannica klagar även över att Nature inte dubbelkollade sina experters utlåtanden, och bara hade utlåtandet från en expert per artikel ("Nature assumed that what its reviewers said was true and, when it contradicted something in the Britannica, that the reviewer was right and Britannica was wrong"). Samtidigt baserar man flera av sina klagomål på argument av typen "vår artikelförfattare N.N. håller inte med om expertens utlåtande". Vad är det, om inte att göra exakt samma sak? Det verkar av en sådan kommentar inte som att Britannica har dubbelkollat författarens utsaga, och man stöder sig likaledes bara på en persons uttalande.
Det framgår över huvud taget tydligt att Britannica anser sig ha högre auktoritet än någon enskild expert, och att man utgår från att en redaktör per definition är mer objektiv än en enskild expert:
"Among other things, while it is important to engage "reviewers who were highly qualified," that alone is not enough: as every editor at Britannica knows, even the assertions of experts must be confirmed and their observations considered in the proper context for a general-reference work like Britannica. Nature failed to take these and so many of the other steps that would have been required to make its research valid."
Jag har svårt att tro att alla redaktörer verkligen är så über-objektiva (eller så retar jag mig möjligtvis en smula på den synnerligen självgoda tonen). Värt att ta med i beräkningen är också att mycken bedömning av (nyproducerad) forskning faktiskt inte är mycket mer objektiv än såhär: en nyproducerad artikel som är påtänkt för publicering sänds ut till ett fåtal reviwers (experter), vilkas omdömen oftast helt avgör om artikeln godkänns eller inte (vill de att dina figurer ska se ut på ett visst sätt är det bäst att åtgärda dem - oavsett om de redan är "rätt"). Ofta kan en experts ogillande fälla en artikel, och man får skicka den någon annanstans i hopp om att få en grupp experter med annan inställning.
Intressant är, för övrigt, att Britannica inte någonstans nämner det som kanske var det mest intressanta i Nature:s originalartikel: att Britannica och Wikipedia hade lika många grova fel, fyra var.
Och för övrigt är det fånigt att tro att en jämförelse på 42 artiklar säger så mycket om förhållandet mellan encyclopedier med många, många tusen artiklar var. Oavsett om man studerar en webbversion eller tryckt version av den ena.
Patrik på Suburbia har skrivit om detta igår, och noterar att den som skriver i tidningen The Register om Britannicas och Wikipedias konflikt är en välkänt Wikipedia-fientlig reporter (med en egen artikel i Wikipedia, såklart). Times Online har en betydligt mer neutral artikel.
Länkar
Natureartikeln
Britannicas svar (pdf)
Natures svar på det (pdf)
Times Online
The Register
