Kolika je točnost Wikipedije

Svjedoci smo nebrojenih situacija u kojima smo morali doznati informacije o nekomu ili nečemu u svega par minuta. Naravno, svatko tko ima bilo kakvo računalo pri ruci ili smartphone i pristup internetu posegnuo je za Wikipedijom jer, budimo iskreni, tko će sada izvlačiti s police prašnjavu enciklopediju i u moru stranica prepunih sitnih slova pronaći nešto što nam treba? Ipak, živimo u doba kada je tehnologija ušla u svaki segment našeg života, i ne bunimo se zbog toga, ali koliko možemo biti sigurni da su te informacije na Wikipediji točne, ispravne, pouzdane.

Od kada je Wikipedije, a to je deset godina hrvatskog izdanja i dvije više engleskog, traju rasprave o kvaliteti i pouzdanosti njezinih informacija. Kada znamo da njen koncept dozvoljava svakoj internetskoj lutalici da u tri klika mišem anonimno objavi što god mu padne na pamet, sasvim je opravdano da smo skeptični. Tko mi brani da upravo sada odem na njezine stranice i, recimo, nevjerojatnog Hulka proglasim autorom hrvatske himne. Baš nitko. Barem ne odmah.

U posljednje vrijeme hrvatska javnost bombardirana je vijestima o netočnim informacijama na hrvatskoj Wikipediji. Čak je i jedan od njezinih bivših suradnika pokrenuo Facebook stranicu “Razotkrivanje sramotne hrvatske Wikipedije” koja je postala platforma za ispoljavanje nezadovoljstva. I dok se iz dana u dan proteže saga prepucavanja bivših i sadašnjih wikipedista, a učenici i studenti u toj gunguli samo zbunjeno tragaju za pouzdanim izvorom informacija, okupljen je tim od 24 stručnjaka kako bi se provelo istraživanje o kvaliteti enciklopedijskog sadržaja.

Samo ćemo se nakratko, usporedbe radi, prebaciti na Otok i vidjeti kakva je tamo situacija. Gledajući Wikipedijine rezultate, a čest su predmet znanstvenih članaka, stvari tamo i nisu tako loše. Naprotiv, krenuvši od 2005. i prvog zapaženijeg članka uglednog britanskog novinara Jima Gilesa „Internet encyclopaedias go head to head“, objavljenog u časopisu Nature, Wikipedija se po točnosti pokazala usporedivom s enciklopedijom Britannicom. A znamo da Britannica ima izuzetno dugu i poštovanu tradiciju.

Tim istraživanjem dobiven je ključan podatak da na prosječne tri pogreške po članku u Britannici dolaze četiri u Wikipediji. Dakle, samo nešto lošije, no vrlo usporedivo. Međutim, ono što nas zanima je kako stoje stvari u hrvatskim 
enciklopedijama. 

Enciklopedije u ratu brojevima

U okviru šireg istraživanja tim od 24 akademska, znanstvena i stručna suradnika koji su usporedili kvalitetu hrvatskog izdanja Wikipedije s tradicionalnom uređenom – Hrvatskom enciklopedijom Leksikografskog zavoda Miroslav Krleža.

Oni su na pažljivo odabranom uzorku od 500 članaka usporedili kvalitetu sadržaja obiju enciklopedija. Možda je zgodno spomenuti da je tim sastavljen od članova dobi u rasponu od 28 do 62 godine, što predstavlja skupinu koja generacijski nije nužno sklona niti jednom od enciklopedijskih koncepata. Rad na Hrvatskoj enciklopediji započet je 1999., a završen je 2009.

U tih deset godina Hrvatska enciklopedija sakupila je 68.718 članaka, nasuprot 139.191 koliko ih je Wikipedija imala sredinom srpnja ove godine. Dakle, u deset godina Wikipedija je dvostruko premašila tiskanog takmaca.

Ako tome dodamo da su njeni članci u prosjeku tri puta duži, slobodno je možemo proglasiti pobjednicom u kategoriji sadržajnog opsega. No, pogledajmo kako stvari stoje kad se sagleda točnost iznesenog sadržaja. Stručni tim imao je zadatak pronaći pogreške u člancima i klasificirati ih kao veće ili manje. Većom pogreškom smatrale su se činjenične pogreške koje znatno utječu na kvalitetu članka, odnosno na razumijevanje teme koja se obrađuje. Manje pogreške su opetfaktičke pogreške, no one nisu presudne za razumijevanje same teme.

Rezultat na temelju uzorka je sljedeći: Wikipedija sadrži 74% članaka u kojem nije nađena niti jedna pogreška. Daljnjih 10,5% ih je sadržalo samo jednu manju pogrešku, što se može prihvatiti kao „relativno bezgrešno“, te pribrojati prvoj skupini članaka. Time dobivamo pouzdanost Wikipedije od 84,5%. Hrvatska enciklopedija, bilježi rezultat točnosti od 83,33% „potpuno bezgrešnih“ članaka i još 9,35% relativno.

Zbroj ovih udjela koji daje pouzdanost Hrvatske enciklopedije iznosi gotovo 93%. Možda će nekog zanimati pogled s druge strane, kakav je odnos pronađenih pogrešaka. Tada možemo reći da na jednu veću pogrešku tradicionalne enciklopedije dolaze čak više od dvije pronađene u Wikipediji. Točnije 1:2,25, što je bitno lošiji rezultat nego Gilesova komparacija engleskog Wiki izdanja s Britannicom, koja iznosi 1:1,33. 

Analiza članka o Wi-Fi 

Što se tiče termina iz područja tehnologije nismo pronašli neke velike greške. Primjerice, u članku o WI-FI više informacija smo pronašli na Wikipediji nego u hrvatskoj enciklopediji. No loše strana Wikipedijinog članka je ta što se u tom članku WI-Fi definira samo u užem smislu.

Usput da spomenemo potpuno nadzirani tip sadržaja baziranogna wiki platformi kao što je naša VIDIPEDIJA gdje postoji 1200 ipak uređenih i kontroliranih tehnoloških članaka pa je greška svedena na minimum kao i mogućnost vandalizma u smislu namjernog unošenja krivog sadržaja. Točnostpodataka nije jedini element kvalitete koji nas je zanimao.

Enciklopedijski članci uspoređeni su i prema drugim kriterijima:  Dostatnosti u kojem su ocjenjeni da li su dovoljno informativni. Usmjerenosti, da li se drže same teme ili zalaze u nepotrebne druge teme. I na kraju objektivnosti, da li su nepristrani i iznose neutralno gledište. Svakom od ova tri kriterija dana je ocjena od jedan do tri. Jedinica je predstavljala odličan članak koji u potpunosti ispunjava zadan kriterij, dvojka djelomično udovoljenje i na kraju trojka nezadovoljavajući rezultat (vidi graf).

Graf prikazuje dobivene rezultate, i ovdje opet vodi Hrvatska enciklopedija, pogotovo što se tiče dostatnosti – 94% članaka dobilo je zadovoljavajuće ocjene, nasuprot 83% wikijevih. Objektivnost je izuzetno dobra kod obje enciklopedije, tek je 2% članaka Wikipedije smatrano pristranim i niti jedan iz tradicionalnog izvora.

Rad dobrovoljaca

Koja je budućnost enciklopedija - znanstvena aristokracija ili internetski proleteri? Nakon podrobne analize 500 članaka stručni tim utvrdio je trenutnu kvalitativnu prednost tiskanog izdanja naspram hrvatskog izdanja Wikipedije. No, to ne znači da je Wiki koncept loš ili lošiji. Prikazani rezultati vezani su uz hrvatsko izdanje, a onoprema broju uređivanja pojedinog članka zaostaje za engleskim ili hebrejskim koje je sličnog broja članaka kao i naše.

Broj uređivanja je ključan za slobodnu enciklopediju jer i je stvorena na načelu „puno očiju pronaći će pogrešku“. Postoje druge vrlo jake strane novog koncepta. Jedna od najznačajnijih je dostupnost i utjecaj.

Teško je točno usporediti dostupnost tradicionalnog i slobodnog izdanja, no u svrhu ovog istraživanja provedena anketa nad studentskom populacijom pokazala je da tek svaki dvadeseti koristi neku od tradicionalno uređenih enciklopedija, bilo u tiskanom bilo u internetskom izdanju.Što enciklopedijama donosi budućnost? S dosta velikom sigurnošću možemo reći da niti jedan od koncepata neće preživjeti u obliku u kojem danas postoji.

S jedne strane, tradicionalni je prespor i suviše skup, a s druge strane, slobodne enciklopedije imaju svoje Ahilove pete – prevelika količina informacija, nepouzdanost izvora pa čak i vandalizam (namjeran unos pogrešnih podataka).

Tri klika mišem

Rješenja se već pojavljuju. Wiki zajednica već neko vrijeme provodi recenzije članaka i razvrstava ih u kategorije. To su one zvjezdice koje ispred nekih članaka označavaju najvišu, FA (feature article) klasu. No, kako je i to presporo za milijune članaka, u pomoć dolazi i strukturirano pisanje razumljivo umjetnoj inteligenciji.

Danas su pokrenuti projekti DBpedia ili Wikidata koji svojom strukturom, osim korisnicima, omogućavaju razumijevanje i računalnim algoritmima koji mogu pomoći pri uređivanju. No, to je neka druga priča, ali ni tada ništa bez dobrovoljaca. Stoga, okušajte se kao Wiki urednik i dajte obol svjetskom znanju – od toga vas dijele samo tri klika.

Koja je pogreška veća, a koja manja

Primjer veće činjenične pogreške na hrvatskoj Wikipediji: „Šećerima se nazivaju probavljivi ugljikohidrati.“ Takva definicija nije ni točna ni precizna i njenim prihvaćanjem korisnik raspolaže pogrešnom informacijom što sušećeri. U hrvatskoj enciklopediji pronašli smo manje činjeničnu grešku: „Gordijan je poginuo u Kartagi“. Točan je podatak da je Gordijan poginuo u bitki kod Kartage, a ne u samom gradu. Iako je navedena faktografska pogreška,ona ne kompromitira ukupnu informativnost članka.

Kako se provelo istraživanje

Istraživanje kvalitete enciklopedijskog sadržaja okupilo je tim od dvadeset i četvero recenzenata sa stručnošću u pojedinom polju. Kriteriji prilikom njihova odabira bili su formalno obrazovanje (većinom doktori ili magistri znanosti) i aktivan istraživački ili istaknut praktični rad vezan uz određeni sadržajni segment.

Sama recenzija provedena je nad 500 članaka (250 parova) odabranih slučajnim uzorkom u pojedinim sadržajnim kategorijama kao što su “kultura”, “prirodne znanosti” ili “povijest i biografije”. Kako bi se osigurala što veća vjerodostojnost istraživanja, nad prikupljenim rezultatima provedena je statistička obrada kojom su isključeni rubni rezultati, dio rezultata dvostruko je recenzentski provjeren, a statistička značajnost ispitana je standardnim t-testom.

Različiti jezici, različite Wikipedije

Wikipedija nije jedinstvena enciklopedija, njena jezična izdanja uvelike se razlikuju po veličini ali i kvaliteti članaka. Tako najveće, englesko izdanje, s više od 4 milijuna članaka, aktivno uređuje oko 130 tisuća suradnika, dok je naše hrvatsko mnogo skromnije.

Trenutno sadrži 140 tisuća članaka s petstotinjak aktivnih suradnika. Zanimljivo je da su naši susjedi Slovenci pri vrhu kada se gleda omjer registriranih Wiki suradnika u odnosu na broj izvornih govornika - čak svaki dvadeseti Slovenac prijavljen je kao wikipedist. No niti mi nismo loši kod nas je taj omjer 1:45. Wikipedija, kao okvirni element kvalitete, koristi mjeru nazvanu dubina (depth).

Tom mjerom izražena je vrijednost nastala izračunom niza statističkih parametara kao što je prosječan broj uređivanja članka, broj suradnika na njima i popratnih stranica. Prema toj mjeri, kvalitetom neprikosnovena je engleska Wikipedija kod koje depth iznosi 789.

Ovdje nažalost uvelike zaostajemo, i naš depth iznosi svega 35. Na kraju svakako treba spomenuti utjecaj Wikipedije. Svaki dan se u prosjeku pojavi tridesetak novih wiki članaka na hrvatskom i oko tisuću na engleskom jeziku. Potražnja potonjeg izdanja zaista je velika – 3 tisuće stranica otvori se svake sekunde što je svrstava na šesto mjesto po posjećenosti u svijetu!

Piše: Ozren Kubelka