Siirry pääsisältöön

Tieteellisten julkaisujen arviointi

Opas esittelee keskeiset tutkimuksen arvioinnin työkalut ja indikaattorit.

Lehtien arvioinnin indikaattoreita

Indikaattorit kuvassa: Julkaisufoorumi, Impact Factor, JOurnal Immediacy index, Eigenfactor, Article Influence, H-index, SCImago Journal Rank (SJR) & Source Normalized Impact per Paper (SNIP)

Indikaattorit esittelyssä

Julkaisufoorumi

Julkaisufoorumi on suomalaisen tiedeyhteisön toteuttama, tutkimuksen laadunarviointia tukeva julkaisukanavien tasoluokitus, joka sisältää lehtiä, kirjasarjoja, konferensseja sekä kirjakustantajia.

  • ​Neliportainen luokitus: ​1 = perustaso; 2 = johtava taso; 3 = korkein taso; 0 = kanavat, jotka eivät vielä täytä tason 1 kriteereitä
  • Luokitukset tarkistetaan 4 vuoden välein.
  • Arviointityön suorittavat tieteenalakohtaiset asiantuntijapaneelit.
  • Luotu arvioimaan tieteellistä julkaisutoimintaa määrän lisäksi myös laadullisesti.
  • Kattava, koska luokitus huomioi akateemisten alojen erilaiset julkaisukäytännöt.
  • Käytetään yliopistojen tuottamien tieteellisten julkaisujen laatuindikaattorina opetus- ja kulttuuriministeriön asettamassa yliopistojen rahoitusmallissa vuodesta 2015 alkaen.

Julkaisufoorumin luokitus on tarkoitettu suurten julkaisumäärien arviointiin eikä sitä ole tarkoitettu yksittäisten tutkijoiden arviointiin!

Impact factor (IF)

Alun perin lehtien vertailuun kehitetty impact factor on edelleen vanhin ja käytetyin lehtien vaikuttavuutta mittaava indikaattori. Clarivate Analytics omaa yksinoikeuden impact factor -indikaattoriin, ja IF-luvut ovat saatavilla ainoastaan maksullisesta, vuosittain päivitettävästä Journal Citation Reports (JCR) -tietokannasta, jonka aineisto perustuu Web of Science -tietokantaan.  

Impact factor lasketaan seuraavasti:
Lehden artikkelien kahden vuoden aikana saamat viittaukset jaetaan lehdessä samana ajanjaksona julkaistujen artikkelien määrällä.

 

Rajoitukset ja kritiikki:

  • Eri alojen lehtien viittauskertoimet eivät ole keskenään vertailukelpoisia!
  • Viittauskerroin suosii sellaisia tieteenaloja, joilla julkaisutahti ja uusiin artikkeleihin reagointi on nopeaa. Lehden IF-lukua kannattaa siis aina verrata saman tieteenalan lehtien viittauskertoimiin.
  • Paljon (review) artikkeleita julkaisevien lehtien IF-luku on yleensä korkeampi. Laajoilla aloilla on todennäköisesti enemmän hyvin paljon viittauksia saavia artikkeleita kuin suppeilla aloilla. Tästä syystä hyvin erikoistuneita aloja edustavilla lehdillä on alhaiset IF-luvut.
  • IF-luvun laskennassa otetaan huomioon vain Clarivate Analyticsin JCR-tietokantaan kuuluvien lehtien viittaukset. IF-lukuun ei siis lasketa mukaan muista lehdistä tai monografioista tulevia viittauksia, mutta lehdensisäiset itseviittaukset huomioidaan.
  • Kannattaa suosia IF-lukuja pidemmältä aikaväliltä kuin kaksi vuotta (esim. 5 year impact factor).

H-indeksi

Professori Jorge E. Hirschin vuonna 2005 kehittämää Hirsch-indeksiä käytetään lehtien arviointiin.

H-indeksi lasketaan seuraavasti:
Lehden h-indeksi on h, jos h kappaletta lehdessä julkaistuista artikkeleista (Np) on jokainen saanut vähintään h viittausta ja loput artikkelit (Np-h) ovat saaneet vähemmän kuin h viittausta.

 

  • Lehtien arvioinnissa h-indeksi lasketaan yleensä tietyltä ajan jaksolta, esim. yhdeltä vuodelta.
  • Vahvuutena se, että yksittäiset, paljon viittauksia saaneet artikkelit eivät vaikuta indeksiin.
  • Vertailukelpoinen vain tietyn alan sisällä.
  • Paljon artikkeleja julkaisevilla lehdillä yleensä korkeampi h-indeksi.
  • Käytetään myös mittaamaan tutkijan julkaisutehokkuutta ja tuotettujen julkaisujen merkittävyyttä.

Eigenfactor Score (EF)

  • Kuvaa lehden viittausvaikuttavuutta: vaikuttavuusarvo jaetaan lehden saamien viittausten lukumäärällä.
  • Ottaa huomioon erot eri alojen viittauskäytännöissä sekä painottaa viittauksia viittaavan​ lehden arvovaltaisuuden perusteella.
  • Viittaukset lasketaan viiden vuoden ajanjaksolta, lehden sisäisiä itseviittauksia ei huomioida.
  • Voidaan laskea myös kirjoille, opinnäytteille yms.
  • Saatavilla Web of Sciencen tietoihin perustuvasta Journal Citation Reports (JCR) -tietokannasta tai ilmaiseksi verkosta osoitteesta Eigenfactor.org.
  • Jos lehden Eigenfactor-arvo on 0,95, tarkoittaa se sitä, että kyseinen lehti saa 0,95 % kaikista JCR:n lehtien viittauksista.

Article Influence Score (AI)

  • Mittaa lehdessä ilmestyneen artikkelin keskimääräistä vaikuttavuutta. 
  • Lasketaan jakamalla Eigenfactor-arvo lehdessä julkaistujen artikkelien määrällä.
  • Vertailukelpoinen impact factorin (IF) kanssa.
  • Jos lehden AI-arvo on 2,51, ovat lehdessä julkaistut artikkelit n. 2,5-kertaisesti vaikuttavampia kuin keskimääräinen JCR:n artikkeli.

SCImago Journal Rank (SJR)

  • Mittaa lehden arvovaltaisuutta huomioiden lehden tieteenalan, laadun ja maineen.
  • Painottaa viittauksia sen mukaan kuinka korkea SJR-arvo lehdellä on. Jos A ja B lehti ovat yhtä suosittuja (esim. molemmilla 100 viittausta), saa lehti A korkeamman SJR-arvon, jos sen viittaukset ovat peräisin arvovaltaisemmista lehdistä kuin lehti B:n.
  • Lasketaan kolmen vuoden ajalta
  • Lehden sisäiset itseviittaukset vaikuttavat indikaattorin arvoon alentavasti.
  • Lasketaan Elsevierin Scopus-tietokannan datan perusteella, saatavilla Scopuksesta tai ilmaiseksi SCImago Journal & Country Rank -sivustolta.

Source Normalized Impact per Paper (SNIP)

  • Mittaa lehden viittausvaikuttavuutta viittauskontekstissa eli viittaavien julkaisujen ominaisuuksien perusteella.
  • Ottaa huomioon eri alojen erityispiirteet ja viittauskäytännöt.
  • Lasketaan kolmen vuoden ajalta.
  • Lasketaan Elsevierin Scopus-tietokannan datan perusteella, saatavilla Scopuksesta tai ilmaiseksi CWTS Journal Indicators -sivustolta.

 

SJR ja SNIP vertailussa:

  • SJR sopii etenkin aloille, joilla viitataan nopeasti ja joilla on selkeä ydinlehtien joukko.
  • SNIP taas arvioi lehden vaikuttavuutta paremmin heterogeenisillä aloilla, joilla lehdet eivät ole pääjulkaisukanava.
  • Korkeimmat SJR-arvot ovat biotieteissä ja terveystieteissä, korkeimmat SNIP-arvot taas tekniikassa ja yhteiskuntatieteissä.
  • Pienten ja monitieteellisten lehtien SNIP-arvoihin kannattaa suhtautua pienellä varauksella, sillä arvot voivat vaihdella paljonkin eri vuosina.

Muita lehtiarvioinnin työkaluja

Saalistajalehdet

Avoimen julkaisemisen yleistyessä ovat lisääntyneet myös saalistajalehdet, jotka käyttävät hyväksi tutkimusmaailman julkaisutahdista tutkijoille syntyviä paineita lupaamalla nopeampia vertaisarviointeja. Lehdillä on korkeat kirjoittajamaksut (APC = Author Processing Charge), mutta ne eivät tarjoa asianmukaista vertaisarviointia ja toimitustyötä. Saalistajalehdessä julkaistun tutkimuksen uskottavuus kärsii, koska tärkeä tieteellisen laadunvalvonnan prosessi puuttuu. Uuden julkaisukanavan perustamisen sijaan huijarit voivat myös luoda jo jostain viittaustietokantaan indeksoidusta lehdestä laittoman kopion tai hankkia sen laillisesti itselleen.

Julkaisufoorumin JUFO-portaali on yksi keino tarkistaa lehden luotettavuus. OA-lehtiä voi arvioida Directory of Open Access Journal (DOAJ) -palvelun avulla. Vaasan yliopistolla on pääsy Cabells Predatory Reports -tietokantaan, joka auttaa tunnistamaan kyseenalaisia tieteellisiä lehtiä.

Lähde: Avoin tiede

Saavutettavuusseloste — Opas on jaettu CC BY 4.0 -lisenssilläCC-lisenssi.Nimeä.