Impact factor – uniwersalizm i rzetelność oceny

Impact factor – uniwersalizm i rzetelność oceny

Rafał Patryn, Andrzej Grzybowski

Wprowadzenie

Wskaźnik Impact Factor (IF) określa siłę oddziaływania wybranych czasopism naukowych. Od lat 40 ubiegłego wieku mamy do czynienia z burzliwym rozwojem naukowym i technologicznym. Wspólną płaszczyzną wymiany pomysłów, nowych odkryć, badań, czy teorii stały się czasopisma naukowe.[1,2] T. Kuhn w książce pt. Struktura rewolucji naukowych, stwierdził, że „zmiany cytowań literatury specjalistycznej w publikacjach można rozpatrywać jako przypuszczalny symptom rewolucji naukowych”.[3] Trzeba zgodzić się z tym stwierdzeniem, współczesna nauka bazuje na różnorodnych ocenach i jest wyznaczana przez pryzmat wiedzy którą prezentuje w publikacjach naukowych. Koncepcja określenia rangi czasopisma naukowego przez liczbę cytowań została zaproponowana już w latach 30 ubiegłego wieku.[4] Następnie E. Garfield zasugerował, że można mierzyć siłę wpływu czasopisma poprzez cytowane za nim artykuły.[5] Wprowadzono pierwszy Garfield Science Citation Index analizujący 613 czasopism i 1,4 mln cytowań.[6] Wskaźnik (IF) jest narzędziem oceny jakości czasopisma okresowo monitorowanego przez firmę – Thomson Scientific.

Uniwersalizm wskaźnika IF

Wskaźnik IF pozwala na porównywanie ze sobą czasopism naukowych.[7] Duża liczba cytowań jakiejś publikacji naukowej może również wskazywać na określony trend pojawiającej się innowacji naukowej (nowej idei, metody, odkrycia). Zarządzanie wskaźnikiem wpływu jest od 1992 roku w rękach firmy Thomson Reuters. Dodatkowo jest wskaźnikiem bardzo łatwym do sprawdzenia, poprzez internetowy dostęp do danych czasopism naukowych, które przeszły proces oceny przez instytucję naukową Institute of Scientific Information– firmy Thomson Reuters.[8] Obliczenie wskaźnika polega na przeanalizowaniu (w formie tradycyjnej i internetowej) setek tysięcy artykułów, tak by odnaleźć określone cytowania artykułów zamieszczone w czasopismach naukowych, które pojawiły się w ciągu ostatnich dwóch lat. Wynik tych poszukiwań, poddaje się obliczeniu (IF=A/B), gdzie licznik (A) to ogólna znaleziona liczba cytowań artykułów z danego czasopisma, natomiast do mianownika (B) wprowadzana jest liczba artykułów opublikowanych w tym czasopiśmie w okresie dwóch poprzednich lat. W wyniku podziału licznika poprzez mianownik otrzymuje się liczbę dziesiętną, która stanowi omawiany wskaźnik (IF). Jest oczywiste, że otrzymany wynik jest bezpośrednio związany z ilością cytatów, im ich jest więcej tym wyższa wartość współczynnika wpływu.[9,10,11] Analizując obszary wiedzy na liście przodują czasopisma z zakresu: biologii, biochemii, medycyny, fizyki. Im więcej cytowań artykułu, bądź artykułów z określonego czasopisma, tym większa jest wartość współczynnika IF. Należy podkreślić, że wskaźnik  IF jest przede wszystkim zobrazowaną miarą użyteczności, a nie jakości naukowej czasopisma, czy artykułu. Dlatego porównań wysokości wskaźników należy dokonywać pomiędzy czasopismami o tym samym profilu (o tych samych dziedzinach wiedzy).[12] Najbardziej punktowane czasopisma ze specjalistycznych dziedzin np. z okulistyki jak Progress in Retinal and Eye Research (IF 8.733) zawsze będą miały niższy wskaźnik IF, niż czasopisma ogólno- medyczne jak np. Lancet (IF 45.217). Dlatego też wiarygodność IF jako wskaźnika jakości czasopisma jest dyskusyjna.[13, 15]

Obiektywność i rzetelność wskaźnika IF

Journal Citation Reports Thomson Scientific (jeden z 4 działów firmy Thomson Reuters) ogłasza swoje listy IF obejmujące blisko 12 000 (2014 rok) największych na świecie recenzowanych czasopism w około 237 dziedzin nauki.[14,20]  W naukach ścisłych figuruje 8618 czasopism, a w naukach społecznych 3143.[15,20] W roku 2014 łącznie 272 czasopism otrzymało swój pierwszy IF, 53 % czasopism odnotowano wzrost IF z ubiegłego roku, a w przypadku 43 % czasopism nastąpił spadek wysokości wskaźnika. Dodatkowo 39 czasopism zostały zawieszone w celu zapewnienia integralności sprawozdań.[16,20] Należy zauważyć, że obliczanie wskaźnika IF może być stronnicze.[15] Analiza 7528 czasopism wykazała, że około 300 tematów wiodących stanowią nie więcej niż 50% całkowitej liczby cytatów.[20, 21, 29] Dla około 90% wartości wysokiego IF czasopisma Nature zdecydowało tylko 25% artykułów w nim opublikowanych. [17]  Czasopismo o najwyższym IF – CA-A Cancer Journal for Clinicians opublikowało w 2011 roku tylko 19 artykułów z liczbą cytowań 4 228 (w 2014 roku: 26 artykułów z liczbą cytowań 18 596, przy współczynniku IF 115.840).[18] Najczęściej cytowanym artykułem jest praca z 1951 roku pt: Protein measurement with the Folin phenol reagent, autorstwa O.H. Lowry, N.J. Rosebrough, A.L. Farr i R.J. Randall,
z prawie 300 000 odsłonami (cytowaniami).[19,15,20] Analizując powyższe uwarunkowania trzeba wiedzieć, że obliczenia statystyczne, czyli typowo ilościowe wraz ze swoimi różnymi korelacjami mogą obrazować dany wynik, jednak jego szersza interpretacja zależy od wielu czynników i określonego kontekstu. W samej metodzie liczenia wskaźnika IF trzeba mieć świadomość, że tylko artykuły oryginalne, przeglądowe, opisy przypadków są głównie umieszczane w danym periodyku. Jednak treść czasopism jest często rozbudowana o otrzymane przez redakcję: komentarze, edytoriale (artykuły wstępne), korespondencje (listy do redakcji), nekrologi, polemiki, krótkie raporty z badań. Te elementy też są często cytowane za czasopismem w którym się znajdują.[22] Jednak przy sposobie obliczania cytowań, te dokumenty nie widnieją jako samodzielne publikacje, mimo iż są często cytowane (z racji znaczenia periodyku w którym się znajdują), czyli z punktu widzenia statystyki związanej z liczeniem cytatów są wliczane do IF czasopisma. Również cytaty artykułów wycofanych z różnych powodów figurują w obliczeniach wskaźnika IF czasopisma.[23] Inne dokumenty, które nie są typowymi artykułami naukowymi są także cytowane, tym samym zwiększają sumaryczny IF czasopisma. Mogą to być niepełne opracowania takie jak: oryginalny artykuł z badań pilotażowych, raporty z mniejszą ilością danych statystycznych, czy krótkie raporty umieszczane w sekcji informacyjnej.[23,24] Także w związku z samą zasadą obliczania IF, może dojść do procesu mającego wpływ na jego wartość. Zwiększony wolumin (objętość) czasopisma Lancet w 1997 roku zmniejszyło jego IF. Natomiast jest zauważalny i proces odwrotny, czyli w przypadku zmniejszenia objętości publikacji zwiększa się jego IF. Dlatego, redaktorzy powinni ograniczyć liczbę umieszczanych dokumentów innych niż artykuły oryginalne, chyba że są one na wyjątkowo wysokim poziomie.25 W takim przypadku redakcje mogą się zdecydować na umieszczanie prac z nurtu aktualnych priorytetowych badań prowadzonych na świecie, z nurtu określonej polityki naukowej, czy społecznej, czy też wybierając tematy modne w danym okresie. Obliczanie wskaźnika IF nie jest jedyną przeszkoda w jego obiektywności. Praktycznie od czasów jego wprowadzenia podnosi się krytykę aspektów metodologicznych w obliczaniu wskaźnika, mianowicie:

1. brak oceny jakości cytowań[26]
2. włączenie do cytowanych dokumentów auto – cytowań (cytowanie własnych prac)[27, 28, 29]
3. analiza publikacji w języku angielskim.[30]

Analizując tezę, że jakość ukazywanych artykułów w czasopismach niekoniecznie jest związana ze wzrostem IF, trzeba także przytoczyć dalsze elementy wieloaspektowej krytyki tego wskaźnika.[31,50] W analizach ukazano zależność wskaźnika od różnych społeczno-politycznych klimatów na świecie. Oznacza to, że na poziomie konkretnej dyscypliny, system czasopisma jest wrażliwy na wydarzenia badawcze. Ogólna charakterystyka czasopism wyraźnie pokazuje przewagę 3,3% rocznego wzrostu wskaźnika na podstawie tematyki dotyczącej różnych klimatów społeczno-politycznych (np. ekologicznych).[23] Ze względu na to, że IF nabrał komercyjnego znaczenia, redakcje niektórych czasopism dążą do utrzymywania lub podwyższania wartości wskaźnika poprzez publikowanie artykułów o tematyce, która jest popularna i będzie cytowana przez innych, kosztem oryginalnych, nowatorskich, „przełomowych” propozycji. Te ostatnie zwykle spotykają się z oporem i potrzebą kilku lat, aby ich wartość została dostrzeżona i uznana. Tym samym wyjątkowe artykuły raczej obniżają wartość IF niż go podwyższają, jako że horyzont czasowy obliczania IF jest dwuletni, co oznacza, że artykuł który ma więcej niż dwa lata nie trafi do wzoru obliczeń IF. Ma to duże znaczenie w przypadku dziedzin, w którym postęp nie jest tak dynamiczny.[32] W przypadku niektórych czasopism mała liczba artykułów w danym numerze czasopisma w dwuletnim okresie oceny, nie ma znacznego wpływu na wysoki wskaźnik IF. Także sam rozwój technologii ma wpływ na omawiany wskaźnik. Odkrycie nadprzewodnictwa wysokotemperaturowego w tlenkach metali w 1986 roku przez J.G. Bednorza i K. Mullera, (które przyczyniło się do nagrody Nobla) i związane z tym cytowania w publikacjach wzrosły wraz ze wzrostem wykorzystującej to zjawisko technologii w latach 90 dwudziestego.[21] Zespół redaktorów Thomson Scientific analizuje tysiące czasopism rocznie do oceny ich wartości w bazach danych. Tylko około 10% z tych czasopism są wybrane do zamieszczenia. Proces oceny jest niezależny od modelu biznesowego lub dostępu czasopisma.[33] Artykuły liczone w cytowaniach, są wyznaczane poprzez ich ocenę przez pracowników Thomson Scientific. Badają oni czasopisma za pomocą różnych standardów odniesienia (aktualność, konwencje edytorskie, wzajemna ocena) i różnych  bibliograficznych kryteriów. Sam proces kwalifikacji artykułów określa tylko te artykuły, wyznaczone przez Thomson Scientific jako podstawowe i przeglądowe, czy opisy badanych przypadków.[33] Dlatego też w niektórych czasopismach jest stosowana polityka mającą na celu podwyższanie IF niekoniecznie idące w parze ze wzrostem jakości czasopisma. Polega na skłanianiu potencjalnych autorów artykułów do cytowania przede wszystkim artykułów, które ukazały się w tym czasopiśmie wcześniej i posiadają już IF. Stosuje się politykę dokładnej analizy biografii i autorów, aby ocenić prawdopodobieństwo cytowań. Oznacza to, że mało znani autorzy mają mniejsze szanse, że ich artykuły, mimo że wartościowe naukowo, zostaną opublikowane.[34]  Następnie artykuły przeglądowe, które mają mniejszą wartość twórczą, są rzadziej cytowane niż artykuły oparte na wąskich badaniach.[35] Dlatego niektórzy wydawcy mogą negocjować z Thomson Scientific zmianę tych oznaczeń na ich korzyść (negocjacji nie są dostępne do publicznej wiadomości). Przykładowo Journal of Environmental Quality w 2003 r, aby powstrzymać spadek wartości wskaźnika zdecydowało się położyć większy nacisk na publikację omówień.[23] Także sama dziedzina ma wpływ na częstotliwości cytowań. Czołowe czasopisma należą przede wszystkim do takich dziedzin jak biologia czy medycyna, gdzie występuje większa tendencja do powoływania się na inne publikacje niż w przypadku fizyki.[35,50] Na forum dyskusyjnym Stowarzyszenia Wydawców Recenzowanych Czasopismach Medycznych pojawiały się zdania, że IF nie mierzy jakości czasopisma, ale tylko częstotliwość cytowania, co stanowi potem przedmiot różnych kalkulacji.[36,8] Analizując z kolei częstotliwość cytowania artykułów zaobserwowano zjawisko polegające na tym, że tylko 20% artykułów może odpowiadać za 80% cytowań. [8] W takim przypadku ogólna częstotliwość cytowania i wiek cytowanej literatury ma duże znaczenie.[37,38]  Wydawałoby się, że zasada „produkowania” wielu cytatów w dużej liczbie cytowanych artykułów powinna się sprawdzić, jednak niektóre artykuły z małych obszarów tematycznych mogą mieć niezwykły silny wpływ na określoną dziedzinę naukową.  Publikacja P. Chomczyńskiego pt. – Single-step method of RNA isolation by acid guanidinium thiocyanate phenol chloroform extraction,  opublikowana w 1987 r. w czasopiśmie Analytical Biochemistry (IF 2,174), opisująca metodę wyodrębnienia (izolacji) RNA z próbki biologicznej, była do 2002 r. najczęściej cytowaną pracą naukową w dziedzinie nauk biologii i biochemii (łącznie praca była cytowana ok. 50 000 razy).[21,49]  Od roku 2004 jest zauważalny wzrost cytowań czasopism z dostępem otwartym (OA), czyli poprzez strony internetowe. Jest to bezpłatny i szybki dostęp dla każdego zainteresowanego poprzez adresy do cyfrowych form zapisu treści naukowych. Od 2004 roku, aż pięć z sześciu obszarów tematycznych wskazuje na wzrost liczby czasopism cytowanych, które się ukazują w formule OA. Największy wzrost był dla tej formy dostępu w fizyce, naukach technicznych i matematyce. Medycyna wykazała wzrost tylko 14 tytułów. W przeciwieństwie do tego, nauki społeczne, humanistyczne i nauki o sztuce miały tylko po kilka tytułów.[32] Jednak są i wyjątki związane z czasem emisji danego czasopisma. Na przykład, British Medical Journal, z ponad 170 laty nieprzerwanych publikacji, jest jednym z najstarszych w bazach cytowań, mimo, że znaczna część cytowań artykułów z tego czasopisma jest starsza niż możliwość dostępu w formule OA.[32,30,39] Dodatkowo na IF wpływa również czas recenzji rękopisu. Jeżeli proces ten trwa relatywnie długo lub występują opóźnienia, cytowania z nich mogą nie znaleźć się już w aktualnym czasopiśmie punktowanym IF.[23] Uwarunkowania związane ze znaczeniem wskaźnika IF może być też przedmiotem manipulacji przez redakcje określonego czasopisma.[40,41] Przykładowo redaktor, który posiada dwie równie dobre prace z epidemiologii, jedną na temat raka płuc, drugą na temat chorób wątroby, może być nieobiektywny w wyborze wiedząc, że istnieją setki prac epidemiologów na temat raka płuc, ale są tylko nieliczne opracowania dotyczące wątroby. Ostatnio wskaźnik oceny czasopisma przekształcił się w indeks do oceny prac, a nawet do oceny autorów, którzy piszą artykuły publikowane w określonym czasopiśmie. Stało się powszechną praktyką w przypadku instytucji akademickich i naukowych, że według tego kryterium przyznaje stopnie naukowe, nagrody pieniężne i określone stanowiska.[15,50]

Pomysły na alternatywną ocenę

1. Garfild, który zauważył rosnące kontrowersje wokół wskaźnika IF, proponuje aby uporządkować praktyki cytowania według takich zmiennych jak: dziedzina badawcza (dyscyplina) i praktyki dotyczące cytowań takie jak: gęstość cytowań (gęstość cytowań to liczba cytowanych odnośników przypadająca na artykuł) i wskaźnik zwany „połową życia.”[12,13] Wskaźnik „połowa życia” uwzględnia czas emisji danego czasopisma, dla czasopism psychologicznych będzie znacznie dłuższy, niż dla czasopism z biologii molekularnej i astronomii.[12,13] Dlatego poszukuje się alternatywnych oraz uzupełniających wskaźników do oceny czasopism, liczby cytowań, lub samych autorów.[42, 23] Proponuję się nowe narzędzia związane z ocenianiem, nowe sposoby liczenia punktów, czy przezwyciężenie występujących reguł parametryzacji publikacji naukowych. Ze względu z możliwość występowania takich samych nazwisk, czy oznaczeń wprowadzono system indywidualnego oznaczenia autora ORCID. Specjalny kod jest własnościowym alfanumerycznym oznaczeniem do jednoznacznej identyfikacji naukowców. W praktyce można uniknąć wielu pomyłek, przykładowo: system identyfikatora będzie rozróżniał autorów, którzy dzielą z różnych powodów to samo nazwisko (czy oznaczenie).[43] Kod może być przypisany dla każdego naukowca na świecie poprzez 16-cyfrowy niepowtarzalny identyfikator. Rozwiązania dotyczące indywidualnych oznaczeń mają na celu przeciwdziałanie możliwym pomyłkom związanym z podobnymi (czy bliźniaczymi) nazwami i oznaczeniami. Kolejną propozycją zastosowania dodatkowego wskaźnika jest propozycja stosowania mediany, czyli wyliczonego najszerszego obszaru zwanego też wartością środkową (mediana impact factor). Również proponuje się alternatywne pomiary oddziaływania czasopisma wykorzystujące obliczenia statystyczne w bibliometrii, takie jak: pole wyniku wpływu, skorygowany impact factor, impact factor półtrwania cytowania, impact factor dyscyplinarne, impact factor autora, eurofactor (impact factor dla europejskich czasopism), page rank, h-index, g-factor.[38,44,23] Także w teorii postuluje się ograniczenie wpływu redaktorów czasopism na możliwość opublikowania pracy. Przyjęcie pracy naukowej do procesu publikacji powinno opierać się na mechanizmach rynkowych. Ograniczenia wydawnicze powinny być minimalne, a sam czytelnik, który jest naukowcem, powinien mieć możliwość oceny dokumentów i odwołania się do ekspertów na własną rękę.[31]

 

 

Podsumowanie

Impact Factor nie jest idealnym narzędziem do pomiaru jakości artykułów, ale ma tę zaletę, że już istnieje i jest techniką oceny naukowej.[13] Wskaźnik IF jest bardzo popularny, ze względu na swoją prostotę i wygodę. Aktualnie internet oferują duży zakres innych narzędzi, które umożliwiają ocenę prac naukowych, ilości cytatów czy aktywność piśmienniczą samych naukowców. Dlatego też trzeba podkreślić, że wskaźnik IF jest przeznaczony do oceny czasopism i ich rankingu. Tym samym prestiż czasopisma jest wyznaczony przez duży IF, czyli realnie poprzez szerokie cytowanie treści w nim umieszczonych. Jak przedstawiono, wskaźnik ten może nie być w pełni obiektywny, co jest podyktowane szeregiem różnych uwarunkowań i tych typowo statystycznych (obliczanie) i tych związanych z decyzjami redakcyjnymi, czy określoną polityką wydawniczą. Należy również pamiętać, że czynnik oddziaływania może być używany tylko do oceny czasopism, a nie poszczególnych artykułów, czy też naukowca (co obecnie jest częstym trendem, a nawet i standardem przykładowo w Polsce). Podnosi się nawet, że niewątpliwą zaletą czasopism z IF i każdej nowej listy ocen czasopism naukowych jest ugruntowana tradycja.[45] Z jednej strony, autorzy chcą konkurować w publikowaniu swoich badań w bardzo dobrych czasopismach.[46,47] Z drugiej strony, redakcja czasopisma wybiera do publikowania artykuły naukowe, które mają być cytowane.[48,49] Pomimo innych narzędzi do oceny czasopism, wskaźnik  IF o 50 letniej tradycji stosowania ma swoją silną pozycje i wysoki prestiż.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

References

 

1. Wilcox A J. Rise and Fall of the Thomson Impact Factor. Epidemiology 2008;19:373-374.
2. Bensman S J. The Impact Factor, Total Citations, and Better Citation Mouse Traps: A Commentary. JASIST 2007;58:12.
3. Thomas S Kuhn. The Structure of Scientific Revolutions. Chicago Press 1962.
4. Chew M, Villanueva E V, and Van Der Weyden M B. Life and times of the impact factor: retrospective analysis of trends for seven medical journals (1994–2005) and their editors’ views. R. Soc. Med 2007;100:142–150.
5. Rossner M, Van Epps H, and Hill E. Show me the data. JEM 2007;204:3052-3053. Available at: jem.org/cgi/doi/10.1084/jem.20072544, Last accessed: July 27, 2015.
6. Dong P, Loh M, Mondry A. The “Impact Factor” Revisited. Biomed Digit Lib 2005;2:7.
7. Saha S, Saint S, and Christakis D A. Impact factor: a valid measure of journal quality? Med. Libr. Assoc 2003;91:42–46.
8. Kanthraj G R. Journal impact factor. Indian J Dermatol Venereol Leprol 2006;72:322-5.
9. Narin F, Hamilton K S. Bibiliometric performance measures. Scientometrics 1996;36:293-310.
10. Garfield E. Citation analysis as a tool in journal evaluation. Science 1972;178:471-479.
11. Garfield E. Random thoughts on citationology its theory and practice. Scientometrics 1998;43:69-76.
12. Garfield E. The History and Meaning of the Journal Impact Factor. 2006;295:90-93.
13. Garfield E. Science, Citation indexes to science: a new dimension in documentation through association of ideas. International Journal of Epidemiology 2006;35:1123–1127.
14. Garfield E. Journal impact factor: a brief review. Med. Assoc. J 1999;161:979–980.
15. Grzybowski A. Impact factor—strengths and weaknesses. Clinics in Dermatology 2010;28:455–457.
16. Grzybowski A. The journal impact factor: how to interpret its true value and importance. Med Sci Monit 2009;15:SR1– 4.
17. Seglen P O. Why the impact factor of journals should not be used for evaluating research BMJ 1997;314:497-502.
18. Journal impact factor search engine. Available at: http://www.bioxbio.com/if/html/CA-CANCER-J-CLIN.html, Last accessed: June 29, 2015.
19. Hoeffel C. Journal impact factors. Allergy 1998;53:1225.
20. Journal citation reports from 2015: Available at:  http://about.jcr.incites.thomsonreuters.com/full-titles-2015.pdf   Last accessed: July 29  ,2015. Available at:   http://ekulczycki.pl/warsztat_badacza/impact-factor-2015-pojawila-sie-nowa-lista-journal-citation-reports, Last accessed: July 25, 2015.
21. Superconductivity Paper Leads List Of 1986’s Top 10 Science Articles. Available at: http://www.the-scientist.com/?articles.view/articleNo/9583/title/Superconductivity-Paper-Leads-List-Of-1986-s-Top-10-Science-Articles/, Last accessed: July 25, 2015.
22. Thomson Reuters Breaks New Ground in Journal Evaluation with Release of 40th Annual Journal Citation Reports. Available at: http://thomsonreuters.com/en/press-releases/2015/06/thomson-reuters-releases-40th-annual-journal-citation-reports.html, Last accessed: July 29, 2015.
23. Monastersky R. The Number That’s Devouring Science. The impact factor, once a simple way to rank scientific journals, has become an unyielding yardstick for hiring, tenure, and grants. Chron Higher Ed. 2005a;52:A12. Available at: http://chronicle.com/free/v52/i08/08a01201.htm,   Last accessed: July 20, 2015.
24. Falagas M E, and Kavvadia P. “Eigenlob”: self-citation in biomedical journals. FASEB J 2006;20:1039–1042.
25. Joseph K S, Hoey J. CMAJ’s impact factor: Room for recalculation. CMAJ 1999; 161:977-978.
26. Liu S V. Hwang’s retracted publication still contributes to Science’s impact factor. Ethics 2007;2:44–45.
27. Malaviya G N. Citation impact factor and Indian journal of surgery. Indian J Surg 2004;66;371-375.
28. Garfield E. Fortnightly review: How can impact factor be improved? BMJ 1996;313: 411-413.
29. Seglen P O. The skewness of science. JASIS 1992;43:628-638.
30. McVeigh M E. Open Access Journals in the ISI Citation Databases: Analysis of Impact Factors and Citation Patterns. A citation study from Thomson Scientific. 2004 Thomson Corporation. Available at: http://ip-science.thomsonreuters.com/m/pdfs/openaccesscitations2.pdf, Last accessed: July 29, 2015.
31. Goihman-Yahr M. Periodic scientific publication: Reflections on a complex process. Clinics in Dermatology 2010;28:578–580.
32. McGarty C. The citation impact factor in social psychology: a bad statistic that encourages bad science. Current Research in Social Psychology 2000;5:1-16.
33. The Thomson Reuters Journal Selection Process. Available at: http://wokinfo.com/essays/journal-selection-process/ Last accessed: July 21, 2015.
34. Miguel A, and Marti-Bonmati L. Self-citation: comparison between Radiologia, European radiology and radiology for 1997–1998. Radiol 2002;12:248–252.
35. Fassoulaki A, Papilas K, Paraskeva A, and Patris K. Impact factor bias and proposed adjustments for its determination. Acta Anaesthesiol. Scand 2002;46:902–905.
36. A global nonprofit voluntary association of editors of peer-reviewed medical journals.

Available at: http://www.wame.org/wame-listserve Last accessed: July 23, 2015.

37. Chomczynski P. Sacchi N. Single-step method of RNA isolation by acid guanidinium thiocyanate phenol chloroform extraction. Biochem 1987;162:156–159.
38. Monastersky R. Impact Factors Run Into Competition. Chronicle of Higher Ed. 2005b;52:A17. Available at:  http://chronicle.com/article/Impact-Factors-Run-Into/24190,   Last accessed: July 29, 2015.
39. Multidisciplinary search of Open Access journals and papers. Available at: http://paperity.org/, Last accessed: July 28, 2015.
40. Porta M. The bibliographic “impact factor” of the Institute for Science Information how relevant is it really for public health journals? J Epidemiol Commun Health 1996;50:606–610.
41. Kravitz R L, Franks P, Feldman M D, Gerrity M, Byrne C, Tierney W.M. Editorial Peer Reviewers’ Recommendations at a General Medical Journal: Are They Reliable and Do Editors Care? PLoS ONE 2010;5:1-5.
42. Braun, T, Glänzel W & Schubert A. A Hirsch-type index for journals. Scientometrics 2006;69:169-173.
43. Butler D. Scientists: your number is up. ORCID scheme will give researchers unique identifiers to improve tracking of publications. Nature 2012;485:564.
44. Satyanarayana K, Sharma A. Impact factor: time to move on. Indian J Med Res 2008; 127:4–6.
45. Seglen P O. Why the impact factor of journals should not be used for evaluating research. BMJ 1997;314:497-502.
46. Testa J: The Thomson Scientific Journal Selection Process. http://scientific.thomson.com/free/essays/selectionofmaterial/journalselection/   Last accessed: July 28, 2015.
47. Testa J: Citation Impact Center, Thomson Reuters speaks with Jim Testa, about Impact Factor, Available at: http://community.thomsonreuters.com/t5/Citation-Impact-Center/Thomson-Reuters-speaks-with-Jim-Testa-about-Impact-Factor/ba-p/716 Last accessed: July 25, 2015.
48. The PLoS Medicine Editors. The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Med 2006;3:e291.
49. Van Noorden R, Maher B. and Nuzzo R. The top 100 papers, Nature explores the most-cited research of all time. Nature 2014;514:550-553.
50. Grzybowski A. Impact factor – benefits and limitations, Acta Ophthalmol 2015;93: 201–202.