“What has rank to do with the process of creative discovery in science? Very little. What has rank to do with the politics of science and the allocation of credit for discoveries? Almost everything” (Rank injustice)

(תרגום חופשי): מה לדירוג ולתהליך של תגליות יצירתיות במדע? מעט מאד. מה לדירוג ולפוליטיקה של המדע וחלוקת האשראי (credit) לתגליות? כמעט הכל.

המאמר המקורי: Nature magazine

פרופסור גדעון שפסקי: ''אסור ששיטת המדידה של ISI תהפוך לכלי בלעדי לשיפוט מדענים''.

יובל דרור, כוכבים בחלל, צולעים ברפואה, הארץ

---

כמעט כל רגע מחיינו אנחנו עסוקים בשאלות כמו מה לעשות קודם, מה עדיף לעשות ואיזה מהלך יותר משתלם ועוד. במקרים רבים התשובה תהיה קשורה במדד איכות כלשהו – הבחירה להתייעץ עם הרופא ולא עם האחות היא תשובה כזאת. הדברים נעשים יותר מסובכים כאשר השאלות והתשובות יותר מורכבות ולא חד משמעיות.

מצד אחד יש הרבה רצון לתמוך ולקדם את העמדה שאין קשר בין דירוג ואיכות המחקר המדעי- אקדמי. מצד שני ברור כי יש קשר בין דירוג המחקר ותרומתו. אשר על כן יהיה מאד קשה לשכנע אותנו שלא רצוי לדרג מחקר. מצד שני עלינו להיות זהירים ולא חד מימדיים כפי שממליץ פרופסור שפסקי. דומה הדבר לאדם שרוצה להעריך את המצב הכלכלי על פי מדד אחד, כמו מדד המחירים לצרכן, בלבד למרות שהוא יודע שיש מדדים אחרים.

המאמר של יובל דרור מעלה לדיון שיטת מדידה של המחקר המדעי שפותחה על ידי החברה האמריקאית Thomson ISI. מצד אחד הוא מציג נתונים מכובדים על המחקר הישראלי אבל מצד שני הוא מקונן על התוצאות. המאמר שלנו יברר את הדילמה הזאת ואת המשמעות של הנתונים שנצברו בשיטת המדידה של ISI.

---

הגורם המניע לכתיבת המאמר ב''הארץ'', היתה ההרצאה שנשא הפרופסור גדעון שפסקי, שמכיר היטב את הנתונים של ISI, באוניברסיטה העברית. בניגוד לגופים אחרים, חברת Thomson ISI לא מציגה את הנתונים למי שלא משלם במיטב כספו. לכן בניגוד לפעמים קודמות נצטרך להסתפק בנתונים שהוצגו במאמר ועוד קצת ממקור נוסף.

התפיסה שבבסיס מדדי הציטוטים היא פשוטה למדי. היא בנויה על ההבנה שערכו של מידע נקבע על ידי המשתמשים בו. לכן הדרך הטובה יותר למדוד את איכותו של המידע היא למדוד את השפעתה על הציבור או הציבור הרלוונטי (History of Citation Indexing ). זהו הרציונאל של שיטת ISI שבודקת את תרומתו של פירסום מדעי על פי מספר הציטוטים שהוא מקבל במחקרים אחרים. על בסיס הרעיון הזה מופק ''ציון השפעה'' (Impact Factor) שיש למדענים בתחום מסויים ממדינה מסויימת ביחס למדענים ממדינות אחרות (כוכבים בחלל צולעים ברפואה).

על פי מדדים כמותיים בלבד, נראה שישראל נמצאת כיום במיקום פנטסטי. נתוני ISI על מספר המאמרים (מדד הפוריות) אינם לוקחים בחשבון את גודל האוכלוסיה, אך כשפרופ. שפסקי עשה את החישוב של מספר פירסומים לנפש, המובילות את הטבלה הן שווייץ, שוודיה וישראל. אבל על פי הרציונאל של ISI עלינו לבדוק גם את ההשפעה של המאמרים הללו. אכן האידיליה מתקלקלת קמעא כשעוברים למאמרים החשובים והמצוטטים ביותר.

פרופ. שפסקי מצביע על עוד כשל אפשרי בפיענוח הנתונים. חוקר שהתמזל מזלו לעסוק בנושא ''חם'' יצוטט הרבה, גם אם עבודתו פחות איכותית מזו של חוקר העוסק בתחום לא פופולרי.

הדבר הבולט בקשר להישגי המדענים הישראלים הוא מספר המדענים הישראלים הכלולים ברשימה המאד סלקטיבית. מסריקה של 19 מיליון מאמרים של 5 מיליון חוקרים איתרה ISI את רשימת 5,500, 0.11%, המדענים המצוטטים ביותר בכל תחום. 36 מדענים מתוך הקבוצה הזאת (0.65%) הם ישראלים, שיעור נכבד ביחס לשיעור המדענים הישראלים באוכלוסיית המדענים והאקדמאים בעולם כולו.

הפער האיכותי לטובת ישראל מזנק כאשר משווים פירסומים ישראליים לפרסומים ממדינות ערב. כאן מדובר על ליגה אחרת לגמרי. כתב העת Science Watch בגליונו לפני 8 חודשים השווה את פרסומי מדינות המזרח התיכון על סמך נתוני ISI. ישראל לא נכללה בהשוואה, והנה ההסבר שניתן:

בולטת בחסרונה במדינות אלה היא ישראל. לצורך המחקר הנוכחי, החליט Science Watch להימנע מהכללת ישראל, משום שהמחקר המדעי הגדול, יחסית, שלה מונע כל השוואה בעלת משמעות לשכנותיה הגיאוגרפיות. במהלך 20 שנה הוציאה ישראל 157,379. הבאה בתור, מצרים, הוציאה 39,404 פירסומים.

ScienceWatch, November/December 2003

ברמה נוספת, מספר ציטוטים ממוצע למאמר, נזכרת ישראל בהרבה תחומים בין ה-‏20 הראשונים. באסטרופיסיקה, מדעי החלל, והנדסת חומרים (כולל הננו-טכנולוגיה) ישראל היא הטובה בעולם. בתחומים אחרים קצת פחות. הנה רשימה חלקית לפי סדר יורד: מדעי המחשב (מקום שני), כלכלה ומנהל עסקים, כימיה, מתימטיקה, ביולוגיה וביוכימיה (מקום שמיני). בעשיריה הבאה יש לנו חקלאות, אימונולוגיה, פסיכולוגיה, פסיכיאטריה, מיקרוביולוגיה, מדעי החברה, אקולוגיה ולימודי סביבה. התחומים הריאליים בולטים ברשימה גם מבחינת מספר תחומים וגם מבחינת מיקום. אבל התחומים האחרים לא מפגרים בהרבה.

עד כאן, צריך לומר, ישראל מוצגת באור מאד חיובי. נכון אנחנו לא הראשונים בכל התחומים, רק בחלק. בתחומים רבים נוספים מוצאים את החוקרים הישראלים קרוב מאד למובילי הרשימה – בין ה-‏20 הראשונים. לכאורה גם דירוג האוניברסיטאות צריך לתת תוצאה דומה. מבחינת מספר הציטוטים למאמרים שמפרסמים מדעני האוניברסיטאות (כולל מכון ויצמן) הדירוג שלהן גבוה. אבל כאשר כוללים ''גם את הציטוטים ממאמרים של מדענים המשתייכים למכוני מחקר'' (כוכבים בחלל, צולעים ברפואה) נדחקות האוניברסיטאות שלנו לדירוג נמוך יותר. בתחומים מסויימים מדורגות האוניברסיטאות שלנו מתחת למקום ה-‏100 ויש החושבים שזה מיקום ''רע''. אבל הדאגה המובעת בהקשר הזה לא כוללת הסבר מדוע.

---

מצד אחד הנתונים מראים שהחוקרים הישראלים ''שלנו'' מדורגים במקומות גבוהים ומכובדים. מצד שני המוסדות שמשלמים את משכורתם מדורגים נמוך יותר. ההסבר הראשון כתוב במאמר של יובל דרור והוא קשור לכמות ואיכות מכוני המחקר החוץ אוניברסיטאיים (פרטיים וציבוריים). לפי מיטב הבנתנו יש בארץ מעט מאד, אם בכלל, מכונים כאלו שעוסקים בעבודה אקדמאית-מחקרית. חלק ניכר ממכוני המחקר הללו בארץ הם בעלי מאפיינים פוליטיים. בנוסף אין מספיק מקורות מימון פרטיים שגם מוכנים להחזיק מכוני מחקר חוץ אוניברסיטאיים.

יש גם לזכור את בריחת המוחות. נראה, לתחושתנו, שישראל מייצאת יותר מוחות מאשר היא מקבלת. מדען העושה זמן מה במכון מחקר בחו''ל נוהג, אמנם, לפרסם גם בשם המוסד הישראלי המעסיק אותו בקביעות, אך לא תמיד. מובן שאם המדען משתקע בחו''ל ומנתק את הקשר עם המוסד שהכשיר אותו, לא יינתן שום קרדיט לאותו מוסד. יש בחו''ל אנשי מדע רבים שהוכשרו בארץ, ופרסומיהם אינם נזקפים לזכות ישראל. אין בידינו מידע מה מספרם של אלה. כאמור - לתחושתנו, המספר גדול יותר מן המספר ההפוך (של ישראלים שהוכשרו בחו''ל).

שאלה נוספת שעולה בקשר לדירוג האוניברסיטאות היא, האם דירוג בסביבת ה-‏100 ופחות הוא רע? ברור שהוא פחות טוב ממספר אחד או מספר 20, אבל ביחס למספרן של כל האוניברסיטאות המצב לא כל כך רע. יתכן, גם, שבמציאות ישנם תהליכים שמשפרים את התמונה. ממה שאומרים אנשים שמכירים את הנתונים, לא בדיוק ברור מה עושה את ההבדל בין דירוג החוקרים והתחומים לבין דירוג האוניברסיטאות. יש גם להביא בחשבון שבישראל כל האוניברסיטאות מגיעות לציונים גבוהים. במדינות אחרות יש אלפי אוניברסיטאות שאינן משתתפות במשחק. הדבר אינו מתבטא בדירוג ה-ISI, משום שהוא מדרג רק את החלק העליון ומזניח את הממוצע. האנשים הללו לא בדיוק נשמעים מודאגים מתמונת המציאות שמתקבלת מניתוח נתוני ISI, ויש האומרים כמו פרופסור שפסקי שאסור להסתמך על שיטת מדידה אחת.

לפני סיום כדאי לחזור ולהזכיר שישנם חוקרים בכירים שטוענים שמדע ומחקר מדעי זה לא נושא לאולימפיאדה ודירוג. הם אינם בטוחים שיש קשר בין הדירוגים והתרומה היצירתית, או התגליות המדעיות, של החוקרים והמוסדות בהם הם עובדים. יש גם חוקרים שטוענים שהקשר בין חוקרים ועורכים משפיע על יכולת הפירסום של מחקרים בכתבי עת שמדורגים גבוה. מאחר ודירוג כתבי העת נכלל בחישובי ''ציון ההשפעה'' הרי שהקשר האוליגופוליסטי הזה של מחבר-עורך עשוי לפגוע בצד הישראלי.

---

סיכום:

בדקנו את העובדות הידועות על דירוג המחקר המתקיים בישראל על פי שיטה מאד נחשבת של חברת Thomson ISI. השיטה מבוססת על התייחסות לכמות המחקרים שהתפרסמו בכתבי עת ולמספר הציטוטים שיש למאמרים. הסתבר לנו שמעמדה של ישראל מאד מכובד, במיוחד כאשר שוקלים את הישגי החוקרים הישראלים או הישגי התחומים. כאשר בוחנים את הדירוג של האוניברסיטאות מקבלים תמונה פחות טובה. אבל אם לוקחים בחשבון ש-‏6 האוניברסיטאות הישראליות נכללות בדירוגים הללו בעוד שבארצות אחרות ישנן רבות שלא נכללות בדירוגים, מתחילים לנשום לרווחה.

---

לעיון נוסף:
מציאת פרטים על חוקרים ספציפיים על פי שם, מוסד, מדינה או קטגוריה לא עודכן ב-‏5 השנים האחרונות, אך ISI הבטיחו לעדכן בעתיד. סיכום פרסומים וציטוטים מישראל