עדכון אלברט: הגרסה המצומצמת של עדכון ברט

בימים אלה משיקה גוגל גרסת קוד פתוח לאלגוריתם מצומצם של עיבוד שפה מבוסס למידה. גרסה זו בניגוד לגרסה המלאה BERT, נועדה לצמצם את מספר הפרמטרים הנדרש כדי לעבד את תוצאות החיפוש. בעוד עדכון ברט המלא דורש מאה ושמונה מיליון פרמטרים שונים ויכולות עיבוד נתונים עצומות, “אחיו הקטן” אלברט דורש רק שניים עשר מיליון פרמטרים.

מדוע גוגל פיתחה את האלגוריתמים הללו?

העדכונים האחרונים בגוגל נועדו לאפשר למנוע החיפוש להשתמש ביכולות בינה מלאכותית (AI) ולמידת מכונה כדי לשפר את תוצאות החיפוש על בסיס הדרך שבה אנו מדברים וחושבים. בעוד המוח האנושי יודע להבדיל בין ביטוי החיפוש “סולם גדול שמסוגל לעלות על הגג” ו”באיזה סולם מנגנים את כנר על הגג”, מערכות ממחשבות התקשו לעשות זאת.

החיפוש עד עידן עדכון ברט, התבסס על חיפוש מספר מילים ללא קשר למיקום שלהן בתוצאות החיפוש. העדכונים החדשים מעניקים משמעות הן למילות היחס והן למקום של כל מילה ומזהות דפוסים קיימים באתרים שונים כדי להבין את ההקשר של המילים הללו בטקסט. כך, מנוע החיפוש יכול לדעת בוודאות כי מדובר על “סולם מוזיקלי” בניגוד ל”סולם פיזי” בדוגמה שהזכרנו.

מה היה החיסרון של עדכון ברט הגדול?

עדכון ברט אפשר אמנם להתייחס לשפה הכתובת בצורה טבעית יותר, המזכירה את המוח האנושי, אך דרש יכולות עיבוד אסטרונומיות עמן מרבית השרתים בעולם עדיין לא יכולים להתמודד. עדכון אלברט המצומצם יותר מאפשר למערכות ממוחשבות חלשות יותר להשתמש רק ב- 11% בלבד מהפרמטרים הנדרשים לצורך עיבוד הנתונים.

אחד החששות של מפתחי עדכון אלברט היה הביצועים שלו. האם תוצאות החיפוש בהתבסס על שפה טבעית יתאימו לציפיות הגולשים? למרבה הפלא הביצועים של האלגוריתם לא אכזבו. למעשה דרגת הביצועית הנמדדת באמצעות SQuAD2.0 ירדה בסך הכל מדירוג 80.4 לדירוג 80.3.

הבדלים נוספים בין עדכון ברט לעדכון אלברט

מפתחי העדכון המלא הבחינו בכפילות מיותרת באלגוריתם המבוסס על מספר שכבות הפועלות במקביל (ביניהן BERT, XLNet ו-רוברטה). הם זיהו כי לפעמים יש פעילות מיותרת, כאשר מקבלים נתונים מכל אחת מהשכבות המתבססת על פרמטרים אחרים. לכן, בעדכון אלברט השכבות השונות משתפות את הפרמטרים ביניהן ולא מחפשות נתונים המתבססים על פרמטרים נוספים. בדרך כלל, שימוש בכמות קטנה יותר של פרמטרים, עשויה לגרום לתוצאות פחות מדויקות, אך היכולת להשתמש באלגוריתם תוך ניצול כמות קטנה יותר של משאבים הצדיק את השינוי.

למידה עמוקה המבוססת על פעילות מקבילה ללמידה האנושית

שני העדכונים, הן ברט והן אלברט, מבוססים על קוד שמתפתח בעצמו בדומה למוח האנושי. הלמידה מתבצעת באמצעות בחינת התוצאות שהוצגו לגולשים והתגובה שלהם לתוצאות אלה. לדוגמה, אם גולש הקליד ביטוי מפתח ובחר בתוצאה הרביעית או החמישית בדף, התוצאות שהופיעו מעל יזכו לדירוג נמוך יותר. לאורך הזמן התוצאות של גוגל הופכות להיות מדוייקות יותר כיוון שהאלגוריתם “לומד” לזהות אם התוצאות שהציג נכונות.

לכן, בכל פעם שגוגל מבצעת שינויים באלגוריתם ומטמיעה אותם במנוע החיפוש, אנו עדים לכמות גדולה של שינויים בתוצאות. שינויים שנראים בהתחלה לא הגיוניים ומובילים פעמים רבות לתוצאות חיפוש פחות רלוונטיות. קיימות פלטפורמות הבודקות את השינויים הללו על מיליארדי ביטוי מפתח ומזהות מתי עדכון משמעותי נכנס לפעולה. השנה ראינו את העדכון ברחבי העולם, במיוחד בשפה האנגלית, בתאריך 7 בינואר 2020.

נציין לסיכום כי נכון לזמן כתיבת מאמר זה, עדיין חלק מתוצאות החיפוש מובילות לתוצאות פחות איכותיות ומתאימות לגולש. מן הסתם בחודשים הקרובים נראה את האלגוריתם “לומד”, אילו תוצאות מתאימות בפועל למה שהגולש חיפש ובאילו אתרים הוא נשאר יותר זמן לאחר החיפוש. אתרים אלה יזכו להגיע לראש עמוד התוצאות בקרוב.