דוקטור דנה ברמן (מנקר במקור) תמיד אהבה לטייל ולצלם, אבל משהו בתמונות תמיד היה חסר לה. כמו פסגותניקית אמיתית, היא החליטה לקחת את העניינים לידיים, לחקור, למדל ולמצוא פתרון שיחזיר את הצבע לתמונה.
המחקר שלה הוליך אותה לערפל ולים, שם מצאה את הדוקטורט שלה.
ישבנו לדבר על מה קורה לאור בדרך שבין הנוף לעדשת המצלמה שלנו, ומה אפשר לעשות לגבי זה.
מה היה המסלול שלך אחרי הלימודים, דנה?
אחרי שסיימתי את התואר בטכניון, קיבלתי תפקיד ראשון ביחידה הטכנולוגית בחיל המודיעין (יחידה 81) כמהנדסת חומרה. למדתי הרבה, התקדמתי לתפקידי מתכנתת אמבדד, מתכנתת לינוקס, ולבסוף מתכנתת DSP.
תוך כדי השירות התחלתי את לימודיי לתואר השני. התחום של ראייה ממוחשבת ועיבוד תמונה ממש משך אותי כבר אז, ורציתי לשלב פנימה עקרונות מתחום התקשורת, (למשל קידוד מידע מערוץ צד) ולראות איך זה ישפיע.
הרעיון הראשוני נשמע מבטיח, אבל בדיעבד המחקר לא התקדם והחלטתי להחליף נושא ולעבור להנחיה משותפת של שני מנחים מתחומים מעט שונים. הנושא החדש שילב את תחביב הצילום שלי וזכיתי ללמוד משני מנחים נהדרים.
הרעיון הוא כזה: לפי המודל הקלאסי של צילום, אור יוצא מהשמש, פוגע באובייקט, ומוחזר ממנו לעדשה שלך. אבל המודל הזה מתעלם לחלוטין מהמעבר בתווך עצמו. כאשר ישנם חלקיקים בתווך שאינם מולקולות של אוויר, האור עובר מספר פיזורים בין האובייקט לעדשה.
נדבר בתור התחלה על ערפל ואובך. ההשפעה של התווך מתבטאת קודם כל בהנחתה של עוצמת האור בדרך למצלמה, מה שגורם לעצמים רחוקים יותר להראות דהויים יותר. מעבר לזה שחלק מהצבע "דולף" ככה מחוץ לתמונה, האור שמתפזר לכל עבר באוויר יוצר גם רעש שנכנס לתוך התמונה. התופעה הזו נקראת veiling light (נקרא לה "רעלת אור" בתרגום חופשי, קצת כמו הינומה לבנה של כלה). הפיזור הזה מושפע ישירות מהמרחק של האובייקט מהמצלמה, ולכן לא ניתן למצוא תיקון גלובלי לתמונות על מנת לפצות על עיוותי התווך. במונחים מתמטיים, בעיית השחזור היא under-constrained וצריך להניח הנחות על מנת לפתור אותה.
מתחת למים המצב הרבה יותר מאתגר.
בתור התחלה, מקור האור שלנו כבר לא נקודתי ונוח כמו השמש, אלא מעוות בגלל גלי המים שעל פני הים.מעבר לזה, שתי הבעיות שתיארנו קודם נעשות חמורות בהרבה בגלל שהמים מפזרים ובולעים הרבה יותר אור מאשר הערפל.עוד בעיה היא שבגלל שכל אורך גל מונחת במים בצורה שונה, זה אומר שהצבעים "נפרדים" זה מזה בדרך לעדשה.
ובעיה פחות פיסיקלית אבל לא פחות ממשית: אין יותר מדי מאגרי תמונות גולמיות שצולמו מתחת למים עם מצלמה סטנדרטית, בטח שלא תמונות מתויגות שקל להסיק מה התיקון הנכון עבורן.
אז איך בכלל חקרת את הנושא הזה בלי דאטאסט?
עשיתי רישיון צלילה ויצאתי לשטח!
באופן אבסורדי, היה הרבה ידע על תופעות אופטיות בספרות אוקיינוגרפית (מחקר הימים), שמחקרים קודמים בראייה ממוחשבת פשוט לא טרחו להשתמש בו. אז מצד אחד יש ידע קיים, אבל מצד שני לא טריוויאלי ליישם אותו. הבעיה היא שההתנהגות של האור משתנה לפי הימה הספציפית, והעונה שבה צילמת, ומזג האוויר וכיוב', אז זה לא מאוד עוזר לך אם לא לקחת ספקטרומטר לים.
כדי ליצור מאגר תמונות שיהיה אפשר לבחון עליו אלגוריתמים שונים ולמדוד עליו את ההצלחה שלנו, בכל תמונה מיקמתי מספר פלטות צבע במרחקים שונים מהמצלמה, שידוע כיצד הן נראות בתנאים אופטימליים. אלגוריתם מוצלח יהיה כזה שיצליח להמיר את הצבעים של הפלטה בתמונה חזרה לצבעי המקור.
בגלל שהעיוות בתמונה מחמיר עם המרחק מהמצלמה, חלק מהאתגר היה לזהות את שכבות העומק השונות ולהתאים תיקון לכל אחת מהן. לשם כך צללתי עם ריג סטריאו שעשיתי לו קליברציה מתחת למים בתחילת כל צלילה, וחישבתי את המרחקים בתמונה מתוך הסטריאו. מפת המרחקים הזו שימשה אותי רק להערכת ביצועים, לא לאלגוריתם תיקון הצבע עצמו.
בשביל לפשט קצת את הבעיה, השתדלתי לצלם את כל התמונות בימים מעוננים קלות או בעומק מספיק עמוק, כדי שהגלים על פני השטח לא יכניסו יותר מדי רעש לתמונה.
האלגוריתם שפיתחתי התחיל מלסווג את התמונה לפי קטגוריות שהיו מוכרות בתחום של חקר המים (מי אוקיינוס, חוף טרופי, וכדומה) ואז להפעיל את הפילטר המתאים לסוג הימה הספציפי.
לקראת סוף הדוקטורט עשיתי התמחות בגוגל בסיאטל בתחום של עיבוד תמונה באמצעות למידה עמוקה, ומאז שסיימתי את הלימודים אני עובדת ב- SAIPS, שהיא חברת בת של פורד. מסתבר שבעולם המודרני יש לא מעט ערך להבנה בכיול של מצלמה ועיבוד תמונה old school, אפילו שחלק ניכר מהתפקיד הוא רשתות נוירונים.
היופי בתפקיד הזה הוא שכל חצי שנה עד שנה צריך לחקור נושא חדש, לעשות סקר ספרות ולזקק תובנה מהר כך שיהיה אפשר להפוך אותה למוצר.
הבדל גדול מהדוקטורט זה ששם לקח הרבה זמן לפתח אלגוריתם עם הנחות מקלות מסוימות, אבל כאשר מפתחים מוצר, האלגוריתם חייב לעבוד תמיד. אפילו במקרי קצה ממש קשים. גם העבודה בצוות היא שינוי משמעותי מאוד ביחס לעבודה הבודדת על הדוקטורט. יש גם אילוצי חומרה, שלפעמים אלגוריתם צריך לרוץ על חומרה ייעודית במקום איזה שרת חזק בענן.
יש משהו שאני לא מבין. אמרת שעבדת במשך 5 שנים כדי להוציא הוכחת יכולת בתנאים מקלים, ועכשיו את אומרת לי שבכל חצי שנה את צריכה להוציא מוצר שיעבוד בכל מקרי הקצה?
מאיפה ההאצה המטורפת הזו בזמנים?
תשמע, ההבדל העיקרי הוא שבדוקטורט המטרה היא לפרסם מאמר, ואין ציפייה שהוא יפתור את כל בעיות העולם. קח בחשבון גם שבמחקר האקדמי עובדים בעיקר לבד, אז יש גבול לכמה דאטא ניתן לאסוף בשביל זה. כשאתה זה שצולל ומצלם, אתה לא יכול להשיג דאטא מכל העולם.
לעומת זאת, לחברות גדולות יש צוותי איסוף דאטא שנוכחים בשטח כל הזמן (למשל צי של רכבים אוטונומיים), אז סקאלת המשאבים העומדת לרשותך הרבה יותר גדולה.
יש דאטאסטים שלמים של ARGO-AI, חברת בת של פורד, שפתוחים לציבור הרחב אז אפשר לדבר עליהם.
הדאטאסטים מכילים את נתוני החישה של רכב עם שבע מצלמות היקפיות ולידאר, שיחדיו מכסים את כל סביבת הרכב. הלידאר מספק לנו ענן נקודות והמצלמות ניתנות לתפירה לפנורמה 360 מעלות. אני עובדת גם עם המצלמות וגם עם הלידאר, אז אחד מהקשיים זה היתוך אמין ויציב של כל הנתונים הללו.
אל תשכח גם שעל הדוקטורט עבדתי בעצמי, עם הנחיה כאן ושם. עכשיו יש לי צוות שלם שאפשר להתייעץ איתו כדי לקבל רעיונות ותובנות. מעבר לזה הפרויקטים עדיין נמשכים אותו סדר גודל של שנות מהנדס/ת, אבל עכשיו יש יותר מהנדסים שעובדים על כל פרויקט ולכן משך הפרויקט קצר יותר.
איך את מאזנת את העבודה עם חיי המשפחה שלך?
זה בעיקר עניין של הצבת גבולות - גם למקום העבודה וגם לעצמי. אחרי השחרור, התואר השני הפסיק להיות הדבר הזה שגוזל לי את סופי השבוע, והתחיל להיות המשרה העיקרית שלי. אז פתאום סופי השבוע היו הזמן שבו אני מתרעננת וצוברת אנרגיות לעוד שבוע של מחקר. זו דוגמה להצבת גבולות לעצמי.
כיום מה שמאתגר אותי זה ישיבות עם אמריקאים בערב, אז אני מנסה לגדר את זה מראש לימים ספציפיים ולשמור על זה - שזו הצבת גבול לעבודה.
מה המסר שלך לדורות הבאים?
לתוכנית פסגות יש מסלול ממש מדהים. כל הכלים שאת לומדת לאורך השירות חוזרים להיות שימושיים מתישהו בעתיד. כשהייתי בשירות לא חשבתי שהידע הפיסיקאלי שלי ישרת אותי בכלל, אבל הנה בדוקטורט הוא קיבל במה מרכזית.
חוץ מזה, אל תפחדו מעבודה קשה. כל השקעה שאתן עושות בתחילת הקריירה משתלמת אחר כך בריבית דריבית. גם כשהייתי ביחידה הטכנולוגית לא כל התפקידים שלי היו מה שדמיינתי כשיצאתי מהטכניון. לדוגמה, אחרי קורס אחד בלבד בתכנות מצאתי את עצמי מוצבת בתפקיד מפתחת אמבדד ולינוקס. במקום להתבאס, לקחתי את האתגר הזה בשתי הידיים ובפירוש גדלתי בזכות זה, אז גם אתן יכולות! אה כן, ותשקיעו בלימודי התכנות שלכן. זה עוזר.
אם הסתקרנתם, אתם מוזמנים לקרוא עוד על דנה באתר האקדמי שלה!
