מה קורה כשרוצים ליהנות מהיכולות של בינה מלאכותית, אבל בלי לשלם הון על טוקנים, בלי לחכות לתשובה שתעבור אלפי קילומטרים לענן, ובלי לחשוש שהמידע הפרטי שלכם יזלוג לרשת? אירחתי היום את גיל פינק, עצמאי ו-Google Developer Expert, לשיחה על On-Device Web AI ועל הדרך שבה מודלי שפה קטנים נכנסים ישירות לתוך הדפדפנים של כולנו. איך מודלים כמו Gemini Nano מסוגלים לרוץ ישירות על המחשב האישי? איך שומרים על פרטיות מלאה וממשיכים לעבוד כרגיל גם כשאין קליטה ברכבת או בטיסה? אילו משימות יומיומיות (כמו תרגום, סיכום, והתאמה אישית של אפליקציות) עדיף להריץ לוקאלית, ומתי עדיין נצטרך את הכוח של הענן? בפרק נגענו בכל אלה, וגם באיך ייראה העתיד של אפליקציות היברידיות שיודעות ליהנות מכל העולמות.
מגישים: עמית בנדור אורחים: גיל פינק עורכת ראשית: שלי נוי מנהל אולפן: עידו שקד טכנאי:אורי דישי שיווק:רעות שוקר עורך הפרק: ינאי צוריה
תמלול הפרק
עושים תוכנה. שלום ותודה שחזרתם לעוד פרק של עושים תוכנה, אני עמית בנדור. כל פעם שאתם שולחים בקשה לצ'אט gpt או לקלוד, היא יוצאת למסע של אלפי קילומטרים אל שרת שיושב איפשהו ורק אז חוזרת אליכם עם תשובה. עכשיו יש דרך לדלג על המסע הזה לגמרי ואני לא מדבר על מודל לוקאלי שיושב על המחשב אלא על הדפדפן שלכם שכבר היום יושב עליו לוקאלית מודל שפה. הוא לא ענק ולא גדול בטח כמו המודלים שאתם מכירים אלא קטנצ'יק, לוקאלי אבל מתיימר לשנות את עולם הווב בעתיד.
גוגל הכניסה לאחרונה לדפדפן חרום מודל בשם Gemini Nano. ולצידו סדרת ממשקים שמאפשרים לכל אתר לקרוא לא ישירות מהקוד, לזהות שפה, לתרגם, לסכם, לתקן ניסוח, או פשוט לשלוח פרומפט ולקבל תשובה, בלי מפתח API, בלי חשבון חודשי ובלי שהטקסט של המשתמש יוצא החוצה. אז היום בפרק אנחנו נדבר על דפדפנים ו-AI ועל שאלות כמו מתי שווה להשתמש ביכולת הזאתי, מתי שווה להריץ לוקאלית. מתי הענן עדיין מנצח, למה דווקא על הדפדפן ולא פשוט סתם ככה על המחשב, איפה זה עובד טוב היום ואיפה זה שביר מדי, וגם כמובן לאיפה הדברים הולכים, ונראה שיש פה איזושהי מהפכה שמתפתחת, לאיפה כל התחום הזה הולך. אז הזמנתי ככה לפרק את גיל פינק, שגיל היית פה לפני לא מעט שנים.
לפני שמונה שנים פלוס מינוס, אבל מי סופר? מטורף. ביחד פרק על Web Component API. נכון. ולמי שזוכר, הוא התחיל עם מרש החתונה, כי דיברנו על חתונת קתוליות עם פריימוורקים.
אז שמח תמיד לחזור לפה. אז כיף גדול, ואני חייב להגיד שבאמת הפתיח עם החתונה הוא משהו זכור עד היום. ואני וגיל נפגשנו באמת ככה ב... במקרה בשולי כנס בלונדון, ששנינו דיברנו בו והתאחדנו ככה חזרה. גיל, מה אתה עושה היום?
אז למי שלא מכיר, אני גיל פינק, ומה אני עושה היום? אני עצמאי כבר 12 שנים, ובכלל בתחום של עולם הפיתוח אני 25 שנים. GDE, Google Developer Expert, לטכנולוגיות אינטרנטיות. Web Technologies GD, זה תואר כבוד מגוגל, קיבלתי אותו לפני שמונה שנים והוא מתחדש כל שנה. בעברי הרחוק הייתי MVP של מייקרוסופט, 13 שנים, זה גם כן תואר כבוד ממייקרוסופט, אבל אני כבר לא מתעסק בדברים מייקרוסופטיים, אז מותר להם גם לקחת את התארי כבוד שלהם.
יש לי חברה בבעלותי שקוראים לה ספרקסיס, ויש בה רק עובד אחד. להיות מנכ״ל של חברה עם בן אדם אחד זה מצחיק, בסוף אני פרילנס, פשוט תושב ילדים, אישה ומשפחה אוהבת, ופחות או יותר אוהב להתעסק בכל הדברים של הקאטינג אדג' ותוכנה וכל מה שקשור לזה, בעיקר בעולמות הווב. כן, אז באמת בעולמות הווב גיל אתה אחד השמות כזה, תמיד היית ככה חזקים בארץ. בתחום הזה, וכמו כולם, גם אתה הגעת לתחום ה-AI, כמו שזה נשמע. כאילו שיש לי ברירה.
כמו כולנו. אז מגניב, אז אנחנו ניכנס ככה באמת לנושא הפרק, אז ספר בעצם מה קורה באמת בעולם הזה של AI, דפדפנים, זה בכלל make sense הדבר הזה? אוקיי, אז יש קונספט שהוא לא חדש, אבל הוא הופך להיות יחסית יותר, נכנס יותר בזמן האחרון, שנקרא on-device AI. יש לזה חלוקה של כמה וכמה רכיבים נעים, אחד on device AI ממש בתוך הפלאפוניה שלכם, שזה מודלים שיושבים במכשירים שלכם, לא נדבר על זה, יש embedded AI, זאת אומרת דברים שגם כן זה צ'יפים שמכילים בתוכם מודלים וכדומה שמאפשרים להריץ דברים יותר מהר, ויש את ה-on device web AI, שזה מה שאנחנו מדברים עליו בפרק הזה. שזה בעצם הדרך שלי לעבוד בווב עם AI שלא דרך Cloud AI.
זאת אומרת, איך אני יכול לעשות שימוש במודלים שקיימים או יהיו קיימים בתוך הדפדפנים שלנו בעתיד, על מנת לבצע פעולות פשוטות, כמו למשל, כמו שעמית הזכיר, לעשות סיכום. אני לא צריך לשלוח לאיזשהו Cloud AI בקשה לסכם לי איזשהו מאמר, אם אני יכול לעשות את זה לוקאלית אצלי. כשאני עושה את הדברים לוקאלית יש איזה גיין מאוד אדיר ובוא נדבר על הגיינים האלה לא כן לגמרי לגמרי אני יכול להגיד שדרך אגב הקונספט הזה קיים כבר לא מעט זמן אני כזה אוהב הרבה פעמים להיכנס בהאגינג פייס יש איזה אור שנקרא ספייסס. שזה בעצם סוג של קהילה שאנשים משתפים שם כל מיני מודלים עוד מהימים של מודלים קטנים גם קצת יותר אז. השימוש במודלים היה דרך ובאסמבלי ועוד כל מיני דברים כאלה אם הייתי רוצה לעשות שימוש בדפדפן היום.
זה ממש מגיע מהוונדורים הגדולים, זאת אומרת, כמו שעמית אמר, גוגל הכניסו את ג'ימיני נאנו, מודל קטן של 8 ג'יגה, שקיים לכם כבר היום בדפדפן, כרגע מאחורי פיצ'ר פלאג, שזה אחד הדברים הקצת מעצבנים, אבל בעתיד אני מניח שזה לא יהיה מאחורי פיצ'ר פלאג, וכנ"ל גם מייקרוסופט באדג', יש לנו מודל של מייקרוסופט שיושב כבר בתוך הדפדפן, ואני מעריך שגם הוונדורים האחרים, ילכו לכיוון הזה בצורה כזאתי או אחרת, וכתוצאה מההליכה לכיוון הזה, אז יתווספו כל מיני API חדשים לתוך הדפדפנים, שעוברים כרגע את סטנדרטיזציה, כמו אז Web Component API, שמונה שנים אחורה, או כל מיני דברים אחרים, אבל להערכתי, בעתיד לבוא, זה יהיה מאוד, זה יהיה חלק מהדפדפן, היכולת הזאת שבעצם מודלים יושבים לי. בדפדפן ועושים פעולות פשוטות שאני לא צריך לעשות, כמו שעמית אמר, את ה-round trip לסרבר, אחד הגנים הגדולים שאני מקבל ממודל שיושב לוקאלית זה, אין לי round tripים לסרבר, אין לי את הצורך לעשות פעולות שהן אולי business logic או דברים כאלה שהם יחסית מורכבים בצד השרת, אם אני יכול להפעיל את ה-AI שלי בצד של הקליינט. ולקבל את אותו דבר, אבל מעבר לזה יש עוד גיינים נוספים, כמו למשל פרייבסי, מישהו ראה את מה שפרסמו לפני כמה ימים לגבי קלוד והדליפה של קלוד של פרטים מאוד אישיים ודברים רפואיים של אנשים, אנשים שואלים שאלות את קלוד ה-Cloud AI של אנטרופיק, וקלוד, סליחה, אנטרופיק שומרים את ה-conversation, את השיחות שלהם. וחלק מהשיחות זלגו לאינטרנט, והפרטים אישיים של אנשים הלכו, עכשיו הפכו להיות ציבוריים. ואם אני למשל עובד עם מודל שקיים לי בתוך הדפדפן, זה לא יכול לקרות, כי המודל יושב אצלי לוקאלית, אז אני יכול לכאורה לשאול אותו שאלות שהן יותר פרייבט, ובלי הפחד שדברים אישיים עליי יזלגו החוצה.
בנוסף לזה, בואו נדבר על הכסף, כסף, כסף. כמה עולה היום טוקנים כדי לעבוד עם AI? אם אני היום עובד מול מודל שיושב לי בתוך הדפדפן, הוא לא עולה שקל, כי הטוקנים הולכים למודל שיושב אצלי, המודל מופעל על ידי ה-CPU וה-GPU של המחשב שלי, של היוזר שכרגע משתמש, ולא בענן, זה לא עולה כסף עבורי ויש לזה גיין מאוד גדול כי העתיד לבוא זה שעלות הטוקנים העתיד הולכת לצמוח אקספוננציאלית כנראה בזמן הקרוב כי חברות הגדולות, הוונדורים הגדולים מדממים כסף כשהם מפעילים את המודלים הגדולים. והדבר האחרון שמאוד מעניין זה הנושא של אופליין. אומנם אנחנו לא תמיד נמצאים באופליין, כי לרוב אנחנו מחוברים, אבל תארו לעצמכם שאתם נמצאים ברכבת ישראל ונוסעים לאיזשהו מקום, והווי-פיי של הרכבת באופן מפתיע לא עובד, כי לפעמים הוא לא עובד, ואני עדיין רוצה לעבוד מול המודל AI שלי.
בום, אני מנותק. מה אז אני עושה? אז מודל שיושב לי לוקאלית מאפשר לי להמשיך לעבוד כרגיל. אותו דבר אם אני במטוס, בטיסה, ואין סטארלינק, או לא קניתי חבילת גלישה בתוך המטוס של איזה 30-40 דולר, או וואטאבר כמה שזה לא עולה היום, אז אני יכול להמשיך לעבוד. המערכת שלי שעובדת, או...
צורכת מודלים יכולה להמשיך לעבוד ואז זה מביא אותי לעולם העתידי של לאן הדברים יכולים ללכת וזה אפליקציות היברידיות. אפליקציות וביות היברידיות שיכולות לעבוד גם לוקאלית וגם מול הענן תלוי אם אני מחובר כן או לא אם אני אופליין אונליין וכדומה. ואני חושב שזה הפרומיס הכי מעניין של הפיצ'ר הזה כי בעצם. מודלים לוקאלית אפשר להריץ עם עולם יחסית די קל. בצורה די קלה.
כן, אבל כשאתה מריץ אותם עם עולמה, זה לא נמצא אצלי בדפדפן. זאת אומרת שאני צריך עדיין לעשות איזה לופבק, בדיוק. מהאפליקציה הוובית שלי, לדעת שזה יושב לי אצלי איכשהו, ולעבור בתווך בתוך HTTP כביכול, חזרה אליי למחשב. זאת אומרת שזה עדיין סוג של סרבר, אוקיי? ובעוד שכשאני מדבר על Gemini Nano כדוגמה, זה client oriented, זה ממש בתוך הדפדפן, אז כן, אני יכול לעשות שימוש בעולמה ו-SLM עם ה-small language models, שהוא מכיל בתוכו לעבוד גם מול LLM עם עולמה, אבל אני לא חייב, אני יכול ממש ישירות לעבוד בתוך הדפדפן עם API מובנה שיש לי כבר היום, שאני יכול להפעיל אותו.
ואת זה אני יכול לקבל out of the box כמתכנת וב. נכון, ואני חושב שזה באמת השוני הגדול, ובטח אנחנו נדבר ככה, נקרא את המשך הפרק, על אולי איפה אתה רואה את הדברים הולכים קדימה, אבל זה שזה embedded באמת בתוך חוויית הווב, מסמן לנו איזשהו כיוון, ומעבר לזה, זה גם אומר שזה הופך להיות משהו שעכשיו יש לכולם, בין אם הם רוצים או לא, כן? גם באנדרואיד ואולי גם בטלפונים אחרים, אבל פה במקרה של דפדפן, באמת אני חושב שזה משהו ש... כולנו פחות או יותר כל העולם פלוס מינוס משתמש בו והדבר הזה נמצא שם וכבר הרבה יותר קל להסתמך על הדבר הזה ולייצר באמת חוויות כאילו עשירות ומיוחדות. נכון, זה מה שאמרתי, ההייבריד אפליקיישנס, זאת אומרת שאני כן יכול ליהנות מה-AI בכל מצב שהוא, אם זה לוקאלית ואם זה אונליין.
מגניב, אז בוא נתחיל להיכנס קצת יותר לדיטיילס וגם מה אפשר לבנות.
ג'יגה, כלומר יש כנראה מחשבים מסוימים שבהם אולי הם קצת יותר חלשים, שאולי שם זה לא רץ וזה יכול להיות איזשהו אתגר. למרות שמרבית המחשבים היום מגיעים עם GPU מובנה, ורוב החישוביות של המודל של הלוקאלי, הוא יפנה את המשאבים שלו לכיוון של ה-GPU. וגם אם הוא יודע שיש צ'יפ בתוך המחשב שצ'יפ של AI, האמבדד צ'יפ, אז גם הוא יעבוד איתו. זאת אומרת שנכון שאולי מחשבים שזולים, שאני יכול לקנות, זה ירוץ לאט, אבל זה עדיין ירוץ. כן, ובעצם מהצד השני גם מדובר במודל שהוא יחסית די קטן, כאילו דיברת, שמענו את ג'יגה, אני חושב שמבחינת פרמטרים אנחנו מדברים על משהו כמו 3 מיליארד או משהו כזה פרמטרים.
של מודלים יחסית קטנים, אני לא יודע אם נייצר... ולכן אנחנו לא נעשה איתו שיחות נפש וכל מיני דברים אחרים, אבל אנחנו כן יכולים ליהנות מהיכולות של מודל כזה בשביל כל מיני דברים מסוימים. זאת אומרת, מה שבמקרה הזה גוגל עשו, הם בנו משהו שהם קראו לו Task API. זאת אומרת, APIים ספציפיים שאפשר להפעיל אותם. מול המודל הזה בשביל משימות מאוד מיוחדות כמו למשל סמרייזר API או טרנסלטור API או language detection API כל ה-APIים האלה ואתם יכולים לקרוא את זה אצלם באתר של web.dev אפשר להפעיל פשוט APIים פשוטים לעשות דברים שיחסית פשוטים ולחסוך את הראונד טריפים לסרבר.
ולא צריך לחשוב על פרומפטים או שום דבר כזה, זה כבר כאילו מגיע בתור API. אז ה-API סגור, אוקיי? כמו ש... אז תחת הווינדו יהיה לך... ניקח כדוגמת language translator, אז יש לי אובייקט שנקרא לצורך העניין language translator, יהיה לו פונקציה שנקראת create.
שמייצרת סשן מול הטרנסלייטור, ואז אני כמתכנת מקבל את האובייקט הזה, את הקונברסיישן עם ה-AI, ואני אומר, ואני יכול לשלוח לו translate function, או language detector, אז יהיה לי אובייקט שנקרא language detector, שיהיה לו פונקציה שנקראת create, ותשימו לב שזה חוזר על עצמו בכל כל כל ה-API האלה. יהיה לי פונקציית create שמייצרת conversation ופונקציה שנקראת detect שיודעת להחזיר לי מה השפה שכרגע אני משתמש בה, אוקיי? זה יכול להיות איזה שפה שזה לא יהיה. ואותם ה-task API מפשטים את היכולת שלי לבצע פעולות פשוטות יחסית, ושוב אני מגדיר אותן כפשוטות יחסית, ויש כמה וכמה APIים כאלה. אמרתי language detection, אמרתי summarizer, יש proof reader שבודק את הדברים או reader או דברים כאלה, אוקיי?
יש כמה וכמה סטים של API. בנוסף לזה, יש לי גם את היכולת לעבוד ישירות מול המודל. זאת אומרת, אם דיברתי על API שגוגל חשפו, שהם לאו דווקא תקניים, כחלק מסטנדרטיזציה שהם מנסים להריץ, היכולת שלי להפעיל את המודל דרך API סדור שכן יחסית מתחיל לעבור איזושהי סטנדרטיזציה, זה נדבך, אתם יכולים לחשוב על זה כי ה-APIים האלה הם ייבנו לכם, הם יתפרו לכם קונטקסט שהוא ספציפי לפעולה ספציפית. מאחורי הקליינט. ובעצם מותאם כנראה למודל הזה ספציפית.
ומותאם למודל ספציפית, נכון. וככה, ולעומת זאת, כשאני בא ואני מדבר על פרומפט API, API שעובר באמת איזושהי סטנדרדיזציה, אז פה the sky is the limit. זאת אומרת, אני אשתמש באובייקט שנקרא language model, אוקיי, תחת ה-window, אני שוב אעשה create, ואני יכול להעביר לו... Initial prompt כדי להגיד לו הייתי כבר איתך בשיחה אלה הנתונים של השיחה הקודמת בוא נמשיך מהשיחה הזאת וזה כאילו להמשך או אני יכול להגדיר לו איך אני רוצה שהוא יחזיר לי תשובות האם תשובות יהיו בטקסט או json או whatever אני יכול להגדיר לה כשאני עושה את ה-create את היכולת לעשות בדיקה אם בכלל יש לי מודל, אוקיי? כי אם אתם זוכרים, כרגע מאחורי feature flag, אז המודל קיים, אבל אי אפשר להשתמש בו.
אז אם אי אפשר להשתמש בו, אני צריך כביכול להוריד אותו, אוקיי? אז יש לי מוניטור שהוא מאפשר לי לעשות מוניטורינג על ההורדה של המודל, אם הוא יורד. או יכולת להפעיל פרומפטים, פשוט לשלוח טקסט מן הסתם ולייצר קונטקסטים. זה פחות או יותר מה שה-API מאפשר ונותן. כן, אני חושב שזה מאוד יפה המסגור שעשו בעצם של ה-API, כאילו ההפשטה, שבעצם גם מנגיש בצורה מאוד טובה את הפעולות האלו השונות, אבל גם באיזשהו מקום, גוגל אומרים, הנה משימות שכנראה יעבדו לכם טוב, לא כל דבר, זה הרי לא מודל, אני לא יודע אם מישהו עבד, ככה התנסה ועבד עם מודלים מהסגנון הזה, בדרך כלל נגיד אנחנו רגילים שהמודלים שלנו יודעים הרבה דברים על העולם, והמודל הזה...
פה זה כמו תינוק, הוא לא יודע הרבה דברים, ואתם גם לא יכולים ללמד אותו הרבה יותר מדי דברים, כי הוא בסופו של דבר קטן, מצד אחד. מצד שני, אתם יכולים להעשיר אותו. ואיך אנחנו עושים את ההעשרה? דרך, כמו שאנחנו עושים במודלים שנמצאים בקלאוד. אני יכול להגדיר לו טולס.
זאת אומרת, אני בקונברסיישן שלי, בשיחה שלי עם המודל, יכול להגדיר טול ספציפי שכשאני רוצה, כשאני מדבר על תביא לי את מזג האוויר באיזושהי עיר, אז שילך ויפעיל טול, אבל לא באמת הוא יפעיל טול, הוא לא יודע לעשות את הדברים האלה. הוא יחזור לכם תשובה, המודל, לך תפעיל את הטול, אוקיי? שזה מצחיק, אבל זו מגבלה שקיימת במודלים האלה. אותו דבר, אני יכול לכאורה לטעון לו כל מיני סקילס, אוקיי? אבל אז אני גם יכול להגיע למצב שבו אני מנפח את הקונטקסט המאוד קטן שאנחנו מקבלים מהמודל.
אז מה שנקרא צריך להיות מאוד זהירים במה אנחנו עושים ואיך אנחנו עושים. והאם הוא יכול לבצע הכל? התשובה היא לא, כי AI הוא לא כל יכול שמבצע הכל, אבל במגבלות הקונטקסט הקטן שלו ובמגבלות המסוימות של הגודל של המודל, הוא עדיין יכול לבצע פעולות חישוביות חשיבתיות, אתם תטענו לתוכו ושהוא יגיד לכם להריץ אותם כי זה מה שהוא אומר כן הוא לא כשאני מייצר טול ואני אומר זה טולים שאתה יכול להשתמש בהם הוא יגיד אוקיי תעזור לי ותשתמש בטולים ותריץ אותם וזה באמת מביא אותי ללמה פיתחתי אגב ספרייה שעוטפת את זה ועושה לכם את הדברים כן כי ה-API הזה הוא מאוד גולמי הוא רואה והוא לא נותן הכל ואנחנו מורגלים להכל אנחנו מורגלים לעולם של קלוד קוד לצורך העניין שמריץ לי כל מיני דברים ברקע ואייג'נטים וכל הדברים האלה ואין לנו את זה עם ה-API האלה. וזה הביא אותי להבין אחרי גם אגב ההרצאה שהעברתי בכנס שעמית פגש אותי. שאלו אותי, אוקיי, דיברתי בדיוק על זה, על on-device AI בווב, ואחת השאלות שקיבלתי הייתה, טוב, זה נחמד ויפה, זה כרגע מאחורי feature flag, אולי זה יהיה בעתיד, אבל זה יותר מדי מופשט, זה יותר מדי ברזלים, אנחנו רגילים להריץ אג'נטים, אנחנו רגילים שהקונטקסט עובר קומפקטיזציה וסמרייזינג, לי השיחה בצורה אוטומטית ואני יכול להמשיך אותה וזה לא משהו שיקרה עם המודלים האלה.
כן, כי הכל מגיע בעצם די ערום ואפילו עם יכולות כמו שאמרת פחות חזקות ממה שאנחנו מורגלים ובעצם צריך פה איזושהי עזרה כדי לייצר משהו שהוא יעיל כמו שאנחנו מכירים בעולם שהוא לא מוגבל למודל לוקאלי. בסוף זה יהיה קוד שאנחנו נצטרך לרשום כדי לגרום לדברים. לרוץ, אוקיי, בתוך האפליקציה שלי, כי אנחנו הרי רוצים להעשיר את האפליקציה עם AI, אז הדרך הפשוטה היא או API key ולעשות calls ל-cloud AI, והיום, מה שאתם שומעים בתוכנית הזאת, אנחנו פותחים לכם פתח לחשוב קצת מחוץ לקופסה עם... לוקל AI עם מודלים קטנים ואז אנחנו נעשה את ה-trade off, אנחנו נצטרך להחליט איך אנחנו עובדים היברידית עם הידע הזה שיש לי מודל בקליינט ומודל בסרבר. אז למשל אם אני צריך לעשות חישוביות מאוד מאוד אקוטית, חשובה, מסובכת, סביר נראה שאני אלך לעולם של ה-cloud AI, אבל אם אני רוצה משימות פשוטות או דברים פשוטים יחסית, יכול להיות שאני ארצה לא לבזבז את הראונד טריפ ואת הטוקנים ואת הכסף ולא להעלים את הפרייבסי שלי ואני אפנה למודל הלוקאלי.
אז אני רוצה שניכנס לזה עוד רגע רק למי שסקרן איך קוראים לספרייה שכתבת? לא הזכרתי אפילו אבל כתבתי ספרייה באמת שנקראת פרומפ מקף צ'יין, פרומפ צ'יין. שאבתי המון מלנג צ'יין, הספרייה שמשתמשים בה בעולם הבקאנד בעיקר.
פשוט בניתי פיצ'רים בתוך הספרייה שמפשטים לכם את היכולת א', להריץ אג'נטים, מאחורי הקלעים כל אג'נט רץ עם וב וורקר בצד הלקוח, והוא מאפשר לכם לשמור את השיחות שאתם עושים, לעבוד עם runnables שמאפשרים פעולות. כמו למשל man in the middle או לעצור איזשהו משהו שאנחנו חייבים התערבות של בן אדם וכמו תשלום למשל, אני לא רוצה שה-AI שלי יעשה תשלום בלי שאני אגיד לו אוקיי, או דברים כאלה. למעשה זה סוג של harness שיושב על הפרומפט API ומאפשר לי לעשות. המון המון המון דברים, אתם יכולים להסתכל על הקוד אצלי בגיטאב, ואפילו לשים סטאר אם אהבתם. או לתרום קצת קוד, או שזה אתה כבר לא מאפשר.
אני אשמח, מי שירצה לתרום קוד, פי.אר.אם אפשר לפתוח, ואני אסתכל על זה, ואני לא חף מפשע, גם יהיו באגים, ואני מצפה שיהיו באגים. יש כבר הורדות לספרייה ואנשים הבנתי משתמשים בה ויחסית מרוצים אבל אשמח לעוד אנשים שיתנסו בה ויראו אם זה מעניין ואם אפשר להשאיר את זה ומוזמנים לשלוח לי גם פי.ארים וגם שאלות אם אתם רוצים לשאול על הספרייה וכו' לא ניכנס לזה יותר מעבר למה שאמרתי עד עכשיו. כי יש לנו עוד דברים לדבר עליהם. כן, מעולה. אז קודם כל, אני מקווה שזה יהפוך להיות לאט לאט אולי איזה סטנדארט בעולם הזה, ככל שהוא יתפתח, וסופר מגניב שלקחת את האינישטיבה.
מה שרציתי לשאול אותך זה, קצת נתת פה כזה כל מיני נקודות שליטו פשוט האוזן סביב שימושיות באמת במודלים, אז דיברנו על הדברים הקצת יותר קלאסיים, שזה באמת אנחנו מכירים, של... טרנסליישן וכולי, אבל באמת זרקת למשל שאולי האוטפוט יכול להיות JSON ולמעשה אנחנו אולי יכולים לייצר שם כל מיני דברים שהם קצת יותר קשורים לעולם הווב. יש איזה יוז קייסים אתה מרגיש שיכלו לצמוח בעולם הזה? מה מתאים? שאלה מצוינת, כי באמת כשהתחלתי לכתוב את פרומפצ'יין זה היה אקספרימנט.
כמו שאמרתי, שאלו אותי בסוף ההרצאה איך זה יכול להיות שימושי, אז אמרתי, כרגע גוגל עובדים על דברים כדי להפוך את זה יותר ויותר שימושי, אבל כך וכך. ולא באמת ידעתי מה לענות, והתוצר של התשובות שלי היה ההבנה שצריך פה איזשהו משהו מעל זה כדי שיעשה את ההרנס.
אז לצורך העניין אם אני רוצה באמת אפליקציה פעילה שרצה בצורה לוקאלית באופליין לבצע פעולות ספציפיות כמו למשל סתם לצורך העניין יש לי עכשיו אפליקציה מעולם הביטוח אני רוצה שתעשה איזה שהן פעולות חישוביות ודברים כאלה אני לא חייב להפעיל את הפעולות החישוביות האלה ברמת השרת. אני יכול להגדיר את הלוגיקה העסקית שלי כחלק מהפרומפט למודל, ושהמודל בקליינט סייד יעשה את החישובים או את ההתאמות שלו פר האינפוט שהיוזר מכניס. אותו דבר, למשל, לפני, לא יודע, בנייה של מודל תלת ממדי או דברים כאלה, אני יכול להתייעץ עם ה... פרומפטים או לשלוח לפרומפט היי אני חושב על כך וכך וכך בוא נעשה דברים אחרים בדוגמה בהרצאה שלי אני הראיתי שבניתי אפליקציה לניהול משימות לילדים שלי. שהיא מבוססת מעל אני חובב אנימה אוקיי מודה ומתוודה.
אז יש סדרה לאחרונה שאנשים מדברים עליה המון שנקראת סולו לבלינג. לא אכנס למה זה אומר, מי שבעולמות האנימה ומכיר יודע, מי שלא, לכו תקראו על זה קצת, אבל ההגדרה שלי בפרומפט הראשוני באפליקציית משימות הייתה, אני רוצה שכל המשימות שאנחנו מייצרים ירגישו כמו משימה בתוך איזשהו דנג'ן, איזשהו מבוך, מנקודות על כל פעולה שהם מבצעים, למשל תשתפות הכלים, ומבחינתם זה תמיד הם יקבלו חיווי כאילו הם נלחמו בדרקונים ושטפו אותם ממים וכל מיני דברים אחרים. ואז זה מכניס יותר פלפל לאפליקציה והיא הופכת להיות יותר מותאמת אישית. לבן אדם שכרגע עובד מולה. וזה באמת הכיוון שאני גם רואה שהדברים ילכו אליהם, אפליקציות שיותר מותאמות אישית לפי הדיבור עם ה-AI הלוקאלי.
אני אוכל לבצע את ההתאמות האלה תוך כדי למידה של המשתמשים שלי שמבצעים פעולות על האפליקציה. הנה עוד use case. אני מנסה לחשוב ביחד איתך על כל מיני use cases ודברים כאלה. אני חושב שבאמת פרסונליזציה זה באמת איזה סוג של use case מאוד מעניין, ומשהו שבכלל אני מחכה לראות יותר בעולמות האלו, וככל שייכנסו דברים שאנחנו מכירים כמו memory או דברים מהסגנון הזה, נוכל לייצר איזשהו משהו כזה שהוא גלובלי אולי ויכול לתת ערך כאילו לאורך אפליקציות וב שונות. עוד כיוון שאני חשבתי אהבתי, אהבתי דווקא כזה מהכיוון שאתה קצת זרקת, זה שלפעמים זה יכול להיות לאו דווקא באינטראקציה עם המשתמש עצמו, אלא ממש כאיזשהו חלק כזה בין לבין, איזשהו מנוע כזה בין לבין, שעוזר להשלים אולי אפילו חלקים שונים בתוך האפליקציה, שאולי לא חשבתי, פולבקים כאלו מסוימים, משהו שיושב על הנטוורק, שאני מקבל כל מיני...
החפצת לי עוד רעיון, רול אנג'ין. פעם עבדתי במסגרת עבודה שלי בתור טקליד בבנק הפועלים ועבדנו על מנוע חוקים למשכנתאות ואני הנה אני יכול להגדיר איזושהי התחלה של רול אנג'ן ולהריץ רולס דרך המודל ברקע מאחורי הקלעים או להוריד את הרולס שלי ולהריץ אותו כאיזשהו רול אנג'ן בשביל שמבצע לי החלטות מאחורי הקלעים לפי ההסתעפות של מה שהיוזר שלי כרגע עושה או נותן לי פידבק. לא תמיד הכל זה צ'אטבוט. נכון, והדבר הזה באמת יכול לשבת ולתקשר בג'ייסונים ולהעביר את הדברים בין לבין? אני יכול להעביר את המידע גם כפרומפט כטקסטואלי, גם כג'ייסון וגם לקבל חזרה ג'ייסונים, אני רק צריך להגדיר את הסכמות האלה בשביל ולהעביר אותם כשאני מייצר את הקונברסיישן את השיחה עם הדרך הלנגווידג' מודל נקודת קריאיט ואז אני יכול לעשות רסטריקשן לאיך אני מקבל אינפוטים ואיך אני מוציא אאוטפוטים או איך סליחה לא אני המודל מקבל אינפוטים ומוציא אאוטפוטים וזה במסגרת ה-API זה קיים כאילו.
ואז לא הכל חייב להיות טקסטואלי. לא, כן, לא טקסטואלי, וגם יכולים לעבור מלהגדיר חלקים באפליקציה שלנו שהיינו רגילים להגדיר אותם בקוד, באמת פשוט להכניס את זה לתוך המודל פרומפט ולקבל שם לפעמים כל מיני החלטות כאלו ואחרות על המקום. נכון, הנה אנחנו מוצאים עוד כל מיני דברים מעניינים אחרים שאפשר לעשות עם ה... בצורה שימושית עם המודל הזה. זאת אומרת, אמרתי, sky is the limit, אנחנו מוגבלים במה שיש לנו אצלנו בקופסה, אבל אפשר להגיע רחוק, ואני בטוח שהמאזינים שמאזינים כרגע, בטח יכולים לחשוב על הרבה הרבה דברים אחרים, אולי אפילו יותר מעניינים שאפשר לעשות עם מודל שנמצא לוקאלית אצלי, בתוך האפליקציות וב שלהם.
טוב גיל, אז אנחנו מגיעים ככה לקראת סוף הפרק, הייתי שמח לנסה איזשהו גם סיכום. למאזינים וגם אם יש לך איזשהו טיפ למי שרוצה להתחיל לבנות ולהיות באמת פיוניר על הדבר הזה. אז בוא נסכם את זה בדבר כזה, אני בהרגשה שלי העתיד בעולם הווב הולך להשתנות, הוא הולך להשתנות כי אחד, אבל אני מניח שהיה לכם פרק על זה, יש את Web MCP וכל מה שקשור לעבודה של האתרים שהולכים לחשוף את עצמם לא רק לבני אדם, אתרים או אפליקציות, אלא גם גם לאג'נטים, אוקיי? שתיים, יש לי את MCP Apps מצד שני, פרוטוקול שכתבו אותו שני ישראלים, שהיו כאן, אוקיי? שאחד מהם חבר יקר, שבסוף מאפשר לכם לעשות, לייצר קונטקסט ולהריץ אפליקציות שלכם, או בתוך אותם צ'אטים כמו Cloud, ChatGPT, Gemini וכו', אז בעצם אתם לא יוצאים מהקונטקסט של הצ'אט, אתם מפעילים פעולות אמיתיות על האפליקציות.
הדבר השלישי זה באמת העולם של הפרומפט API ומודלים לוקאליים. והמודלים הלוקאליים האלה, כמו שאמרתי, sky is the limit, אבל עדיין יש לנו לימיט, אוקיי? בסוף אנחנו מדברים על מודלים קטנים, הם לא המודלים שאתם מכירים מהעולם של Cloud AI, הם מודלים שהם יחסית פשוטים, אז... הרעיון הוא להפעיל אותם לפעולות פשוטות יחסית. דבר שני, לפעמים אתם תתעכעו אם תתחילו לעבוד עם זה, אתם תגיעו, וזה טיפ קטן, אתם תגיעו למצב שבו אתם נתקעים בוול הראשון שזה קונטקסט קטן, ואז אתם צריכים לבצע קומפקטיזציה וסמרייזינג של הקונטקסטים שלכם תוך כדי עבודה, מה שאגב פרומפצ'יין עושה עבורכם כפיצ'ר.
ועוד כל מיני דברים אחרים שכאילו בסוף מצריכים חשיבה טיפה מחוץ לקופסה על איך לעבוד איתם. כמו איך להריץ אייג'נטים, הרי אין לי אייג'נטים באמת בעולם הלוקל, אוקיי? אז זה באמת הדברים שאני אוהב, ואיך אני רואה את העתיד, העתיד הולך להיות הייבריד אפליקיישנס. אפליקציות היברידיות וביות שתקשרו גם עם מודלים לוקאליים ובמקביל גם עם ה-cloud AI, לוקאלי לפרייבסי, לאופליין ולקומפלקס אני הולך ל-cloud AI. זה פחות או יותר הכיוון שאני חושב שהעולם הווב מתחיל ללכת אליו, לכיוונים האלה, שלושת הגורמים, Web MCP, MCP App Styles ו-AI.
לוקאלי דרך מודל שיושב לי בתוך הדפדפן. כן, אני רואה את זה באמת קדימה, אפילו עוד קצת בצורה יותר קיצונית, שאנחנו נראה כבר גם כן פריימוורקים כמו Next.js ודברים מהסגנון הזה, שכבר ממש מערבבים בתוכם גם פונקציונליות, בתוך החלק שלפעמים ניגש לקוד דטרמיניסטי, לפעמים הולך למודל, וכל מיני אולי פיצ'רים והתנהגויות שלא ראינו כל כך בעבר.
להכניס איזשהו מודל שעוזר להחליט בעצם על פרמטרים או לאיזה דף אתה תגיע או כל מיני דברים בסגנון הזה ובאמת כאן כמו שאמרת, the sky is the limit ומעבר לזה באמת אני רואה שהמודלים האלו, המודלים הלוקאליים, המודלים האופן סורסים הולכים ומשתפרים ואני מאמין שבאמת עד שהדבר הזה יהפוך להיות GA ומשהו שהוא באמת סטנדרטי, מהותית כבר יותר חזק ותוך כדי באמת נראה את היוסקיסים המגניבים הולכים וככה נתפרים להם וזה נשמע כמו באמת עולם חדש ומאוד מסקרן ככה שנפתח בתחום הווב. אז כיף גדול שבאת ופתחת לנו באמת את העולם הזה. תודה על האירוח. ואני שהגעתי אולי קצת סקפטי כאילו סביב מה אפשר לעשות עם המודלים האלו ועכשיו אני באמת יותר נרגש ובאמת זה נשמע סופר מסקרן, אז תודה רבה ואנחנו נתראה בפרק הבא, תודה רבה