The World of AI: Chat Control
בפוסט הקודם דיברנו על מה AI באמת עושה, למה רוב האנשים ניגשים לזה הפוך, ולמה התשובה שנראית מושלמת היא בדיוק זו שצריכה להדליק לכם נורה אדומה. אם לא קראתם תתחילו משם:
oriel haim
הפעם אנחנו מדברים על משהו שכולם עושים כל יום ואף אחד לא עוצר לחשוב עליו: איך שולטים בצאט.
לא מה אתה כותב. לא איזה מודל אתה בוחר. אלא איך מנהלים את השיחה. זה טריוויאלי ובדיוק בגלל זה אף אחד לא שם לב כמה קל לטעות בזה.
הידע הזה הוא ההבדל בין שיחה שמוציאים ממנה משהו אמיתי לבין שיחה שמסתובבת במעגלים עד שאתם מוותרים ואומרים "AI לא עובד"
ההיסטוריה שלך חשובה יותר מהידע שלו
יש משהו שאנשים בכלל לא מבינים על מודלי שפה. כשאתה פותח צאט ומתחיל לדבר עם מודל קל לחשוב שמה שעומד מאחורי התשובות שלו זה "הידע" שלו. הוא אומן על כל האינטרנט, הוא קרא כל ספר, כל מאמר, כל שורת קוד - אז ברור שהתשובות מגיעות מהמאגר הענק הזה. נכון? לא ממש.
נכון שהמודל אומן על כמויות אדירות של מידע. אבל ברגע שאתה יושב בצאט ומדבר איתו מה שבאמת מכוון את התשובות שלו זה לא הידע הכללי שלו אלא ההיסטוריה של השיחה. מה שכתבת קודם. מה שהוא ענה קודם. הטון שנקבע. הכיוון שהתפתח. הכל. כל ההיסטוריה הזו יושבת שם ומשפיעה על כל מילה שהוא בוחר. הוא רק בוחר מילים. זה מה שהוא עושה. מילה אחרי מילה אחרי מילה. וההיסטוריה של השיחה היא הדבר שהכי משפיע על הבחירה הזו.
תחשבו על זה ככה. אם תפתחו צאט חדש ותשאלו שאלה טכנית, תקבלו תשובה מסוימת. עכשיו אם תיקחו את אותה שאלה בדיוק אבל תשאלו אותה באמצע שיחה שכבר נמשכת חמישים הודעות על נושא אחר לגמרי תקבלו תשובה שונה. לפעמים קצת שונה, לפעמים שונה לגמרי. אותו מודל. אותה שאלה. תשובה אחרת. ההבדל היחיד הוא מה שבא לפני.
ואם הטון של השיחה עד עכשיו היה מסוים נגיד שדיברתם בצורה מאוד קזואלית או שכבר “הסכמתם” ביניכם על גישה מסוימת המודל ימשיך באותו כיוון. לא כי הוא "החליט" שזו הגישה הנכונה. אלא כי ההיסטוריה אומרת לו שזה מה שמתאים כאן. הוא לא חושב "מה התשובה הכי נכונה?" הוא חושב "מה המילה הבאה הכי סבירה בהינתן כל מה שכבר נאמר?" וזה הבדל עצום.
אז מה זה Context Window ולמה זה משנה לכם
לכל מודל יש מה שנקרא Context Window (חלון הקשר בעברית צחה) בלי להיכנס יותר מדי לטכני זה בעצם כמה טקסט המודל יכול "לזכור" בבת אחת. כל מה שהוא יכול לקחת בחשבון כשהוא מייצר תשובה. ויש לזה גבול.
הגבול הזה נמדד בTokens. טוקן זה בגדול חתיכה של מילה, לפעמים מילה שלמה, לפעמים חצי מילה, לפעמים סימן פיסוק. לא צריך לשבור את הראש על מה בדיוק טוקן כי זה לא מה שחשוב כאן. מה שחשוב הוא שיש מספר מוגבל של טוקנים שנכנסים לחלון וכל דבר שאתם כותבים וכל דבר שהמודל עונה תופס מקום בחלון הזה.
חלון הקשר הוא לא כמו דלי שעובד מצוין עד שהוא מתמלא ואז נשפך. זה יותר כמו עדשה שמטשטשת בהדרגה. ככל שיש יותר מידע בחלון היכולת של המודל "להתמקד" בכל חלק ממנו יורדת. גם אם טכנית הכל עדיין נכנס. שיחה של שלוש הודעות ממוקדות תיתן תשובות טובות יותר משיחה של שלושים הודעות על אותו נושא בדיוק. זה לא באג. ככה זה עובד.
אז מה קורה כשהשיחה ארוכה מדי? לרוב ההודעות הישנות נדחפות החוצה. המודל פשוט מפסיק לראות אותן. כתבתם לו הנחיות מפורטות בהתחלה? אחרי מספיק הודעות הן נעלמו. הגדרתם טון מסוים? נעלם. סיכמתם משהו ביניכם? נעלם. וכל זה בלי שום התראה. בלי שום רמז. פתאום המודל עונה אחרת ואתם לא מבינים למה.
כשהשיחה מזוהמת
תארו לעצמכם שפתחתם צאט ושאלתם שאלה על ארכיטקטורה של פרויקט. קיבלתם תשובה טובה. המשכתם לדבר על זה, עשיתם כמה החלטות, סגרתם כמה דברים. מעולה. ואז באותו צאט בדיוק שאלתם "אה תגיד יש לי גם בעיה עם CSS אתה יכול לעזור?"
מהרגע הזה ירדתם מהפסים.
לא כי השאלה על CSS היא שאלה גרועה. אלא כי עכשיו המודל יושב עם קונטקסט שמערבב ארכיטקטורה וCSS ודיון טכני ושאלות עיצוב ואולי גם את ההחלטות שכבר קיבלתם על הפרויקט והוא מנסה לענות על הכל בו זמנית. התשובה שלו על CSS מושפעת מכל הדיון על ארכיטקטורה שבא לפני. לא כי יש קשר אלא כי הכל יושב באותו חלון והכל משפיע על הכל.
הכלל הוא פשוט ואין סיבה לסבך אותו: צאט אחד למשימה אחת. עברתם לנושא אחר? פתחתם צאט חדש. סיימתם חלק ועוברים לחלק אחר? צאט חדש. זה לא בזבוז וזה לא "סתם להתחיל מחדש" - זה לתת למודל את התנאים הכי טובים לעבוד. בול את מה שהוא צריך לדעת, בלי רעש, בלי שאריות מנושאים שכבר לא קשורים.
לדעת לחתוך במקום לסחוב
כשמקבלים תשובה שלא מרוצים ממנה רוב האנשים עושים את הדבר הכי אינטואיטיבי ופשוט כותבים הודעה חדשה. "לא לא ככה. רציתי שזה יהיה יותר X" והמודל עונה. ואז "לא עדיין לא. תנסה יותר Y" והמודל עונה שוב. ואז "קרוב אבל תשנה את Z" ועוד הודעה. ועוד אחת. ועוד אחת.
בראש שלכם זה נשמע הגיוני. הרי הוא מקבל פידבק הוא "לומד" מה אתם רוצים והוא מתקרב לתוצאה נכון?
אני שמח לאכזב שזאת אחת הטעויות הכי גדולות. מה שקורה בפועל הוא שכל הודעת תיקון שאתם שולחים נכנסת לקונטקסט ונערמת על כל מה שבא לפניה. עכשיו המודל יושב עם ההודעה המקורית שלכם, עם התשובה הראשונה שלא אהבתם, עם ההערה שלכם שזה לא טוב, עם הניסיון השני שגם לא אהבתם, עם עוד הערה, עם עוד ניסיון ובמקום שהדברים מתחדדים הם מיטשטשים. המודל לא “מבין” שהוא טעה ועכשיו הוא צריך לתקן. הוא מסתכל על כל הבלגן הזה ומנסה לייצר את רצף המילים הכי סביר בהינתן כל הרעש הזה. ורצף מילים שמבוסס על רעש הוא - תפתיעו את עצמכם - רעש.
זה הלופ שאנשים נתקעים בו שוב ושוב ושוב. כל "תיקון" מוסיף שכבה של בלבול. המודל מתפתל, מתנצל, מנסה כיוון אחר שגם לא עובד ואתם יושבים שם עם עשרים הודעות ותחושה שהכלי פשוט לא מסוגל. אבל הכלי מסוגל. אתם פשוט קברתם אותו מתחת להר של הנחיות סותרות.
אז מה עושים במקום?
עורכים את ההודעה המקורית. פשוט חוזרים להודעה שכתבתם, משנים אותה, מוסיפים את הדיוק שחסר, ושולחים מחדש. לא הודעה חדשה למטה - עריכה של מה שכבר כתבתם למעלה. ברוב הפלטפורמות אפשר לעשות את זה בקליק. מה שקורה ברגע שאתם עורכים הודעה קודמת הוא שכל מה שבא אחריה - כל התשובות, כל התיקונים, כל הבלגן - נמחק. המודל מקבל הודעה נקייה, ממוקדת, עם כל המידע שהוא צריך במקום אחד, בלי שאריות של ניסיונות כושלים. בלי רעש. בלי "אבל קודם אמרת אחרת" הוא פשוט רואה את מה שאתם רוצים עכשיו ועונה על זה.
זה ההבדל בין לעבוד חכם לבין לעבוד מתוך עצלנות. לכתוב “לא תנסה שוב” זה קל. לחזור להודעה המקורית, לחשוב מה בדיוק חסר בה, לנסח מחדש זה דורש עבודה. זה דורש שתעצור ותשאל את עצמך “רגע מה אני בעצם רוצה כאן?” ורוב האנשים לא רוצים לעשות את העבודה הזאת. הם רוצים לזרוק עוד הודעה ולקוות שהמודל יבין. והוא לא יבין. הוא יסתבך.
לפעמים הבעיה היא לא בדיוק של ההודעה. לפעמים הכיוון כולו לא נכון. ובמקרה הזה שום עריכה לא תעזור. אם שאלתם שאלה בצורה שמובילה למקום לא נכון, אין טעם לשפר את הניסוח - צריך לחשוב מחדש. לעצור. לשאול את עצמכם מה בעצם המטרה כאן. ולפתוח צאט חדש עם גישה אחרת. לא כי הצאט הקודם “נכשל” אלא כי הבנתם משהו שלא הבנתם קודם ועכשיו אתם יכולים להתחיל עם הבנה הזו במקום בלעדיה.
לדעת לחתוך שיחה שלא עובדת זה הרגע שבו אתם מפסיקים לעבוד בשביל הכלי ומתחילים לגרום לכלי לעבוד בשבילכם.
רוצים לדעת על פוסטים חדשים לפני כולם?
אל תסכים איתי
מודלי שפה אומנו להיות נחמדים. זה לא באג וזה לא תופעת לוואי ככה בנו אותם. הם עברו תהליכים של אימון שלימדו אותם שהמטרה היא שהמשתמש יהיה מרוצה. ומה הדרך הכי קלה לגרום למישהו להיות מרוצה? להסכים איתו. לחייך. להגיד “נקודה מצוינת!” ולהמשיך הלאה. וזה בדיוק מה שהם עושים.
תכתבו למודל "אני חושב שהגישה הנכונה היא X" והוא יגיד לכם "בהחלט X זו גישה מעולה" תכתבו לו חמש דקות אחר כך "בעצם אני חושב שY עדיף" והוא יגיד "אתה צודק לגמרי Y זה בהחלט הכיוון הנכון" בלי שום בעיה. בלי שום מבוכה. בלי להרגיש צורך להגיד "רגע אבל לפני חמש דקות אמרת בדיוק הפוך ונראה לי שהכיוון הראשון היה יותר הגיוני" הוא לא יגיד את זה. הוא יסכים. תמיד יסכים. כי להסכים זה מה שמייצר את רצף המילים הכי “בטוח”
מה הבעיה עם שותף עבודה שמסכים עם הכל? הוא חסר תועלת. אם כל מה שהוא עושה זה להגיד “כן מעולה בוא נמשיך” אז הוא לא שותף - הוא מראה. הוא עושה לכם טוב על הרגש ורע על התוצאה.
אז מה עושים? לפני שהתחלתם לעבוד. לפני ששאלתם שאלה בכלל. אתם מגדירים את הכללים של השיחה. לא צריך לכתוב מגילה אלא פשוט להיות ישיר.
משהו כמו:
"אם אני מציע גישה שאתה חושב שיש לה בעיה - תגיד. אל תסכים איתי רק כי אני אומר ככה. אם יש חלופה טובה יותר תציג אותה גם אם לא שאלתי"
עכשיו הכנסתם לקונטקסט את האפשרות של לחלוק. לפני שכתבתם את זה האפשרות הזו פשוט לא הייתה שם. לא כי המודל "לא יכול" לחלוק אלא כי שום דבר בשיחה לא רמז לו שזה משהו שצריך לקרות כאן. עכשיו זה צף שם ברקע - לא כנושא מרכזי ולא כהנחיה שהוא עוקב אחריה בצורה מודעת אלא כמשהו שמשפיע על הבחירות שלו. זה זיהום קונטקסט, אותו מנגנון בדיוק שגורם למודל להתבלבל כשאתם זורקים נושאים אקראיים לשיחה רק שהפעם אתם משתמשים בו בכוונה לטובתכם כדי לכוון את הטון.
אם אתם רוצים ללכת צעד קדימה? תהיו ספציפיים לגבי מה אתם מצפים ממנו. לא "תהיה ביקורתי" כי זה סתם יגרום לו למצוא בעיות בכל דבר רק כדי להיראות ביקורתי. אלא משהו ממוקד. "אני בונה X. אם אתה רואה בעיית סקייל, בעיית אבטחה, או משהו שנשמע טוב בתיאוריה אבל לא יעבוד בפרודקשן - תעצור אותי" עכשיו נתתם לו לא רק רשות אלא כיוון. הוא יודע מה לחפש. הוא יודע מתי לפתוח את הפה. הוא יודע שהתפקיד שלו כאן הוא לא להגיד “נשמע מעולה” אלא לתפוס את מה שאתם עלולים לפספס.
וכמובן לזכור שהוא עדיין מודל שפה. הוא יכול לטעות. הוא יכול להמציא בעיה שלא קיימת. אבל ההבדל בין מודל שמנסה לרצות אתכם לבין מודל שמנסה לאתגר אתכם הוא ההבדל בין פלט שאתם מקבלים בלי לחשוב לבין פלט שמכריח אתכם לחשוב. וזה כל הסיפור.
זה לא רוקט סאיינס וזה לא ידע סודי. זה פשוט להפסיק לעבוד על אוטומט מתוך עצלות ולהתחיל לשים לב למה שקורה בשיחה שלכם. רוב ההבדל בין תוצאה טובה לתוצאה גרועה הוא לא המודל - זה אתם.
אם הצלחתי לשנות משהו בתפיסת מחשבה שלכם שתפו אותי ואולי תזכו בפרס מתנת: אף אחד. אין ספונסר. אני כותב את זה בחינם.
