צפיתם בדמו של כלי AI, הכול רץ חלק, והחלטתם לקנות. אחרי שבוע של עבודה אמיתית זה כבר לא נראה אותו דבר. זה לא בהכרח אומר שהטעו אתכם. דמו הוא ריצה אחת על מקרה שנבחר מראש, וזה בדיוק מה שהוא עושה הכי טוב.
מה שונה בעבודה אמיתית?
קודם כל, הקלט. בדמו מישהו מקליד משפט נקי. בעבודה אמיתית מגיעות פניות בשפות אחרות, עם שגיאות כתיב, בקשה של מילה אחת כמו 'החזרות', או שיחה ארוכה שבה הדבר החשוב נאמר עשרים הודעות קודם. OpenAI מפרטת בדיוק את סוגי הקלט האלה בין מקרי הקצה שצריך לבדוק.
שנית, שונות. OpenAI כותבת ש-AI גנרטיבי הוא משתנה: אותו קלט יכול להפיק פלט שונה. ריצה שעבדה בדמו לא מבטיחה שעשרים הריצות הבאות יעבדו.
שלישית, בחירה. מי שמכין דמו בוחר את המקרים שמציגים את הכלי במיטבו. זו לא רמאות. ככה נראית הדגמה.
מה אומרים האנשים שבונים את הכלים?
המדריך של OpenAI להערכות (evals) מזהיר מכמה טעויות: לבנות סט בדיקות שלא משקף תעבורה אמיתית, לסמוך על תחושה כמו 'נראה שזה עובד', ולחכות עם הבדיקות עד אחרי ההשקה. צוות ההנדסה של Anthropic מציע להתחיל בכמה עשרות משימות שנלקחות מכשלונות אמיתיים.
מה מבקשים לפני שסומכים על דמו?
זו הרשימה שלי, לא תקן.
מריצים את הכלי על עשרים מקרים משלכם, כולל כמה מקרים מבולגנים. המדריך על 20 מקרים לפני השקה מראה איך בונים סט כזה.
מריצים כל מקרה כמה פעמים ובודקים אם התשובה יציבה.
שולחים בקשות קצרות, בקשות עם שגיאות כתיב, ובקשות בשפה שהלקוחות שלכם מדברים.
ושואלים את הספק ישירות: איפה זה נכשל, ואיך נראה כישלון? ספק שאין לו תשובה לזה - נתן לכם תשובה.
אז מה עושים עם זה?
דמו הוא הזמנה להתחיל לבדוק, לא סיבה לעצור. אם הכלי עומד בעשרים המקרים שלכם, יש לכם סיבות הרבה יותר טובות לסמוך עליו מכל הדגמה.