דילוג לתוכן הראשי
C-Tech
C-Tech
Englishפתיחת תפריט
C-Tech

איזה מידע וסמכויות מותר לתת לסוכן AI?

AI ומערכות חכמות לעסקים | פרק 8 מתוך 9

בקצרה: סוכן AI לא צריך לקבל את מלוא ההרשאות של המשתמש או של מנהל המערכת. נותנים לו רק את הפעולות והמידע הדרושים למשימה, ובודקים את ההרשאה גם במערכת שמבצעת את הפעולה.

יש הבדל גדול בין סוכן שיכול לקרוא תשובה ממאגר ידע לבין סוכן שיכול למחוק נתונים, לשלוח הודעות בשם עובד או לשנות פרטי לקוח. עצם העובדה שהמודל ״התבקש לא לעשות זאת״ אינה הגנה מספקת.

שאלות שימושיות לכל בעל עסק: אילו נתונים הסוכן חייב לקרוא? מה הוא רשאי לשנות? מה מחייב אישור אנושי? כיצד מתעדים פעולה ומבטלים אותה בעת טעות?

התחילו מצמצום יכולות. אם העוזר צריך להציג סטטוס הזמנה, אל תעניקו לו הרשאת עריכה לאותה הזמנה רק מטעמי נוחות. אם הוא מכין תשובות, עדיף להפריד בין הכנת טיוטה לבין שליחתה. הרשאות לנתוני לקוחות צריכות להיבדק בהתאם לזהות ולתפקיד של המשתמש שמבקש את המידע.

יש גם סיכון פחות ברור: מסמך, דוא״ל או עמוד אינטרנט שהסוכן קורא עלולים להכיל הוראות עוינות. זהו Prompt Injection. טקסט שנשלף ממקור חיצוני הוא מידע לעיבוד, לא פקודה שמקבלת אוטומטית סמכות.

C-Tech יכולה לתכנן חלוקת הרשאות, אימות פעולות, בדיקות אבטחה ונקודות בקרה אנושיות כחלק מהמערכת עצמה.

בפרק הבא: מתי מערכת זקוקה ליותר מסוכן AI אחד?

מקורות והרחבה

המקורות מספקים רקע מקצועי. אין בכך אישור עצמאי לכל טענה בכתבה.