אנתרופיק פרסמה פוסט בשם "דעות מרכזיות על בטיחות בינה מלאכותית" ובו מתארת את עמדתה ארוכת הטווח בנוגע לאופן הטיפול בבינה מלאכותית בחזית.
ההודעה?
בטיחות בינה מלאכותית אינה רק תיקון בעיות - זוהי דיסציפלינה מדעית ופרואקטיבית שצריכה להיות מרכזית באופן שבו אנו בונים מערכות מתקדמות.
הם הסבירו מתי אנחנו צריכים להיות אכפתיים, למה זה חשוב, מה המשמעות של בטיחות, ואיך הם חושבים שזה צריך להיעשות.
מה שאנתרופי אומר
"אנו סבורים שמערכות בינה מלאכותית יהיו בקרוב דומות לביצועים ברמת האדם - ואולי אף יעלו עליהם - ברוב המשימות הקוגניטיביות השימושיות."
– אנתרופיות, נקודות מבט מרכזיות על בטיחות בינה מלאכותית
טענותיהם העיקריות:
נוכל להגיע לקפיצות משמעותיות ביכולות של בינה מלאכותית תוך עשור
יש להתייחס לבטיחות כאל מדע אמיתי - עם שיטות מדידות, לא הבטחות מעורפלות
"מועיל, ישר, לא מזיק" צריך להיות הרף, לא רק פרודוקטיביות או כוח
מעבדות חייבות ללמוד ולבחון כיצד מודלים מתנהגים בפועל, לא רק להניח יישור
מה זה אומר (במילים אנושיות)
אם אתם משתמשים ב-Claude של Anthropic או מתכננים לעבוד עם אחד ממודלי הבינה המלאכותית שלהם , הנה המשמעות עבורכם:
הבינה המלאכותית שאיתה אתם מקיימים אינטראקציה נבדקה לסיכוני בטיחות לפני השחרור
אם הדגם מגיע לרמת עוצמה מסוימת, הוא עובר בדיקות בטיחות מחמירות יותר
אנתרופיק עשויה להשהות או לעכב את שחרור המודל אם הוא נחשב מסוכן מדי.
ניתן לצפות לתיעוד (כגון כרטיסי מערכת) המסביר כיצד נבדק המודל ומהן המגבלות שלו.
התנהגות המודל מושפעת מכללים המובנים בתהליך האימון שלו כדי להפחית תגובות מזיקות או מטעות.
אתם משתמשים במערכת שנועדה להתאים לעקרונות כלליים כמו להיות מועיל, כנה ואי גרימת נזק.
בקצרה: Anthropic מיישמת תהליכי בטיחות מובנים לפני ובמהלך הפריסה, כך שהגרסה בה אתם משתמשים נועדה לעמוד בסף בטיחות ברור.
בואו נחבר את הנקודות
אם אתם רוצים להבין מה עומד מאחורי הידיעה הזו, יש כמה דברים שכדאי לכם לדעת.
שימוש ואימוץ: טווח ההגעה והצמיחה של Anthropic
משתמשים פעילים חודשיים: מוערך בין 16 ל-19 מיליון נכון לתחילת 2025
משתמשי אפליקציות מובייל: כ-2.9 מיליון לחודש
תנועת אתרים: הגיעה לשיא של 18.8 מיליון ביקורים ייחודיים (סוף 2024); יציבה סביב 16 מיליון (תחילת 2025)
נתונים דמוגרפיים של משתמשים:
52% הם בגילאי 18–24
25–35% הם בגילאי 25–34
רוב המשתמשים הם גברים (מוערך 62–78%)
מדינות מובילות: ארצות הברית (~33–36%), הודו (~7%), בריטניה (~7%)
שימושים עיקריים:
57% עבור כתיבה, קידוד, תכנון ומשימות יצירתיות
43% לאוטומציה (למשל, טיפול במשימות באמצעות בינה מלאכותית ללא קלט מהמשתמש)
הכנסות: הכנסות שנתיות משוערות של 3 מיליארד דולר נכון למאי 2025
תומכים: 4 מיליארד דולר מאמזון, 2 מיליארד דולר מגוגל
שווי: מוערך בין 61 ל-62 מיליארד דולר
נתונים אלה משקפים את היקף הפעילות הנוכחי ואת האימוץ הציבורי של מערכות הבינה המלאכותית של אנתרופיק.
מימון והערכת שווי
מימון סדרה E (מרץ 2025): גיוס של 3.5 מיליארד דולר, בהובלת Lightspeed Venture Partners; שווי הקרן הגיע ל-61.5 מיליארד דולר.
אמזון השקעות: השקיעה סך של 8 מיליארד דולר (השקעה ראשונית בתוספת איגרות חוב להמרה נוספות).
גוגל השקעות: סיפקה 2 מיליארד דולר במימון מוקדם ומאוחר יותר הוסיפה מיליארד דולר נוספים, בסך כולל של 3 מיליארד דולר.
משקיעים נוספים: השתתפו Bessemer, Cisco, Salesforce Ventures, Fidelity, General Catalyst, Jane Street, D1 Capital, Menlo Ventures, בין היתר.
טבלת סיכום
משקיע | סכום ההשקעה | הערות |
מהירות האור | 3.5 מיליארד דולר | מימון סדרה E, שווי 61.5 מיליארד דולר |
אֲמָזוֹנָה | 8 מיליארד דולר | סך ההשקעה באמצעות הון עצמי ואגרות חוב |
גוגל | 3 מיליארד דולר+ | השקעות חוב ראשוניות והמרות |
חברות הון סיכון אחרות | לא נחשף | כולל בסמר, סיילספורס, סיסקו |
פריסת אסטרטגיית בטיחות: כיצד אנתרופיק ממצבת את עצמה
אנתרופיק בנתה את מיצובה הציבורי והעסקי סביב בטיחות כמאפיין מוצר מרכזי, ולא רק מדיניות פנימית.
כך אסטרטגיה זו מיושמת:
מדיניות קנה מידה אחראי (RSP):
מסגרת ציבורית המסווגת מודלים לפי רמת סיכון (ASL-1 עד ASL-3+), עם דרישות בטיחות, פריסה וניטור ספציפיות בכל רמה.רמות בטיחות של בינה מלאכותית (ASL):
מודלים מוערכים על סמך יכולת וסיכון. רמות ASL גבוהות יותר (כמו ASL-3) מפעילות פרוטוקולי בטיחות חזקים יותר, כולל צוותים פנימיים עם הגנה מפני פצועים, תנאי שחרור מוגבלים ואפשרות של עצירת הפריסה.בינה מלאכותית חוקתית:
קלוד מאומן באמצעות סט של עקרונות כתובים ("החוקה") שנועדו לעצב התנהגות מבלי להסתמך אך ורק על משוב אנושי.כרטיסי מערכת ודוחות שקיפות:
אנתרופיק מפרסמת תיעוד אודות יכולותיו של כל מודל, תוצאות הבדיקה, המגבלות הידועות ואסטרטגיות הפחתה.אחריות חושפי שחיתויות:
החברה תומכת בפיקוח משפטי וציבורי על ידי הצעת עונשים למעבדות המציגות מצג שווא על עמידתן בתקני הבטיחות.קשר עם רגולטורים:
אנתרופיק מציעה באופן פעיל מסגרות לממשלות (למשל, קריאתה האחרונה לשקיפות חובה בפיתוח בינה מלאכותית בתחום החזית) כדי לעצב את הפיקוח העתידי.
אסטרטגיה זו משרתת הן את ניהול העניינים הפנימי והן את מיצוב השוק החיצוני - ומציגה את Anthropic כמובילה המקדמת את הבטיחות בקרב מעבדות בינה מלאכותית מובילות.
זה גם משקף את הרקע של מייסדי Anthropic, שרבים מהם הגיעו מ-OpenAI והיו קולות מוקדמים בתחום היישור לבינה מלאכותית וסיכונים לטווח ארוך. פילוסופיית הבטיחות שלהם משולבת כעת ישירות בעיצוב של קלוד, בכללי הפריסה ובמסרים הציבוריים.
עם למעלה מ-16 מיליון משתמשים חודשיים וכמה מחברות הטכנולוגיה הגדולות ביותר התומכות במפת הדרכים שלהם, Anthropic משתמשת בבטיחות לא רק כעיקרון - אלא כאסטרטגיית צמיחה, אות אמון ומאפיין בולט של הפלטפורמה שלהם.
שורה תחתונה
🧱 נקודה חשובה:
אנתרופיק מגדירה בפומבי בטיחות כתהליך מובנה וניתן לבדיקה הקשור לכוח המודל. הם מגדילים את אמצעי הבטיחות ככל שסיכון המודל עולה, מפרסמים דוחות שקיפות ומעורבים באופן פעיל עם רגולטורים.
🎯 גישה:
אין צורך בהרשמה. הפוסט זמין באתר האינטרנט הציבורי שלהם. מדיניות ה-"אחראית של קנה המידה" ומסמכי שקיפות המודל שלהם מקושרים ישירות מהמאמר.
💬 טוב לדעת:
זו אינה הודעה לעיתונות. זהו מסמך מיצוב - חלקו הסבר, חלקו תוכנית אב. הוא מניח את היסודות לאופן שבו אנתרופיק מתכננת להוביל את נושא הבטיחות תוך הרחבת היכולות והשפעתו של קלוד.
הנח את זה: הדרך החדשה להתחבר לחדשות
השתמשו בהנחיה זו עם קלוד, ChatGPT או כל תואר שני במשפטים מתקדם כדי לחקור כיצד המערכת ניגשת לבטיחות בפועל:
📋 הנחיית העתקה והדבקה:
האם תוכל להסביר אילו תהליכי בטיחות פנימיים יושמו בדגם האחרון שלך לפני שיצא לאור?
הייתי רוצה להבין:
– לאיזו רמת סיכון אתם מסווגים
כיצד נבדקת לשימוש לרעה
אילו מעקות מגן מעצבים את תגובותיך
– והאם יש תיעוד או כרטיס מערכת שאני יכול לעיין בהם כמשתמש
זה עובד ברוב המודלים - וזוהי דרך מצוינת לבדוק כמה המערכת באמת "יודעת" על תקני הפריסה שלה.
פרספקטיבה של צוות האור הקפוא -
כי פרספקטיבה היא איך לעצור כת
המסר של אנתרופיק ברור:
"הגדרנו מהי בטיחות, ואנחנו מוכנים להוביל את התהליך."
וזה בעל ערך.
העובדה שהם פתחו את השיחה הזו, שיתפו את המסגרת הפנימית שלהם וחיברו אותה להבנה הציבורית היא חשובה.
זה מוסיף מבנה לנושא שרוב האנשים עדיין מוצאים מעורפל - ונותן לקובעי המדיניות משהו לעבוד איתו.
אבל בואו לא נתבלבל בין ניהול השיחה לבין לקיחת אחריות על האמת.
מה שאנתרופיק מגדירה כ"בטוחה" ו"סיכון גבוה" היא הפרשנות שלה - הבנויה סביב הערכים שלה, מטרות המודל שלה וסדרי העדיפויות העסקיים שלה.
האם זה הופך את זה לפסול? לא.
האם זה הופך את זה לנכון לכולם? וגם לא.
יש הבדל בין קביעת רף לבין הכרזה על עצמך כיחיד שמותר לו לעמוד בו.
וכאן זה נהיה מסובך.
זה לא עניין של למי אכפת יותר.
מדובר במי שמגדיר את הכללים - ומי נשאר בחוץ כאשר גרסה אחת של "בטיחות" הופכת לגרסה היחידה שחשובה.
הגישה של אנתרופיק ראויה לתשומת לב. היא מפורטת, שקופה ושימושית.
אבל זה גם מגביל את מה שקלוד יגיד, יעשה או יאפשר - וזה לא ניטרלי. זה עיצוב.
אז אם אתם משתמשים, הנה מה שחשוב ביותר:
אתה מחליט מהי בטיחות עבורך.
אתה מחליט אילו סיכונים אתה מוכן לקחת.
ואתה מחליט אם סדרי העדיפויות של מערכת תואמים את שלך.
אם כן - נהדר. תשתמשו בזה.
אם לא - בחרו אחר.
זהו החופש שעלינו להגן עליו בזמן שהשיחה הזו מתפתחת.
וזה מה ששומר על כך שמדובר בתוכנית של win-win לשני הצדדים - לא של מעבדה אחת.
