מונה טוקנים ל-AI: ספירת GPT, Claude ו-Gemini – חינם

טוקן הוא חלק מטקסט שמודל שפה קורא כיחידה אחת: לעיתים מילה קצרה שלמה, חלק ממילה ארוכה, רווח או סימן פיסוק. באנגלית, טוקן אחד הוא בערך ארבעה תווים או שלושה רבעים ממילה.

בפרוזה אנגלית רגילה, בערך 1,300 עד 1,400 טוקנים. קוד, מספרים, מילים לא שגרתיות ורוב השפות האחרות משתמשים ביותר, ולכן כדאי להדביק את הטקסט עצמו כדי לקבל את המספר האמיתי.

מדביקים את הפרומפט כאן וקוראים את השורה GPT-5, GPT-4.1, GPT-4o, שמשתמשת באותו מפרק לטוקנים כמו מודלים עדכניים של OpenAI. הודעות צ'אט מוסיפות כמה טוקנים לכל הודעה לצורך עיצוב, לכן כדאי להוסיף מעט מרווח.

כן. GPT-5, GPT-4.1, GPT-4o וסדרת o חולקים מפרק לטוקנים אחד, ו-GPT-4 ו-GPT-3.5 Turbo חולקים מפרק אחר. שניהם ציבוריים, לכן הספירות תואמות למה שהמודל רואה בטקסט. הודעות צ'אט מוסיפות כמה טוקנים לכל הודעה לצורך עיצוב.

אין מפרק רשמי של Claude או Gemini שהדף יכול לרוץ עליו במכשיר, ולכן הוא מעריך לפי מפרק ציבורי דומה. יש להתייחס לספירות אלה כאל הדרכה, במיוחד לקוד או לשפות שאינן אנגלית.

זה מספר הטוקנים המקסימלי שמודל יכול לעבד בבת אחת, כולל הפרומפט והתשובה שלו. הפסים מציגים כמה מחלון כל מודל הטקסט ייקח, ומזהירים כשהוא ארוך מדי.

לכל מפרק יש אוצר מילים משלו. למפרקים חדשים יש אוצרות מילים גדולים יותר, ולכן הם בדרך כלל צריכים פחות טוקנים, במיוחד לשפות שאינן אנגלית ולאמוג'י.

היא צובעת כל טוקן בטקסט כדי לראות איפה נמצאים הפיצולים, כשרווחים ושבירות שורה נראים. מעבירים את העכבר מעל טוקן כדי לראות את המזהה שלו. מוצגים עד 5,000 הטוקנים הראשונים; הספירות תמיד מכסות את כל הטקסט.

לא. הספירה נעשית במכשיר והטקסט לא יוצא ממנו לעולם, ולכן הוא בטוח לפרומפטים ולמסמכים פרטיים.

כן. השימוש חינם, בלי הרשמה ובלי צורך בהתקנה. הקבצים שלכם נשארים במכשיר שלכם.