شمارنده‌ی توکن هوش مصنوعی: GPT، Claude و Gemini – رایگان

توکن قطعه‌ای از متن است که مدل زبانی آن را یک واحد می‌خواند: اغلب یک کلمه‌ی کوتاه کامل، بخشی از یک کلمه‌ی بلند، فاصله یا علامت نگارشی. در انگلیسی، یک توکن حدود چهار نویسه یا سه‌چهارم یک کلمه است.

برای نثر عادی انگلیسی، تقریباً 1,300 تا 1,400 توکن. کد، عدد، کلمات غیرمعمول و بیشتر زبان‌های دیگر توکن بیشتری مصرف می‌کنند، پس برای عدد واقعی، متن واقعی خود را بچسبانید.

پرامپت خود را اینجا بچسبانید و ردیف GPT-5، GPT-4.1، GPT-4o را بخوانید که همان توکنایزر مدل‌های فعلی OpenAI را استفاده می‌کند. پیام‌های گفتگو برای قالب‌بندی چند توکن اضافه دارند، پس کمی بیشتر در نظر بگیرید.

بله. GPT-5، GPT-4.1، GPT-4o و خانواده‌ی o یک توکنایزر را مشترک دارند، و GPT-4 و GPT-3.5 Turbo توکنایزر دیگری. هر دو عمومی‌اند، پس شمارش‌ها با آنچه مدل برای متن شما می‌بیند جور است. پیام‌های گفتگو برای قالب‌بندی چند توکن اضافه دارند.

توکنایزر رسمی Claude یا Gemini وجود ندارد که این صفحه روی دستگاه شما اجرا کند، پس بر اساس یک توکنایزر عمومی مشابه تخمین می‌زند. این شمارش‌ها را راهنما بدانید، به‌ویژه برای کد یا زبان‌های غیر از انگلیسی.

بیشترین توکنی است که یک مدل می‌تواند یک‌جا مدیریت کند، شامل پرامپت شما و پاسخش. نوارها نشان می‌دهند متن شما چه سهمی از پنجره‌ی هر مدل را می‌گیرد و وقتی خیلی بلند باشد هشدار می‌دهند.

هر توکنایزر واژگان خودش را دارد. توکنایزرهای جدیدتر واژگان بزرگ‌تری دارند، پس معمولاً توکن کمتری لازم دارند، به‌ویژه برای زبان‌های غیر از انگلیسی و برای ایموجی.

هر توکن را در متن رنگی می‌کند تا ببینید تقسیم‌ها کجاست، با فاصله‌ها و خط‌های شکسته که قابل دیدن می‌شوند. روی یک توکن نگه دارید تا شناسه‌اش را ببینید. تا 5,000 توکن اول نشان داده می‌شود؛ شمارش‌ها همیشه کل متن شما را در بر می‌گیرند.

نه. شمارش روی دستگاه شما انجام می‌شود و متن شما هرگز آن را ترک نمی‌کند، پس برای پرامپت‌ها و اسناد خصوصی امن است.

بله. استفاده از آن رایگان است، بدون ثبت‌نام و بدون نیاز به نصب. فایل‌های شما روی دستگاهتان می‌مانند.