GPT Workspace

ทำความเข้าใจ Token ของ OpenAI GPT: คู่มือฉบับสมบูรณ์

รู้จักกับ token ของ OpenAI GPT ว่าคืออะไร นับยังไง และใช้งานอย่างไรให้ได้ข้อความที่ลื่นไหลและตรงบริบท พร้อมวิธีคิดค่าใช้จ่ายต่อ token

Mathias Gilson
Mathias Gilson
ผู้เขียน
15 มกราคม 2567

แชร์

ทำความเข้าใจ Token ของ OpenAI GPT: คู่มือฉบับสมบูรณ์

โมเดล OpenAI GPT ถือเป็นหนึ่งในโมเดลภาษาที่ทรงพลังที่สุดในปัจจุบัน ด้วยความสามารถในการสร้างข้อความที่ลื่นไหลและตรงตามบริบทได้อย่างน่าประทับใจ โมเดลเหล่านี้ใช้ “token” เป็นหน่วยพื้นฐานในการคำนวณความยาวของข้อความ แต่เอ๊ะ token คืออะไรกันแน่ และทำงานอย่างไร? ในคู่มือนี้เราจะพาคุณไปไขความหมายของ token ใน OpenAI GPT ทั้งวิธีนับ และการนำไปใช้งานจริง

ทำความเข้าใจ Token ของ OpenAI GPT

ในบริบทของโมเดล OpenAI GPT token คือกลุ่มของตัวอักษรที่ทำหน้าที่เป็นหน่วยพื้นฐานของข้อความ token เหล่านี้ถูกสร้างขึ้นโดยอัลกอริทึมที่เรียกว่า tokenizer ซึ่งจะแบ่งข้อความออกเป็นส่วนย่อย ๆ ตามกฎเกณฑ์ที่กำหนดไว้ เช่น ช่องว่าง เครื่องหมายวรรคตอน และอักขระพิเศษต่าง ๆ บางครั้ง token อาจตรงกับคำหนึ่งคำ แต่ก็ไม่เสมอไป เพราะ tokenizer จะพิจารณาทุกตัวอักษร รวมถึงอีโมจิด้วยว่าเป็น token ที่เป็นไปได้

วิธีนับ Token ในข้อความของคุณ

หากต้องการทราบจำนวน token ในข้อความของคุณ จะต้องทำการ tokenize ข้อความนั้นด้วยอัลกอริทึม tokenizer โดย OpenAI มี tokenizer ทางการให้ใช้งานเพื่อช่วยในขั้นตอนนี้ จำนวน token ที่ได้จะขึ้นอยู่กับภาษาและโมเดลที่เลือกใช้ อย่างไรก็ตาม โดยทั่วไปคุณสามารถใช้อัตราส่วนคำต่อ token ต่อไปนี้เป็นแนวทางได้:

  • ภาษาอังกฤษ: 1 คำ ≈ 1.3 token
  • ภาษาสเปน: 1 คำ ≈ 2 token
  • ภาษาฝรั่งเศส: 1 คำ ≈ 2 token

สิ่งสำคัญที่ต้องทราบคือ เครื่องหมายวรรคตอนจะถูกนับเป็น 1 token ส่วนอักขระพิเศษอาจถูกนับประมาณ 1 ถึง 3 token และอีโมจิอาจถูกนับประมาณ 2 ถึง 3 token

การนำ Token ไปใช้งานจริง

ในโมเดล OpenAI GPT นั้น token จะถูกใช้ร่วมกับพารามิเตอร์ max_tokens ในการสร้างข้อความ โดยพารามิเตอร์ max_tokens จะกำหนดจำนวน token สูงสุดที่จะถูกสร้างขึ้นในแต่ละคำขอ (request) ผ่าน API ค่าของ max_tokens จะต้องเป็นไปตามเงื่อนไขนี้เสมอ: prompt_tokens + max_tokens ≤ ขีดจำกัดของโมเดล โดย prompt_tokens คือจำนวน token ในคำสั่ง (prompt) ที่เราส่งเข้าไป

ราคาของ token จะขึ้นอยู่กับโมเดลที่ใช้งาน และจะคิดค่าบริการเป็นหน่วยต่อ 1000 token ตัวอย่างเช่น ราคา 1000 token ของ ChatGPT อยู่ที่ 0.0020 ดอลลาร์สหรัฐ ส่วน GPT-4 32k context จะอยู่ที่ 0.1200 ดอลลาร์สหรัฐ

สรุป

token เป็นแนวคิดพื้นฐานในโมเดล OpenAI GPT ซึ่งเป็นหน่วยพื้นฐานของข้อความที่ใช้ในการสร้างผลลัพธ์ที่ตรงบริบทและลื่นไหล เมื่อเข้าใจธรรมชาติของ token และวิธีใช้งานแล้ว คุณจะสามารถปลดล็อกศักยภาพเต็มรูปแบบของโมเดล OpenAI GPT เพื่อสร้างคอนเทนต์ที่น่าสนใจ ทั้งดึงดูดและให้ความรู้แก่ผู้อ่านได้

อยากใช้โมเดล GPT โดยตรงใน Google Workspace? ติดตั้ง GPT Workspace คือ ส่วนเสริม Google Workspace ที่นำ OpenAI GPT มาไว้ใน Google Docs, Sheets, Slides และ Gmail ให้ใช้ฟรี

ติดตั้งฟรี

ChatGPT ในทุกแอปของ Google ฟรี

เข้าร่วมกับมืออาชีพ 7 ล้านคนที่เขียน วิเคราะห์ และนำเสนองานได้เร็วขึ้นด้วย GPT Workspace อยู่แล้ว

การติดตั้ง GPT Workspace ถือว่าคุณยอมรับ
ข้อกำหนดในการให้บริการ และนโยบายความเป็นส่วนตัว