ผู้ให้บริการที่รองรับ
เกตเวย์รองรับการเชื่อมต่อกับระบบ API ที่ทำงานร่วมกับมาตรฐาน OpenAI ได้ (OpenAI-compatible) จึงสามารถทำงานร่วมกับผู้ให้บริการรายใดก็ได้ที่มีส่วนประสานงานดังกล่าว รวมถึงทำงานร่วมกับโมเดลที่ติดตั้งและดูแลด้วยตัวเองที่มีระบบแปลงโปรโตคอลให้เข้ากันได้กับ OpenAI โดยการตั้งค่าผู้ให้บริการจะถูกกำหนดแยกตามโครงการ และระบบจะจัดเก็บคีย์ความลับเชื่อมต่อไว้ในรูปแบบ Kubernetes Secrets ภายในคลัสเตอร์ของคุณ
เอกสารนี้เหมาะสำหรับใคร
ผู้ดูแลระบบที่ทำหน้าที่เพิ่มผู้ให้บริการโมเดลเข้ามาในระบบ และนักสถาปัตยกรรมระบบที่ต้องการประเมินความเข้ากันได้ของการทำงาน
ประเภทผู้ให้บริการโมเดล
| ประเภท | ตัวอย่างผู้ให้บริการ | หมายเหตุเพิ่มเติม |
|---|---|---|
| ทำงานร่วมกับมาตรฐาน OpenAI ได้ (OpenAI-compatible) | OpenAI และระบบเกตเวย์หรือพร็อกซีภายนอกอื่นๆ ที่ให้บริการรูปแบบเดียวกับ OpenAI API | ส่วนประสานงานมาตรฐานภายในระบบ สามารถทำงานร่วมกันได้ทันที |
| DeepSeek | โมเดล DeepSeek ประเภทการสนทนาและเขียนโปรแกรม | รองรับฟังก์ชันการคิดราคาตามอัตราส่วนที่มีการทำแคชของคีย์ใช้งาน |
| Anthropic | โมเดลตระกูล Claude | ทำงานร่วมกันผ่านการเชื่อมโยงระบบผู้ให้บริการ |
| ทั่วไป หรือดูแลระบบด้วยตัวเอง | vLLM, Ollama หรือเซิร์ฟเวอร์รันโมเดลภายในองค์กร | ลิงก์เชื่อมต่อใดๆ ที่ให้บริการ API รูปแบบที่ทำงานร่วมกับมาตรฐาน OpenAI ได้ |
เนื่องจากการจัดเส้นทางข้อมูลจะอ้างอิงผ่าน ชื่อเล่นโมเดล (logical model name) นักพัฒนาของคุณจะเรียกใช้ชื่อมาตรฐานที่กำหนดร่วมกัน เช่น coding-default และคุณจะเป็นผู้แมปชื่อดังกล่าวไปยังผู้ให้บริการโมเดลและชื่อรุ่นโมเดลจริงที่ต้องการ โดยศึกษาเพิ่มเติมได้ที่หน้า การจัดเส้นทางโมเดล (Routing)
วิธีการเพิ่มผู้ให้บริการโมเดล
- ลงชื่อเข้าใช้งานด้วยสิทธิ์ผู้ดูแลระบบระดับองค์กร (org_admin) และเปิดหน้า โครงการ (Projects) → ผู้ให้บริการ (Providers) สำหรับโครงการที่ต้องการ
- เพิ่มผู้ให้บริการโมเดล ระบุ ประเภท (type) ลิงก์ปลายทาง (endpoint) และคีย์ (API key) ซึ่งจะถูกเก็บไว้ใน Secrets ที่จำกัดขอบเขตสิทธิ์เฉพาะโครงการนั้น
- กดปุ่มเพื่อ ทดสอบการเชื่อมต่อ (Test) จากหน้าเว็บ console
- แมปชื่อเล่นโมเดล (logical model names) เข้ากับโมเดล ID ตัวจริงของผู้ให้บริการที่หัวข้อ การจัดเส้นทาง (Routing)
ระบบ control plane จะประมวลผลการจัดเส้นทางข้อมูลและเตรียมคีย์ความลับเชื่อมต่อให้อัตโนมัติ โดยนักพัฒนาของคุณจะสามารถเรียกใช้โมเดลใหม่ผ่านทางชื่อเล่นที่กำหนดไว้ได้ในทันที ศึกษาขั้นตอนทั้งหมดได้ที่หน้า การจัดการผู้ให้บริการ (Providers)
ความแม่นยำของการคำนวณราคาและต้นทุนการใช้งาน
ราคาต่อโทเค็นของแต่ละโมเดลจะถูกนำไปคำนวณในงบประมาณการเงินและสถิติการใช้งาน สำหรับผู้ให้บริการโมเดลภายนอกที่รองรับการทำแคชคำขอ แพลตฟอร์มนี้สามารถเฝ้าติดตามตัววัดในส่วนของอัตรา การอ่านข้อมูลแคช (cache-read) และ การเขียนข้อมูลแคช (cache-write) แยกจากกันเพื่อคำนวณเงินค่าใช้จ่ายได้อย่างแม่นยำตามการใช้งานจริง ศึกษาข้อมูลเพิ่มเติมได้ที่หน้า อัตราค่าบริการ (Pricing)
การแยกขอบเขตการเข้าถึง (Isolation)
คีย์ความลับสำหรับเชื่อมโยงผู้ให้บริการโมเดลจะผูกกับโครงการที่ตั้งค่ากำหนดขึ้น คีย์ใช้งานจากโครงการอื่นจะไม่สามารถเข้าใช้งานผู้ให้บริการของโครงการนี้ได้ โดยระบบเกตเวย์จะบังคับใช้กฎความปลอดภัยนี้อย่างเข้มงวด ศึกษาเพิ่มเติมได้ที่หน้า โมเดลการรองรับผู้ใช้หลายกลุ่ม (Multi-tenancy)