เกตเวย์การอนุมาน: โปร็กซี่ LLM ที่เข้ากันได้กับ OpenAI สำหรับนักพัฒนา
inference-gateway, จาก Inference Gateway, เป็นพร็อกซี่ที่มีน้ำหนักเบาซึ่งรวมการเข้าถึงผู้ให้บริการ LLM หลายรายผ่าน API ที่เข้ากันได้กับ OpenAI สำหรับตัวแทน AI-coding เครื่องมือนี้จัดการคำขอ สนับสนุน Model Context Protocol (MCP) สำหรับการค้นหาเครื่องมือโดยอัตโนมัติ การประสานงานระหว่างตัวแทน (A2A) และการสตรีมโทเค็นแบบเรียลไทม์เพื่อลดความล่าช้าในการตอบสนอง มุ่งเป้าไปที่นักพัฒนา AI และทีมวิศวกรรม มันรวมการจราจรในการอนุมานและให้ฟีเจอร์ระดับองค์กรเช่นการตรวจสอบสิทธิ์และ TLS สำหรับการทำงานในสภาพแวดล้อมการผลิต.
คุณสามารถใช้มันทำงานอะไรได้บ้าง?
inference-gateway ทำหน้าที่เป็น API gateway เดียวสำหรับแอปพลิเคชันที่ต้องการเรียกใช้ LLM backends ที่แตกต่างกันและให้ตัวแทนเรียกใช้เครื่องมือภายนอก ผู้ให้บริการที่รองรับ ได้แก่ Anthropic, OpenAI, Groq, และ Ollama ท้องถิ่น และการรวม MCP จะเปิดเผยเครื่องมือโฮสต์โดยตรงต่อโมเดล โปรโตคอล A2A ช่วยให้การประสานงานระหว่างตัวแทนที่เชี่ยวชาญ ทำให้เครื่องมือเหมาะสำหรับโครงการที่ต้องการการมอบหมายหลายตัวแทนและการจัดเส้นทางข้ามผู้ให้บริการโดยไม่ต้องใช้ SDK ของแต่ละผู้ให้บริการ
ความล่าช้าและการสังเกตการณ์ในผลิตภัณฑ์นั้นคาดการณ์ได้แค่ไหน?
เกตเวย์มี การสตรีมโทเค็นแบบเรียลไทม์ เพื่อลดความล่าช้าที่รับรู้และรวบรวมเป็นไฟล์ไบนารีขนาดประมาณ 10.8MB ซึ่งช่วยให้การใช้ทรัพยากรน้อยลง มันมีการสังเกตการณ์ในตัวผ่าน OpenTelemetry และเป็น Kubernetes-native พร้อมกับ Operator และ HPA สำหรับการปรับขนาด ซึ่งช่วยให้ทีมสามารถตรวจสอบการส่งข้อมูลและปรับขนาดการจัดเส้นทางได้ ตัวเลือกส่วนหัวข้ามมีอยู่เพื่อข้ามการตรวจจับ middleware ในเส้นทางที่ไวต่อความล่าช้า ซึ่งให้ลูกค้าสามารถควบคุมความล่าช้าได้โดยตรง
ต้องการการตั้งค่าทางเทคนิคหรือไม่และมีข้อจำกัดอะไรบ้าง?
ซอฟต์แวร์ถูกจัดส่งเป็นไฟล์ไบนารีแบบสแตนด์อโลนสำหรับ Linux, macOS, และ Windows และสามารถติดตั้งผ่าน Docker หรือ Kubernetes ดังนั้นทีมจึงโฮสต์และดำเนินการเกตเวย์ด้วยตนเอง การค้นหาเครื่องมืออัตโนมัติทำงานเมื่อโฮสต์เปิดเผยบริการ MCP ซึ่งหมายความว่าผู้ให้บริการที่ไม่ใช่ MCP ต้องการการกำหนดค่าที่ชัดเจน การจัดเส้นทางโมเดลท้องถิ่นและการไหลของผู้ให้บริการผสมได้รับการสนับสนุน แต่การทดสอบการรวมเป็นสิ่งจำเป็นเพื่อตรวจสอบความสามารถในการทำงานร่วมกันและปรับแต่ง middleware และกฎการจัดเส้นทางสำหรับสภาพแวดล้อมของคุณ
เหมาะสำหรับทีมวิศวกรรมที่ดำเนินการโครงสร้างพื้นฐานและต้องการการจัดการเส้นทางที่รวมศูนย์
เครื่องมือนี้เป็นส่วนประกอบโครงสร้างพื้นฐานที่ใช้งานได้จริงสำหรับทีมที่เตรียมพร้อมในการปรับใช้และจัดการโหนดเกตเวย์และเพื่อยืนยันพฤติกรรมข้ามผู้ให้บริการในระยะการทดสอบ การออกแบบของมันสนับสนุนการประสานงานของตัวแทนและการควบคุมแบบรวมศูนย์ แต่ทีมควรวางแผนการทดสอบการรวมระบบและกฎนโยบายก่อนที่จะย้ายการจราจรไปยังสภาพแวดล้อมที่ใช้งานจริง เนื่องจากพฤติกรรมขึ้นอยู่กับการเปิดเผยของแต่ละผู้ให้บริการและการกำหนดค่ามิดเดิลแวร์
