الذكاء الاصطناعي
Buoyant تطلق Kinference للتحكم في استدلال vLLM على Kubernetes
أطلقت Buoyant أداة Kinference مفتوحة المصدر لإدارة استدلال vLLM على Kubernetes. توفر الأداة توجيهًا تصريحيًا وموازنة تحميل ذكية ومقاييس تفصيلية، وحققت انخفاضًا كبيرًا في زمن الاستجابة الأولي في اختبارات الشركة.
أطلقت Buoyant أداة Kinference مفتوحة المصدر تحت رخصة Apache 2.0.
توفر Kinference توجيهًا تصريحيًا وموازنة تحميل واعية لـ KV-cache ومقاييس لكل مستأجر.
في اختبار Buoyant انخفض متوسط TTFT بنسبة خمسة وتسعين بالمئة.
ملخص مكتوب بمساعدة الذكاء الاصطناعي ومراجَع آلياً مقابل التغطيات المتاحة. السياسة التحريرية
