Vllm
por star
Aplicación
A high-throughput and memory-efficient inference and serving engine for LLMs
Plugins Filament, paquetes Laravel y starter kits open source mantenidos activamente. Todo MIT, con releases para v3, v4 y v5 cuando aplique.
A high-throughput and memory-efficient inference and serving engine for LLMs
Todos los paquetes tienen CI, tests Pest e issues abiertas marcadas con good first issue.
Nueva versión disponible.