Vllm
por star
Aplicación
A high-throughput and memory-efficient inference and serving engine for LLMs
§01 · Proyectos
Proyectos.
Plugins Filament, paquetes Laravel y starter kits open source mantenidos activamente. Todo MIT, con releases para v3, v4 y v5 cuando aplique.
§02 · catálogo
Whisper Cpp
por star
Aplicación
Port of OpenAI's Whisper model in C/C++
Faster Whisper
por star
Aplicación
Faster Whisper transcription with CTranslate2
Ncnn
por star
Biblioteca móvil
ncnn is a high-performance neural network inference framework optimized for the mobile platform
FreeToken
por star
Aplicación
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.
Llmaz
por star
Docker
☸️ Easy, advanced inference platform for large language models on Kubernetes. 🌟 Star to support our work!
PaddleOCR Ncnn CPP
por star
Aplicación
C++ implementations of PP-OCRv3/4/5/6 using ncnn for inference.
Hal0
por star
Docker
Open-source self-hosted home AI inference platform for AMD Strix Halo — multi-backend slots, OpenAI-compatible gateway, Vue 3 + FastAPI + systemd.
§03 · contribuir
Contribuye, reporta issues, abre PRs.
Todos los paquetes tienen CI, tests Pest e issues abiertas marcadas con good first issue.