Phi-3.5 Mini mit vLLM auf einem 5-$-DigitalOcean-Droplet bereitstellen: leichte Produktions-Inferenz unter 60 $/Jahr

Hör auf, zu viel für KI-APIs zu zahlen. Das Autorenteam gab 8.000 $/Jahr für LLM-API-Aufrufe für interne Tools aus. Dieser Leitfaden zeigt Schritt für Schritt, wie man Phi-3.5 Mini auf einem 5-$-DigitalOcean-Droplet mit vLLM bereitstellt — von der Server-Einrichtung bis zur API-Integration. Perfekt für Indie-Entwickler und kleine Teams, die Kosten für Textzusammenfassung, Klassifizierung und leichte Inferenz-Aufgaben senken wollen.