$5/월 DigitalOcean Droplet에서 vLLM으로 Phi-3.5 Mini 배포하기: 연간 $60 미만 경량 프로덕션 추론

AI API 비용이 너무 비쌉니까? 저자의 팀은 내부 도구용 LLM API 호출에 연간 $8,000를 지출하고 있었습니다. 이 가이드에서는 vLLM을 사용해 $5/월 DigitalOcean Droplet에 Phi-3.5 Mini를 배포하는 전 과정을 서버 설정부터 API 연동까지 상세히 설명합니다. 텍스트 요약, 분류, 경량 추론 비용을 절감하려는 인디 개발자와 소형 팀에게 적합합니다.