플럿 로컬 LLM 구축 — 데이터를 밖으로 내보내지 않는 회사의 AI
2026.09.23사업부AX사업부
- GCP · AWS 고객 계정 또는 사내 서버에 설치
- 소형 149만 원 · 중형 299만 원 · 대형 590만 원~ (부가세 별도)
- OpenAI 호환 API — 쓰던 코드 그대로 연결
AX사업부가 고객이 원하는 서버에 LLM을 직접 세워 주는 «플럿 로컬 LLM 구축»을 시작했습니다. 오픈 웨이트 모델을 vLLM으로 서빙하고 OpenAI 호환 API로 내어 드리기 때문에 쓰시던 코드는 바꾸지 않아도 됩니다. 모델은 고객 계정 안에서만 돌고, 팀플럿도 데이터를 보지 않습니다.
언제 맞는가
- 데이터를 밖으로 못 보낼 때 — 의료 · 법무 · 인사 · 금융 자료, 계약상 국외 이전 금지.
- 월 API 요금이 서버비를 넘을 때 — 하루 수천 건 이상이면 서버 한 대가 더 쌀 수 있습니다. 진단 때 실제 사용량으로 계산해 드립니다.
- 모델을 회사 데이터로 길들일 때 — 용어·서식·말투를 학습하되 학습 데이터는 고객 서버를 떠나지 않습니다.
반대로 하루 수백 건 이하이거나 최신 최상위 모델이 꼭 필요하면 API 게이트웨이가 맞습니다. 진단에서 그렇게 말씀드립니다.
구축 단가
| 구성 | 서버 | 기간 | 단가 |
|---|---|---|---|
| 소형 | GPU 1장 · 24GB · 동시 5~10명 | 표준 2주 | 149만 원 |
| 중형 | A100급 1장 또는 L4 ×4 · 동시 20~50명 · 사내 문서 RAG | 표준 3주 | 299만 원 |
| 대형 | H100급 · 다중 GPU · 파인튜닝 · 동시 100명+ | 표준 4주~ | 590만 원~ |
부가세 별도. 서버비는 고객 계정으로 직접 결제합니다. 인수인계 문서와 3개월 무상 장애 대응이 구축에 포함됩니다.
