AI 서비스 비용은 칩 성능보다 ‘쓸모 있는 토큰당 비용’으로 결정됩니다. NVIDIA 추론 소프트웨어 스택이 어떻게 비용을 낮추는지 정리했습니다.
GPT 수준의 AI 서비스를 직접 운영하려는 회사가 늘고 있습니다. 시범 단계를 넘어 실제 수익을 내야 하는 단계로 넘어오면서, 고민은 자연스럽게 하나로 좁혀집니다. “이 AI가 답변 하나 만드는 데 실제로 얼마가 들지?”
더 이상 GPU 스펙 시트에 적힌 최고 성능 숫자가 중요한 게 아닙니다. 같은 전기로, 같은 시간 안에 얼마나 더 많은 ‘쓸모 있는 답변’을 뽑아낼 수 있느냐가 핵심입니다. NVIDIA가 최근 자사 블로그를 통해 공개한 추론(inference, 학습된 AI 모델이 실제로 질문에 답하거나 출력을 만드는 과정) 소프트웨어 스택 이야기는 이 지점을 정확히 짚고 있습니다.
단돈 몇 푼 아끼는 이야기가 아닙니다
NVIDIA 블로그에 따르면, 하드웨어와 함께 설계된 풀스택 추론 소프트웨어는 GPU 성능을 지속적으로 개선합니다. 특히 DeepSeek V4 모델 대상으로 진행한 테스트에서, 불과 한 달 만에 토큰 비용을 최대 5배까지 낮췄다고 밝혔습니다. 여기서 ‘5배’라는 숫자는 단순한 마케팅 수치가 아닙니다. SemiAnalysis InferenceX가 GB300 NVL72 시스템을 분석한 결과에서도, SGLang과 NVIDIA Dynamo 추론 프레임워크를 결합했을 때 토큰 비용과 상호작용 응답성이 눈에 띄게 좋아졌습니다.
중요한 건 이 성능 향상이 단순한 하드웨어 교체로 이뤄지지 않았다는 점입니다. 코드 수준에서 추론 방식을 최적화하는 소프트웨어와 오픈소스(소스 코드가 공개되어 누구나 수정·배포할 수 있는 소프트웨어) 생태계가 결합된 결과라는 설명입니다.
하드웨어 스펙보다 소프트웨어 최적화가 중요한 이유
AI 서비스의 진짜 비용을 이해하려면 ‘유용한 토큰(useful token)’ 개념을 알아야 합니다. AI가 아무 말이나 생성한다고 다 쓸모 있는 답변이 되진 않습니다. 검증되지 않은 정보를 포함했거나, 응답 속도가 너무 느려 사용자가 이탈하면 그 연산은 사실상 손해입니다.
NVIDIA의 접근은 GPU, CPU, 네트워킹을 함께 설계하는 데서 시작합니다. 여기에 오픈소스 커뮤니티가 만든 최적화 도구들이 더해지면서, 같은 전력으로 더 많은 유효 응답을 처리하는 쪽으로 스택이 진화하고 있다는 분석입니다. 예를 들어, 추론 과정에서 모델이 주의를 기울일 부분만 빠르게 계산하거나, 여러 요청을 묶어 처리하는 기술이 소프트웨어 레이어에서 적용됩니다.
이런 최적화는 엔비디아뿐 아니라 Baseten, Cognition, Deep Infra, Together AI, Cursor 같은 AI 추론 서비스 기업들이 실시간으로 반영하고 있습니다. 이 회사들은 클라우드에서 AI API(프로그램끼리 데이터를 주고받기 위한 연결 통로)를 제공하는데, 소프트웨어 스택 개선 효과가 누적되면서 고객사 비용에도 영향을 미치는 구조입니다.
현장에서 느껴지는 변화의 실체
NVIDIA Dynamo 프레임워크와 SGLang 같은 도구의 조합은 특히 대규모 모델을 실시간 서비스해야 하는 환경에서 빛을 발합니다. 추론 요청이 몰리는 시간대에도 지연 시간(latency)을 안정적으로 유지하는 게 관건인데, 소프트웨어 최적화가 이 부분을 크게 좌우한다는 게 엔비디아의 설명입니다.
개발자 관점에서는 이게 꽤 현실적인 이슈입니다. GPT 수준 모델을 자체 서버에 올려 서비스한다고 가정해 보면, 응답 하나당 비용이 몇 원인지에 따라 사업성이 완전히 달라집니다. 초당 수백 건의 요청을 처리해야 하는데 응답 속도가 밀리면, 여기서 손실은 눈덩이처럼 불어납니다. 소프트웨어 스택이 이 간극을 메워주는 셈입니다.
오픈소스 생태계가 비용 곡선을 바꾸는 방식
NVIDIA가 강조한 또 하나의 축은 오픈소스 생태계입니다. 블로그에 따르면, 선도적인 추론 서비스 기업들이 이미 이 생태계의 복리 효과를 누리고 있다고 합니다. 커뮤니티가 최적화한 기술을 자사 서비스에 빠르게 반영하면서, 고객에게는 더 낮은 가격으로 서비스를 제공할 수 있는 구조입니다.
이 변화는 단기적인 유행이 아닌, 추론 인프라 비용의 패러다임 전환으로 읽힙니다. 과거에는 ‘더 좋은 GPU를 몇 장 샀는가’가 서비스 경쟁력을 결정했다면, 지금은 ‘어떤 소프트웨어 스택 위에서 그 GPU를 굴리는가’가 더 큰 변수가 되고 있습니다.
지금 당장 내 프로젝트에 적용할 수 있을까
직접 GPU 서버를 운영하지 않는 대부분의 개발자에게 이 변화는 API 가격을 통해 체감됩니다. AI 추론 제공업체들은 소프트웨어 스택 최적화로 절감한 비용을 점진적으로 API 호출 가격에 반영할 가능성이 있습니다. 자체 모델을 파인튜닝하거나 서비스하는 스타트업이라면, NVIDIA가 공개한 최적화 기법을 자사 파이프라인(여러 작업을 정해진 순서대로 이어서 처리하는 흐름)에 적용할 여지가 있습니다.
다만 주의할 점도 있습니다. 5배 비용 절감이라는 수치는 특정 모델과 특정 조건에서 측정된 결과입니다. 모든 상황에 그대로 적용된다고 보긴 어렵습니다. 또한 최적화된 소프트웨어 스택을 제대로 활용하려면 엔지니어링 리소스가 뒷받침되어야 합니다. 단순히 최신 버전을 설치한다고 비용이 바로 5분의 1로 줄어들지는 않는다는 뜻입니다.
AI Log 관점에서 보면, 추론 비용 하락은 AI 서비스의 진입 장벽을 낮추는 가장 강력한 동력 중 하나입니다. GPU 스펙 경쟁이 아닌 소프트웨어 최적화 경쟁으로 축이 이동하고 있다는 점은, 자본력보다 기술력을 가진 팀에게 유리한 환경이 조성되고 있다는 신호로 볼 수 있습니다.
참고
- 원문 링크: https://blogs.nvidia.com/blog/inference-software-lowest-token-cost/
- NVIDIA 공식 블로그 자료와 AI Log 리서치 노트를 바탕으로 작성한 단일 출처 기반 초안입니다.
- 발행 전 원문 확인과 함께, SemiAnalysis InferenceX 데이터 등 원문에서 인용한 외부 검증 결과를 함께 확인할 것을 권장합니다.
