상담도입 상담

Oh My GPU Blog

LLM

언어모델 서빙, 추론 최적화와 모델 활용

어두운 데이터센터에서 두 대의 B200급 GPU 서버를 보여주는 Qwen3.8 Flash Next NVFP4 벤치마크 대표 이미지

LLM 벤치마크

2026년 8월 30일은긔

Qwen3.8 Flash Next NVFP4, B200 두 장이면 어디까지 서비스할 수 있을까?

B200 두 장에 Qwen3.8 Flash Next NVFP4를 올리면 어디까지 서비스할 수 있을까요? 처리량이 멈춘 지점과 지연 시간이 급격히 늘어난 지점을 나눠 확인했습니다.

Runpod Serverless H100 FP8에서 Qwen3.8-27B의 torch.compile과 DeepGEMM 워밍업 캐시 재사용 결과

LLM 벤치마크

2026년 8월 24일은긔

Runpod의 vLLM 콜드스타트 최적화, Qwen3.8-27B에 적용해 봤습니다

Qwen3.8-27B에서 Network Volume에 저장한 vLLM 컴파일·커널 캐시가 새 Serverless 워커에서도 재사용되는지 확인한 실험입니다.

Runpod RTX 5090 한 장에서 Qwen3.8 27B NVFP4 모델을 vLLM으로 구동하는 방법

LLM 튜토리얼

2026년 8월 16일은긔

Runpod RTX 5090 한 장으로 Qwen3.8 27B 돌리기

공유 템플릿과 vLLM을 이용해 RTX 5090 한 장에서 Qwen3.8 27B NVFP4 모델을 구동하고 외부 API와 성능을 확인한 재현 가능한 배포 가이드입니다.

Runpod Overdrive를 활용한 LLM 서빙 최적화를 표현한 GPU와 토큰 요청 흐름

LLM 인사이트

2026년 8월 11일은긔

LLM 서빙 최적화가 끝나지 않을 때, Runpod Overdrive

LLM 서빙 최적화의 반복 비용과 Runpod Overdrive를 평가할 때 확인할 기준을 정리합니다.

LLM | Oh My GPU Blog