GPUSIZE는 무엇인가요?

GPUSIZE는 AI 및 LLM(Large Language Model) 모델의 학습(Training)과 추론(Inference)에 필요한 NVIDIA GPU 수량과 비용을 정확하게 계산하는 무료 온라인 도구입니다. MLPerf v6.1 공식 벤치마크, NVIDIA NIM·TensorRT-LLM·Megatron-Bridge 실측 데이터를 기반으로 하며, 모든 계산 근거를 Tier(출처 등급)와 함께 표시해 검증 가능한 결과를 제공합니다.

어떤 GPU를 지원하나요?

NVIDIA H100, H200, B200, GB200, GB300 등 최신 Blackwell 및 Hopper 아키텍처 GPU를 포함하여 A100, L40S 등 다양한 GPU를 지원합니다. 각 GPU의 실제 성능은 MLPerf v6.1 벤치마크 실측 데이터를 기반으로 제공됩니다.

어떤 AI 모델을 지원하나요?

DeepSeek R1 671B(MoE), Llama 3(8B, 70B, 405B), Llama 4(Scout, Maverick), GPT-3, Mistral 7B, Mixtral 8x7B, Qwen3, T5, Falcon 등 다양한 LLM 모델과 VLM(Vision-Language Model)을 지원합니다. 각 모델의 실제 벤치마크 데이터를 기반으로 정확한 GPU 수량을 계산합니다.

계산 결과는 얼마나 정확한가요?

GPUSIZE는 출처 등급(Tier) 기반 계산 방법론을 사용합니다: Tier 1 = NVIDIA 공식 실측(MLPerf, NVIDIA Inference Benchmarks, NIM, Megatron-Bridge) 정확 매칭, Tier 3 = NVIDIA 공식 측정값 보간·환산 또는 NVIDIA 공식 계산식(Megatron-LM 등), Tier 4 = NVIDIA TensorRT-LLM GitHub 벤치마크, Third-party = 벤더(NVIDIA 외) 공식 스펙·계산식, Tier 5 = NVIDIA 스펙 × MFU 추정(Roofline). 결과 화면의 계산 근거 표에서 항목별 Tier와 출처를 확인할 수 있습니다.

어떤 기능을 제공하나요?

GPUSIZE는 다음 기능을 제공합니다: 1) AI 모델 학습(Training) GPU 수량 계산 - 필요한 학습 시간, 메모리, 연산량 기반, 2) AI 모델 추론(Inference) GPU 수량 계산 - 목표 QPS, 레이턴시, 고가용성 고려, 3) VLM 멀티모달 AI GPU 계산 - 이미지+텍스트 처리, 4) 실시간 비용 산정 - 시간당 및 월간 비용, 5) 성능 최적화 권장사항 - 메모리 최적화, 병렬화 효율 개선.

무료로 사용할 수 있나요?

네, GPUSIZE는 완전 무료로 사용할 수 있습니다. 회원가입이나 로그인 없이 즉시 GPU 계산을 시작할 수 있으며, 모든 기능을 제한 없이 이용 가능합니다.

GPUSIZE - AI GPU 인프라 계산기 | LLM 학습/추론 GPU 사이징 도구

워크로드 타입 선택

이 모델이 내 책상 위 장비에서 돌아갈까요?

단일 사용자 로컬 추론 기준 — 데이터센터 서빙 산정과는 별개입니다

기기 선택

모델

양자화 / 정밀도

컨텍스트 길이 (tokens)

노드 수

런타임

노드를 늘리면 더 큰 모델을 올릴 수 있지만 속도는 빨라지지 않습니다

모델 학습 파라미터

모델 선택 (선택 사항)

🆕 2026-09-23 추가: DeepSeek V4, GPT-OSS 20B, Nemotron 3/3.5, Qwen3.5/3.6, Kimi K2.5/K3, MiniMax M2.5/M3 | 모델을 선택하면 자동으로 파라미터가 설정됩니다

모델 크기 (파라미터 수)

또는 위에서 모델을 선택하세요

GPU 타입

마이크로 배치 사이즈 (GPU당 · micro_batch_size)

Tier 1: Megatron-Bridge 공식 — LLaMA3-8B: micro_batch=2, 405B: micro_batch=1. Global batch = micro × GPU수 × grad_accum.

학습 정밀도 (Precision)

데이터셋 크기 (토큰 수)

Epoch 수

일반적으로 1~5 epoch

목표 학습 시간

병렬화 효율 (%)

일반적으로 75~90%

학습 모드

전체 가중치 업데이트. Tier 3: Megatron-LM 논문 기준 (Shoeybi et al. 2019, NVIDIA)

LoRA/QLoRA는 NVIDIA 공식 메모리 수식이 없어 KO 페이지에서 지원하지 않습니다.

컨텍스트 길이 (토큰) 활성화 메모리에 영향

길수록 활성화 메모리 증가

텐서 병렬화 (TP) GPU 간 모델 분산

GPU당 메모리 감소. TP4 이상은 NVLink 필요

파이프라인 병렬화 (PP) 레이어를 GPU 간 분산

대규모 클러스터(100B+ 모델) 전용. 버블 오버헤드 = (PP-1)/(PP×m)

모델 추론 파라미터

모델 선택 (선택 사항)

🆕 2026-09-23 추가: DeepSeek V4, GPT-OSS 20B, Nemotron 3/3.5, Qwen3.5/3.6, Kimi K2.5/K3, MiniMax M2.5/M3 | 모델을 선택하면 자동으로 파라미터가 설정됩니다

모델 크기 (파라미터 수)

또는 위에서 모델을 선택하세요

GPU 타입

추론 정밀도 (Precision)

💡 FP4: B200에서 최대 10배 성능 향상 (대형 모델) | FP8: H100/H200에서 3~10배 향상

예상 QPS (Queries Per Second)

피크 시간대 기준 권장

평균 입력 토큰 수

평균 출력 토큰 수

목표 레이턴시 (ms)

실시간 서비스: 100~500ms 권장

KV 캐시 정밀도 KV 캐시 메모리 절감

Speculative Decoding 초안 모델로 처리량 향상

메인 모델 옆에 작은 초안 모델 필요

고가용성 복제 계수

VLM 추론 파라미터

Vision-Language Models (VLM)

이미지와 텍스트를 함께 처리하는 멀티모달 AI 모델입니다. 이미지 Q&A, 이미지 설명 생성, 차트/다이어그램 이해 등에 사용됩니다.

출처: NVIDIA NIM VLM Benchmarking

VLM 모델 선택

Llama 4 Scout: 공식 벤치마크 데이터 보유

GPU 타입

VLM은 대용량 메모리 GPU 권장

입력 시퀀스 길이 (ISL)

이미지 + 텍스트 프롬프트 (기본: 2500 토큰)

출력 시퀀스 길이 (OSL)

생성할 응답 길이 (기본: 300 토큰)

추론 정밀도

BF16: 안정성 우수, FP8: 성능 우수

Tensor Parallelism (TP)

TP4/TP8만 지원 (NVIDIA NIM VLM 공식)

목표 처리량 (Throughput)

초당 요청 수 (req/s)

가용성 / 이중화

프로덕션 환경은 2x 이상 권장

AI GPU Infrastructure Sizing Calculator

NVIDIA 공식 벤치마크 + MLCommons 표준 기반 🏆

워크로드 타입 선택

모델 학습 (Training)

모델 추론 (Inference)

VLM 추론 (Vision-Language)

로컬 워크스테이션 NEW

이 모델이 내 책상 위 장비에서 돌아갈까요?

모델 학습 파라미터

모델 추론 파라미터

VLM 추론 파라미터

Vision-Language Models (VLM)

GPU 비교

상세 사이징 리포트

리소스 분석 차트

추가 권장사항