AI NAS
Storage systems with integrated AI.
| 사진 | 제품 | 가격 | 용량 |
|---|
모델 용량 이해하기
모델 용량은 AI 모델이 포함하는 매개변수의 수를 의미합니다(예: 70B = 700억 개의 매개변수). 더 큰 모델은 일반적으로 더 많은 메모리와 컴퓨팅 성능을 필요로 하지만, 향상된 추론 및 출력 품질을 제공할 수 있습니다.
정밀도(FP16/FP8/FP4)는 주어진 모델 용량이 필요로 하는 메모리 양에 영향을 미칩니다: 낮은 정밀도 형식은 단계마다 메모리 요구량을 대략 절반으로 줄이지만(FP16 → FP8 → FP4), 출력 정밀도에 약간의 손실이 따릅니다.
| 모델 크기 | 일반 메모리 (FP16) | 일반 메모리 (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |