진화하는 혁신으로 뒷받침되는 획기적인 효율성
NVIDIA DGX B200
NVIDIA DGX™ B200은 AI 여정의 모든 단계에서 모든 규모의 기업을 위한 개발-배포 파이프라인을 위한 통합 AI 플랫폼입니다. 5세대 NVIDIA® NVLink®로 상호 연결된 8개의 NVIDIA Blackwell GPU가 탑재된 DGX B200은 이전 세대 대비 3배의 트레이닝 성능과 15배의 추론 성능을 제공하는 최첨단 성능을 제공합니다. NVIDIA Blackwell GPU 아키텍처를 활용하는 DGX B200은 거대 언어 모델, 추천 시스템, 챗봇 등 다양한 워크로드를 처리할 수 있어 AI 혁신을 가속화하려는 기업에게 이상적입니다.
특징
통합 AI 플랫폼
개발에서 배포까지의 파이프라인을 위한 단일 플랫폼
엔터프라이즈는 훈련에서 미세 조정, 추론에 이르는 AI 파이프라인의 모든 단계에서 복잡한 AI 데이터세트를 처리하기 위해 막대한 컴퓨팅 성능을 필요로합니다. NVIDIA DGX B200을 통해 엔터프라이즈는 워크플로우를 가속화하도록 구축된 단일 플랫폼으로 개발자를 무장할 수 있습니다.
강력한 AI 성능
컴퓨팅 분야에서 NVIDIA Blackwell 아키텍처의 발전을 기반으로 하는 DGX B200은 DGX H100 대비 3배의 훈련 성능과 15배의 추론 성능을 제공합니다. NVIDIA DGX BasePOD™ 및 NVIDIA DGX SuperPOD™의 기반인 DGX B200은 모든 워크로드에 최첨단 성능을 제공합니다.
입증된 인프라 표준
DGX B200은 완전히 최적화된 하드웨어 및 소프트웨어 플랫폼으로, NVIDIA Base Command 및 NVIDIA AI Enterprise 소프트웨어, 풍부한 타사 지원 에코시스템, NVIDIA 전문 서비스의 전문가 조언을 포함한 완전한 NVIDIA AI 소프트웨어 스택이 포함되어 있습니다.
성능
DGX B200 기반의 차세대 성능
실시간 거대 언어 모델 추론
예상 성능은 변경될 수 있습니다. 토큰 간 지연 시간(TTL) = 실시간 50ms, 첫 토큰 지연 시간(FTL) = 5초, 입력 시퀀스 길이 = 32,768, 출력 시퀀스 길이 = 1,028, 8x 8방향 DGX H100 GPU 공냉식 대 1x 8방향 DGX B200 공냉식, GPU당 성능 비교입니다.
초고속 AI 학습 성능
예상 성능은 변경될 수 있습니다. 32,768개의 GPU 규모, 4,096배 8방향 DGX H100 공랭식 클러스터: 400G IB 네트워크, 4,096x 8방향 DGX B200 공랭식 클러스터: 400G IB 네트워크.
사양
NVIDIA DGX B200 사양
| GPU | 8x NVIDIA Blackwell GPU |
| GPU 메모리 | 총 1,440GB의 GPU 메모리 |
| 성능 | 72페타플롭스 훈련 및 144페타플롭스 추론 |
| 소비 전력 | 최대 14.3kW |
| CPU | Intel® Xeon® Platinum 8570 프로세서 2개
총 112개 코어, 2.1GHz(기본), 4GHz(최대 부스트) |
| 시스템 메모리 | 최대 4TB |
| 네트워킹 | 싱글 포트 NVIDIA ConnectX-7 VPI 8개를 제공하는 OSFP 포트 4개
|
| 관리 네트워크 | 10Gb/s 온보드 NIC(RJ45 포함)
100Gb/s 듀얼 포트 이더넷 NIC RJ45가 포함된 호스트 베이스보드 관리 컨트롤러(BMC) |
| 스토리지 | OS: 2x 1.9TB NVMe M.2
내부 스토리지: 8x 3.84TB NVMe U.2 |
| 소프트웨어 | NVIDIA AI Enterprise: 최적화된 AI 소프트웨어
NVIDIA Base Command™: 오케스트레이션, 스케줄링 및 클러스터 관리 DGX OS / Ubuntu: 운영 체제 |
| 랙 장치(RU) | 10 RU |
| 시스템 크기 | 높이: 444mm(17.5인치)
너비: 482.2mm(19.0인치) 길이: 897.1mm(35.3인치) |
| 작동 온도 | 5~30°C(41~86°F) |
| 엔터프라이즈 지원 | 하드웨어 및 소프트웨어에 대한 3년 엔터프라이즈 비즈니스 표준 지원
연중무휴 엔터프라이즈 지원 포털 액세스 현지 업무 시간 동안의 실시간 에이전트 지원 |
견적문의
NVIDIA 견적 상담
