(주)한국인프라

제품소개

  1. NVIDIA
  2. NVIDIA A100

NVIDIA DGX A100

AI 인프라를 위한 유니버설 시스템

NVIDIA A100 기반의 세계 최초 AI 시스템

NVIDIA DGX™ A100 은 모든 AI 워크로드를 위한 유니버설 시스템으로, 세계 최초의 5페타플롭스 AI 시스템을 통해 유례없는 컴퓨팅 밀도, 성능 및 유연성을 제공합니다. NVIDIA DGX A100은 세계에서 가장 최첨단의 가속기인 NVIDIA A100 Tensor 코어 GPU를 탑재하여 엔터프라이즈 기업들이 NVIDIA AI 전문가의 직접적인 지원과 함께 트레이닝에서 추론, 분석에 이르기까지 배포하기 쉬운 통합 AI 인프라를 구축할 수 있게 합니다.

DGX A100 데이터시트 다운로드 받기

NVIDIA A100 기반의 세계 최초 AI 시스템

  • 모든 AI 워크로드를 위한 유니버설 시스템

    분석에서 트레이닝과 추론에 이르기까지 NVIDIA DGX A100은 모든 AI 인프라를 위한 유니버설 시스템입니다. 컴퓨팅 밀도에 새로운 기준을 제시합니다. 6U 폼 팩터에 5페타플롭스의 AI 성능을 갖추고, 레거시 인프라 사일로를 모든 AI 워크로드에 사용 가능한 단일 플랫폼으로 대체합니다.

  • DGXperts: AI 전문가의 지원

    NVIDIA DGXperts는 지난 10년간 쌓은 풍부한 경험으로 고객이 DGX 투자 가치를 극대화하도록 지원하는 16,000명 이상의 AI 전문가로 구성된 글로벌 팀입니다.

  • 가장 빠른 솔루션 구축

    NVIDIA DGX A100은 NVIDIA A100 Tensor 코어 GPU를 탑재한 세계 최초의 시스템입니다. 8개의 A100 GPU와 최대 640GB의 GPU 메모리 통합 를 탑재한 이 시스템은 전례없는 가속을 제공하며 NVIDIA CUDA-X™ 소프트웨어와 엔드 투 엔드 NVIDIA 데이터센터 솔루션 스택에 모두 완전히 최적화되어 있습니다.

  • 전례없는 데이터 센터 확장성

    NVIDIA DGX A100은 최대 500GB/s의 양방향 대역폭으로 작동하는 내장형 Mellanox 네트워킹을 탑재합니다. 이는 DGX A100을 엔터프라이즈의 확장 가능한 AI 인프라 청사진인 NVIDIA DGX SuperPOD™와 같은 대규모 AI 클러스터의 기초 빌딩 블록으로 만드는 많은 기능 중 하나입니다.

AI 문제를 해결하는 가장 간단하고 빠른 방법

NVIDIA AI 스타터 키트는 세계적인 수준의 AI 플랫폼에서부터 최적화된 소프트웨어 및 도구를 거쳐 컨설팅 서비스에 이르는 팀에 필요한 모든 것을 제공합니다. 따라서 AI 이니셔티브를 빠르게 시작할 수 있습니다. AI 플랫폼을 구축하는 데 시간과 비용을 낭비하지 마세요. 하루 안에 설치 및 가동하고, 일주일 안에 사용 사례를 정의하고, 보다 빠르게 모델을 상용화할 수 있습니다.

자세히 알아보기

  • 더 크고 복잡한 데이터 사이언스 문제를 더 빨리 해결

    이점

    > 즉시 실행할 수 있는 최적화된 AI 소프트웨어로 지루한 설정 및 테스트가 필요하지 않습니다.

    > 전례없는 성능으로 더 빠른 반복 작업이 가능한 더 나은 모델을 더 일찍 확인하세요.

    > 시스템 통합과 소프트웨어 엔지니어링에 시간을 낭비하지 마세요.

  • 규모에 맞는 인프라 배포 및 AI 운용

    이점

    > 모든 AI 워크로드를 위한 하나의 시스템으로 간소화된 인프라 디자인과 용량 계획을 경험하세요.

    > 최고의 컴퓨팅 밀도 및 성능을 최소한의 공간에서 달성하세요.

    > 컨테이너부터 칩까지 층마다 내장된 보안을 활용하세요.

  • 인사이트 확보 시간 단축 및 AI의 ROI 가속화

    이점

    > 데이터 사이언티스트의 생산성을 증대하고 부가 가치가 없는 노력을 들이지 마세요.

    > 컨셉에서 프로덕션까지 제품 개발 사이클을 가속하세요.

    > DGX 전문가가 문제점을 해결할 수 있도록 함께 도와드립니다.

판도를 바꾸는 성능

  • 훈련

    DLRM 훈련

    대규모 모델에서 AI 교육을
    위한 최대 3배 높은 처리량

  • 추론

    RNN-T 추론: 단일 스트림

    AI 추론을 위한 최대
    1.25배 높은 처리량

  • 데이터 분석

    빅데이터 분석 벤치마크

    CPU 대비 최대 83배 높은 처리량,
    DGX A100 320GB보다 2배 높은 처리량

DGX A100의 강력한 구성 요소 살펴보기

① 총 640GB의 GPU 메모리를 탑재한 NVIDIA A100 GPU 8개
GPU당 NVLink 12개 GPU 간 대역폭 600GB/s
② 세대 NVSWITCH 6개
양방향 대역폭 4.8TB/s 이전 세대보다 2배 더 증가
③ Mellanox ConnectX-6 VPI HDR InfiniBand/200GB 이더넷 10개
최대 500GB/s의 양방향 대역폭
④ 듀얼 64코어 AMD CPU 및 2TB 시스템 메모리
3.2배 더 많은 코어로 가장 집약적인 AI 작업 처리
⑤ 30 TB GEN4 NVME SSDc
최대 50GB/s의 대역폭 Gen3 NVME SSD보다 2배 빠른 속도

새로운 NVIDIA DGX A100에 대해 자세히 알아보세요.

백서 다운로드

NVIDIA DGX A100 내부 기술

  • NVIDIA A100 Tensor 코어 GPU

    NVIDIA A100 Tensor 코어 GPU는 AI, 데이터 분석 및 고성능 컴퓨팅(HPC)을 위한 유례없는 가속화를 제공하여 세계에서 가장 까다로운 컴퓨팅 문제를 처리합니다. 3세대 NVIDIA Tensor 코어가 막대하게 성능을 향상하므로 A100 GPU는 수천 개 단위로 효율적으로 확장하거나 Multi-Instance GPU 를 통해 7개의 더 작은 인스턴스로 분할되어 모든 규모의 워크로드를 가속화할 수 있습니다.

    자세히 알아보기 >

  • Multi-Instance GPU (MIG)

    MIG(Multi-Instance GPU) 덕분에 DGX A100의 A100 GPU 8개는 무려 56개의 GPU 인스턴스로 구성될 수 있으며 각 GPU 인스턴스는 고유의 고대역폭 메모리, 캐시, 컴퓨팅 코어로 완전히 격리될 수 있습니다. 이는 관리자가 여러 워크로드를 위해 보장된 서비스 품질(QoS)의 GPU를 적절한 크기로 사용할 수 있게 합니다.

    비디오 보기 >

  • 차세대 NVLink 및 NVSwitch

    DGX A100에서 3세대 NVIDIA® NVLink®는 GPU 간의 직접적인 대역폭을 2배인 600GB/s로 증가시키며 이는 PCIe Gen 4의 10배에 달합니다. DGX A100 는 이전 세대보다 2배 빠른 차세대 NVIDIA NVSwitch™를 탑재합니다.

    자세히 알아보기 >

  • Mellanox ConnectX-6 VPI HDR InfiniBand

    DGX A100은 200GB/s로 작동하는 최신 Mellanox ConnectX-6 VPI HDR InfiniBand/이더넷 어댑터를 탑재하여 대규모 AI 워크로드를 위한 고속 패브릭을 생성합니다.

  • 최적화된 소프트웨어 스택

    DGX A100은 AI 조정된 기본 운영 체제, 필요한 모든 시스템 소프트웨어, GPU 가속 애플리케이션, 사전 트레이닝된 모델 및 NGC™의 기타 기능 등 테스트를 거쳐 최적화된 DGX 소프트웨어 스택을 통합합니다.

    자세히 알아보기 >

  • 내장형 보안

    DGX A100은 자체 암호화 드라이브, 서명된 소프트웨어 컨테이너, 안전한 관리 및 모니터링 등 모든 주요 하드웨어 및 소프트웨어 구성 요소를 보호하는 다단계 접근 방식으로 AI 배포를 위한 가장 든든한 보안 방식을 제공합니다.