코어
Core의 「AI 추론 최적화 GPU Cloud Platform」은 AI 모델과 작업 조건을 분석하여 필요한 GPU 자원을 자동으로 계산·할당하고, GPU 활용 효율을 높이는 사용자 맞춤형 클라우드 플랫폼입니다. 모델의 파라미터 규모, 양자화 방식, 컨텍스트 길이, 동시 요청 수 등을 기반으로 필요한 VRAM을 산정하고 적합한 GPU를 자동으로 선택합니다. 또한 작업 이력을 기반으로 실행시간을 예측하고 AI 작업 스케줄링에 활용하여 GPU 유휴시간을 줄이고 자원 활용률을 높입니다. 사용자의 동의에 따라 AWQ, FP8 등의 양자화·압축 기술을 적용해 GPU 메모리 사용량을 절감하며, vLLM과 TensorRT-LLM 등 모델에 적합한 추론 엔진을 연계하여 AI 추론 성능과 GPU 자원 활용을 최적화하는 것을 목표로 합니다.
분야: GPU, Cloud, AI
공개 상품
- AI 추론 최적화 GPU Cloud Platform