- ‘오픈시프트 AI’, 레드햇 엔터프라이즈 리눅스 AI 기능 향상
한국레드햇은 27일 본사 발표를 인용, 하이브리드 클라우드 전반에서 AI 솔루션의 개발 및 배포를 가속화할 수 있도록 설계된 제품 및 서비스 포트폴리오 ‘레드햇 AI(Red Hat AI)’의 최신 업데이트를 전했다.
‘레드햇 AI’는 모델 학습 및 추론을 위한 엔터프라이즈 AI 플랫폼으로 향상된 효율성과 간소화된 사용자 경험, 하이브리드 클라우드 환경 어디서든 배포할 수 있는 유연성을 제공한다.
기업은 점차 다양해지는 활용 사례를 해결하기 위해 대규모 언어 모델(LLM)의 배포 비용을 절감하는 방법을 모색하고 있다.
반면, 여전히 이같은 모델을 자사의 고유 데이터(proprietary data)와 통합하는 동시에, 데이터 센터, 퍼블릭 클라우드, 엣지 등 데이터가 존재하는 모든 위치에서 데이터에 접근할 수 있어야 한다는 과제에 직면해 있다.
‘레드햇 오픈시프트 AI(Red Hat OpenShift AI)’와 ‘레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)’를 포함하고 있는 레드햇 AI는 사용자가 비즈니스별 데이터에 맞춰 보다 효율적이고 최적화된 모델을 채택하고 하이브리드 클라우드 전반에 배포해 광범위한 가속 컴퓨팅 아키텍처에서 학습 및 추론을 수행할 수 있는 엔터프라이즈 AI 플랫폼을 제공함으로써 이 같은 과제의 해결을 돕는다.
◆레드햇 오픈시프트 AI = 레드햇 오픈시프트 AI는 머신러닝 운영(MLOps)과 LLM 운영(LLMOps) 기능을 포함하며 하이브리드 클라우드 전반에서 예측 및 생성형 AI 수명 주기를 관리할 수 있는 종합 AI 플랫폼을 제공한다.
이 플랫폼은 데이터 과학 및 모델 파이프라인, 모델 모니터링, 거버넌스 등 AI 모델 관리를 간소화하는 도구와 예측 모델을 구축하고 생성형 AI 모델을 조정할 수 있는 기능을 제공한다.
플랫폼의 최신 버전 레드햇 오픈시프트 AI 2.18은 하이브리드 클라우드에 보다 최적화되고 효율적인 AI 모델을 제공하려는 레드햇 AI 목표를 지원하기 위해 신규 업데이트 및 기능을 추가했다.
- 분산 제공(Distributed serving) = vLLM 추론 서버를 통해 제공되는 분산 서빙을 통해 IT 팀은 여러 그래픽 처리 장치(GPU)에 걸쳐 모델 서빙을 분할할 수 있다.
이를 통해 단일 서버에 대한 부담을 줄이고 학습 및 미세 조정 속도를 높이며, 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있는 동시에 AI 모델에 대한 노드 간 서비스 분산도 지원한다.
- 엔드투엔드 모델 조정 경험(An end-to-end model tuning experience) = 인스트럭트랩(InstructLab)과 레드햇 오픈시프트AI의 데이터 사이언스 파이프라인을 활용해 LLM의 미세 조정을 간소화해 대규모 프로덕션 환경에서 확장성과 효율성, 감사 가능성을 높이는 동시에 레드햇 오픈시프트 AI 대시보드를 통한 관리 편의성도 제공한다.
- AI 가드레일(AI Guardrails) = AI 가드레일의 기술 검토를 통해 사용자 입력 상호작용과 모델 출력을 모두 모니터링하고 더 잘 보호해 LLM의 정확도, 성능, 지연 시간, 투명성을 개선한다.
IT팀이 혐오, 욕설, 개인 식별 정보, 경쟁 정보, 또는 기업 정책에 의해 제한된 기타 데이터 식별하고 완화하는데 도움이 되는 탐지 기능도 제공한다.
- 모델 평가(Model evaluation) = 언어 모델 평가(lm-eval) 구성 요소를 사용해 모델의 전반적 품질 정보를 제공한다.
이를 통해 데이터 과학자는 논리적, 수학적 추론부터 적대적(adversarial) 자연어 처리까지 다양한 작업에서 LLM 성능을 벤치마킹해 보다 효과적이고 반응성이 뛰어난 맞춤형 AI 모델을 개발할 수 있다.
◆RHEL AI = 레드햇 AI 포트폴리오의 일부인 RHEL AI는 엔터프라이즈 애플리케이션 구동을 위한 LLM을 보다 일관되게 개발, 테스트 및 실행할 수 있는 파운데이션 모델 플랫폼이다.
이는 사용자에게 부팅 가능한 레드햇 엔터프라이즈 리눅스 서버 이미지로 패키징됨으로 하이브리드 클라우드에 배포할 수 있는 그래니트(Granite) LLM 및 인스트럭트랩 모델 정렬 툴을 제공한다.
2025년 2월에 출시된 RHEL AI 1.4의 신규 개선 사항을 보면,
- 그래니트 3.1 8B 모델 지원 = 그래니트 모델 제품군에 새롭게 추가된 해당 모델은 추론 및 분류 체계/지식 커스터마이징(개발자 프리뷰)을 위한 다국어 지원과 향상된 요약 결과 및 검색 증강 생성(RAG) 작업을 위한 128k 컨텍스트 윈도우 기능을 추가했다.
- 기술 및 지식 제공을 위한 신규 GUI = 개발자 프리뷰로 제공되며 데이터 수집 및 청킹(chunking) 간소화와 사용자 고유의 기술과 지식을 AI 모델에 추가할 수 있도록 지원한다.
- 문서 지식 벤치(Document Knowledge-bench, DK-bench) = 관련 비공개 데이터로 미세조정된 AI 모델을 동일한 기본 모델의 성능과 쉽게 비교할 수 있다.
◆레드햇 AI 인스트럭트랩 온 IBM 클라우드(Red Hat AI InstructLab on IBM Cloud) = 기업은 정확성과 데이터 보안을 중시하면서도 비용과 복잡성은 최소화할 수 있는 AI 솔루션을 원한다.
IBM 클라우드에 서비스 형태로 배포된 레드햇 AI 인스트럭트랩은 AI 모델의 학습 및 배포를 간소화하고 확장하며 보안 영역을 향상할 수 있도록 설계됐다.
기업은 인스트럭트랩 모델 조정을 간소화함으로써 자사의 고유한 요구사항에 최적화된 효율적인 모델을 구축하면서 데이터 통제권을 유지할 수 있다.
◆레드햇 고객을 위한 무상 AI 교육 = AI는 기업 운영 및 경쟁 방식을 변화시키는 혁신적 기회이다. 이에 따라 레드햇은 고객 대상으로 무상 온라인 AI 파운데이션(AI Foundations) 교육을 제공한다.
이 교육은 AI가 비즈니스 운영에 유용한 정보를 제공하고 의사결정 간소화와 혁신을 추진하는데 어떻게 도움이 되는지, 레드햇 AI 솔루션에서 이를 활용하는 방법으로 구성됐다.
◆가용성
- 레드햇 오픈시프트 AI 2.18과 RHEL AI 1.4는 정식 버전으로 제공되고 있다. 추가 기능, 개선 사항, 버그 수정 및 최신 버전 업그레이드는 공식 자료에서 확인할 수 있다.
- 레드햇 AI 인스트럭트랩 온 IBM 클라우드는 곧 제공될 예정이다.
- 레드햇 AI 파운데이션 온라인 교육은 고객에게 제공 중이다.
조 페르난데스(Joe Fernandes), 레드햇 AI 사업부 부사장 겸 총괄 “레드햇은 기업이 더 많은 활용 사례를 프로덕션에 도입하고 대규모로 실행함에 따라 증가하는 생성형 AI 배포 비용을 관리할 수 있는 방법이 필요하다는 것을 알고 있다. 또한 AI 모델을 자사의 고유 데이터에 통합하는 문제를 해결하고 데이터 위치에 무관하게 모델을 배포할 수 있어야 한다. 레드햇 AI는 기업이 자사 데이터를 기반으로 보다 효율적이고 특수 목적 모델을 학습시켜 온프레미스, 클라우드, 엣지 환경 전반에서 유연한 추론을 지원한다”라고 말했다.
<김동기 기자>kdk@bikorea.net
김동기 기자 kdk@bikorea.net
