유럽의 오픈 AI 미스트랄 AI 오픈 소스 ‘미스트랄 7B v0.2’ 출시…”라마 2 13B 능가”

오픈 소스 AI의 선두주자, 미스트랄 AI

프랑스의 인공지능 스타트업, 미스트랄 AI가 오픈 소스 대형언어모델 ‘미스트랄 7B v0.2’를 출시하며 기술 혁신의 새 장을 열었습니다. 이 모델은 기존의 ‘라마 2 13B’를 능가하는 성능을 보여주며, AI 업계에서 큰 주목을 받고 있습니다. 미스트랄 AI의 모델은 높은 성능과 효율성을 자랑하며, 전 세계적으로 자체 LLM 구축의 기반 모델로 활용되고 있습니다.

https://mistral.ai/technology/#models

미스트랄 모델 보러가기

유럽의 오픈AI, 미스트랄 AI

미스트랄 AI는 자체 개발한 LLM을 기반으로 유럽에서 ‘유럽의 오픈AI’로 불리며, 시장에서 높은 평가를 받고 있습니다. 이들의 기업 가치는 설립 6개월 만에 20억 달러에 달하며, 엔비디아와 세일즈포스와 같은 대형 투자자들의 투자를 유치 하였습니다 .

MS와의 전략적 제휴

MS와의 제휴를 발표한 미스트랄 AI는 ‘미스트랄 라지’라는 새로운 생성형 AI 모델과 관련 챗봇 ‘르 챗’을 선보였습니다. 멘쉬 CEO는 이 새로운 모델이 오픈AI의 GPT-4와 구글의 제미나이 울트라에 필적하는 추론 능력을 갖췄다고 밝혔습니다. 특히, 새 모델을 훈련하는 데 드는 비용이 2000만 유로(약 289억 원) 미만으로, 업계 평균에 비해 매우 저렴하다는 점도 큰 장점으로 꼽혔습니다.

전세계2위의 LLM 미스트랄 AI

구글 딥마인드 출신의 멘쉬 CEO와 메타 출신 엔지니어들이 공동 설립한 미스트랄 AI는 지난 9월, 73억 개의 매개변수를 가진 기업용 오픈 소스 LLM ‘미스트랄 7B’를 출시했습니다. 이 모델은 최근 벤치마크에서 기존의 오픈AI ‘GPT-4’, 앤트로픽의 ‘클로드’ 등과 경쟁하며, 메타의 ‘라마 2’와 같은 오픈 소스 모델을 능가하는 성능을 보여주었습니다. 이로 인해 라마 2를 밀어내고 전 세계적으로 자체 LLM 구축의 기반 모델로 활용되고 있습니다

유럽의 오픈 AI 미스트랄 AI 오픈 소스 ‘미스트랄 7B v0.2’ 출시 “라마 2 13B 능가”

자체 개발한 LLM을 기반으로 유럽에서 ‘유럽의 오픈AI’라고 불리며 시장에서 높은 평가를 받고 있던 프랑스 기반의 인공지능 스타트업 미스트랄 AI이 최근 ‘미스트랄 7B v0.2’라는 새로운 오픈 소스 대형언어모델(LLM)을 출시하며 AI 업계에 큰 파장을 일으키고 있습니다. 이 모델은 기존의 ‘라마 2 13B’를 뛰어넘는 성능을 보여주며, 매개변수의 수를 줄이면서도 높은 성능과 효율성을 달성했다는 평가를 받고 있습니다.

로프 세타와 GQA: 미스트랄 7B v0.2의 혁신적 매개변수 최적화

이번 모델은 기존의 v0.1에서 8000개 토큰의 컨텍스트 창을 3만2000개 토큰으로 대폭 확장한 버전으로, 텍스트 시퀀스의 더 깊은 이해와 처리 능력을 갖추었습니다. 이를 통해 문서 요약, 스토리 생성, 긴 형식의 질문과 답변 생성 등 복잡한 언어 처리 작업에서 더욱 정교하고 일관된 결과를 제공할 수 있습니다. 또한, ‘로프 세타(Rope Theta)’ 매개변수를 통한 미세 조정을 도입하여 다양한 작업에서 정확성과 일관성을 개선했습니다.

***’로프 세타(Rope Theta)’ 매개변수는 인공지능 모델, 특히 언어 모델의 성능을 향상시키기 위해 도입된 개념입니다. 이 매개변수는 특정 AI 모델에서 사용되며, 미스트랄 AI의 경우 그들의 최신 모델 ‘미스트랄 7B v0.2’에 적용되어 있습니다.

‘미스트랄-7B-인스트럭트-v0.2’와 같은 명령어 조정 버전은 특정 작업과 애플리케이션에 최적화할 수 있도록 설계되었으며, GQA(Grouped-Query Attention) 기술을 적용해 추론 속도와 메모리 사용을 최적화하였습니다. 이러한 기술적 진보 덕분에 미스트랄 7B v0.2는 벤치마크 테스트에서 340억 매개변수의 ‘라마 1 34B’ 모델과 비슷한 수준의 성능을 보이며, 특히 코딩과 관련된 작업에서도 뛰어난 성능을 나타냈습니다.

아파치 2.0 라이선스를 통한 글로벌 기여

미스트랄 AI의 AI 업계 내 발걸음은 매우 인상적입니다. 아파치 2.0 라이선스 하에 모델을 배포함으로써 다양한 연구원, 개발자 및 기업이 자유롭게 사용할 수 있도록 했을 뿐만 아니라, 전 세계 AI 커뮤니티에 중요한 기여를 하고 있습니다. 이 회사가 앞으로 어떤 영향을 미칠지 생각하면 정말 흥미롭습니다. 그들의 다음 행보는 AI의 미래를 형성하는 데 중대한 역할을 할 수 있습니다!