오픈 소스 AI 생태계는 2023년에 빠르게 확장되었으며, GPT-4 같은 독점 모델에 필적할 수 있는 흥미진진한 새로운 대형 언어 모델 (LLM) 이 등장했습니다.2024년을 앞두고 있는 지금, AI의 추가 혁신을 주도할 준비가 된 6개의 오픈 소스 LLM을 소개합니다.

라마 2

메타와 마이크로소프트가 2022년에 출시한 라마 2는 오늘날 가장 다재다능하고 성능이 뛰어난 오픈 소스 LLM이라고 할 수 있습니다.2조 개가 넘는 토큰에서 최대 700억 개의 파라미터를 트레이닝한 Lama 2는 추론, 요약, 지식 테스트와 같은 자연어 처리 작업에서 탁월한 성능을 발휘합니다.

주요 하이라이트:

• 평균 67.35점으로 허깅 페이스 순위표 전체 2위
• GPT-4 대비 성능은 비슷하지만 운영 비용은 30배 저렴합니다.
• Llama 2 Long은 컨텍스트 길이를 32,000개의 토큰으로 확장하여 긴 컨텍스트 작업에서 GPT-3.5를 능가합니다.
  ‍

Llama 2는 실제 NLP 애플리케이션을 위한 전력, 비용 및 상업적 실행 가능성 사이에서 최적의 균형을 유지합니다.이 모델은 오픈 소스 AI 기능의 최첨단을 나타냅니다.

팔콘 180B

3조 5,000억 개의 토큰에서 1,800억 개의 파라미터를 트레이닝한 UAE 기술 혁신 연구소의 Falcon 180B는 현재 최고의 오픈 LLM입니다.추론, 코딩 및 지식 테스트에서 최첨단 결과를 달성합니다.

주요 하이라이트:

• 평균 68.74점으로 허깅 페이스 리더보드 1위
• PaLM 2 및 GPT-4 같은 독점 모델에 필적하는 성능
• 대화형 AI에 최적화된 미세 조정된 팔콘 180B 채팅
  ‍

Falcon 180B는 강력한 성능에도 불구하고 상업적 사용에 대한 제한적인 라이선스 조건을 가지고 있습니다.하지만 연구원들에게는 타의 추종을 불허하는 초대형 개방형 LLM을 실험할 수 있는 기회를 제공합니다.Falcon 180B는 오픈 소스 AI로 가능한 것의 한계를 뛰어넘습니다.

코드 라마

메타의 코드 라마는 코드 생성과 설명에 초점을 맞추고 있습니다.5,000억 개의 코드 토큰을 기반으로 미세 조정되어 Python, Java, C++ 등과 같은 언어로 코드를 작성하고 설명합니다.

주요 하이라이트:

• 자연어 명령을 기반으로 코드를 생성합니다.
• 코드가 한 줄씩 작동하는 방식을 설명합니다.
• 코드라마 파이썬을 위한 100억 파이썬 토큰에 대한 추가 교육
  ‍

Code Llama는 개발자 입장에서 코딩 작업을 자동화하여 생산성을 극대화합니다.또한 고유한 설명 기능을 통해 초보 코더도 프로그래밍 개념을 더 잘 이해할 수 있습니다.

미스트랄 7B

Mistral 7B는 70억 개의 효율적인 파라미터 크기에 인상적인 성능을 담았습니다.그룹화된 쿼리 어텐션 및 슬라이딩 윈도우 어텐션과 같은 혁신 기술을 활용하여 비용을 낮게 유지하면서 텍스트를 빠르게 처리합니다.

주요 하이라이트:

• 주요 벤치마크 테스트에서 Lama 2 7B를 능가합니다.
• 코드 태스크에서 Code Lama 7B의 성능에 접근합니다.
• 실제 배포를 위해 상업적으로 이용 가능
  ‍

규모가 축소된 NLP 애플리케이션의 경우 Mistral 7B는 뛰어난 가치를 제공합니다.작은 크기와 높은 성능이 균형을 이루고 있어 대형 모델에 비해 매력적인 선택입니다.

비큐나

UC 버클리의 Vicuna는 ChatGPT 품질의 90% 를 달성하지만 파라미터는 매우 적습니다.7만 건의 실제 대화를 바탕으로 Lama 2를 미세 조정하면 비쿠나는 강력한 대화 능력을 발휘할 수 있습니다.

주요 하이라이트:

• 비큐나 13B는 훈련하는 데 겨우 300달러밖에 걸리지 않았습니다.
• MT-벤치에서 6.39점을 획득하여 GPT-3.5에 근접했습니다
• 더 큰 33B 버전 사용 가능
  ‍

Vicuna는 비용, 크기, 대화 품질 사이에서 최적의 위치를 차지합니다.많은 실제 챗봇 사용 사례의 경우 최적의 기능 조합을 제공할 수 있습니다.

기린

Abacus.AI Giraffe는 라마 2의 컨텍스트 길이를 32,000 토큰으로 확장하여 장기적인 추론이 필요한 작업에서 더 강력한 성능을 발휘할 수 있도록 합니다.

주요 하이라이트:

• 70B 버전은 32,000개의 토큰 QA 데이터 세트에서 61% 의 정확도를 달성했습니다.
• 장기 컨텍스트 벤치마크에서 동급 모델을 능가합니다.
• 최대 16-24k 컨텍스트의 실제 작업에 효과적인 16k 버전
  ‍

다중 문서 요약과 같은 애플리케이션의 경우 Giraffe의 확장된 컨텍스트 크기를 통해 더 관련성 높은 정보를 더 정확하게 검색할 수 있습니다.

오픈소스 AI 에코시스템의 주요 시사점

오픈 소스 AI 선택은 빠른 속도로 확장되었습니다.위 모델에서 알 수 있듯이 다음과 같은 분야에서 놀라운 혁신이 이루어지고 있습니다.

• 배율 - Falcon 180B와 같은 모델은 크기 한계를 뛰어넘는 반면 Mistral 7B 및 Vicuna와 같은 소형 모델은 효율성을 극대화합니다.
• 전문화 - Code Llama와 같은 모델은 대상 사용 사례에 맞게 틈새 데이터 세트를 미세 조정하는 것이 얼마나 효과적인지 보여줍니다.
• 접근성 - 개방형 생태계를 통해 Lama 2 및 Giraffe와 같은 모델을 빠르게 공유하여 연구를 가속화할 수 있습니다.
• 가격 합리성 - 개방형 모델은 독점 대체 모델에 비해 훨씬 적은 비용으로 고성능을 제공합니다.

‍

이러한 요소들이 결합되어 오픈 소스 AI가 업계에 획기적인 영향을 미치고 있습니다.2024년에 생태계가 더욱 성숙해짐에 따라 개방형 모델은 폐쇄형 모델보다 훨씬 더 경쟁력이 높아질 것으로 예상할 수 있습니다.

AI 연구의 민주화와 분권화는 궁극적으로 혁신의 큰 성과입니다.우리는 이제 막 오픈 소스 AI의 잠재력을 활용하기 시작했으며 미래는 놀라울 정도로 밝습니다.

Sapien에서 고품질 교육 데이터 받기

앞서 살펴본 것처럼 Llama 2 및 Vicuna와 같은 대규모 언어 모델은 대규모 데이터 세트와 미세 조정을 통해 놀라운 성능을 달성합니다.하지만 깔끔하고 정확하며 다양한 교육 데이터와 데이터 레이블링은 오픈 소스 LLM의 잠재력을 실현하는 데 매우 중요합니다.

그곳이 바로 사피엔 들어온다.

Sapien은 차세대 오픈 소스 AI를 지원하는 고품질 데이터 라벨링을 제공합니다.주제별 전문가로 구성된 당사의 글로벌 팀은 모든 산업 전반의 머신 러닝용 데이터 세트에 꼼꼼한 레이블을 지정합니다.

텍스트, 이미지, 비디오 또는 음성 데이터에 레이블이 필요한 경우 Sapien은 인간의 통찰력과 데이터 운영 자동화를 결합하여 정밀도와 확장성을 제공합니다.

Sapien의 데이터 라벨링 서비스를 사용하여 오픈 소스 LLM을 최적화하는 방법에 대해 자세히 알아보려면 오늘 데모를 예약하세요.