[논문 리뷰] Byte Latent Transformer: Patches Scale Better Than Tokens

 
안녕하세요! 이번 논문 리뷰에서는 Meta의 연구진이 제안한 새로운 모델, BLT(Byte Latent Transformer)에 대해 다뤄보았습니다. 기존의 토크나이저 기반 모델들이 갖고 있던 한계점을 극복할 수 있는 가능성을 제시하는 모델로서, 바이트 단위의 동적 패칭을 통해 토큰화 없이도 고성능의 LLM을 만들 수 있음을 시사하고 있습니다. BLT는 바이트 데이터를 다루는 접근 방식으로 성능을 최적화하면서도 계산 자원을 효율적으로 활용할 수 있는 잠재력을 보였습니다.
 
바이트 시퀀스 자체를 다루는 언어 모델링에 대한 연구이기에, 방법론을 살펴보면 문자열이 아닌 바이트의 나열을 처리하기 위해 어떤 접근을 취했는지에 대한 내용을 다루게 됩니다. 또한, 토크나이징을 배제하고 바이트를 예측 한다면 언어 뿐 아니라 모든 종류의 데이터를 지금의 언어 모델링 처럼 학습하는 것이 가능해지게 될 것입니다.
 
이 글은 LLM의 새로운 모델 아키텍처와 학습 방법에 관심이 있는 AI/ML 엔지니어 분께 특히 유용할 듯 합니다. 또한, 대형 언어 모델 개발에 관심이 있는 분들이나 모델 최적화 및 확장성을 고려하는 연구자들에게도 통찰을 제공할 수 있을 것이라 기대합니다. 그럼 시작하겠습니다 :)
 
 
1. 도입
기존의 대형 언어 모델(LLM)은 미리 정의된 토크나이저를 기반으로 동작하며, 이때 사용되는 토큰 단위 학습은 계산 효율성과 성능 면에서 중요하게 다뤄졌습니다. 하지만 토크나이저 기반의 Next Token Prediction 모델은 다음과 같은 한계점을 갖고 있습니다.

• 어휘 외 문제: 자주 쓰이지 않는 표현이나 철자 오류 등에서 성능 저하가 발생합니다. 예를 들어, 빈도가 낮은 고유명사나 오탈자 등에서 부정확함을 보입니다.
• 고정된 토크나이저의 한계: 모델 학습에서 토크나이저의 독립적인 설정으로 인해 최적화가 제한적입니다.
• 문자 단위 작업의 취약성: 철자 수정과 같은 디테일한 문자 수정에서 잘 동작하지 않는 한계가 존재합니다.

이 문제들을 해결하기 위해 Meta의 연구진이 제안한 BLT(Byte Latent Transformer)는 기존의 고정된 토크나이저를 배제하고, 바이트 기반의 동적 패칭으로 학습을 최적화하는 새로운 접근법을 제시합니다. BLT는 바이트 데이터를 동적으로 '패치'하여 계산 자원을 효율적으로 활용하며, 확장성을 극대화할 수 있는 구조입니다.

---

2. 아키텍처 핵심 요소

1. 동적 패칭(Dynamic Patching)
   • BLT의 핵심적 특징은 바이트 시퀀스를 동적으로 그룹화하여 '패치'를 생성하는 방식입니다. 각 바이트는 예측하기 쉬운 바이트들은 한 그룹에 묶고, 더 복잡한 바이트들은 별도의 패치로 처리함으로써 효율성을 극대화합니다.
   • 정적인 토크나이징 방식과 비교하면, 이 방법은 바이트 수준에서 발생할 수 있는 과도한 시퀀스 길이를 줄여 모델의 효율성을 개선합니다. 바이트 간의 관계를 직접적으로 학습하여 더 세밀한 패턴을 잡아내는 것이 가능하게 합니다.
2. 3개의 트랜스포머 구성요소
   • Byte Encoder Transformer: 바이트 데이터를 초기 패치로 변환하고, 이를 통해 텍스트의 낮은 수준 정보를 처리합니다.
   • Latent Global Transformer: 패치들 간의 관계를 처리하고, 패치들이 다음으로 어떻게 연결될지 예측하는 역할을 합니다.
   • Byte Decoder Transformer: 모델이 학습한 패치를 바이트 단위로 변환해 최종적으로 인간이 읽을 수 있는 텍스트로 재구성하는 역할을 합니다.
3. 정보 엔트로피 기반 패치 경계 설정
   • BLT는 각 바이트의 정보 엔트로피를 기반으로 패치의 경계를 동적으로 설정합니다. 높은 엔트로피를 가진 바이트는 별도의 패치로 처리하고, 이를 통해 모델은 예측하기 어려운 바이트와 쉽게 예측되는 바이트를 구분하여 최적화합니다.
4. n-그램 기반 임베딩
   • 단순 바이트 정보를 넘어, n-그램 기반 임베딩을 통해 더 복잡한 패턴을 학습할 수 있는 구조로 설계되었습니다. 이를 통해 단순한 문자 조작 이상의 의미적 관계를 학습할 수 있습니다.

---

3. 실험 결과 및 성과
BLT는 4억에서 80억 개의 파라미터를 가진 다양한 모델들과 함께 실험되었습니다.

• 성능 향상 및 비용 절감:
  • 기존 LLM에 비해 50% 적은 FLOP(부동 소수점 연산)으로 비슷한 성능을 달성했습니다. 이는 동적 패칭 기법으로 계산량을 줄이면서도 성능을 유지하는 데에 큰 도움이 되었습니다.
• 확장성 확보:
  • 모델 크기와 패치 크기를 동시에 확장할 수 있으며, GPU 메모리 활용도를 최적화하는 새로운 스케일링 규칙을 제시합니다.
• 강력한 문자 처리 능력:
  • 철자 오류 수정, 희소 데이터 패턴 학습, 문자의 미세한 처리에서 뛰어난 성능을 보였고, 특히 헬라스웨그 데이터셋에서의 실험에서도 강력한 성능을 발휘했습니다.

---

4. 시사점 및 한계

1. 토크나이저 없는 LLM의 가능성
   • BLT는 기존의 고정적인 토크나이저를 완전히 배제하고, 모델 학습을 바이트 단위에서 동적으로 수행할 수 있음을 입증했습니다. 이는 LLM 연구에 있어 새로운 패러다임을 제시하고, 언어 처리의 범위를 확장할 수 있는 가능성을 열어주었습니다.
2. 새로운 스케일링 법칙
   • 기존의 스케일링 로우(Scaling Laws)에 비해, 패치 크기라는 새로운 축을 도입하면서 GPU 메모리 활용을 최적화하고, 모델 크기 확대가 독립적으로 이루어질 가능성을 보였습니다.
3. 후속 연구 필요성
   • BLT는 매우 혁신적인 접근이지만, 복잡한 아키텍처를 가진 큰 모델에도 동일하게 최적화될 수 있을지에 대한 추가 연구가 필요하며, 향후 더 고도화된 실험 확장이 요구됩니다.

---

5. 결론
BLT는 패치 기반의 바이트 수준 언어 모델링을 통해 기존의 LLM 방식에 도전하며, 효율성과 확장성을 모두 확보한 혁신적인 모델입니다.
이 모델은 다음과 같은 중요한 성과를 남겼습니다.

• 다양한 언어와 희소 데이터 학습.
• 효율적인 추론 및 계산 자원 절감.
• 모델 구조 최적화와 유연성 확보에 대한 가능성

 
BLT는 기존 언어 모델의 한계를 넘어서며, 모델 설계와 훈련에서 더 큰 유연성을 제공하고, LLM 연구의 방향성에 중요한 영향을 미칠 것으로 예상됩니다. 이를 통해 다양한 산업적 응용에서도 중요한 역할을 할 수 있을 것이라 기대합니다.
 
출처 : https://arxiv.org/abs/2412.09871