오픈소스의 달을 맞아 Tri 모델 시리즈(0.5B, 1.9B, 7B, 70B)의 학습 중간 과정(intermediate checkpoints)을 공개합니다. 2025년 9월 10일 기준, 한국에서 직접 from scratch로 학습시킨 대규모 언어 모델의 중간 체크포인트를 외부에 공유하는 것은 이번이 처음입니다.

모델별 학습 과정을 일관성 있게 분석할 수 있도록, 체크포인트는 특정 토큰 수마다 정기적으로 추출했습니다 (0.5B 모델은 약 20B, 1.9B는 40B, 7B 및 70B는 160B 토큰 주기). 이번 공개 데이터가 오픈소스 LLM 커뮤니티의 발전에 의미 있게 쓰이기를 기대합니다.

2B 미만의 작은 모델(Tri-0.5B 및 Tri-1.9B)들은 초기 설정 중에 생성된 테스트 런 체크포인트입니다. 완성된 버전이 아니지만, 스케일링 행동, 수렴, 그리고 훈련 단계에서의 전이를 연구하는 데 가치가 있습니다.

Training Details

Training Loss

모델 체크 포인트는 아래 링크에서 확인하실 수 있습니다:
Tri-0.5B : https://huggingface.co/trillionlabs/0.5B-Intermediate-Checkpoints
Tri-1.9B : https://huggingface.co/trillionlabs/1.9B-Intermediate-Checkpoints
Tri-7B : https://huggingface.co/trillionlabs/Tri-7B-Intermediate-Checkpoints
Tri-70B : https://huggingface.co/trillionlabs/Tri-70B-Intermediate-Checkpoints


Tri-Series를 직접 사용해보세요

Tri-Series는 Hugging Face를 통해 전 모델이 공개되어 있습니다. 실험, 연구, 튜닝, 커스터마이징까지 자유롭게 활용하실 수 있습니다.

👉 🤗 Tri-Series on Hugging Face