Qwen 3.8 Flash Next 온디바이스 구축 가이드, RTX 4090에서 125B 모델 돌리는 방법 정리
처음에 125B 모델을 RTX 4090 한 장에 올린다는 글을 보고 그대로 따라 했다가, PC가 3분 동안 멈춰서 강제 재부팅을 한 적이 있습니다. 원인은 VRAM이 아니라 시스템 RAM이었습니다. 이 글에서 왜 4090에서 돌아가는지, 실제로 어느 정도 속도가 나오는지, 그리고 실패 없이 세팅하는 기준을 정리했습니다. Qwen 3.8 Flash Next는 총 125B, 토큰당 활성 6B인 MoE 구조로 24GB … Read more