대형 로컬 ai가 일반 게이밍 pc에서도 구동되기 시작함. > 자유게시판

대형 로컬 ai가 일반 게이밍 pc에서도 구동되기 시작함.

요즘 최고 핫한 125B 파라미터급 대형 AI 모델인 Qwen 3.8 Flash Next 이야기임.

이 Qwen 3.8 Flash Next는 총 125+51b급(압축 안할 경우 대충 360gb) 거대 지능이지만, 이제 일반 pc 에서도 구동되고 있음.

로컬 ai를 조금 아는 사람들은 360gb를 어떻게 일반 pc의 vram에 올리냐?! 라고 할탠대

이건 자주 쓰는 전문가 그룹 6b + 119b+51b의 3단계로 나눠서 자주 쓰는 전문가 애들 6b만 열심히 일하고,

나머지 전문가 그룹은 필요할 때 불러오는 형식으로 구성이 되어 있어.

51b는 정말 가끔 쓰는 지식들이라서 ssd로 내려가 있었음.

처음 만들 때는 6b+119b 해서 125b를 vram에 올리고 나머지는 ssd에 올리는 형식으로 개발이 되었었는데...

최근 Strata 프로젝트 라는 엔진이 나왔어.

https://github.com/Niko1221/Strata

원리는 간단해.

6b만 자주 쓰는 전문가면 6b만 vram에 올리면 되는 거 아니냐?

나머지 119b는 ram에 넣고 51b는 ssd에 넣으면 되겠내?

그래서 실제로 일반인들이 자주 쓰는 게이밍 pc 레벨의 장비로 Qwen 3.8 Flash Next를 잘 구현하는데 성공했고,

현재 수많은 로컬 ai 유튜버들이 Strata 프로젝트 영상을 찍고 있어.

프로젝트에서 측정하고 제시한 pc 성능도 그렇게 높지 않음.

NVIDIA 기준 RTX 5070 12GB · Ryzen 5 7600 · RAM 64GB 환경의 저장소 자체 측정

모델 답변 생성 속도(짧은 대화) 프롬프트 처리 속도(32K 입력)
Q2_0 94토큰/초 2,650토큰/초
IQ2_XS 79토큰/초 2,090토큰/초
IQ3_XXS 62토큰/초 1,750토큰/초
IQ3_S 53토큰/초 1,620토큰/초
Coder 55토큰/초 2,180토큰/초

AMD 기준 RX 9070 XT 16GB · Ryzen 9 3900X · RAM 47GB 환경의 Linux 측정

모델 답변 생성 속도(짧은 대화) 프롬프트 처리 속도(32K 입력)
Q2_0 60토큰/초 1,160토큰/초
IQ2_XS 52토큰/초 1,110토큰/초
Coder 44토큰/초 1,420토큰/초

개붕이들도 이것보다 높은 성능 컴퓨터 가진 사람들 많을 거야.

프로젝트 문서가 안내하는 기본 사양은 VRAM 12GB 이상, RAM 32GB 이상, 여유 디스크 약 70~80GB

64GB RAM이면 주요 양자화 크기를 모두 선택할 수 있고, RAM이 클수록 더 큰 모델을 여유 있게 실행할 수 있어.

시스템 RAM 권장 모델 참고
32GB Coder 코드 작업에 맞춘 버전. VRAM 24GB급 GPU에서는 저메모리 모드로 Q2_0·IQ2_XS도 실행 가능
48GB IQ2_XS 또는 Q2_0 Q2_0이 더 빠르고, IQ2_XS는 품질과 속도의 균형을 택하는 선택지
64GB IQ2_XS 권장, 또는 IQ3_XXS·IQ3_S IQ3_S는 다른 앱을 많이 띄우지 않는 편이 좋음
96GB 이상 IQ3_S 또는 Unsloth UD-IQ4_XS 더 큰 용량의 모델 선택 가능. UD-IQ4_XS는 다운로드가 약 94GB임

Coder 는 각 층의 전문가 512개 중 256개를 남긴 코딩 특화 버전으로, 원본보다 적은 메모리로 실행할 수 있어.

제작자가 보고한 벤치마크에서는 원본 모델의 SWE-bench Verified 점수 약 91%, LiveCodeBench 점수 약 99%를 기록했어.

저장소는 Coder가 일반 대화나 코드 이외 작업, 일부 언어에서는 전체 전문가를 유지한 모델보다 약할 수 있다고 안내함. 범용 사용은 Q2_0·IQ2_XS·IQ3 계열을 권장해.

Windows는 저장소를 내려받아 압축을 풀고 START-HERE.bat 을 실행하면 됨.

Linux는 저장소 폴더에서 ./setup.sh 를 실행함

설치 도구가 GPU 종류를 확인하고 엔진·모델·실행 환경을 설정함.

처음에는 대용량 모델을 다운로드하며, 실행 뒤 브라우저에서 http://127.0.0.1:8080 으로 채팅과 GPU·CPU·메모리 사용 현황을 확인할 수 있음