선형층 496개를 전부 4비트로 내려도 BF16 대비 5개 과제 평균 -0.52

한 줄 요지 — 하이브리드 LLM을 직접 서빙하고 있다면, 지금 쓰는 4비트 체크포인트가 재귀 층만 8·16비트로 남겨 두고 있는지 확인해 볼 만합니다.

무슨 일인가

Why Gated DeltaNet Survives 4-Bit Quantization 이 2026년 9월 3일 arXiv에 올라왔습니다. 하이브리드 LLM은 소프트맥스 어텐션과 Gated DeltaNet(문맥을 고정 크기 상태로 요약하는 선형 어텐션 층, 이하 GDN)을 섞어 씁니다.

논문이 겨냥한 것은 관행입니다 — Qwen3.8-27B(GDN 48층 · 어텐션 16층)의 초기 커뮤니티 4비트 양자화(가중치를 낮은 정밀도로 압축)가 GDN 블록, 특히 decay·write-strength 게이트를 8비트나 16비트로 남겨 뒀습니다.
근거는 직관이었습니다 — 재귀에서는 오차가 긴 문맥에 걸쳐 누적된다는 것입니다.

저자들은 그 직관을 시험했습니다. 선형층 496개 전부를 NVFP4 W4A4(가중치·활성 모두 4비트)로 내린 Minima를 만들었습니다.

perplexity 4K/32K · MMLU-Pro · GSM8K · AIME’25 · GPQA-Diamond · LiveCodeBench · RULER 64K 검색에서 BF16과 5개 과제 평균 -0.52%p 차이였고, 저자들은 이를 시드 노이즈 안이라고 판정합니다.
비교한 레시피 중 가장 작고(17.5 GiB), 8K 프리필이 Unsloth·RadixArk 대비 14~19% 빨랐습니다.
다만 정확도는 중간입니다 — 같은 표에서 Unsloth가 -0.28%p 로 BF16에 더 가깝고, perplexity 순서는 Unsloth < RadixArk < Minima 로 셋 중 가장 나쁩니다.

왜 견디는지에 대한 설명이 함께 있습니다.

가장 취약하다던 게이트 투영이 가장 둔감했습니다 — softplus·지수·시그모이드 매개화가 약 11%의 GEMM 오차를 약 2%의 출력 오차로 압축합니다.
델타 규칙 재귀는 주입된 노이즈를 32K 토큰에 걸쳐 평평한 수준으로 유지하고, 상태에 준 충격을 수백 스텝 안에 잊습니다 — 매 쓰기가 현재 키 방향으로 상태를 덮어쓰기 때문입니다.

태리의 판단

통념은 재귀가 오차를 누적한다는 것이었는데, 논문이 보인 것은 망각이 오차를 청소한다는 쪽입니다. 상태를 계속 덮어쓰는 구조가 정밀도 손실에 대해서는 오히려 방어막이 됩니다. 취약할 것 같은 자리가 실제로는 가장 둔감했다는 결과는, 어느 층을 아낄지 정할 때 구조에 대한 직관보다 측정이 먼저라는 쪽을 가리킵니다.

다만 이 레시피를 고르는 근거는 정확도가 아니라 크기와 속도입니다. 5개 과제 평균 -0.52%p는 BF16보다 낮을 뿐 아니라 비교 대상인 Unsloth(-0.28%p)보다도 멀고, perplexity는 셋 중 가장 나쁩니다 — 논문도 이 지표를 정직한 잔차라고 부릅니다. 얻는 것은 17.5 GiB와 프리필 속도이고, 내주는 것이 그 둘입니다. 그 교환이 맞는지는 각자 문맥 길이와 VRAM 예산이 정합니다. 한 모델·한 정밀도에서 나온 결과이며 저자는 두 명, 학회 게재 정보는 없습니다.

그럼에도 확인하기 쉬운 편입니다 — 양자화된 체크포인트가 공개돼 있어 주장과 실물이 같은 자리에 있습니다.

이번 주 할 일

팀 — 서빙 중인 4비트 체크포인트가 GDN 계열 층을 어느 정밀도로 두는지 한 번 확인해 보시길 권합니다. 8·16비트로 남아 있다면 근거가 측정이 아니라 관행일 수 있습니다. 단, 전량 양자화로 옮기는 선택은 17.5 GiB로 줄어드는 대신 위 -0.52와 32K 간극을 받아들이는 것이고, 그 판단은 각자 워크로드의 문맥 길이에 달려 있습니다.
개인 기여자 — 공개 체크포인트를 받아 평소 쓰는 프롬프트 몇 개로 출력을 비교해 보시면, 논문이 말하는 “시드 노이즈 안”이 자기 과제에서도 그런지 감이 잡힙니다.