파워 리텐션: 어텐션 없이 긴 문맥을 처리하는 구조
트랜스포머의 어텐션을 고정 크기 메모리로 바꾼 파워 리텐션(Brumby 모델) 소개와 심화 정리 2편을 합쳤습니다.
요즘 AI 업계에서 주목받는 새로운 아키텍처가 등장했습니다! ‘파워 리텐션(Power Retention)’이라는 구조로, 트랜스포머의 핵심이던 ‘어텐션’을 완전히 없엔 구조인데요, 기존 트랜스포머는 문장이 길어질수록 연산량이 폭증했지만, 파워 리텐션은 입력이 늘어나도 속도가 거의 변하지 않다는게 장점이라고 합니다.
이 구조는 과거 정보를 기억하면서 새로운 입력만 빠르게 처리하는 순환형 방식이고 미국 스타트업 매니페스트 AI의 ‘브럼비(Brumby)’ 모델이 이 방식을 적용했으며, 같은 규모 모델 대비 학습 비용이 2% 수준에 불과하다고 합니다.
벤치마크 결과에서도 기존 트랜스포머와 동등하거나 더 좋은 성능을 보이면서 전문가들은 “포스트 트랜스포머 시대를 여는 혁신적인 시도”라고 평가한다고 하네요!!
허깅페이스에 오픈소스로 공개되어있으니 관심있으신 분들은 한번 자세히 보시면 좋을 것 같아요
논문: https://arxiv.org/pdf/2507.04239 허깅페이스: https://huggingface.co/manifestai/Brumby-14B-Base
바로 위에 공유드린 파워 리텐션이라는 구조에 대해 조금 더 알아보았습니다!
이 아키텍처는 매니페스트 AI(Manifest AI)가 약 2년 반 전부터 트랜스포머의 근본적인 문제인 긴 문맥(Long Context) 처리 비용 병목 현상을 해결하기 위해 착수한 프로젝트의 결과라고 합니다.
기존 트랜스포머 구조에서 컨텍스트 길이가 길어질수록 모든 토큰을 저장해야 하는 KV 캐시(KV cache)가 계속 증가하며, 이로 인해 후속 토큰을 예측하는 비용이 점점 더 비싸지는 것이 문제였었고 많은 모델이 이를 우회하기 위해 '윈도우 어텐션(windowed attention)' 같은 방식을 사용하지만, 이는 사실상 정보를 버리는 해결책(band-aid solutions)으로, 문맥 중간에 있는 정보 처리 능력은 크게 저하되는 단점이 있었습니다.
파워 리텐션(Power Retention)은 이러한 문제를 해결하기 위해 트랜스포머를 완전히 대체하는 새로운 아키텍처입니다. 이 구조는 메모리가 끊임없이 증가하는 대신 크기가 고정된 메모리를 사용하며, 새로운 토큰이 들어올 때마다 이 고정된 메모리 안으로 압축되어 처리됩니다. 메모리 크기가 고정되어 있다는 것은 추론 환경에서 인프라 관리를 매우 용이하게 만들며, 동적으로 증가하는 KV 캐시 문제로 발생하는 복잡성과 낭비가 완전히 사라진다고 합니다.
성능 면에서 파워 리텐션은 긴 문맥 처리에서 압도적인 이점을 제공합니다. 64K 토큰 길이에서 학습 시간은 플래시 어텐션 대비 약 10배 빨라지며, 추론 시간에는 KV 캐시 메모리 페이징 비용까지 절약되어 무려 100배까지 속도가 향상되는 것으로 나타났습니다. 이러한 드라마틱한 비용과 복잡성의 감소는 긴문맥 추론이 필요한 모든 사용자들에게 엄청난 혁신이 될 것으로 기대됩니다.
매니페스트 AI는 기존 트랜스포머 모델을 적은 '미드-트레이닝(Mid-training)'만으로 파워 리텐션 아키텍처로 변환하는 ‘메타모르포시스(Metamorphosis)’ 과정을 시연했습니다. 이들은 스타코더 3B 모델을 변환하여 파워 코더(Power Coder)’를 만들었는데, 불과 2시간의 학습만으로 기존 성능을 완벽히 따라잡았고, 휴먼 이발(HumanEval) 정확도를 30%에서 약 35%까지 끌어올려 기존 모델과 동등하거나 더 뛰어난 성능을 보였습니다. 이 구조의 커널과 모델은 pip install retention 명령어를 통해 플래시 어텐션 커널의 드롭인 대체품으로 사용할 수 있도록 오픈소스로 공개될 예정입니다.
https://www.youtube.com/watch?v=QLFviB2cKtU&t=926s
주제: 논문 · 모델 구조
카톡방 공유 2025-11-05