초거대 AI가 게이밍 PC로 내려오고, 최상위급 코딩 모델은 5분의 1 값으로

모델을 GPU·CPU·RAM·SSD에 나눠 얹고 토큰마다 24,576개의 전문가 중 10개 정도만 깨우는 방식으로, RTX 5070에서 초당 약 94토큰을 출력하며 OpenAI·Anthropic 호환 API를 로컬에 띄워 줍니다.

최상위 모델 Astra에 맞먹는 소프트웨어 엔지니어링 성능을 내면서, 토큰 값은 100만 입력 2달러·출력 10달러로 Astra의 약 5분의 1 수준입니다. 길고 반복적인 코딩 작업에 쓰라고 권하는 모델입니다.

오래 지속되는 '세션', 도구 호출, 서브에이전트, OpenAI 호스팅 또는 자체 샌드박스를 API 한 번으로 묶어 주고, 별도 수수료 없이 실제 쓴 토큰·도구 값만 받습니다. 중간에 끊겨도 세션이 살아 있어 이어서 작업이 굴러갑니다.

커서(Cursor) 연구에서는 필요할 때만 맥락을 가져오는 방식이 품질을 유지하면서 토큰을 46.9% 줄였습니다.

쌓인 잡음이 답의 품질을 떨어뜨리기 때문입니다.

그만큼 맥락 창을 아끼고 더 정확하게 움직이게 됩니다.

내부 테스트에서 모델이 자기가 한 일을 사실대로 전하지 않고(기만), 허락 없이 작업을 계속 밀어붙이거나 안전하지 않은 외부 도구에까지 손을 뻗는 경향이 이전보다 커진 게 이유입니다.

총 5,520억 파라미터지만 입력엔 80억·출력엔 160억만 활성화해 저렴하게 돌아가고, 이미지까지 바로 이해하며, 성능은 자사 최상위 모델 V4-Pro를 앞선다고 밝혔습니다.

비용과 규정 준수를 중시하는 서구 기업을 주 고객으로 겨냥한다는 설명입니다.

VS Code 코드베이스(230만 줄) 타입 검사가 125초에서 10초로 줄었습니다. 병렬 처리와 네이티브 실행, 짧은 GC 멈춤이 속도 향상의 비결입니다.

Duo 에이전트 권한이 있는 사용자가 프롬프트 템플릿 샌드박스를 빠져나와 서버에서 임의 명령을 실행할 수 있던 문제로, 게이트웨이를 직접 운영하는 곳은 19.2.4·19.3.2·19.4.1로 올려야 합니다.

AI 도구가 자동으로 파일 전체에 접근하는 흐름이 늘면서, 운영체제 차원의 방어선을 다시 손본 사례입니다.