#0843
`Forge`, 로컬 8B 에이전트 성공률을 프런티어 API 근처까지 끌어올림
`Forge` Pushes Local 8B Agent Reliability Near Frontier APIs
70radar
ForgeLLM 가드레일 런타임 — 로컬 툴콜 안정성 강화
모델을 키운 게 아니라 런타임 가드레일로 성공률을 올렸다. 반복 호출·복구·서빙 백엔드 선택이 모델 크기보다 큰 레버가 될 수 있어 바로 실험할 만함.
Ministral 8B+Forge는 99.3%,Claude Sonnet+가드레일은 100%. 로컬 에이전트 비용 구조를 다시 볼 숫자다.- retry nudge를 끄면 24-49포인트 하락. 에이전트 안정성은 프롬프트보다 런타임 재시도 설계가 먼저다.
- 같은
Mistral-Nemo 12B도llama-server네이티브 함수호출 7%,Llamafile프롬프트 모드 83%로 갈렸다. - 복구 로직 없이는 로컬·프런티어 모델 모두 error recovery 0%. 실패 후 경로를 제품 코드에 명시해야 한다.
출처: github.com/antoinezambelli/forge원문 보기 →