Gemma 4를 보면서 든 생각: 온디바이스 AI는 이제 보조 계층으로 꽤 쓸 만하다

Gemma 4를 보면서 든 생각: 온디바이스 AI는 이제 보조 계층으로 꽤 쓸 만하다

Google DeepMind가 Gemma 4를 공개했다. 숫자만 보면 또 하나의 오픈 모델 발표처럼 지나갈 수도 있다. 그런데 이번엔 성능표보다 다른 게 먼저 눈에 들어왔다. “이제 온디바이스 AI를 어디까지 실전에 넣을 수 있나”라는 질문이다.

예전에도 로컬 모델 이야기는 많았다. 하지만 막상 실제 작업 흐름에 넣으려고 하면 늘 애매한 지점이 있었다. 돌아가긴 하는데 정확도가 아쉽고, 프라이버시에는 좋지만 긴 작업에는 답답하고, 체험은 되는데 자동화 구조 속에서 역할을 주기엔 어딘가 부족했다. 그래서 나도 한동안은 온디바이스 AI를 메인 모델 후보보다 보조 기능 정도로 보는 쪽에 가까웠다.

그런데 Gemma 4 발표를 보면 그 보조 기능의 범위가 예전보다 훨씬 넓어졌다는 느낌이 든다.

• intelligence-per-parameter
• compute / memory efficiency
• 모바일과 IoT까지 포함한 실행 범위
• agentic workflows
• 멀티모달 추론
• 140개 언어 지원

이 조합을 보고 있으면, 이제 온디바이스 AI를 단순 데모나 장난감 수준으로만 보긴 어렵다. 물론 여전히 메인 모델을 완전히 대체한다는 얘기는 아니다. 하지만 적어도 에이전트 시스템의 보조 계층으로는 꽤 진지하게 볼 만한 단계까지 왔다.

이번 발표에서 눈에 띈 건 모델 크기보다 메시지였다

Gemma 4 소개를 보면 E2B, E4B, 26B, 31B처럼 여러 크기로 나뉘어 있다. 보통은 여기서 벤치마크 숫자부터 보게 된다. 실제로 수학, 코딩, 멀티모달 이해, 에이전트 도구 사용 쪽 점수도 많이 강조된다.

그런데 내 눈에는 오히려 이 문장이 더 중요하게 들어왔다.

• 모바일과 IoT를 위한 새로운 수준의 지능
• 개인용 컴퓨터에서 프론티어급 지능
• function calling을 포함한 agentic workflows

이건 그냥 “작은 모델도 돌아간다”는 홍보 문구로 읽히지 않았다. 오히려 로컬 환경에서도 에이전트형 작업을 진지하게 설계하라는 신호에 가깝게 느껴졌다.

온디바이스 AI가 늘 애매했던 이유

사실 온디바이스 AI는 몇 년 전부터 계속 얘기돼 왔다. 그런데 실무에서 막상 붙여보면 늘 비슷한 벽이 있었다.

• 충분히 빠르긴 한데 정확도가 애매함
• 개인정보 보호에는 좋지만 긴 작업엔 답답함
• 오프라인은 되지만 실제 자동화 단계까지 연결하기 어려움
• 요약이나 분류는 되는데, 그 이상을 맡기기엔 불안함

그래서 대부분은 이렇게 정리됐다.

• 메인 모델: 클라우드 대형 모델
• 로컬 모델: 체험용 또는 일부 보조 작업

이 구도가 아주 틀린 건 아니었다. 지금도 큰 방향은 여전히 유효하다. 다만 이번 Gemma 4 발표를 보면, 적어도 보조 계층 역할은 예전보다 훨씬 현실적으로 느껴진다.

왜 “보조 계층”이라는 표현이 중요하냐

나는 온디바이스 AI를 이야기할 때 일부러 “메인 모델”보다 보조 계층이라는 표현을 더 자주 쓴다. 실제 시스템은 한 모델이 모든 걸 다 하는 구조보다, 각 계층이 맡는 일이 분리될 때 더 안정적으로 굴러가기 때문이다.

예를 들면 이런 식이다.

로컬 / 온디바이스 계층

• 빠른 분류
• 민감 정보 전처리
• 짧은 요약
• 간단한 라우팅 판단
• 짧은 멀티모달 입력 해석
• 오프라인 상황 대응

상위 모델 계층

• 긴 문맥 추론
• 복잡한 코드 작업
• 장문 글 작성
• 여러 후보 비교
• 복합 도구 orchestration

이렇게 나누면 온디바이스 AI는 “작지만 어중간한 모델”이 아니라, 비용과 지연 시간을 줄이는 실전 계층이 된다.

Gemma 4가 흥미로운 이유는 여기다

Gemma 4 발표에서 특히 눈에 띈 건 두 가지다.

1. agentic workflows를 전면에 둔 점

function calling을 네이티브로 강조했다는 건, 이 모델을 단순 질의응답이 아니라 작업 흐름 안에서 쓰는 부품으로 보고 있다는 뜻이다.

2. 모바일 / IoT / 개인 GPU까지 동시에 염두에 둔 점

이건 단순 배포 범위 자랑이 아니다. 로컬 실행 환경이 다양해질수록, 모델은 점점 “메인 두뇌”보다 현장용 작업기에 가까워진다.

이 조합은 에이전트 시스템을 만드는 입장에서 꽤 중요하다. 이제는 “로컬에서도 될까?”를 묻는 단계보다, 로컬에 무엇을 맡기는 게 제일 이득일까?를 묻는 단계로 가고 있다는 느낌이 든다.

어디까지 온디바이스에 맡길 수 있나

내 기준으로는 아래 정도가 가장 먼저 실용적이다.

1. 민감 정보가 섞인 전처리

예:

• 메모나 로그에서 개인 정보 마스킹
• 요약 전 1차 정리
• 외부 모델에 보내기 전 필터링

이건 속도보다도 프라이버시 측면에서 의미가 크다.

2. 짧은 분류와 라우팅

예:

• 지금 요청이 요약인지, 검색인지, 코딩인지 분류
• 긴 작업을 어떤 상위 모델로 보낼지 결정
• 메시지를 작업 큐에 어떻게 넣을지 판단

이건 거대한 추론보다 짧고 자주 반복되는 판단에 가깝다.

3. 저지연 멀티모달 입력 해석

예:

• 이미지에서 핵심 요소 1차 파악
• 짧은 음성 입력 정리
• 로컬 UI 입력 맥락 파악

Gemma 4가 멀티모달과 경량 실행 둘 다 강조하는 이유가 여기서 실용적으로 연결된다.

4. 오프라인 또는 네트워크 불안정 상황 대응

이건 생각보다 중요하다. 클라우드 모델은 강력하지만 네트워크가 끊기면 그냥 멈춘다. 반면 로컬 계층은 완전히 같은 품질이 아니더라도 최소 기능을 유지하는 역할을 할 수 있다.

그래도 메인 모델을 대체한다고 보긴 어렵다

여기서 너무 빨리 흥분하면 안 된다. Gemma 4가 흥미롭다고 해서, 지금 당장 모든 상위 모델을 치워도 된다는 뜻은 아니다.

아직 아래 영역은 클라우드 상위 모델이 더 낫다.

• 긴 문맥 유지
• 복잡한 코드베이스 수정
• 다단계 추론
• 긴 글 초안 작성과 편집
• 여러 도구를 엮는 복합 작업

그래서 내가 보는 현실적인 방향은 이거다.

• 메인 모델 대체보다는
• 에이전트 보조 계층 강화

이 관점으로 보면 Gemma 4 같은 발표가 훨씬 실용적으로 읽힌다.

OpenClaw 같은 구조에서도 의미가 있다

이걸 OpenClaw 같은 구조에 대입해보면 더 선명해진다. 허브가 모든 걸 직접 처리하는 게 아니라, 일부는 로컬 계층에서 처리하고 나머지를 상위 모델로 넘기는 구조가 점점 자연스러워진다.

예를 들면:

• 로컬 모델: 입력 분류, 민감 정보 전처리, 짧은 요약
• 상위 모델: 긴 추론, 글쓰기, 복잡한 작업 분해
• 허브: 라우팅, 상태 관리, 실패 복구, 결과 전달

이렇게 가면 시스템 전체가 좀 더 싸고, 빠르고, 안전해질 가능성이 커진다.

이번 발표를 보면서 든 결론

Gemma 4는 단순히 “오픈 모델 성능이 또 올랐다” 정도로만 보기엔 아깝다. 나한텐 오히려 이쪽 메시지가 더 크게 남는다.

• 온디바이스 AI는 이제 보조 계층으로 꽤 쓸 만하다
• 로컬 실행은 체험용이 아니라 시스템 설계 요소가 되고 있다
• 중요한 건 모델 하나의 순위보다, 무엇을 로컬에 맡기고 무엇을 상위 모델에 맡길지를 정하는 일이다

결국 앞으로 더 중요한 질문은 “온디바이스 모델이 메인 모델을 이길까?”보다 “이 시스템에서 로컬 계층이 가장 큰 이득을 주는 지점은 어디일까?” 에 더 가깝다.

그 질문에 답할 수 있다면, Gemma 4 같은 발표는 벤치마크 뉴스가 아니라 실제 설계 힌트로 읽히기 시작한다.