AI 채점은 한참 아래, 내 눈엔 서버 모델과 거의 같았다
노트북에서 도는 작은 모델이 한국어로 얼마나 버티나 재 봤다. 점수표와 내 눈이 다른 답을 냈다.
같은 질문 30개
구글이 누구나 내려받아 쓰게 공개한 모델 Gemma 4 가운데 작은 것 두 개(E2B · E4B)를, MacBook Air M4 에서 모델 실행 도구 Ollama 로 돌렸다. 인터넷 없이 노트북 안에서만 도는 상태다. 견줄 상대는 GPT-6 Luna · Claude Haiku 5.5 · Sonnet 5.5 · Opus 5.5 네 개다.
질문은 직접 쓴 한국어 30개로, 요약 · 분류와 추출 · 글 다듬기 · 한국 상식 · 추론과 계산 · 대화와 상담을 다섯 개씩 넣었다. 답은 모델 이름을 가리고 순서를 섞은 뒤, AI 채점자 둘(GPT 모델 하나와 Claude Opus 5.5)이 따로 1~5점을 매겼다.
| 모델 | 두 채점자 평균 |
|---|
| GPT-6 Luna | 4.67 |
| Claude Opus 5.5 | 4.63 |
| Claude Haiku 5.5 | 4.54 |
| Claude Sonnet 5.5 | 4.46 |
| Gemma 4 E4B | 3.53 |
| Gemma 4 E2B | 3.08 |
여기까지는 예상대로다. 작은 모델은 1점쯤 낮았다.
작은 모델이 무너진 자리
- 한국 상식: "5대 국경일"을 물으니 E4B 는 설날을 넣고 광복절 · 한글날을 빠뜨렸다. E2B 는 빼빼로데이가 스승의 날에서 왔다고 지어냈다.
- 시차 계산: "서울 오전 10시면 런던은?"(서머타임 아님)에 둘 다 오전 2시라고 했다. 답은 새벽 1시다.
- 잘한 곳: 영수증과 일정에서 값을 뽑아 JSON 으로 만드는 일은 모든 모델이 맞혔다. 갈래별로 보면 E4B 는 분류 · 추출(3.9 대 서버 평균 4.62)에서 가장 가깝고, 한국 상식(3.2 대 4.62)에서 가장 멀다.
속도는 쓸 만했다. 모델이 메모리에 올라 있으면 E4B 의 첫 글자가 0.3초에 나왔고, 그 뒤로 초당 약 47토큰(모델이 글을 쪼개 다루는 단위로, 한국어 한 토큰은 대개 한두 글자)을 냈다. 다만 내려받아 둔 모델을 처음 메모리에 올릴 때는 3분 넘게 걸렸다.
캐릭터 대화에서 갈렸다
이번엔 소설 속 인물을 연기하는 대화 두 편을 시켰다. 모든 모델이 같은 내 대사를 받았고, 내가 한 마디 하고 모델이 한 번 답하는 것을 1턴으로 세어, 편마다 8턴씩 모두 16턴이다. 마지막 턴에는 1턴에 나온 내용을 기억하는지 물었다.
AI 채점자 둘은 E4B 에 2.46점을 줬다. 서버 모델은 3.93~4.32점이었다. 5점 만점에 절반도 안 되는 점수라, 숫자만 보면 고를 이유가 없는 모델이다.
그런데 같은 답을 내가 직접 봤더니 결과가 달랐다. 턴마다 여섯 모델의 답을 이름을 가리고 순서를 섞어 놓은 뒤, 답 하나하나에 따로 👍(이 대화를 이어 가고 싶다) 또는 👎 를 눌렀다.
| 모델 | 내 👍 (16턴 중) | AI 채점 |
|---|
| Claude Sonnet 5.5 | 16 | 4.21 |
| GPT-6 Luna | 15 | 4.04 |
| Claude Haiku 5.5 | 14 | 3.93 |
| Claude Opus 5.5 | 14 | 4.32 |
| Gemma 4 E4B | 13 | 2.46 |
| Gemma 4 E2B | 10 | 2.39 |
E4B 는 Haiku 와 한 턴 차이였다.
왜 갈렸나
AI 채점자가 E4B 의 답에서 깎은 곳을 보면 이유가 보인다. 대사보다 인물의 행동을 설명하는 지문이 길었고, 설정에 적은 문장 수 규칙을 넘겼고, 마지막 턴에서 1턴 내용을 기억하지 못했다. 1턴에 '사흘'이라고 정한 기한을 '내일 아침까지'로 바꾼 답도 있었다. 모두 설정에 적힌 규칙을 어긴 것이다.
나는 그 답을 읽으며 대화가 이어지는지, 그 인물 같은지를 봤다. 규칙을 조금 어겨도 읽히는 답이면 👍 를 눌렀다. 내가 E4B 에 👎 를 준 세 턴은, 내 대사가 조건을 걸거나 새 인물을 등장시킨 턴과 앞 내용을 기억해야 하는 마지막 턴이었다.
같은 답을 두고 AI 채점자는 규칙을 지켰는지를 크게 따졌고, 나는 읽히는지를 봤다. 채점자에게 다른 지시를 주었다면 점수는 달라졌을 수 있다. 그래도 '규칙 위반을 얼마나 무겁게 볼지'는 사람이 정해야 한다는 점은 남는다.
그래서 이렇게 고른다
- 사실 · 상식 · 계산을 맞혀야 하는 일: 한국 상식 다섯 문항에서 E4B 는 3.2점으로 서버 모델 평균 4.62점보다 1.4점 낮았고, 추론 · 계산은 3.6점 대 4.5점이었다. 이 일은 서버 모델에 맡긴다.
- 값을 뽑아 정해진 모양으로 만드는 일: 이번에 낸 영수증 · 일정 추출 문항은 작은 모델도 모두 맞혔다. 내 앱에 실제로 들어올 입력 스무 개쯤으로 다시 재서 모두 맞히면 작은 모델에 맡긴다.
- 말맛이 중요한 대화: 사람이 이름을 가리고 직접 골라 본다. AI 채점은 고른 모델이 상대 이름을 틀리거나 앞 내용을 잊는 실수를 찾는 데 쓴다.
당신 앱이 모델에게 맡길 일은 이 셋 가운데 어느 쪽인가. 그 답에 따라 같은 모델이 쓸 만한 모델이 되기도 하고, 못 쓸 모델이 되기도 한다.
잰 날: 2026-10-26~28 · Gemma 는 Ollama · thinking 끔 · 서버 모델은 각 CLI 기본 설정 · 문항과 채점은 직접 만든 것이라 공개 벤치마크와 바로 견줄 수 없다.
The AI judges scored the small model far below. To me it was nearly a tie.
I tested how well a small model running on a laptop handles Korean. The scoreboard and my own eyes gave different answers.
The same 30 questions
Google publishes Gemma 4 as an open model anyone can download. I took its two smallest versions (E2B and E4B) and ran them on a MacBook Air M4 with Ollama, a tool for running models locally — no internet, everything on the laptop. For comparison I used four server models: GPT-6 Luna, Claude Haiku 5.5, Sonnet 5.5 and Opus 5.5.
I wrote 30 Korean prompts myself, five each for summarizing, classification and extraction, editing, Korean general knowledge, reasoning and arithmetic, and conversation and advice. I hid the model names, shuffled the answers, and had two AI judges (a GPT model and Claude Opus 5.5) score each one from 1 to 5 independently.
| Model | Average of both judges |
|---|
| GPT-6 Luna | 4.67 |
| Claude Opus 5.5 | 4.63 |
| Claude Haiku 5.5 | 4.54 |
| Claude Sonnet 5.5 | 4.46 |
| Gemma 4 E4B | 3.53 |
| Gemma 4 E2B | 3.08 |
No surprise so far. The small models were about a point behind.
Where the small models broke
- Korean general knowledge: asked for South Korea's five national days (gukgyeongil, a narrower set than public holidays), E4B included Lunar New Year and left out Liberation Day and Hangul Day. E2B claimed Pepero Day grew out of Teachers' Day, which it made up.
- Time zones: "If it's 10 a.m. in Seoul, what time is it in London (no daylight saving)?" Both said 2 a.m. The answer is 1 a.m.
- What went well: pulling values out of a receipt or a schedule into JSON — every model got those right. By category, E4B came closest in classification and extraction (3.9 vs. a 4.62 server average) and was furthest off in Korean general knowledge (3.2 vs. 4.62).
Speed was fine. With the model already in memory, E4B's first character arrived in 0.3 seconds, and it then produced about 47 tokens per second (a token is the unit a model reads and writes in; for Korean, usually one or two characters). Loading the already-downloaded model into memory the first time took over three minutes, though.
The split came in character chat
Next I had every model play a character from a novel in two conversations. Every model got the same lines from me. One line from me plus one reply from the model counts as one turn: eight turns per conversation, sixteen in total. In the last turn I asked about something from turn one.
The two AI judges gave E4B 2.46. The server models got 3.93 to 4.32. That's under half marks — on the numbers alone, there's no reason to pick it.
Then I read the same replies myself and got a different result. For each turn I laid out all six replies with names hidden and order shuffled, and gave each one its own 👍 (I'd want to keep talking) or 👎.
| Model | My 👍 (of 16) | AI judges |
|---|
| Claude Sonnet 5.5 | 16 | 4.21 |
| GPT-6 Luna | 15 | 4.04 |
| Claude Haiku 5.5 | 14 | 3.93 |
| Claude Opus 5.5 | 14 | 4.32 |
| Gemma 4 E4B | 13 | 2.46 |
| Gemma 4 E2B | 10 | 2.39 |
E4B was one turn behind Haiku.
Why they split
Look at where the judges docked E4B and the reason shows. Its stage directions ran longer than its dialogue, it broke the sentence limit in the character sheet, and in the last turn it forgot what came up in turn one. One reply changed a three-day deadline set in turn one to "by tomorrow morning." Every one of these breaks a rule written in the setup.
Reading the same replies, I asked whether the conversation flowed and whether it sounded like the character. If a reply bent a rule but still read well, I gave it a 👍. The three turns where I gave E4B a 👎 were the ones where my line set a condition or brought in a new character, plus the final turn that needed it to remember earlier lines.
Judging by where they took points off, the judges weighed rule-keeping heavily; I weighed whether it read well. Different judge instructions might have changed the scores. Either way, how much a broken rule should cost is a call a person has to make.
So here's how I choose
- Jobs that need facts, knowledge or arithmetic: on the five Korean-knowledge questions E4B scored 3.2 against a 4.62 server average; on reasoning and arithmetic, 3.6 against 4.5. I give these to a server model.
- Jobs that pull values into a fixed shape: the small models got every receipt and schedule question right. I'd re-test with about twenty real inputs from my own app and hand the job to the small model if it gets them all.
- Conversations where the feel matters: have a person pick, with names hidden. Use AI judges to catch the chosen model's slips — wrong names, forgotten context.
Which of these three is the job your app hands to a model? The answer decides whether the same model is the right one or the wrong one.
Measured Oct 26–28, 2026 · Gemma on Ollama with thinking off · server models on each CLI's defaults · prompts and scoring are my own, so they don't compare directly to public benchmarks.