말미잘이 매긴 말하기 점수, 의심부터 하셔도 됩니다

말하기 앱이 내 목소리를 듣고 점수를 매긴다고 하면, 당연히 이런 생각이 들어요. "이거 진짜 재는 거 맞아? AI가 대충 느낌으로 주는 거 아니야?"

정당한 의심입니다. 그리고 말미잘 지표는 정확히 그 의심에서 출발했어요. 이 글은 말미잘이 여러분의 말하기에서 무엇을, 어떻게 듣고 있는지에 대한 답이에요. 점수를 믿어달라고 하는 대신, 점수가 만들어지는 방식을 보여드릴게요.

설계 원칙 1 — 실측이 먼저, 해석은 나중

말미잘의 다섯 개 축(속도·유창성·자신감·전달력·구조)은 전부 녹음 파일에서 직접 측정한 신호 위에서 작동하고 있습니다. 그리고 측정한 원값을 결과 화면에 그대로 보여드려요. 분당 군말이 몇 개였는지, 초당 몇 음절을 말했는지. 점수만 던지고 근거를 숨기면, 그 점수는 검증할 방법이 없으니까요.

한 가지 더 중요한 분리가 있어요. 점수와 판정은 알고리즘이 내리고, AI는 문장만 씁니다. "속도가 빨랐다"는 판정은 측정값과 정해진 규칙이 결정하고, 그 판정을 어떤 말로 전달할지만 AI가 맡아요. 그래서 같은 측정값에 다른 판정이 나오는 일은 구조적으로 없습니다. 화면의 숫자와 코멘트가 어긋나면 안 된다는 게, 저희가 생각하는 신뢰의 최소 조건이에요.

설계 원칙 2 — 측정 못 하는 건 안 잽니다

모든 걸 점수화하면 있어 보이긴 해요. 하지만 잴 수 없는 걸 잰 척하는 순간, 잴 수 있는 것까지 의심받게 됩니다.

그래서 말미잘에는 '안 재는 것'이 명시적으로 있어요.

연습 유형상 구조를 평가할 수 없는 연습에서는, 구조 축을 억지로 채우지 않고 미측정으로 둡니다. 영상으로 확인되는 비언어적 요소는 음성 다섯 축 총점에 섞지 않아요. 성격이 다른 신호를 하나의 숫자로 뭉치면 점수의 의미가 흐려지니까요.

그리고 분석할 수 없는 녹음에는 점수를 내지 않습니다. 검증 단계는 두 가지예요. 먼저 음향 단계에서 녹음의 길이·음량·목소리 비율을 확인하고, 다음 전사 단계에서 음성 인식 결과의 신뢰도가 충분한지 확인합니다. 어느 쪽이든 기준에 못 미치면 분석을 거부하고 다시 녹음을 요청해요. 경계선에 있는 녹음은 무조건 거부하는 대신, 정확도가 제한될 수 있다는 안내를 붙여서 분석합니다. 말미잘을 개발할 때, 부정확한 점수를 확신 있게 내미는 것만큼은 피하고 싶었습니다.

설계 원칙 3 — 한국어를 위해 설계했습니다

영어 스피치 앱의 기준을 번역해서 쓰면 한국어에서는 어긋나는 지점이 생겨요.

속도가 대표적이에요. 영어는 단어 수(WPM)로 재지만, 한국어는 한 단어에 조사와 어미가 붙어 길이가 크게 달라지기 때문에 음절 단위로 재는 게 정확합니다. 군말도 그래요. 말미잘은 "음", "어", "그" 같은 단독형과 "있잖아", "뭐랄까", "그러니까" 같은 구절형을 나눠서 한국어 군말 사전으로 잡아냅니다.

가장 한국어다운 부분은 끊김 판정이에요. 말미잘은 형태소 분석으로 쉼 직전의 어절이 문법적으로 닫혀 있는지를 봅니다. "밥을 ∥ 먹었어요"처럼 조사나 어미로 닫힌 자리의 쉼은 생각을 고르거나 강조하는 자연스러운 쉼이라 세지 않아요. "밥 ∥ 을 먹었어요"처럼 문법이 아직 열려 있는 자리의 끊김만 잽니다.

즉 말미잘은 쉼을 벌하지 않아요 — 좋은 말하기의 도구인 수사적 쉼은 존중하고, 흐름이 실제로 끊긴 지점만 셉니다. 단어에 조사·어미라는 개념이 없는 영어권 도구가 흉내 낼 수 없는 판정이고, 판정이 애매한 쉼은 여러분에게 유리한 쪽으로 분류합니다.

그래서, 다섯 개 축은 각각 무엇을 듣나요?

표로 먼저 훑고, 아래에서 하나씩 풀어볼게요.

속도 — 초당 몇 음절을 말하는지와, 그 속도가 발화 내내 얼마나 일정한지를 함께 봅니다. 말하기 속도에 정답 숫자가 하나 있는 건 아니에요. 국내 음성 연구에서도 원고를 읽을 때와 자기 말로 이야기할 때의 속도는 체계적으로 다르게 나타납니다. 말미잘은 자유 발화 기준의 권장 구간을 두되, 그 안에서 '들쭉날쭉하지 않은가'를 같이 평가해요.

유창성 — 분당 군말 빈도와, 문법이 열린 자리에서 말이 끊기는 빈도를 봅니다. 쉼 하나를 평가 대상에 넣을 때도 신중해요. 음성 인식의 단어 타임스탬프와 별도의 무음 검출이 둘 다 '여기 쉼이 있다'고 동의한 지점만 평가합니다. 생각을 정리하는 쉼과 다음 말이 안 떠올라 생기는 머뭇거림은 나타나는 위치가 다르다는 게 국내외 연구에서 반복 확인된 사실이고, 말미잘은 그 위치를 구분해서 듣습니다.

자신감 — 하나의 신호로 재지 않습니다. 성량, 성대의 안정성, 문장 끝을 흐리는 비율, 말끝의 억양 등 여러 신호를 종합해요. 자신감은 단일 지표로 잡히는 성질이 아니라서, 신호 하나가 튀어도 다른 신호들이 보정하도록 설계했습니다.

전달력 — 목소리 높낮이의 변화폭, 성량의 다이내믹, 그리고 강조가 발화 전체에 고르게 분포하는지를 봅니다. "단조롭다"는 인상을 측정 가능한 형태로 정의한 축이에요.

구조 — 도입·본론·마무리의 요건이 갖춰졌는지를 항목별로 확인합니다. 다섯 축 중 유일하게 AI가 판정에 참여하는 축인데, 점수를 자유롭게 매기게 하는 대신 "결론이 있는가", "근거가 있는가" 같은 예/아니오 확인 방식으로 좁혀서 자의성을 줄였어요.

음성학 교과서의 기준을 그대로 쓰지 않은 이유

이 글에서 제일 이야기하고 싶었던 부분이에요.

목소리 안정성을 재는 지표 중에 jitter, shimmer, HNR이라는 게 있습니다. 임상 음성학에서 오래 쓰인 지표라 기준값도 여러 논문에 나와 있어요. 예를 들어 jitter는 1.04% 미만, HNR은 20dB 이상이 정상 범위로 통용됩니다.

그런데 이 숫자들은 방음실에서 전문 장비로 녹음했을 때의 기준이에요. 스마트폰 마이크로를 사용해 카페나 방에서 녹음한 일상 환경에서는 주변 소음의 영향을 크게 받습니다. 실제로 저희가 관측한 데이터에서 같은 사람의 jitter 값이 환경에 따라 몇 배씩 튀는 걸 확인했어요.

그래서 말미잘은 이 세 신호의 비중을 낮추고, 스마트폰 마이크 환경에서도 안정적으로 잡히는 성량·말끝 처리·억양 신호의 가중치를 높였습니다. 의학 기준과 다른 건 기준을 몰라서가 아니라, 여러분이 실제로 녹음하는 환경을 알아서예요.

측정에는 한계가 있습니다. 측정의 한계를 숨기는 서비스보다, 한계에 맞춰 설계를 고친 서비스가 더 믿을 만하다고 저희는 생각해요.

기준은 데이터를 보고 고칩니다

말미잘 지표는 한 번 정하고 끝난 기준이 아니에요.

서비스 초기, 자신감 축 점수가 실제 인상보다 일관되게 낮게 나오는 걸 데이터로 확인한 적이 있어요. 원인을 추적해서 기준을 재조정했고, 그 이후로도 축적되는 녹음 데이터를 보며 기준을 계속 손보고 있습니다.

그래서 앞으로 지표가 업데이트되면 같은 실력에도 점수가 달라질 수 있어요. 그건 여러분의 말하기가 변한 게 아니라 측정기가 교정된 겁니다. 점수는 같은 기준 안에서의 변화, 즉 지난 녹음 대비 오늘의 변화로 읽는 게 가장 정확해요.

참고한 연구들

말미잘 지표의 신호 정의는 아래 자료들에 기대고 있습니다.

• 표준 발음법 (표준어 규정 제2부, 국립국어원) — 발음·명료도 축의 준거
• 유도영·신지영 (2020). 「휴지 단위와 호흡 단위의 실현 양상 연구」, 『말소리와 음성과학』 12(1) — 낭독과 자유 발화의 속도 차이
• 유도영·신지영 (2019). 「과제, 성별, 세대에 따른 휴지의 실현 양상 연구」, 『말소리와 음성과학』 11(2) — 휴지의 위치와 인지 부담
• 유승미·이석재 (2022). 「한국어 낭독과 자유 발화의 운율적 특성」, 『말소리와 음성과학』 14(2) — 발화 유형별 운율 구조
• 신지영, 『한국어의 말소리』 (2014) — 한국어 음성·음절 단위 전반
• Maclay, H., & Osgood, C. E. (1959). Hesitation phenomena in spontaneous English speech. Word, 15(1) — 머뭇거림 휴지의 고전 연구
• Clark, H. H., & Fox Tree, J. E. (2002). Using uh and um in spontaneous speaking. Cognition, 84(1) — 군말 연구
• Hincks, R. (2005). Measures of liveliness in speech. Speech Communication, 47(1–2) — 높낮이 변화와 생동감
• Teixeira, J. P., Oliveira, C., & Lopes, C. (2013). Vocal acoustic analysis — jitter, shimmer and HNR parameters. Procedia Technology, 9 — 음질 지표의 임상 기준

점수의 목적은 평가가 아니라 다음 연습입니다

글쓰기에 첨삭이 있듯, 말하기에도 첨삭이 필요해요. 첨삭의 조건은 두 가지입니다. 명확한 근거에 기반할 것, 그리고 고칠 지점을 하나로 좁힐 것.

말미잘 지표가 다섯 축의 원값을 그대로 보여드리는 이유가 그거예요. 오늘 녹음에서 가장 낮은 축이 다음 연습의 과제가 되고, 다음 녹음에서 그 축이 얼마나 움직였는지가 연습의 성과가 됩니다. 점수는 트로피가 아니라, 지난 녹음 대비 오늘 얼마나 나아졌는지를 보여주는 눈금이에요.