AI활용
AI역량진단 2회차 · 문항 2 / 50
2. LLM API에서 '토큰(token)'에 대한 설명으로 올바른 것은?
A한 단어가 반드시 하나의 토큰이다
B토큰은 텍스트를 분할하는 기본 단위로, 한 단어가 여러 토큰으로 나뉠 수 있다정답
C영어와 한국어의 토큰 비율은 동일하다
D토큰 수는 문장의 의미와 무관하다
해설
정답 B — 토크나이저는 단어, 접두사, 음절 등을 기준으로 분리하며, 한국어는 영어보다 토큰 비율이 높습니다.
AI역량 9개 영역 · AI활용 / 프론트엔드 / DB / Python / SEO / DevOps / 데이터분석 / 보안 / UX