정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다.IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다.IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리 ‘IT백과’를 참고하세요. <편집자주>
[디지털데일리 오병훈기자] 생성형 인공지능(AI)을 쓰다 보면 어떤 질문에는 바로 답이 나오는데, 어떤 질문에는 몇초 동안 아무 말이 없다가 답변이 느릿느릿 생성된다. 또 어떤 답변은 첫 문장이 빨리 나오지만 글이 길어질수록 끝까지 기다리는 시간이 길어지는 경우가 있다.
이처럼AI가 느려졌다고 느끼는 이 현상은 사실 두 가지 시간지표로 나눠 볼 수 있다. 바로 ‘TTFT’와 ‘TPOT’다.
TTFT는 ‘TimeToFirstToken’의 줄임말이다. 한국어로 풀면 ‘첫 번째 토큰이 나오기까지 걸리는 시간’이다. 여기서 토큰은AI가 글을 읽고 쓰기 위해 문장을 잘게 나눈 조각이다.
사람은 “오늘 날씨 알려줘”를 한 문장으로 읽지만,AI는 이를 여러 개 작은 조각으로 나눠 처리한다.AI세계에서 토큰은 말의 벽돌과 비슷하다. 문장은 벽돌이 쌓여 만들어지는 집이고,AI는 벽돌을 하나씩 놓으며 답변을 만든다.
TTFT를 가장 쉽게 이해하는 방법은 식당 주문에 비유하는 것이다. 손님이 식당에 들어가 “김치찌개 하나 주세요”라고 주문했다. 주문을 받은 뒤 음식이 처음 식탁에 나오기까지 걸리는 시간이TTFT다. 주방에서는 주문을 확인하고, 재료를 꺼내고 냄비에 불을 올린다.
손님 눈에는 아무 일도 안 일어나는 것처럼 보이지만, 주방 안에서는 준비가 진행되고 있다.AI도 마찬가지다. 사용자가 질문을 입력한 뒤 첫 글자가 나오기 전까지AI는 질문을 읽고, 뜻을 파악하고, 어떤 답을 할지 준비한다.
TPOT는 ‘TimePerOutputToken’의 줄임말이다. 한국어로는 ‘출력 토큰 하나를 만드는 데 걸리는 시간’이다. 쉽게 말해AI가 첫마디를 시작한 뒤, 그다음 말을 얼마나 빠르게 이어가는지를 보여주는 지표다.
TTFT가 첫 음식이 나오기까지 걸린 시간이라면TPOT는 손님이 음식을 한 숟가락씩 먹는 속도에 가깝다. 음식이 식탁에 도착했다고 식사가 바로 끝나는 것은 아니다. 한 숟가락씩 먹어야 한다.AI답변도 첫 글자가 나왔다고 끝나는 것이 아니라, 토큰을 하나씩 이어 붙이며 완성된다.
그래서AI응답 시간도 크게 두 단계로 나뉜다. 말을 시작하기까지 걸리는 시간TTFT와 말을 시작한 뒤 끝까지 말하는 데 걸리는 시간TPOT다. 한문장 답변은 금방 끝나지만, 긴 기사 초안이나 보고서 요약은 토큰을 많이 만들어야 하므로 오래 걸린다.
응답 시간과 토큰 사용량 관계는 여기서 나온다. 사용자가 긴 질문을 넣으면AI가 읽어야 할 토큰이 많아진다. 예를 들어 “이 문서 전체를 읽고 핵심을 뽑아줘”라며 긴 보고서를 붙여 넣으면AI는 먼저 그 많은 내용을 읽어야 한다. 이때TTFT가 길어질 수 있다.
반대로AI관점에서AI가 길게 답해야 하면 출력 토큰이 많아진다. 이때는TPOT가 전체 시간을 크게 좌우한다. “한 줄로 요약해줘”라고 하면 만들 토큰이 적어 빠르다. 하지만 “2500자 기사로 써줘”라고 하면AI는 훨씬 많은 토큰을 만들어야 한다. 마치 짧은 문자 한 통을 쓰는 것과, 긴 독후감을 쓰는 일이 다른 것과 같다. 같은 사람이 써도 글이 길면 시간이 더 걸린다.
따라서 “AI가 왜 느리냐” “토큰이 왜이렇게 많이 사용되냐”라는 질문에는 여러 답이 가능하다. 첫 글자가 늦게 나온다면TTFT문제가 클 수 있다. 반면 첫 글자는 빨리 나왔는데 답변이 천천히 이어진다면TPOT가 영향을 미친 것으로 볼 수 있다.AI가 말을 시작했지만, 긴 답변을 한 조각씩 만들고 있기 때문이다.
기업들이TTFT와TPOT를 중요하게 보는 이유도 이 때문이다. 사용자는 첫 반응이 늦으면 서비스가 멈췄다고 느낀다. 그래서 기업들은AI모델의TTFT를 줄이려 한다. 적어도 이용자들에게 ‘답변을 만들고 있구나’라는 느낌을 빨리 줘야 한다. 동시에TPOT도 빨라야 답변이 자연스럽게 이어진다. 사람이 대화 중에 한 단어만 말하고 오래 멈추면 답답한 것처럼,AI도 토큰 사이 간격이 길면 느리게 느껴진다.
물론 무조건 빠른 것이 좋은 것은 아니다.AI가 너무 빨리 답하려다 보면 내용을 충분히 확인하지 못할 수 있다. 특히 법률, 의료, 보안, 금융처럼 틀리면 위험한 분야에서는 속도보다 정확성이 더 중요하다. 식당에서도 너무 빨리 음식을 내려고 하다 설익은 찌개를 내면 문제가 된다.AI도 마찬가지다. 빠른 답변과 믿을 수 있는 답변 사이 균형이 필요하다.
