# LLM 필러 토큰과 숨은 추론, 무의미한 점이 계산이 되는 조건

- 게시: 2026.07.18
- 원문(HTML): https://trendbrief.news/articles/llm-%ED%95%84%EB%9F%AC-%ED%86%A0%ED%81%B0%EA%B3%BC-%EC%88%A8%EC%9D%80-%EC%B6%94%EB%A1%A0-%EB%AC%B4%EC%9D%98%EB%AF%B8%ED%95%9C-%EC%A0%90%EC%9D%B4-%EA%B3%84%EC%82%B0%EC%9D%B4-%EB%90%98%EB%8A%94-%EC%A1%B0%EA%B1%B4.html
- 발행: [트렌드브리프](https://trendbrief.news/)

![LLM 필러 토큰과 숨은 추론, 무의미한 점이 계산이 되는 조건](https://trendbrief.news/assets/articles/llm-%ED%95%84%EB%9F%AC-%ED%86%A0%ED%81%B0%EA%B3%BC-%EC%88%A8%EC%9D%80-%EC%B6%94%EB%A1%A0-%EB%AC%B4%EC%9D%98%EB%AF%B8%ED%95%9C-%EC%A0%90%EC%9D%B4-%EA%B3%84%EC%82%B0%EC%9D%B4-%EB%90%98%EB%8A%94-%EC%A1%B0%EA%B1%B4/hero-1.jpg)

> 필러 토큰은 '......'처럼 의미 없이 반복되는 토큰이다. NYU 연구진의 2024년 논문은 특정 합성 과제에서 필러 토큰이 사고 사슬을 대신해 숨은 계산을 했다고 보고했다. 그 조건과 한계, 개발자가 사고 사슬을 얼마나 믿어야 하는지 정리한다.

필러 토큰(filler token)은 '......'처럼 의미 없이 반복되는 토큰이다. 이 무의미한 토큰이 어떤 조건에서는 모델의 '사고 사슬(chain-of-thought, 답을 내기 전에 중간 추론을 글로 풀어 쓰는 방식)'을 대신해 겉으로 안 보이는 계산을 수행할 수 있다. NYU 연구진이 2024년 4월 발표한 논문 'Let's Think Dot by Dot'이 특정 합성 과제에서 이를 실험으로 보였다. 단, 이 현상은 지금 쓰는 상용 챗봇에서 저절로 일어나지는 않는다. 이 글은 그 연구 결과가 무엇인지, 그리고 개발자가 사고 사슬을 얼마나 믿어야 하는지를 정리한다. 모델별 벤치마크 순위나 튜닝 방법은 다루지 않는다.

## 필러 토큰과 숨은 추론, 개념부터 짚자

사고 사슬은 모델이 답을 내기 전에 '먼저 A이고, 그러면 B이고...' 식으로 중간 단계를 토큰으로 출력하게 하는 기법이다. 여기서 자연스러운 질문이 나온다. 성능이 오르는 이유가 정말 사람처럼 문제를 쪼개서 푼 덕분인가, 아니면 그냥 토큰을 더 뱉느라 계산할 기회가 늘어난 덕분인가.

필러 토큰은 이 질문을 가르는 실험 도구다. 중간 추론 자리에 의미 있는 문장 대신 점('......')이나 똑같은 토큰을 채워 넣는다. 내용은 사실상 0인데 길이만 같다. 이때도 정답률이 오른다면, 성능 향상의 원인은 '무엇을 썼나'가 아니라 '토큰을 더 처리할 계산 여유'라는 뜻이 된다. 트랜스포머는 시퀀스에 토큰이 하나 늘 때마다 그 자리에서 병렬 계산을 추가로 돌릴 수 있기 때문이다. 토큰 수가 곧 계산량이자 비용이라는 점은 [프롬프트 토큰을 측정·캐싱·압축으로 줄이는 접근](https://trendbrief.news/articles/llm-%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8-%ED%86%A0%ED%81%B0-%EC%A4%84%EC%9D%B4%EA%B8%B0-%EC%B8%A1%EC%A0%95-%EC%BA%90%EC%8B%B1-%EC%95%95%EC%B6%95%EC%9C%BC%EB%A1%9C-%EC%A0%91%EA%B7%BC%ED%95%98%EA%B8%B0.html)에서 다룬 비용 논리의 반대편이기도 하다.

| 구분 | 사고 사슬(CoT) | 필러 토큰 |
| --- | --- | --- |
| 중간 토큰 내용 | 사람이 읽는 추론 문장 | 의미 없는 '......' |
| 성능 기여 요소 | 내용 + 추가 계산 | 추가 계산만 |
| 사람이 읽어 감사 | 가능(단 실제와 다를 수 있음) | 불가능 |

## 무의미한 점이 정말 계산을 대신하나?

직접 훈련한 트랜스포머에서는 그렇다. Pfau, Merrill, Bowman 세 연구자의 [논문](https://arxiv.org/abs/2404.15758)에 따르면, 필러 토큰을 받은 소형 트랜스포머는 두 개의 합성 알고리즘 과제를 풀어냈다. 필러 토큰 없이 곧바로 답을 내게 하면 거의 찍는 수준이던 과제였다.

두 과제는 3SUM과 2SUM-Transform이다. 3SUM은 입력 벡터 여러 개 중에서 더해서 (0,0)이 되는(10으로 나눈 나머지 기준) 세 개를 찾는 문제다. 2SUM-Transform은 짝을 이뤄 0이 되는 입력을 찾되, 입력을 뒤섞는 순열을 시퀀스 맨 끝에서야 알려 줘 미리 계산하지 못하게 막은 변형이다. 논문이 보고한 실험 결과로는, 필러 토큰을 준 모델이 3SUM을 100% 정확도로, 2SUM-Transform을 94% 정확도로 풀었다.

그렇다고 필러 토큰이 만능은 아니다. 같은 논문은 필러 토큰을 써도 트랜스포머가 풀 수 있는 문제의 근본 범위(계산 복잡도 등급 TC0)가 넓어지지는 않는다고 정리한다. 여러 겹으로 중첩된 조건을 따져야 하는 문제에서 그 범위 안 표현력을 끌어올릴 뿐이고, 그래프 연결성처럼 애초에 그 범위 밖인 문제는 여전히 못 푼다.

## 잔차 스트림에서 그 계산이 읽힌다 — 2026년 연구

이 숨은 계산이 실제로 존재하는지, 나아가 감시할 수 있는지를 정면으로 다룬 연구가 2026년 7월 나왔다. Kaley Brauer 등이 arXiv에 공개한 「Reading Between the Dots」는 프론티어 LLM이 점이나 반복 카운팅 같은 무의미한 필러 토큰 위에서 다단계 추론을 수행해, 눈에 보이는 사고 사슬(CoT) 없이도 정답을 낸다는 것을 확인한다. 핵심은 그다음이다. 연구진은 정답 라벨 없이(비지도) 모델의 은닉 상태를 해독하는 파이프라인으로 그 중간 계산값을 복원했고, LLM 심사 기준 80~95% 정확도로 맞혔다고 밝힌다.

실험은 오픈웨이트 모델인 DeepSeek V3와 Kimi K2에서 사실 검색·병렬 수치 합성·문자열 조작·인컨텍스트 계산 네 가지 과제로 이뤄졌다. 어텐션이 질문을 필러 영역으로 흘려보내고, logit-lens로 그 안의 사실 검색과 합성이 드러나며, KV 캐시를 다른 예시로 이식하면 출력이 인과적으로 바뀌었다. 저자들은 이로부터 감시가능성이 표면 토큰이 아니라 모델의 전체 계산 흔적에 달린 속성이라고 결론짓는다. 논문 전문은 [arXiv](https://arxiv.org/abs/2607.03502)에서 볼 수 있다.

![표면에 늘어선 밋밋한 점들 아래로, 잘라낸 창처럼 톱니바퀴가 이어진 숨은 계산 사슬이 드러나고, 오른쪽 돋보기가 그 점들을 들여다보는 선화 일러스트](https://trendbrief.news/assets/articles/llm-%ED%95%84%EB%9F%AC-%ED%86%A0%ED%81%B0%EA%B3%BC-%EC%88%A8%EC%9D%80-%EC%B6%94%EB%A1%A0-%EB%AC%B4%EC%9D%98%EB%AF%B8%ED%95%9C-%EC%A0%90%EC%9D%B4-%EA%B3%84%EC%82%B0%EC%9D%B4-%EB%90%98%EB%8A%94-%EC%A1%B0%EA%B1%B4/sec-filler-pictorial-1.jpg)

표면의 점은 비어 보이지만, 그 아래에서 돌아가는 계산은 잔차 스트림으로 읽어낼 수 있다.

## 지금 쓰는 GPT·클로드에서도 일어나나?

기본값으로는 아니다. 같은 연구에서 Claude 2와 GPT-3.5에 표준 질의응답·수학 벤치마크로 필러 토큰을 시켜 보니 정확도가 오르지 않았다. Anthropic이 2023년 발표한 논문 ['Measuring Faithfulness in Chain-of-Thought Reasoning'](https://arxiv.org/abs/2307.13702)도 사고 사슬을 말줄임표('...')로 바꿔치기했을 때 정확도가 늘지 않았다고 보고했다.

이유는 학습 난도다. Pfau 등의 논문은 모델이 필러 토큰을 계산에 쓰도록 배우는 일 자체가 어렵고, 아주 촘촘하고 구체적인 지도(supervision)가 있어야 수렴한다고 밝혔다. 정리하면 필러 토큰의 숨은 계산은 그렇게 하도록 특별히 훈련시킨 모델에서, 특정 구조의 과제에 한해 나타난 현상이다. 오늘 쓰는 챗봇 프롬프트에 점을 잔뜩 붙인다고 똑똑해지는 기능이 아니다.

여기에 더해 Anthropic 논문은 모델이 클수록 오히려 자기가 써 놓은 추론을 무시하는 경향(역스케일링)이 관찰됐다고 했다. 큰 모델일수록 겉으로 보이는 추론과 실제 계산이 어긋날 여지가 크다는 신호다.

## 개발자가 이 결과에서 챙길 점

핵심은 사고 사슬을 '모델이 실제로 그렇게 생각한 기록'으로 과신하지 말라는 것이다. 필러 토큰 연구가 보여 준 건 답과 중간 토큰 사이의 계산이 겉에 드러난 글과 무관하게 진행될 수 있다는 가능성이다. 실무에서 이 결과는 세 가지로 옮겨진다.

- 사고 사슬을 감사 근거로 쓸 때는 주의한다. 모델이 추론을 그럴듯하게 적어 놓고 실제 결론은 다른 경로로 냈을 수 있다.
- 안전·정렬 모니터링을 사고 사슬 텍스트 하나에만 의존하지 않는다. 특히 큰 모델일수록 이 위험이 커진다.
- 출력 품질은 추론 과정이 아니라 결과를 기준으로 검증한다.

그래서 추론 텍스트를 믿는 대신 결과를 독립적으로 확인하는 장치가 중요하다. 에이전트 파이프라인이라면 [검증기(verifier)를 두고 결과를 따로 채점하는 구조](https://trendbrief.news/articles/ai-%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8-%EC%9E%90%EA%B8%B0%EA%B0%9C%EC%84%A0-%EB%84%A4-%EA%B0%80%EC%A7%80-%EB%B0%A9%EC%8B%9D%EA%B3%BC-%EA%B2%80%EC%A6%9D%EA%B8%B0%EC%9D%98-%EC%97%AD%ED%95%A0.html)가 사고 사슬을 그대로 신뢰하는 것보다 안전하다. 필러 토큰 논문의 결론도 같은 방향이다. 겉으로 보이는 토큰이 계산의 전부가 아닐 수 있으니, 시스템은 그 전제 위에서 설계하는 편이 낫다.

## 관련 글

- [LLM 프롬프트 토큰 줄이기, 측정·캐싱·압축으로 접근하기](https://trendbrief.news/articles/llm-%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8-%ED%86%A0%ED%81%B0-%EC%A4%84%EC%9D%B4%EA%B8%B0-%EC%B8%A1%EC%A0%95-%EC%BA%90%EC%8B%B1-%EC%95%95%EC%B6%95%EC%9C%BC%EB%A1%9C-%EC%A0%91%EA%B7%BC%ED%95%98%EA%B8%B0.md)
- [하드웨어 친화적 LLM 설계, KV 캐시·양자화·MoE로 메모리 병목 줄이기](https://trendbrief.news/articles/%ED%95%98%EB%93%9C%EC%9B%A8%EC%96%B4-%EC%B9%9C%ED%99%94%EC%A0%81-llm-%EC%84%A4%EA%B3%84-kv-%EC%BA%90%EC%8B%9C-%EC%96%91%EC%9E%90%ED%99%94-moe%EB%A1%9C-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EB%B3%91%EB%AA%A9-%EC%A4%84%EC%9D%B4%EA%B8%B0.md)
- [LLM 모델 라우팅, 쉬운 요청은 싼 모델로 보내는 원리와 도구](https://trendbrief.news/articles/llm-%EB%AA%A8%EB%8D%B8-%EB%9D%BC%EC%9A%B0%ED%8C%85-%EC%89%AC%EC%9A%B4-%EC%9A%94%EC%B2%AD%EC%9D%80-%EC%8B%BC-%EB%AA%A8%EB%8D%B8%EB%A1%9C-%EB%B3%B4%EB%82%B4%EB%8A%94-%EC%9B%90%EB%A6%AC%EC%99%80-%EB%8F%84%EA%B5%AC.md)
- [Claude Code 토큰 사용량 확인하는 세 가지 방법과 차이](https://trendbrief.news/articles/claude-code-%ED%86%A0%ED%81%B0-%EC%82%AC%EC%9A%A9%EB%9F%89-%ED%99%95%EC%9D%B8%ED%95%98%EB%8A%94-%EC%84%B8-%EA%B0%80%EC%A7%80-%EB%B0%A9%EB%B2%95%EA%B3%BC-%EC%B0%A8%EC%9D%B4.md)
- [LLM 에이전트 종류, 세 가지 축으로 구분하기](https://trendbrief.news/articles/llm-%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8-%EC%A2%85%EB%A5%98-%EC%84%B8-%EA%B0%80%EC%A7%80-%EC%B6%95%EC%9C%BC%EB%A1%9C-%EA%B5%AC%EB%B6%84%ED%95%98%EA%B8%B0.md)