Chain-of-Thought 논문은 step-by-step 추론이 왜 갑자기 잘 먹히기 시작했는지를 이해할 때 가장 중요한 출발점입니다. 핵심은 정답만 바로 말하게 하지 말고 중간 추론 단계를 펼치게 하자는 발상입니다. 이 글에서는 CoT를 논문 요약보다 reasoning prompting의 전환점이라는 관점에서 설명하겠습니다.
먼저 결론: CoT는 모델에게 생각할 자리를 만들어줬다
이 논문을 한 문장으로 줄이면, 복잡한 문제를 정답으로 바로 점프시키지 말고 중간 추론 단계를 언어로 펼치게 하면 충분히 큰 언어 모델의 reasoning 능력이 더 잘 드러난다는 것입니다. 중요한 것은 새로운 능력을 주입했다기보다, 이미 커진 모델 안에 숨어 있던 추론 패턴을 더 잘 끌어냈다는 점입니다.
그래서 CoT는 답변 스타일의 장식이 아니라 문제 해결 과정의 구조를 바꾼 prompting이라고 보는 편이 정확합니다. 정답만 빨리 내는 대신, 어떤 순서로 생각해야 하는지를 모델 문맥 안에 남겨두게 만들었기 때문입니다.
Chain-of-Thought는 정확히 무엇인가
논문에서 말하는 chain of thought는 답에 도달하기 전의 intermediate reasoning steps입니다. 예를 들어 사과가 든 봉지를 여러 개 사고 집에 있던 사과를 더하는 문제라면, CoT는 곱셈 결과를 먼저 적고 마지막에 덧셈으로 결론을 내리게 합니다. 즉 한 번에 정답 토큰으로 점프하기보다 중간 계산과 부분 결론을 차례로 쌓는 방식입니다.
- 먼저 무엇을 계산해야 하는지 정한다
- 필요한 값을 뽑아낸다
- 중간 결과를 적는다
- 마지막에 결론을 낸다
문제가 복잡할수록 이 중간 단계는 더 중요해집니다. 모델이 큰 점프를 한 번에 하게 두지 않고, 더 작은 하위 문제들로 나눠 가게 만들기 때문입니다.
왜 이 아이디어가 갑자기 잘 먹혔을까
겉으로 보면 단계별로 생각하라는 말은 새롭지 않습니다. 하지만 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models는 이 단순한 방법이 충분히 큰 언어 모델에서 실제 성능 향상으로 이어질 수 있음을 강하게 보여줬습니다. 논문 초록은 arithmetic, commonsense, symbolic reasoning 과제에서 개선을 보고하고, 540B 모델에 8개의 예시만 넣어도 GSM8K에서 강한 결과를 냈다고 요약합니다.
- 문제를 한 번에 맞히는 부담을 줄여준다
- 중간 상태를 문맥 안에 메모처럼 남겨둘 수 있다
- 올바른 문제 풀이 패턴을 예시로 보여줄 수 있다
few-shot CoT의 힘은 답의 형식만 보여주는 데 있지 않습니다. 이 문제는 어떤 순서로 분해해서 풀어야 하는지까지 같이 보여준다는 점이 더 중요합니다.
왜 갑자기 잘 되기 시작한 것처럼 보였나
논문 제목이 직접 말하듯, 핵심은 sufficiently large language models입니다. CoT는 작은 모델에서 똑같이 만능 열쇠처럼 작동한다기보다, 모델 스케일이 커진 뒤 잠재적인 reasoning 패턴을 더 잘 끌어내는 손잡이처럼 작동한 것으로 읽는 편이 맞습니다.
그래서 CoT는 프롬프트 한 줄의 마법이라기보다, 이미 자라난 모델에게 정답으로 가는 경로를 더 분명하게 열어주는 방식이라고 보는 편이 정확합니다.
Chain-of-Thought 논문은 어디서 특히 도움이 됐나
- 계산 과정이 있는 산술 문제와 수학 word problem
- 여러 조건을 순서대로 해석해야 하는 상식·논리 추론
- 규칙 적용을 한 단계씩 따라가야 하는 symbolic reasoning
이런 문제들은 정답 하나를 바로 맞히는 것보다 중간 상태를 안정적으로 유지하는 쪽이 중요합니다. CoT는 바로 그 중간 상태를 텍스트로 밖에 꺼내 놓게 해줍니다.
반대로 어디서 자주 깨질까
- 중간 단계가 길어진다고 해서 자동으로 맞아지는 것은 아니다
- 외부 확인이 필요한 최신 정보나 문서 조회 문제에는 한계가 있다
- 초반 문제 분해가 잘못되면 그럴듯한 오답 경로가 길게 이어질 수 있다
- 간단한 질문까지 무조건 길게 풀면 비효율적이고 장황해진다
특히 ReAct 쪽 설명이 이 약점을 잘 짚습니다. CoT는 기본적으로 모델 내부 지식과 내부 추론 위에서 굴러가기 때문에, 웹에서 최신 사실을 확인하거나 실제 도구를 실행해야 하는 문제에서는 쉽게 한계가 드러납니다.
즉 CoT는 생각을 보이게 만들 수는 있어도, 그 생각이 사실인지 검증해주지는 않습니다. reasoning과 verification은 다른 문제입니다.
Zero-shot-CoT가 왜 컸나
Large Language Models are Zero-Shot Reasoners는 answer 앞에 ‘Let’s think step by step’를 붙이는 단일 프롬프트만으로도 다양한 reasoning benchmark에서 zero-shot 성능이 크게 올라갈 수 있다고 보여줬습니다. 이 결과가 의미 있었던 이유는, CoT가 몇 개의 예시를 잘 짜는 요령을 넘어 더 일반적인 reasoning 모드를 호출하는 패턴처럼 보였기 때문입니다.
여기서부터 질문이 바뀝니다. 예시를 얼마나 예쁘게 쓰느냐보다, 모델이 답하기 전에 어떤 추론 모드로 들어가게 만들 것인가가 더 중요해진 것입니다.
ReAct는 CoT의 한계를 어디서 넘으려 했나
ReAct는 reasoning traces와 task-specific actions를 interleaved manner로 생성합니다. 쉽게 말해 생각만 하지 말고, 필요할 때는 검색하고 관찰하고 그 결과로 다음 생각을 바꾸자는 쪽입니다.
- CoT: 문제를 잘게 나눠 내부적으로 푼다
- ReAct: 문제를 나누면서 필요하면 바깥 정보를 확인하고 다시 푼다
그래서 CoT가 reasoning prompting의 출발점을 보여줬다면, ReAct는 그 reasoning을 행동과 연결해 agent 쪽으로 한 걸음 더 밀어낸 사례로 읽을 수 있습니다.
Toolformer는 또 무엇을 더했나
Toolformer는 질문을 조금 다르게 잡습니다. 생각을 단계별로 푸는 것을 넘어, 언제 도구를 호출해야 하는지를 모델이 스스로 배우게 만들 수 있는가를 묻습니다.
즉 CoT가 생각의 전개를 전면에 올렸다면, 이후 연구들은 생각과 행동을 언제 어떻게 섞을 것인가로 확장됐다고 볼 수 있습니다. 여기서 reasoning은 단독 기법이 아니라 더 큰 작업 루프의 일부가 되기 시작합니다.
오늘의 reasoning 모델과 agent work에 남은 것
- 복잡한 문제는 여전히 단계 분해가 필요하다
- reasoning은 이제 planning, tool use, verification과 함께 시스템 일부가 됐다
- 검증 없는 reasoning은 여전히 위험하다
코딩 에이전트나 리서치 에이전트가 보통 문제를 나누고, 부족한 정보를 찾고, 도구를 고르고, 결과를 확인하고, 계획을 수정하는 흐름으로 움직이는 이유도 여기와 맞닿아 있습니다. 가장 안쪽에는 CoT가 남긴 직관, 즉 복잡한 일은 중간 단계를 거쳐야 안정적이라는 감각이 있습니다.
다만 오늘의 시스템을 CoT와 완전히 동일시하면 안 됩니다. 현대 agent는 memory, permission, retrieval, retry, evaluation까지 붙은 더 큰 구조이고, CoT는 그 안의 reasoning 감각을 설명하는 출발점에 가깝습니다.
마무리
Chain-of-Thought 논문이 중요했던 이유는 언어 모델이 reasoning을 잘하려면 꼭 새로운 학습 기법부터 필요한 것은 아니라는 점을 보여줬기 때문입니다. 때로는 정답으로 가는 경로를 어떻게 열어주느냐가 성능을 크게 바꿉니다.
그리고 그 발상은 여기서 끝나지 않았습니다. Zero-shot-CoT로 더 단순해졌고, ReAct에서 행동과 연결됐고, Toolformer와 오늘의 에이전트 설계에서는 도구 사용 판단과 검증 루프로 이어졌습니다. 그래서 CoT는 지금 다시 읽어도 여전히 중요합니다. 최신 유행 프롬프트의 조상이라서가 아니라, 언어 모델에게 복잡한 일을 시킬 때 왜 중간 단계가 필요한지를 가장 선명하게 보여준 논문이기 때문입니다.
함께 읽으면 좋은 글
- ReAct 논문 쉽게 이해하기: 생각-행동-관찰 루프로 보는 AI 에이전트 구조
- Toolformer 논문 쉽게 이해하기: AI가 언제 스스로 도구를 써야 하는지 배우는 방법
- AI 에이전트에 planning이 왜 필요한가: 생각을 오래 시키는 것만으로는 부족한 이유
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
- Large Language Models are Zero-Shot Reasoners
- Synergizing Reasoning and Acting in Language Models
- Google Research Blog – ReAct
- Language Models Can Teach Themselves to Use Tools
