소규모(~100 문서 · ~40만 단어)에서는 LLM이 자동 유지하는 인덱스 파일과 짧은 요약이 정교한 RAG를 이깁니다.
명시적 인덱스 읽기가 벡터 검색을 능가하는 구간이 — 코퍼스가 훨씬 커지기 전까지 — 존재합니다.
At small scale (~100 articles / ~400K words), an LLM auto-maintaining index files and brief summaries outperforms fancy RAG — explicit index-reading beats vector retrieval until the corpus grows much larger.
memory-systemsai-toolingkarpathy
소규모(~100 문서 · ~40만 단어)에서는 LLM이 자동 유지하는 인덱스 파일과 짧은 요약이 정교한 RAG를 이깁니다.
명시적 인덱스 읽기가 벡터 검색을 능가하는 구간이 — 코퍼스가 훨씬 커지기 전까지 — 존재합니다.
카르파시가 직접 패턴을 굴려 보고 도달한 구체적 스코프 주장입니다(2026년 4월). "확장하려면 RAG가 필요하다"는 기본 가정 — 소규모에서는 틀렸습니다. LLM이 인덱스 파일과 짧은 요약을 직접 읽는 것만으로 대부분의 질의가 해결됩니다. 임베딩도 벡터 스토어도 필요 없습니다. 알렉스의 브레인(현재 143 thoughts)은 정확히 이 구간 안에 있습니다.
