Skip to content

About

LLM context window as memory (RAM) management: three-layer separation, O(1) window pointer, soft quota, lazy eviction

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 

Repository files navigation

LLM Context Memory

把 LLM 的上下文窗口当**内存(RAM)**来管理,而不是当硬盘无限扩容。

一句话:上下文窗口不是硬盘,是内存。问题从来不是"不够大",而是"不会管理"。

核心观点

  • 上下文 = 工作集,不是存储:窗口有硬上限,扩容没有尽头;管理才是正解。
  • 三层分离:上下文(工作集)/ 会话(原文底账)/ 记忆(索引钩子),记忆是指针不是数据。
  • 窗口 O(1) 单指针:窗口只留一个指针,指向外部的分层索引文件。
  • 分区软配额 + 惰性驱逐:可预测性优先,窗口满了才清理,防缓存颠簸。
  • 钩子半衰期:索引按主题聚合、随时间衰减,窗口预算制竞争上岗。
  • 程序层 + 模型层分工:便宜的程序调度干 80%,贵的模型判断干 20%。

文档

详细设计见 llm-context-memory.md。

许可

保留所有权利(All Rights Reserved)。

About

LLM context window as memory (RAM) management: three-layer separation, O(1) window pointer, soft quota, lazy eviction

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors