为什么当前大模型很难做到真正长期记忆

模型本身没有记忆，是冻结的检查点，所谓的长期记忆是harness注入的

不像人类是由神经元连接的，难做到同时允许发散和收敛

记忆是权重，长期记忆需要修改权重，权重修改需要训练。而使用过程是推理，是前向传播，无法更新权重。即使可以停下微调，个人的那点数据压根无法支撑权重的微调规模。我觉得可以设计一个非常小的记忆网络。这个网络可以随着使用不断微调，就像将新的记忆装入模型中，让模型拥有真正的长期记忆。