长输入为什么影响等待和费用

　　给小说助手一大叠人物设定，只问“这个人物是否知道真相”，我们可能等了一会儿，才收到简短的回答；让它写完整一章，则可能很快看到开头，却要等更久才能读完。看起来都是在等 AI，时间却花在了不同的环节。

　　前面我们讨论了怎样让模型获得并用好上下文。接下来，还需要考虑处理这些信息的代价：输入有多少内容需要处理，回答要生成多少文字，完成一项任务又需要调用多少次模型。理解这些区别，我们才能知道怎样减少不必要的等待和费用，以及精简材料、控制输出和使用缓存分别能起到什么作用。