应用介绍
注意到几乎所有 baseline 在上下文长度超过 64K 后几乎都归零，这些不同模型存在不同原因。划窗注意力因为只能看最邻近的 token，无法实现长程信息获取；基于循环结构的由于所有上下文信息都被压缩在一个固定维度的表征，必然存在信息损失的问题；基于单独训练检索器的模型 (RPTContriever) 的结果进一步验证了检索模型未必能检索到对下文有帮助的上文。
注意到几乎所有 baseline 在上下文长度超过 64K 后几乎都归零，这些不同模型存在不同原因。划窗注意力因为只能看最邻近的 token，无法实现长程信息获取；基于循环结构的由于所有上下文信息都被压缩在一个固定维度的表征，必然存在信息损失的问题；基于单独训练检索器的模型 (RPTContriever) 的结果进一步验证了检索模型未必能检索到对下文有帮助的上文。
