我真的很喜欢OpenAI关于人们如何使用ChatGPT的这篇论文。 推理的需求将在未来1-2年内继续爆炸性增长。显然，其中相当一部分将需要实时访问网络。 目前，AI公司可用的选项有：抓取谷歌，抓取必应（他们关闭了API），或者用神经网络对缓存/抓取的搜索结果进行重新排序（一些初创公司正在这样做）。这些方法都无法真正扩展。 如今，Grass被公司用来提供惊人的训练数据量（每天2-3PB），其中大部分是多模态的。 随着推理的计算需求翻转训练，我们预计用于收集训练数据的相同基础设施将用于实时上下文检索。