我预料到这一点:OpenAI 宣布他们开发了一种高性能的 GPT-4 迷你版本,可以在笔记本电脑或手机上本地运行。 这将使大量推理从数据中心转移到我们的本地机器上。当模型无法在本地回答问题时,它可以说“请稍等片刻,我要与集体智慧商量一下……”或其他类似的话,然后去云端进行推理。 对于我们这些在电力和数据中心领域的人来说,最大的问题是:这将如何影响数据中心的建设趋势、对电力的需求以及它们能够/愿意建设的地点? 我的假设是:这会减少对集中式数据中心推理的需求,同时增加推理数据中心能够处理的延迟程度(因为低延迟经常需要的任务将会在本地完成)。