上周Humanloop CEO Raza Habib有幸与Sam Altman和其他20位开发人员坐下来，讨论OpenAI的API和他们的产品计划。Sam非常坦诚。讨论涉及到开发者实际问题以及与OpenAI的使命和AI的社会影响相关的更大的问题。以下是主要的关键点：

在整个讨论中，一个常见的主题是，目前OpenAI极度依赖GPU，这已经推迟了他们许多短期计划。最大的客户抱怨是关于API的可靠性和速度。Sam承认了他们的担忧，并解释说，大部分问题是由于GPU短缺引起的。

更长的32k上下文还不能推广给更多人。OpenAI尚未克服O(n^2)的关注度规模，因此虽然他们可能很快就会有100k - 1M个标记的上下文窗口（今年），但任何更大的窗口都需要一个研究突破。

微调API也被GPU可用性限制。他们尚未使用如Adapters或LoRa等高效的微调方法，因此微调运行和管理都非常耗费计算资源。未来会有更好的微调支持。他们甚至可能主办一个由社区贡献模型的市场。

专用容量供应受到GPU可用性的限制。OpenAI还提供专用容量，这为客户提供了模型的私人副本。要使用此服务，客户必须愿意提前承诺花费10万美元。

2023年：

1. 更便宜、更快的GPT-4——这是他们的首要任务。总体来说，OpenAI的目标是将"智能的成本"降低到最低，因此他们将努力继续降低API的成本。

2. 更长的上下文窗口——在不久的将来，高达一百万个tokens的上下文窗口是可能的。

3. 微调API——微调API将扩展到最新的模型，但其具体形式将由开发人员表明他们真正想要的。

4. 有状态的API（A stateful API）——当你今天调用聊天API时，你必须反复传递同样的对话历史并再次支付相同的tokens费用。未来的API版本将记住对话历史。

2024年：

1. 多模态性——这是作为GPT-4发布的一部分进行演示的，但无法在更多的GPU上线后扩展到所有人。