OpenAI大佬甩出「喵喵GPT」调戏黑客！分享ChatGPT成功的秘密：极限压榨GPU资源

一个30人的团队，完成了这个地球上最受欢迎的产品的发布和维护。他们成功的经验和失败的教训，简直如金子一般珍贵。

OpenAI的工程团队经理（Engineering Manager）Evan Morikawa在一个开发者社区的活动中，分享了OpenAI发布ChatGPT以来，工程团队从开发和支持层面获得的最重要的几条经验和有趣的事情。

CatGPT调戏黑客

他们贡献的第一条经验是：工作要有爱，不要斗争！

当OpenAI的工程团队发现有人反向工程了ChatGPT的API，大量盗用ChatGPT流量时，工程团队没有按照惯常的做法，停掉黑客们的访问权限。

OpenAI的工程师们决定，先把黑客们的ChatGPT训成「CatGPT」，萌黑客们一脸再说。

于是他们通过添加了一条prompt，让黑客们访问的ChatGPT只会回复猫叫「meow」

然后黑客们发现，不论自己怎么和ChatGPT聊，它的回复都只是：「我不知道，我是一只猫」

而且，OpenAI的工作人员还潜伏在黑客们的Discord里，看他们的反应。

看着黑客们一脸懵逼的感觉，主讲人脸上也洋溢着幸灾乐祸的笑容。

到最后，黑客们自己也发现暴露了，在Discord里给OpenAI的工作人员留言说，「你们本可以给我们回复一首刀郎的歌，但是却给了我们一只猫，品味感觉不太行啊」

说完了故事，剩下的就都是干货了。

GPU算力有限，GPU的内存同样宝贵

Evan Morikawa和大家分享的ChatGPT在用户快速增长阶段，团队获得的最重要的经验是：GPU是ChatGPT的生命线，但是GPU的供应有限，需要深入优化其使用以扩大规模，包括优化内存缓存、批处理大小等。

为了优化GPU的使用，ChatGPT团队投入大量精力分析和调整多个方面，包括内存缓存(KV Cache)、批处理大小(batch size)、运算强度比(arithmetic intensity)等。

他们发现GPU内存(GPU RAM)是最宝贵的资源，经常成为瓶颈，反而算力的压力还没有那么大。

而且，内存缓存未命中会导致重新计算，造成巨大的非线性计算增长。

因此，团队不单看GPU利用率，而是监控KV缓存命中情况，以最大化使用GPU内存 网页链接