首页 > 科创板 >

精彩看点:AI大戏未落幕 微软GPU资源却告急 内部已采取配额供给制

《科创板日报》3月16日讯(编辑 郑远方)GPT-4 刚刚发布,而OpenAI最大金主微软还将在3月16日发布一整套使用GPT-4的Office 365工具。新工具/应用当然也需要算力支持,但据The Information消息,微软内部已陷入AI服务器硬件短缺的窘境

为了给新版必应聊天机器人与新款Office 365留下足够的资源,微软在明确客户需求量之前,不得不对AI硬件资源采取“配额供给”机制,限制公司内部其他AI工具开发团队的资源用量。


(资料图片仅供参考)

被迫“让位”的团队中,就包括各种机器学习模型开发队伍,例如微软的图灵自然语言生成模型。这些团队若想使用GPU开发新AI工具或测试现有AI软件时,必须向一位副总裁提交特别申请,获批后才能使用相关硬件资源。

而报道指出,实际上2022年末,微软就一直对内部GPU资源实行配额供给,但1月以来申请审批时间越来越长,如今部分申请需要等待几天甚至几周才能获批

GPT-4等新AI大模型需要在GPU上运行,而为了处理这些大模型带来的庞大计算需求,微软已将数万个GPU整合成一个个群集,分散到各个数据中心。

而AI硬件资源短缺的核心原因之一,便是新版必应聊天机器人与新款Office工具的资源需求尚不明朗

微软2月推出新版必应聊天机器人,目前还在加紧测算平均每天有多少人愿意使用这项服务,因此工程师暂时难以预测该功能所需的计算资源;

即将推出的新款Office 365工具中,新功能包括AI文档总结、个性化写作建议以及编辑建议等,这些也可能导致微软客户对OpenAI聊天机器人技术的需求大幅激增。

▌客户“嗷嗷待哺”

眼下正是OpenAI与微软试图推销产品、扩大销售范围的时候。

微软可通过Azure OpenAI服务,向创业公司销售软件,而OpenAI也可将软件直接授权给客户使用。这两项服务定价相同,每次请求收费都不到一美分。而根据双方合作内容,所有OpenAI机器学习模型都必须在Azure服务器运行。

两家公司推出的服务引起了广泛关注,许多公司都希望将ChatGPT的底层技术集成到自家产品中。但随着微软陷入AI硬件资源短缺,使用Azure OpenAI服务的新客户需要等待的时间越来越长

例如,市场营销软件创业公司TouchCast表示,几乎每次都要遇到延迟访问,不能立刻使用程序。该公司正为多家车企开发基于GPT的互动式用户手册,而这项技术正是通过微软Azure授权的。

不过,此前已购买服务的Azure AI客户几乎未受影响:无人驾驶汽车开发商Cruise和AI搜索创业公司Perplexity都表示,使用Azure的GPU资源时并未遇到困难。

▌微软:正在添置资源

微软表示,公司正在加紧添置更多AI硬件资源,并将遵循“优先满足客户需求、根据需求进行调整”的流程。同时其直言,微软并不担心AI硬件资源问题。

值得一提的是,微软去年11月已与英伟达共同宣布,将新增数万个处理器来扩大AI处理能力,但目前采购进度仍未明确

双方日前还宣布,Azure客户很快就能抢先使用英伟达新款H100 GPU。The Information指出,微软内部已有少部分团队开始使用H100,但多数部门尚未获得这项权限。

关键词:

责任编辑:Rex_16

推荐阅读

【天天时快讯】3u8689

· 2023-03-16 11:09:10

关于我们  联系我们  商务合作  诚聘英才  网站地图

Copyright @ 2008-2020 ac.rexun.cn Corporation, All Rights Reserved

热讯财经网 版权所有 豫ICP备20005723号-6
文章投诉邮箱:2 9 5 9 1 1 5 7 8@qq.com违法信息举报邮箱:jubao@123777.net.cn

营业执照公示信息