ChatGPT是OpenAI公司开发的一款聊天机器人利用,自2022年11月推出以来以迅雷不及自欺欺人之势火爆寰球。ChatGPT不仅能够模拟人类对话,还能够创立音乐、电视剧、童话故事和学生论文,甚至是编写和调试计算机程序。截至2023年1月,ChatGPT的用户已超过1亿,成为迄今为止增长最快的生产级应用程序。寰球海量用户的激情试用不仅让OpenAI公司的市场估值迅速飙升到290亿美元,然而也给后盾服务的治理和保护带来了一些困扰。有网友示意当问ChatGPT“中国足球如何能力捧起大力神杯”等问题时,ChatGPT的答复窗口一片空白。CNBC在2022年12月15日的报道中写道the service still goes down from time to time(服务时常中断)。难道ChatGPT也BUG?

明天小编就拿出咱们的谛听从网络性能及用户体验监控平台对ChatGPT来一个基础设施大摸底,来验证下ChatGPT的响应速度、性能如何,它又是如何满足寰球大量用户同时应用的?上面就谛听对ChatGPT相干产品提供对外拜访服务的基础设施进行具体梳理,OpenAI目前提供的服务次要有以下四个:
公司官网:https://openai.com提供OpenAI公司钻研状况、相干产品、免费状况的介绍阐明,并提供了API文档和相干产品的入口。
api服务:https://api.openai.com提供API拜访服务
服务平台:https://platform.openai.com提供用户登录、API文档阐明、罕用示例等性能ChatGPT:https://chat.openai.com提供ChatGPT产品服务
咱们首先应用查问一下openai的权威域名服务器:$ nslookup -type=NS http://openai.comNon-authoritative answer:http://openai.com nameserver = ns2-02.azure-dns.net.http://openai.com nameserver = ns3-02.azure-dns.org.http://openai.com nameserver = ns4-02.azure-dns.info.http://openai.com nameserver = ns1-02.azure-dns.com.从名称上能够看进去它是由微软Azure云平台提供的DNS解析服务,而后咱们应用IP定位服务对这四台域名解析服务器的IP进行定位,发现它们都属于AS8086自治零碎,位于美国微软公司的云网络中。
接下来,咱们在谛听零碎中对OpenAI相干的服务进行监测:ChatGPT监控咱们从位于寰球各地的10个城市中对ChatGpt的服务页面进行拜访,响应的服务器IP有两个104.18.2.161、104.18.3.161,它们同样属于Cloudflare公司,并且应用了Cloudflare提供的CDN减速服务。
网络层面上,从寰球各地拜访都是比拟顺畅的,详情如下图所示:

然而,在利用层面上,ChatGPT不仅会对访问者的IP进行限度,还会对用户的拜访环境进行限度。在用户环境限度上,不容许应用自动化工具,比方Selenium进行拜访,在IP限度方面,无奈从中国大陆、中国香港、中国台湾以及俄罗斯等地区拜访。拜访界面如下所示:

官网监控咱们在谛听零碎中从寰球12个不同的城市发动了对openai官网的监控,响应的服务器IP至多有8个,比方13.107.238.46、13.107.238.59。通过对这些IP进行定位,发现这些服务器都位于美国微软公司的Azure云网络中,另外在HTTP响应头中也带有X-Azure-Ref标识,这也阐明了http://openai.com是通过Azure云平台来提供服务的,另外因为响应IP与申请地位无关,所以揣测是应用了Azure中的CDN服务。从探测机到http://openai.com服务器的门路图如下所示:

能够看到在网络层面上寰球各地都能够拜访openai官网,但国内拜访时提早显著稍高,在70ms左右。另外下图阐明了在Web服务层面上,寰球各地也都是能够拜访的。

API服务监控咱们同样从12个城市对openai的api接口服务发动监测,响应的服务器IP只有一个52.152.96.252,它属于微软Azure云网络,位于美国圣安东尼奥市。猜想是因为API服务的用户量比拟少,所以并没有部署CDN减速服务。从寰球各地的探测机到api服务器的丢包、时延、抖动如下图所示:

能够看到网络是比较稳定的,丢包很少。但从美国以外的国家拜访时时延是比拟高的,大略在150~200ms。在接口服务层面上,在寰球多个城市都能够失常调用。并没有限度拜访。

平台监控针对http://platform.openai.com服务,咱们从寰球12个城市的探测机发动监测,能够看到响应的服务器IP只有两个104.18.1.104 、104.18.0.104。对这两个IP进行定位查问,发现它们位于美国,属于Cloudflare公司,openai在这里应用了Cloudflare提供的负载平衡性能。在下图的网络门路中能够看到,从寰球各地到Cloudflare中的服务器的时延都是比拟低的(50ms以内),所以揣测它可能应用了Cloudflare提供的CDN减速服务。

在web服务层面上,位于寰球各地的探测机都能够失常拜访http://platform.openai.com服务中的性能。

下层AS拓扑剖析在AS层面上,openai相干服务次要位于微软的AS8075以及Cloudflare的AS13335。AS8075中具备196个互联网替换点,IPv4前缀有349个,IPv6前缀有23个。BGP对等AS有386个,次要如下图所示:

相干AS拓扑图如下所示:

AS13335中具备285个互联网替换点,IPv4前缀1777个,IPv6前缀1355个,与其形成BGP Peer关系的AS共有1264个,相干AS的拓扑构造如下图所示:

总结通过谛听的检测后果能够看到OpenAI的ChatGpt服务目前次要是通过Cloudflare的CDN减速服务来向寰球各地的用户提供拜访服务的,不过,比拟遗憾的是并没有对中国地区凋谢。其余的诸如官网和API等服务则通过微软的Azure云平台对外提供服务,并且应用Azure的DNS解析服务进行OpenAI的域名解析。艰深的讲,ChatGPT 的API响应速度绝对比较稳定,丢包率低。截至目前为止,对于ChatGPT中断的相干报道曾经越来越少,这也阐明ChatGPT在基础设施服务上做的越来越欠缺了。随着微软加大对OpenAI的投资,微软作为OpenAI的次要股东及首选商业合作伙伴,并且领有GTP-3的独家受权,将来Azure云平台可能会托管openai更多的相干产品和服务。此外,随着ChatGPT API的衍生产品越来越多,其API服务的负载也会越来越高,预计很快就会采纳CDN提供寰球减速服务。所以ChatGPT 的空白和缄默很有可能是大家的发问过于离谱,于是它抉择了此时无声胜有声。

然而对于ChatGPT 火爆最终还是回归到了AI是否会代替人类这个永恒不变的话题。以目前的状况来看,ChatGPT比起以往的AI的确是有肯定的晋升,只有问题形容精准,能够帮你写作文、做表、写诗等等。只是事实往往比较复杂,例如甲方须要的五彩斑斓的黑、ChatGPT出了七八版计划之后领导示意还要第一版,字再大点等状况,很容易把ChatGPT的CPU干烧啊....现阶段的AI是否代替人类,后果不言而喻。