关于机器学习:ChatGPT也BUG带你走进ChatGPT背后的网络基础设施

2次阅读

共计 3138 个字符,预计需要花费 8 分钟才能阅读完成。

ChatGPT 是 OpenAI 公司开发的一款聊天机器人利用,自 2022 年 11 月推出以来以迅雷不及自欺欺人之势火爆寰球。ChatGPT 不仅能够模拟人类对话,还能够创立音乐、电视剧、童话故事和学生论文,甚至是编写和调试计算机程序。截至 2023 年 1 月,ChatGPT 的用户已超过 1 亿,成为迄今为止增长最快的生产级应用程序。寰球海量用户的激情试用不仅让 OpenAI 公司的市场估值迅速飙升到 290 亿美元,然而也给后盾服务的治理和保护带来了一些困扰。有网友示意当问 ChatGPT“中国足球如何能力捧起大力神杯”等问题时,ChatGPT 的答复窗口一片空白。CNBC 在 2022 年 12 月 15 日的报道中写道 the service still goes down from time to time(服务时常中断)。难道 ChatGPT 也 BUG?

明天小编就拿出咱们的谛听从网络性能及用户体验监控平台对 ChatGPT 来一个基础设施大摸底,来验证下 ChatGPT 的响应速度、性能如何,它又是如何满足寰球大量用户同时应用的?上面就谛听对 ChatGPT 相干产品提供对外拜访服务的基础设施进行具体梳理,OpenAI 目前提供的服务次要有以下四个:
公司官网:https://openai.com 提供 OpenAI 公司钻研状况、相干产品、免费状况的介绍阐明,并提供了 API 文档和相干产品的入口。
api 服务:https://api.openai.com 提供 API 拜访服务
服务平台:https://platform.openai.com 提供用户登录、API 文档阐明、罕用示例等性能 ChatGPT:https://chat.openai.com 提供 ChatGPT 产品服务
咱们首先应用查问一下 openai 的权威域名服务器:$ nslookup -type=NS http://openai.comNon-authoritative answer:http://openai.com nameserver = ns2-02.azure-dns.net.http://openai.com nameserver = ns3-02.azure-dns.org.http://openai.com nameserver = ns4-02.azure-dns.info.http://openai.com nameserver = ns1-02.azure-dns.com. 从名称上能够看进去它是由微软 Azure 云平台提供的 DNS 解析服务,而后咱们应用 IP 定位服务对这四台域名解析服务器的 IP 进行定位,发现它们都属于 AS8086 自治零碎,位于美国微软公司的云网络中。
接下来,咱们在谛听零碎中对 OpenAI 相干的服务进行监测:ChatGPT 监控咱们从位于寰球各地的 10 个城市中对 ChatGpt 的服务页面进行拜访,响应的服务器 IP 有两个 104.18.2.161、104.18.3.161,它们同样属于 Cloudflare 公司,并且应用了 Cloudflare 提供的 CDN 减速服务。
网络层面上,从寰球各地拜访都是比拟顺畅的,详情如下图所示:

然而,在利用层面上,ChatGPT 不仅会对访问者的 IP 进行限度,还会对用户的拜访环境进行限度。在用户环境限度上,不容许应用自动化工具,比方 Selenium 进行拜访,在 IP 限度方面,无奈从中国大陆、中国香港、中国台湾以及俄罗斯等地区拜访。拜访界面如下所示:

官网监控咱们在谛听零碎中从寰球 12 个不同的城市发动了对 openai 官网的监控,响应的服务器 IP 至多有 8 个,比方 13.107.238.46、13.107.238.59。通过对这些 IP 进行定位,发现这些服务器都位于美国微软公司的 Azure 云网络中,另外在 HTTP 响应头中也带有 X -Azure-Ref 标识,这也阐明了 http://openai.com 是通过 Azure 云平台来提供服务的,另外因为响应 IP 与申请地位无关,所以揣测是应用了 Azure 中的 CDN 服务。从探测机到 http://openai.com 服务器的门路图如下所示:

能够看到在网络层面上寰球各地都能够拜访 openai 官网,但国内拜访时提早显著稍高,在 70ms 左右。另外下图阐明了在 Web 服务层面上,寰球各地也都是能够拜访的。

API 服务监控咱们同样从 12 个城市对 openai 的 api 接口服务发动监测,响应的服务器 IP 只有一个 52.152.96.252,它属于微软 Azure 云网络,位于美国圣安东尼奥市。猜想是因为 API 服务的用户量比拟少,所以并没有部署 CDN 减速服务。从寰球各地的探测机到 api 服务器的丢包、时延、抖动如下图所示:

能够看到网络是比较稳定的,丢包很少。但从美国以外的国家拜访时时延是比拟高的,大略在 150~200ms。在接口服务层面上,在寰球多个城市都能够失常调用。并没有限度拜访。

平台监控针对 http://platform.openai.com 服务,咱们从寰球 12 个城市的探测机发动监测,能够看到响应的服务器 IP 只有两个 104.18.1.104、104.18.0.104。对这两个 IP 进行定位查问,发现它们位于美国,属于 Cloudflare 公司,openai 在这里应用了 Cloudflare 提供的负载平衡性能。在下图的网络门路中能够看到,从寰球各地到 Cloudflare 中的服务器的时延都是比拟低的(50ms 以内),所以揣测它可能应用了 Cloudflare 提供的 CDN 减速服务。

在 web 服务层面上,位于寰球各地的探测机都能够失常拜访 http://platform.openai.com 服务中的性能。

下层 AS 拓扑剖析在 AS 层面上,openai 相干服务次要位于微软的 AS8075 以及 Cloudflare 的 AS13335。AS8075 中具备 196 个互联网替换点,IPv4 前缀有 349 个,IPv6 前缀有 23 个。BGP 对等 AS 有 386 个,次要如下图所示:

相干 AS 拓扑图如下所示:

AS13335 中具备 285 个互联网替换点,IPv4 前缀 1777 个,IPv6 前缀 1355 个,与其形成 BGP Peer 关系的 AS 共有 1264 个,相干 AS 的拓扑构造如下图所示:

总结通过谛听的检测后果能够看到 OpenAI 的 ChatGpt 服务目前次要是通过 Cloudflare 的 CDN 减速服务来向寰球各地的用户提供拜访服务的,不过,比拟遗憾的是并没有对中国地区凋谢。其余的诸如官网和 API 等服务则通过微软的 Azure 云平台对外提供服务,并且应用 Azure 的 DNS 解析服务进行 OpenAI 的域名解析。艰深的讲,ChatGPT 的 API 响应速度绝对比较稳定,丢包率低。截至目前为止,对于 ChatGPT 中断的相干报道曾经越来越少,这也阐明 ChatGPT 在基础设施服务上做的越来越欠缺了。随着微软加大对 OpenAI 的投资,微软作为 OpenAI 的次要股东及首选商业合作伙伴,并且领有 GTP- 3 的独家受权,将来 Azure 云平台可能会托管 openai 更多的相干产品和服务。此外,随着 ChatGPT API 的衍生产品越来越多,其 API 服务的负载也会越来越高,预计很快就会采纳 CDN 提供寰球减速服务。所以 ChatGPT 的空白和缄默很有可能是大家的发问过于离谱, 于是它抉择了此时无声胜有声。

然而对于 ChatGPT 火爆最终还是回归到了 AI 是否会代替人类这个永恒不变的话题。以目前的状况来看,ChatGPT 比起以往的 AI 的确是有肯定的晋升,只有问题形容精准,能够帮你写作文、做表、写诗等等。只是事实往往比较复杂,例如甲方须要的五彩斑斓的黑、ChatGPT 出了七八版计划之后领导示意还要第一版,字再大点等状况,很容易把 ChatGPT 的 CPU 干烧啊 …. 现阶段的 AI 是否代替人类,后果不言而喻。

正文完
 0