共计 6926 个字符,预计需要花费 18 分钟才能阅读完成。
Eotalk 是由 Eolink 和各合作方一起发动的泛技术聊天流动,每期咱们会邀请一些技术圈内的大牛聊聊天,聊一下对于技术、守业工作、投融资等热点话题。
本期 Eotalk 咱们邀请到的嘉宾是来 自星阑科技的 CTO 徐越~ 👏👏
徐越是一位 90 后,他在学生时代就曾经十分沉迷于编程、黑客技术相干的货色。过后就通过找一些软件破绽、甚至找到大厂零碎的破绽取得了不少赏金,起初去参加国内的黑客大赛,并且开源了本人的平安我的项目。他经验了整个 Web 平安、主机平安、容器平安方面的产品建设。
之前是在某个大厂外面工作,负责云平安相干的产品线。有十分丰盛的破绽攻防和大数据安全教训。明天咱们一起聊聊 怎么通过 API 的全生命周期治理来解决 API 平安问题。
徐越: 明天十分开心加入 Eotalk 和大家一起交换,我是星阑科技的 CTO 徐越。
星阑科技在做的事件和 API 高度相干,咱们相当于 API 平安的供应商,属于网络安全赛道,帮忙企业在 API 的利用或业务上避免一些攻打流动,升高他们的入侵危险和损失。明天咱们就聊聊平安。
刘昊臻: 星阑在过来的几年倒退得十分疾速,在国内安全畛域,是十分有竞争力的。明天咱们聊到 API 的平安,在企业方面大家会面临什么样的 API 平安的问题?有什么样的挑战?有些什么案例能够跟大家分享一下?
徐越: 企业平安关注的事件很多,API 平安目前来讲是一个十分新兴的,然而十分重要的一个热点。软件世界数据通信万物互联的背景下,从我的视角来看,API 是一种新的可能更低成本去让数据买通,让软件集成融为一体,以及在某种程度上甚至可能以一种更好的生产方式,疾速实现企业软件交付的一种新模式。大家也曾经看到,各行各业的企业都曾经在做一些做业务或者做 API 化的策略转型,其实就在 API 外面。
基础设施增长的背地,肯定也会带来平安问题。咱们讲的黑客攻击,以利益为主导的黑客攻击它无非就是想管制你的资产,或者想偷你的数据,而 API 这两点它是都具备。
一方面,API 自身是裸露在网络上的,相当于软件构建的零碎,对网站攻打的手法齐全能够利用到 API 的场景里。API 的后端,比方一些 Java 的代码,也是各种各样的零碎,这些零碎它存在的破绽,也能够通过 API 打进去,最终导致本人的资产实现。这是传统攻防畛域的状况。
最近咱们看到一个更严厉的趋势,越来越多的 API 导致了十分重大的数据泄露。数据泄露对企业来讲,尤其是大型企业,以及关系到民生或基础设施的企业,他们一次大范畴的数据泄露是十分致命的,可能不仅仅是业务上损失,还会波及到监管层面。
以前的数据泄露事件,要层层攻打,从外网到内网到数据库打进去,打进去很吃力,最终能力把数据库的数据拖出来。当初不一样了,咱们只须要找到一个没有认证受权的 API 数据,轻易一个脚本就能够把数据拖出来,这是一个非常简单疾速的入侵链路,然而它的杀伤力微小。当初越来越多企业除了要面对破绽攻打,还要面对 API 导致的数据泄露。
刘昊臻: 当初都在探讨万物互联、微服架构、API,这些的确让整个攻打老本变得十分的低。当初你想要找一个企业、一个产品到底有什么 API,都不必像以前那样去扫描。间接关上它的官网,按下 F12 你就能够看到有什么申请,所以它有两面性。
一方面,当初零碎对接会简略得多,但同时,攻打的老本也会比以前低得多。确实在最近的两年,咱们会发现从用户的角度,从客户侧大家在意识下面会更加关注所谓的平安问题。而且咱们看到业内的一些报告,比如说过来的网络安全,有半数以上的数据泄露事件都是因为 API 平安而导致的,像之前咱们说国内的某个中央有信息的泄露,它的泄露的形式其实也通过 API。
这方面挑战确实是很严厉,有什么样的思路可能让咱们去参考或借鉴?
徐越: API 自身曾经存在十分久了。像一些头部的、数字化水平十分高的企业,比如说 BAT 类型的厂商,其实深耕 API 畛域也有很久了。包含国外的 API 的生态,可能在平安这个畛域会比国内走得更前沿一点。他们为客户也做了很多尝试,当初咱们看到的 API 平安的终局,还有软件全生命周期的理念,为了保障最终交付物是平安的,咱们肯定要在它的生产环节里,从设计到开发到运行,再到它销毁生命周期完结的整个流程,不同的点位都须要植入平安能力。
一方面是企业侧,目前国内很多企业会说我的 API 以前被打过,我要怎么办?可能他是在一些攻防演练中被打过,或者说有过一些数据泄露,尽管咱们从公开的信息外面看不到,然而实际上是有十分多的,这些方面会推动着企业真正去反思这件事件。
另一方面就是监管侧,监管侧也逐步延展到 API 这一畛域。通过这两个驱动力,咱们看到最多的状况是:我的确要做这件事件,然而还没想好怎么样启动,怎么样去布局。咱们首要要做的,是帮忙企业走出第一步。
第一步咱们会帮忙企业建设三个根底能力:资产的梳理能力、威逼的可视能力、以及数据的梳理能力。通过后期的流量剖析计划帮忙企业去打地基。有了地基之后,就曾经能摸清本人的家底,即能够针对性的基于本人业务的需要去思考下一步要怎么走。
刘昊臻: 明确,咱们频繁提起国家去年颁布的数据安全法,确实是会让大家对个人隐私,、企业数据泄露的问题更加器重。
徐越: 帮忙企业打一个 API 平安的地基,咱们分为三个步骤。
第一:模清家底。很多的大型企业的平安团队和业务团队就是做 API 生产流程的团队和守护 API 平安的团队,它们往往是有肯定的部门沟通老本。在企业逐步壮大之后,无论是从人员配合机制、洽购的流程等等都有肯定的割裂,负责平安的同学第一个想的是爱护 API。那到底这项业务到底有多少个 API?这些 API 是哪些部门在管?怎么管?大部分的平安团队是摸不清的。咱们要帮忙企业在不晓得哪些服务器上写的哪些程序,有多少 API 在通信的状况下,从网络流量做疾速的梳理。那么,咱们只须要在网络侧外围汇聚层的一些节点上监控 API 的通信流量,即什么样的 API 在存活,就能够在没有频繁的部门间沟通的状况下,间接帮忙安全部门摸清:这一项业务到底多少个 API?它的通信模式是什么?所以,平安建设的第一步就是先要摸清家底。
第二:我要能看见他人打我。这是作为平安守护者最根底的职责。可能以前企业的业务团队会从运维的角度,对 API 通信的过程有日志记录,然而这个记录很难满足平安的诉求。比方我想断定一次攻打是否胜利,须要记录 API 的残缺的原始流量,无论是四层还是七层,都是不能通过数据加工的,而是须要最原始的流量。所以第二项能力就是咱们帮忙平安团队,从流量的视角,比如说他人在攻打我,流量上会有肯定的痕迹,咱们能够看见攻打。
第三:API 数据流动的绘制。API 自身的价值就是传输数据,无论是从企业外部的平安,还是从成果角度,或者业务角度来讲,都会有关注数据的场景。比方举办活动,有一些流动的减免,刷单薅羊毛等等,这是异样的拜访流量。再比方一些接口是否有越权未受权的拜访,没有认证就开进来了,导致大批量的数据泄露,这样的例子曾经见过太多了。还有就是一些 SAAS 或 PAAS 的服务,咱们不晓得哪些开发者可能买了你的服务,忽然有一天就把 API 的 AK 和 Token 间接传到了 github 上,咱们须要监控这一类行为。监测 API 的数据流动,一方面是合乎安全部门的监管合规审计要求,另外一方面是真正防止业务侧的损失。
刘昊臻: 了解,首先如果要对平安有一个比拟好的防护,得晓得到底有什么 API,所以第一件事件是做一个相似于 API 资产的整顿或者是梳理。咱们以前也遇到过相似的状况,某个银行客户外部零碎有 200 多个,他们本人可能统计到的 API 有靠近 1 万个,还有些是他们不晓得的,有的零碎很老旧,开发人员可能也到职了或者他们本人也不记得,咱们就必须要做 API 整个资产的梳理。
第二步,整顿好了 API 资产之后,就要去监控它下面的一些流量,到底有没有异样,有些危险,比方会不会有人攻打你,或者它的申请频率、次数可能不那么失常,这个中央可能会对流量建模,其行为可能跟平时不太一样。
第三步就是对于 API 的数据还要做更多的辨认,比方是不是有一些敏感信息?有些不应该呈现在外网的数据,它竟然通过了网关,或者通过接口被裸露了进来,甚至还波及到人员的违规操。
刘昊臻: 是否给大家介绍一下你们在做的萤火 API 平安平台?
徐越: 咱们产品能力就是围绕方才提到的三个次要的场景。比方在资产梳理外面,用户的第一个角度是要尽可能残缺的梳理出已有的 API 资产。咱们通过流量侧,跟 API 网关进行数据买通,把曾经注册进来的资产用不同类型的标签标注进去,它是属于哪些业务,它的资产注册量,还有一些咱们叫做影子 API 没有注册进来的,把 API 对立管控,这是资产角度的问题。从资产视角来看,光晓得它有哪些 API 资产是不够的,平安团队不论是人数还是估算都是无限的,必定要把精力排高优先级,哪些资产它是最危险的,就要优先去做。
怎么定义资产的威逼水平?从它历史有没有不平安通信的查看项,有没有曾经被攻破的入侵事件,以及它传递的数据否是十分涉敏的,从这几个维度去描述 API 资产的威逼水平,为平安团队的经营工作,提出优先级倡议。
接下来危险监测,咱们在摸清资产之后要把这批资产的行为监控起来,免得呈现安全事件又意识不到导致严重损失。危险监测方面咱们能做的事就比拟多了,目前咱们曾经集成了大略有 100 多种的检测项,不同类型的威逼,基本上也都可能笼罩。就像方才提到的破绽攻打类,咱们背地有平安工程师继续保护,针对行业外部呈现的各种中间件、各种组件,只有跟 API 攻打相干的,都会第一工夫进行剖析保护,让产品时刻带有最新的检测能力。
再就是通过行为剖析,甄别 API 的异样行为。针对数据咱们内建了一些通用的隐衷数据辨认模型,目前大略有 100 多种,比方常见的卡号、手机号、邮箱、人名、地名、出版物、公司外部重要文件的敏感信息等等,这些是最底层最根底的辨认能力,只有你的 API 外面蕴含了这个数据,就能够主动地从文本里辨认进去。
辨认进去之后还要去判断数据到底敏感不敏感。比方一个手机号,他是 SAAS 用户的手机号、企业级客户的手机号、员工的手机号,还是老板的手机号,单从一条数据来讲,仅仅辨认出隐衷数据还是不够的,还要对它进行更深刻的研判。比方他在咱们外部是属于哪些业务跟业务层的治理,或者说针对咱们外部的数据分类分级的治理规范,再去进行下层的形象,这样能力把数据管好。
总体来讲就是资产入侵、危险监测和数据这三个点。
刘昊臻: 性能做得十分深度。我有些更具体的问题,比如说一开始讲到的资产梳理,可能观众也比拟好奇,通过流量咱们到底可能梳理出多少或者说可能梳理出多少准确的 API?
徐越: 流量辨认 API,流量剖析的产品十分多,抓到流量这件事并不难,只须要解析好所有支流 API 的协定就能够了。难的是两个点是,第一你能不能适配所有支流企业的不同技术架构,比方给到咱们一个简单的技术架构,你要监控哪几个点?从哪几个点通过什么样的技术手段去提取流量?以及在每一个节点里,流量的探针协定解析的速度和它的吞吐量的限度,是有肯定技术壁垒的。像流量解析,咱们有专门自研的一块引擎,专门从四层流量还原到七层,再从七层去剖析 API。可能我辨认到了 1 亿次申请,到底背地它是一亿个 API 还是一个 API?咱们目前是用聚合的算法去做,把所有的 API 无论是 URL 的局部还是 Body 的局部,把所有的参数全副形象成一个数据结构,再通过统计的办法去判断。比方我 path 里的第一块,前一个字段它可能是一个固定值,后一个字段是一个可变的参数,通过肯定的算法把通用的模式识别进去,再用这些通用的模式去打标签,这种增量的流量逐步的可能收敛掉,靠近到实在 API 的资产数量水平。
刘昊臻: 第二个问题,刚刚讲到敏感的数据辨认,咱们怎么晓得这个手机号它到底是有多敏感,或者说我怎么晓得它里边的哪个字段可能是敏感,是须要咱们在开始的时候先配置吗?还是说它其实有体验比拟好的、比拟主动一点的形式?
徐越: 咱们有专门的能力建设的同学去保护,针对支流的 100 来种的数据实体,基本上都是能够自动识别的。辨认计划分为不同的几种,可能相似于规定匹配类型的、相似于校验算法类型的,比方辨认身份证号的时候,如果只匹配一个数字的一个字符串的话,那它必定是不准的。咱们其实能够思考,比方它后面的省份是固定的,前面的一位其实是整个后面的一个校验位,这种咱们就会针对不同的实体类型。如果它自带校验的话,当然是最准的。
还有就是相似于中文类的,最简略的人名、企业地址,没法用模式匹配的形式去做。咱们也是训练了一些简略高效的小模型,比方真正从客户端获取到的一些场景化数据,以及其余的数据集积攒下来的标注样本,去训练一些数据辨认的模型进去。像这样话,其实在机器学习畛域也是一个比拟成熟的方向,咱们借用了过去解决一些平安的场景,自动识别根本就是这几种形式。
同时咱们察看到很多用户,有一些差异化的需要,比方可能波及到一个订单接口,那它第一个参数你也不晓得叫什么,它前面就是一个数字,这个数字就是它商品的价格,他要监控这个商品价格是否有零元异样,也是很多黑客或者白帽子,常常挖的破绽。这种状况下,咱们就给客户提出一些比拟敌对的,能够让他自定义的形式,间接在报文外面指定一项监控。
刘昊臻: 刚讲了 API 资产梳理,咱们有很多用户其实心愿不单纯是可能把文档给辨认进去,他还心愿晓得我到底有哪一些服务器或者哪一些用户,他调用了接口,这个接口背地对应的是我的哪一些服务,或者是哪一些 IP 地址。这个中央它应该会有个拓扑图,这个时候去做 API 资产整顿下其实会更好一些,目前这块你们是不是也有这个能力呢?
徐越: 是 的,自身咱们的底层技术架构是基于一个数据分析数仓的构造去做的,咱们基本上是用一些数据采集加工解决的能力,最终通过一个图的形式把 API 的调用链路可视进去。比方链路在集群外面可能就是每一个 service 之间的调用,可能在一般的虚拟机里以一个 IP 或者一个域名指代一个服务,两头两个 IP 之间它有多少个 API,这些 API 它存在哪些的通信模式,哪些的危险,咱们都能够用可视化的形式表达出来。
对平安团队来讲,第一我能够通过拓扑图一眼看进去这个 API 到底是干嘛用的。第二个,比方我的 API 被入侵了,接下来须要做止损和救火,这是平安团队的责任之一。然而救火可能会影响到业务,这个时候就要研判它的上下游到底是干什么用的。采取的伎俩也不一样,是间接拔网线还是间接封 IP,或者只能加一些规定过滤掉,还是服务器能够关停等等。调用链路可视化能够帮忙平安团队去研判,做救火的经营工作。
刘昊臻: 所以它其实跟很多其余产品是可能相互联合的。比方和 Eolink 的 API 治理和网关。像网关可能间接就有流量的流通,只有买通了,你们这边的一些平安规定就能够间接同步到网关下面去。比如说你们从网关那边失去流量实时剖析完之后,发现流量异样。就给网关那边同步一个长期的解决规定,及时把流量异样的流量给阻断掉,或者是把某个 IP 给封掉,这个场景应该在你们客户外面挺多的。
徐越: 是的,因为平安也是须要联动的,它是比较复杂的工作流。咱们也常常会遇到,最多的可能是跟 API 的网关做一些数据层的买通,包含跟一些安全设备,有些企业会心愿把几十款安全设备对立来治理,对立去经营它的告警,就相当于是给其余的上游设施,去收集数据,会有相应的对接或者集成。包含像进攻,咱们能够监测到一些威逼,他人正在拖我的数据,我要给他阻断掉,可能就会调用一些防火墙、或者一些堡垒机、或者一些网关类能阻断流量的产品,而后去买通,实现能力的联动,这是比拟丰盛的场景。
刘昊臻: 我由此衍生出一个疑难,咱们有很多客户心愿可能有相似于平安测试,比方我线上可能记录到了一些有危险的流量或异样流量,可能在下个版本迭代或者要做复盘的时候,我拿这些异样流量去做一次回放,去检测我的产品,这块不晓得你们有没有遇到过相似的诉求?
徐越: 有的,实质上来讲平安的问题就像咱们治病一样,大家都心愿在还没有发病的时候就把病给治了,平安也是一样,企业如果真正可能做到在开发的过程中,甚至在开发的设计阶段就躲避掉很多平安危险,那么它的老本是十分小的。等到他人打你了,你再去救,老本就很大了。平安测试在平安畛域倒退是最早的一项,也是历史比拟久的。
刘昊臻: 这些跟 Eolink 的 API 全生命周期治理产品有很多能够联合的点,因为 Eolink 不仅有 API 的文档、自动化测试,还有网关、监控等产品。很多用户也是心愿在咱们这边可能做平安测试,如果你们平安测试那块弄好的话,和咱们的产品能够很好的联合。
徐越: 是的,Eolink 会是咱们很好的合作伙伴,期待后续的单干~
刘昊臻: 明天非常感谢徐越来给咱们做分享!
Eotalk 往期举荐 ⭐⭐⭐⭐⭐:
【Eotalk Vol.04】如何平安凋谢 API 数据?|奇安信 负责数据安全的子公司技术负责人—简川力
【Eotalk Vol.03】联合 API & DaaS,让应用数据更不便|Tapdata CEO TJ 唐建法
【Eotalk Vol.02】从极客到 CEO,开发者如何晋升技术领导力?|甘果科技的 CEO 老甘(路文杰)
【Eotalk Vol.01】Eoapi,咱们心愿以开源的形式构建 API 生态系统| Eoapi 的外围开发者秦圆圆