乐趣区

技术沙龙-从高并发架构到企业级区块链探索零售创新

伴随消费新理念的不断升级和技术创新发展,零售业逐渐被推到风口浪尖,对此京东曾表示,推动“无界零售”时代的到来理念,倡导实现成本、效率、体验的升级才是终极目标。

此概念一出,零售行业的侧重点开始由销售端向技术端倾斜,趁着一年一度 618 来临之际,京东云特别在上海举办了主题为 ” 从高并发架构到企业级区块链,探索无界零售的数字化创新 ” 的技术沙龙活动。

本次活动以京东云在零售业以及社交电商方面的核心技术以及成功解决方案为出发点,例如探求大促高并发流量数据库保障经验、社交电商的创新思路以及技术架构等细节,并结合京东云在零售领域的诸多落地实践,详解无界零售数字化创新的方方面面,并与在场的开发者们展开深入探讨。

* 从高并发架构到企业级区块链
— 探索无界零售的数字化创新—*

01 郭理靖
京东数据库服务如何应对“大促活动”

众所周知,京东商城流量业务多。很多业务在研发设计初期并不想选用太多种类的数据库,因为并不知道着手的业务规模大小,所以在开始使用 MySQL 有时候会把日志和大数据字段也写入数据库,随着数据积累量增多,用户规模扩大,未来会涉及数据切换的问题。

                                                         ——郭理靖
                                              京东云产品研发部高级总监

一直以来每逢大促,与剁手党们共同忙活到“天荒地老”的当属各大电商网站了。为了及时释放各类商品的“杀猪价格”,积极鼓励用户参与琳琅满目的抢购与秒杀环节,电商们可真是十八般武艺样样精通。

此时一门心思“买买买”的你可否想到,面对瞬间爆发的访问压力以及海量的交易数据,TA 们如何做到“临高不乱”场景呢?很显然,位于底层架构的数据库实在功不可没。对此京东云产品研发部高级总监郭理靖现场带来了“京东数据库服务如何应对“大促活动”的技术分享。

作为在数据库领域有丰富经验的技术专家,郭理靖分别从京东商城如何运作 618 的大促实践以及京东云怎样支撑商城以及商城 ISV 等共同应对高流量大促等角度入手详细加以阐明。

对于一些复杂离线的查询,可以迁移到 Elasticsearch 或者 Hadoop,通过定义一些结转策略,把数据库的数据定期或者实时同步到 Elasticsearch、Hadoop 中去。

京东商城的订单以及商品库存量较大众所共知。如果选择在一个表单上读写几十亿的数据集,单机肯定无法承受这样的工作量,要是选择拆分为 64 个表或者 128 个表单的话,再加上有工具支撑就可以高效解决上述问题,京东内部的分布式数据库服务 Jproxy 就能派上用场。

关于智能分析,京东云在助力电商的过程中,非常重视 SQL 慢日志分析以及容量分析,同时也对会运行状态进行详细的监控,比如连接数是不是一直在增长、IO 压力、CPU 压力等;也尝试做一些故障自愈以及磁盘自动化清理等。

在”京东云的服务实践”方面,在云端提供数据库服务,例如 MySQL、Percona、MariaDB、MongoDB、SQl Server 等等。另外京东云还在数据库安全、审计、日志等诸多方面提供了丰富的管理功能,也支持 Binlog 的自动备份和下载。

在监控方面,京东云的尝试也是比较细致的,其中包括监控服务、报警服务等。值得提及的是,其中所有监控项都可以设置规则,比如可以设置 CPU 及内存使用量超过 70%,就进行短信报警。而所有的指标都是对接到云监控系统。“如果用户流量较大,需要进行读写分离的话,我们也支持只读实例创建,最大支持创建 8 个只读实例,每个只读实例都可以分配一个独立域名,可以直接用域名进行访问。”他补充道。

分享之后,开发者还针对 Binlog 格式的修改、分布式分表的高可用性等问题展开了细致探讨。

02 郑永宽
企业级监控系统设计与实践

结合运维知识库,我们可以真正把故障和报警联动起来,对于相关的报警,监控系统可以自动调度对应的预案,从而达到系统的故障自愈。

                                                       ——郑永宽
                                              京东云产品研发部总监

有人说,做运维,如果从传统部署到大规模自动化,对 Coding 的能力要求势必越来越高;也有人说,很多 IT 企业走在“重研发轻运维”的老路上,如今云计算大势所趋肯定要大改;还有人说,现在都聊场景化,高并发下的运维监控要处处“到位”,必须突破原有思维模式……

监控是什么?监控是运维的生命线。

监控解决什么问题?远远不止发现问题,还需解决发现问题以后的定位,和定位后的止损。从而整体降低故障 MTTR,即持续时间。毕竟针对京东这种体量的电商,是不允许长时间宕机的情况发生的。郑永宽总结道:无论是发现问题、定位问题还是解决问题,了解系统状态十分重要,都需要监控系统做及时的反馈。接下来郑永宽谈到了京东云如何做好监控以及如何做好对应的监控系统的问题。

据了解,京东云会针对每个系统做专门的监控梳理,同时对各种异常准备相应的预案,来保证系统的高效运转;首先我们定义了一套统一的监控标准:即监控需要覆盖基础 - 存活 - 性能 - 业务四个层面,从而保证了采集数据的全面,进而避免监控遗漏。具体来说,基础监控涵盖了机器的基本指标,比如 CPU、内存、硬盘等;存活监控则聚焦机器和服务进程的存活性;性能监控关注服务对外表现的性能指标,比如 PV、平响、错误码等;业务监控则是从用户角度,监控系统是否提供正常服务。进一步,根据不同的报警,我们可以定位到相应的问题,再辅以对应的预案,从而确保了故障的第一时间定位与恢复。

对于监控系统的设计,郑永宽则首先强调了系统设计要以监控业务需求为基础,同时要结合京东云的实际情况。郑永宽接下来介绍了京东云监控系统架构,进一步分析了数据抽象、监控数据采集、数据汇聚与计算、数据存储与查询、异常检查、报警通路等监控系统设计中的关键问题,另外还分享了对日志数据处理和挖掘的相关经验。

据悉,未来京东云还会着手配置化管理,同时做故障自动恢复。” 结合运维知识库,我们可以真正把故障和报警联动起来,对于相关的报警,监控系统可以自动调度对应的预案,从而达到系统的故障自愈。

03 赵金勇
社交电商 SaaS 产品技术架构

无论是宝宝树还是小红书的场景化社交,这种势头的兴起是有目共睹的;现在的消费群体更注重设计感及品牌的内在价值等,面对电商发展的四化,传统电商群体遇到了前所未有的瓶颈。

                                                              ——赵金勇 
                                              京东云应用研发部社交电商负责人

你了解社交电商吗?

你知道微信小程序 SAAS 化吗?

实力强大并有口皆碑的京东电商云在社交电商领域究竟有哪些技术优势呢?

有关这些问题的答案,京东云应用研发部社交电商负责人赵金勇表示,从整个电商发展来看可以被总结为“四化”,分别是去中心化、场景化、碎片化以及个性化。逐一说明,我们发现流量成本越来越高,“带领着”获客成本、品牌商运营成本也一路居高不下,这恐怕就是品牌商自己不做运营选择其他途径的原因,正所谓“品牌形象宣传去中心化”就是这个道理。

“同样,无论是宝宝树还是小红书的场景化社交,这种势头的兴起是有目共睹的;现在的消费群体更注重设计感及品牌的内在价值等,面对电商发展的四化,传统电商 群体遇到了前所未有的瓶颈。”他补充道。

所谓社交电商,必然与”社交”关系密切,进而社交工具自然必不可少。除了凭借五花八门的推送工具,京东云社交电商还凭借京东与生俱来的海量商品以及优势供应链屡获成绩。基于京东大数据营销的能力,海量用户的精准画像以及商品推销、智能选品等这些稳定可靠的基础服务来打造系统。

据了解,京东社交电商分三端,分别是买家端、供应商端和 PC 端。未来社交电商的系统会接入到京东庞大的商品池,大家可以在整体的商品池中挑选自己的产品,共同的良性生态就此构建。

04 张作义
基于企业级区块链框架系统 JD Chain 的技术实践

京东区块链品牌名叫京东智臻链,京东区块链的架构体系分为 JD Chain 和 JD BaaS(Blockchain as a Service)两部分。在今年发布的《2019 京东区块链技术实践白皮书》中,5 大类、14 个应用案例的信息都在列。

                                                              ——张作义
                                                京东数科区块链产品创新负责人

一直以来,商品的防伪溯源被认为是当今最有前景的区块链落地领域之一,也被戏称为让零售行业创新发展的“无上法宝”。

与传统溯源比较而言,区块链溯源究竟有怎样的技术、产业优势?能够帮助解决零售业务中怎样的痛点?如今还有哪些相关技术创新应用在传统零售行业中?

对此京东数科区块链产品创新负责人,区块链联合实验室创新生态负责人张作义特别在现场聊了聊京东区块链防伪追溯的实践经验。从京东区块链技术与应用着手,详细解析了京东区块链技术的整体技术架构、演进过程以及在零售业落地的应用案例与宝贵经验等内容。

从京东区块链整体架构出发,张作义介绍到,京东区块链品牌名叫京东智臻链,京东区块链的架构体系分为 JD Chain 和 JD BaaS(Blockchain as a Service)两部分。JD Chain 作为核心引擎,在数据账本、共识协议、密码算法、存储等方面引入新的研究成果和工程架构,解决处理性能、伸缩性、扩展性、安全性等基础和关键的技术问题,建立创新性的技术架构和应用方案。JD BaaS 是服务平台,提供灵活易用和可伸缩的区块链系统管理能力,无缝融合包括 JD Chain、Fabric 在内多种区块链系统的部署管理,向企业级用户提供公有云、私有云及混合云环境快速部署能力,降低企业使用成本,加快应用落地。“在今年发布的《2019 京东区块链技术实践白皮书》中,5 大类、14 个应用案例的信息都在列。”他说。

据了解,京东自主知识产权的区块链底层框架 JD Chain 于 2019 年 3 月正式宣布开源,在“万级交易处理、秒级交易确认、海量账户和交易、动态伸缩、账户存储、多核并行、密码算法”等方面符合经典区块链对存储、技术等定义及要求,同时还将 Key Value 结构用于现有的数据存储中,极大地提高了处理效率,这也是 JD Chain 能够支持更高速度的原因。

众所周知,京东擅长零售、物流与数字科技领域,这同时也是京东区块链主要服务的方向。例如参与广州互联网法院“网通法链“建设、区块链增值税专用发票试点、与宿迁的电子证照打通试点等,实际赋能数字存证、电子发票、电子证照等方面的诸多实际应用。

举个例子来说,区块链的数字存证。我们参与了北京互联网法院和广州互联网法院的区块链项目,需要把使用司法服务的内容搭载一条司法联盟链,主要可以实现什么作用?比如说签署一个合同,去公证处公证是必要流程之一,如果有了这个联盟链,所有的操作都可以在企业“朋友圈”实现,可以被理解为是数字签名的技术,以此判断合同签署的合法性,同时签完的合同会及时备份到这条联盟链中,如此法院、公证处以及司法鉴定部门,还包括合同双方的签署人都及时获知该信息。

此外,京东区块链在防伪追溯方面做得最多,分享几个数据来证明这点。例如已经受四五次大促考验,用户复购率、用户转化率明显提高等,说明现在京东目标客群对消费升级对这个品质的高度认可。

//////////

尽管京东云针对零售场景的创新技术分享已暂时告一段落,但关于大促数据库、智能运维、社交电商以及区块链品质溯源等技术探讨依旧在火热进行中,敬请关注京东云技术沙龙的后续活动。

关注微信公众号 ” 京东云开发者社区 ”
回复“PPT0526”获取课程视频 &PPT。


转载:请微信后台回复“转载”
合作或投稿:jdclouddeveloper@jd.com

点击 ” 服务器与网络监控服务 ” 了解更多详情

退出移动版