本文首发于微信公众号“Shopee 技术团队”。

摘要

东南亚因语种多样、语料库缺失、GIS 地理信息单薄等多种起因，其末端物流倒退还处于依附人工的初级阶段，导致效率低下、精确受限、拓展速度受限。本分享将介绍 Shopee 如何基于大数据、人工智能等技术，在东南亚各个市场实现末端物流分拣的自动化、智能化，从而撑持 Shopee 疾速倒退的最佳实际。

在 11 月 12 日至 13 日举办的 ArchSummit 2021 深圳站中，Shopee 智能分拣团队负责人 Zewu 分享了 Shopee 在东南亚的智能末端物流提效教训。本文依据演讲内容整顿而成。

1. 东南亚末端物流之痛

Shopee 是一个电商平台，业务笼罩新加坡、马来西亚、巴西等多个市场。在往年的 11.11 大促中，Shopee 售出超 20 亿件商品。大量订单在东南亚的派送会遇到什么样的特定问题？Shopee 又将怎么解决和提效？

1.1 背景

先来看看 Shopee 快递的业务模式。因为市场不同，业务类型不同，整个业务流比较复杂。对业务流进行形象后，总体流程能够分为卖家、Shopee 快递和买家三个局部。其中，卖家又包含跨境卖家、本地大卖家（个别有本人的仓库），以及本地小卖家（仓库比拟小）。

Shopee 快递大体也分为三个流程：首程、中程和尾程。

首程（First Mile，简称 FM）阶段次要是通过交通工具将货物从卖家处揽收并做好分拣，而后依照路由进入中程的 SOC。对于小卖家来说，首程也能够抉择自寄服务，卖家将货物投递到自寄点后有工作人员揽收并对立到 Hub 进行分拣。

中程阶段次要是在分拣核心把首程送达的货物进行分拣和打包，从而进入下一个分拣核心，或者进入尾程。

货物从中程登程后进入尾程（Last Mile，简称 LM），达到 Hub（Last Mile Hub，简称 LH），拆包后依据路由信息分拣，最初交给司机派送。当然，派送也分为多种模式，包含送货上门，或是送到自提点，还有一些挪动的分拣站。总的来说场景和业务比较复杂，接下来咱们次要分享末端物流，也就是“最初一公里”的收货和派件。

刚刚过完双 11，大家能够设想一下，本人在商城下单后，货物是怎么来到家门口的。这个过程会经验哪些流程或操作？大略能够分为以下几点：

• 买家在商城下单后，商户收到订单、打包货品，并依照买家填写的地址打印面单，期待司机上门取货；
• 司机收到指令后上门取货，送到 First Mile Hub（简称 FH）；FH 收到很多司机取回来的货后，依据地址进行打包，而后进入中程；
• 中程把包裹送到 LH 后，进行拆包，并安顿司机进行送货。

一个包裹对应的 FH/LH 可能会有多个，一个包裹对应的某个 Hub 的司机可能也有多个。对于包裹整体路由来说，如何抉择 LM 是依据包裹时效和经济代价等多重因素决定；而对于 FH/LH 而言，如何抉择哪一位司机到去取 / 送货则同样由包裹时效和经济代价等多因素决定。

对于首程和尾程来说，一个重要问题是安顿哪一个 Hub 上的哪一个司机去取货或者送货？咱们领有的只有用户输出的地址，于是问题就转化为 如何依据地址文本去匹配最合适的 Hub 及这个 Hub 下的最合适的司机。

1.2 现状剖析

在进行优化之前，咱们对某市场局部站点和司机的服务范畴及流动轨迹做了一些调研剖析。

第一张图对司机的派送范畴做了圈定，能够看到，不同司机的派送范畴有很大的重叠。

第二张图是对司机的派送点进行打点，除了能看到很多司机的派送点十分相近，有的司机的派送点竟然横跨了 8km 的范畴。

通过技术手段发现这个问题后，咱们针对业务流程进行了剖析。从 Hub 的层面来讲，其服务范畴是依照行政区划来辨别。而东南亚某些地区的行政区划范畴比拟粗放，有的残缺规范行政区只划到 State、City、District 这三级。这会导致每个站点的服务范畴比拟大，Hub 内的司机治理难度也比拟大，其分拣操作往往是由有教训的操作员查看地址的具体文本，依据本人的教训进行分拣成堆，而后依照堆来安顿司机派送。

这样显著带来了一些问题：

• 每个包裹须要破费大概 10 秒人工读取地址文本，分拣效率低下；
• 依赖人工和已有教训常识，不免呈现人为的谬误和认知的偏差；
• 依赖有教训的分拣员，人员培训老本高，特地是大促长期减少分拣员难度比拟大；
• 因为司机派送范畴重叠和个别司机派送范畴跨度大，影响司机的派送效率。

亚当·斯密的《国富论》提到一个重要概念——分工。但凡可能分工的工作，一旦应用分工制，就可能相应地减少生产力。一个国家的产业和劳动生产力如果极高，那么各行各业的分工通常也能达到极高的水平。此实践毫无疑问同样适宜物流畛域。

2. 东南亚末端物流解决方案

依据分工实践，要解决此问题，行业通用的做法是将 Hub 的服务范畴布局得更小，从而晋升站点的分拣效率；同时在站点外部，将站点的服务范畴依照司机的维度进行划分，从而晋升司机的派送效率。

2.1 业务挑战

后面讲到，东南亚很多地区的行政分区很粗放甚至常常发生变化，咱们依照行政区划来设置站点或者司机派送范畴是难以实现的。

在仅领有用户地址文本及派送记录的状况下，咱们的想法是从是地址登程。然而从地址登程在东南亚会遇到什么问题？

十分间接的思维，就是拿地址文本去地图下来搜寻到对应的经纬度，而后依据 Hub 和司机的服务范畴进行派送。

最突出的艰难是地址填写不规范，特地是特定的用方言撰写的文本，因为专用词库不足，导致文本匹配成果比拟差。举两个例子，用户地址一：Jalan Petinggi Umar, RT.23, Depan Kantr Desa Loa Duri Ilir, Loa Janan.。翻译为中文是 Jalan Petinggi Umar, RT.23，位于 Loa Janan 的 Loa Duri Ilir 村办公室前。此地址用 Google Map 查到的后果把真正无效的地址信息（Jalan Petinggi Umar, RT.23）匹配失败，反而把辅助信息（Depan Kantr Desa Loa Duri Ilir, Loa Janan）作为匹配后果，偏差比拟大，对于物流投递来说会十分影响订单分拣和人员调度。

用户地址二：Jl marsma r iswahyudi RT 15 (masuk 75 M dari Jembatan sungai sepinggan rumah didepan sungai tingkat warna pink biru)。翻译为中文是 Jl marsma r iswahyudi RT 15（从河桥 sepinggan 房子入口 75M 在河面，粉蓝色）。此地址用 Google Map 搜寻到的结果显示其对信息匹配处于混乱状态，主体信息和辅助信息交织，难以辨别，对于包裹投递来说莫衷一是。

除此之外，咱们也会遇到其余挑战：

• 不足语料库状况下的多语言问题；
• 行政区划粗放或者产生变更，导致用户对本人所属的行政区认知凌乱，填错地址；
• 在不足词库的状况下，对于用户输出谬误的地址，如何辨认和纠正？
• 因为 SOP 的执行度不一，对于已有的大量历史地址，如何判断一条地址的可信度？
• 当站点服务范畴或者司机服务范畴逐步精细化后，如何解决经纬度偏移导致的地址定位失败？
• 对于反复下单的地址，具备多个经纬度，如何屏蔽和确认？

2.2 业务架构

回归初衷，咱们先回忆一下人解决问题的形式和办法。个别分为如下几个步骤：

• 读取地址面单；
• 依据已有常识，在大脑中搜寻地址文本对应的地理位置；
• 依据已有常识，依据地理位置搜寻并明确对应的服务范畴；
• 实现分拣，并安顿此服务范畴的司机进行派送。

根据上述步骤，咱们奢侈的解决方案如下图：

次要包含两个局部：

（1）离线训练

• 依据历史地址订单进行荡涤，造成可信地址库；
• 依据验证数据，基于可信地址库进行训练，失去适合的匹配模型。

（2）在线推理

• 下单时获取线上地址，进行预处理，造成规范地址文本；
• 依据离线训练的地址库和匹配模型，进行在线推理，获取推理后果；
• 依据推理后果进行分拣和投递。

能够看出，离线训练所得的可信地址库和匹配模型是根底。

另外，面对上述挑战，咱们记录两个事实和两个劣势。

两个事实：

• 尽管存在 SOP 执行不一、地址偏移等多因素，但从概率上来说，签收时刻采集的经纬度绝对比拟精确；
• 地理位置相近的地址文本，其类似度也比拟高。

两个劣势：

• 领有海量的历史订单数据，天然也领有海量的地址数据；
• 领有弱小的线下团队，能够对地址进行验证和纠偏。

因而，基于这些条件，咱们的业务架构如下：

有两个次要的数据起源：商城订单的历史地址和线下团队贡献度的地址库。

首先，对这些地址文本进行格式化等预处理后，失去规范的对立的地址文本。

其次，尽可能应用行政区划等信息，对格式化的规范文本进行宰割，造成格式化地址文本，将格式化地址进行 AOI 的聚合，造成 AOI 汇合，同时依据策略进行地址荡涤，造成可信地址库。

再次，基于 AOI 汇合和可信地址库，应用训练地址库进行监督式学习训练，失去匹配模型。

2.3 技术架构

根据上述业务架构，零碎也天然分为两大零碎：在线地址推理服务和离线训练服务。

在线推理服务次要蕴含三个局部：

• 地址服务：次要提供能应用的地址库和匹配模型，应用各种策略进行地址服务，包含行政区划服务，基于规定匹配，基于类似度匹配，基于关键词匹配以及 local 标注数据匹配，同时还须要对匹配后果进行评分、比拟和举荐。失去这部分是线上推理服务的外围；
• 分拣服务：对外提供 OpenAPI 服务，包含地址分单服务、文本宰割服务等。其面对的客户不仅仅是 Shopee 自建物流，也包含对外的 3PL（3rd Party Logistics，第三方物流）；
• 经营平台：对外通过 Zone 生成工具、local 标注数据上传、系统监控、策略配置等等性能。

离线训练服务：

• 次要是对各种数据起源（Shopee 自有数据、地图数据、第三方数据等），依照各种规定进行地址训练，包含地址荡涤和 AOI 聚合服务，次要有基于规定的训练、基于类似度的训练、基于关键字的训练；
• 其训练完后造成可信地址库和 AOI 汇合，存储在存储层；并且为了使在线地址服务随着工夫一直优化地址库和匹配模型，同时也为了能解耦在线推理服务和离线训练服务，在线推理服务和离线训练服务应用音讯队列进行数据的传输。

技术架构确定后，依据面临的问题，咱们的技术选型也就确定了下来。如下图所示：

2.4 最佳实际

2.4.1 构建可信地址库

可信地址库的构建，面临比拟大的挑战。

一是如何确定地址的可信度？

• 对于同一个文本地址，其经纬度呈现肯定的离散景象，如何从中挑出可信度不高的点？离散度如何抉择？
• 咱们认为同一个地址投递屡次，其可信度会比拟高。那如何定义投递屡次？
• 对于同一个地址，其最新一次的投递与屡次投递的可信度比照如何抉择？
• 对于同一个地址的不同的离散点，采纳核心节点与随机节点的可信度如何抉择？

典型的分布图如下：

二是如果用户输出了谬误的地址：

• 在不足行政区划或者行政区划凌乱的状况下，对于用户输出的不残缺的地址，如何补全？
• 在不足行政区划或者行政区划凌乱的状况下，对于用户输出的谬误地址，如何辨认和纠正？
• 怎么样辨别用户输出的是谬误地址还是新的地址？

三是对 local 人员标注的数据的应用：

• 为保障其准确度和覆盖率，不同地区的地址密度阈值如何抉择？
• local 标注的数据如何无效甄别？
• local 标注的数据如何高效应用？

还有，在不足语料库的状况下，怎么样去训练多语言的问题？

为此，咱们设计了如下图所示的荡涤流程。原始数据通过预处理、荡涤引擎、验证引擎到输入几大步骤后，就可能进入可信地址库。

（1）策略核心：数据荡涤中的预处理。荡涤引擎有多种策略，通过配置核心进行配置，再通过验证引擎失去的后果对配置核心造成反馈，从而做出调整；

（2）预处理：次要有标准化格局、文本宰割、批量解决等，其算法和策略可通过配置核心实现。输入荡涤引擎须要的格局数据；

（3）荡涤引擎：次要有多种技术流派，包含基于规定、基于深度学习、基于机器学习等。采纳一种还是多种，由配置核心来决定；

（4）验证引擎：次要对荡涤的后果进行准确率和覆盖率的验证，并输入 bad case 以便进行剖析，依据准确率和覆盖率的体现对配置核心做出反馈；

（5）可信地址库：对输入满足要求的地址库做版本治理，包含工夫维度、地区维度等，以便进行更新和回滚。

在此，针对局部区域地址，以基于间隔为例做荡涤策略，次要依据训练调优相干阈值，包含间隔阈值、反复地址阈值等等。

2.4.2 AOI vs POI

因为行政划分比拟大，所以站点和司机的服务范畴须要远小于最小行政区划。那么如何造成呢？一个方法是在地图下来区划，另外一个方法是通过某种办法自动化生成。这里有两个粒度，POI 或者 AOI。也就是说咱们进行地址匹配时，是去匹配 POI 的文本还是 AOI 文本。POI 就是地图上的一个点，AOI 是地图上的一个区域。

生成 POI 和 AOI 各有利弊，下表别离从收集难度、地址匹配准确度、保护老本和领导价值做出了剖析：

针对咱们物流的场景，不须要精准匹配到一个点，只须要匹配到站点服务范畴和司机服务范畴即可，所以 AOI 成为优先选项。

依据输出地址进行信息抽取，能够造成一些关键字，从而造成 AOI。依据抽取的纬度不同，能够造成不同档次的 AOI。在关键词提取的时候，咱们具体用到了 tfidf、BM25、textRank 等办法。

同时，这里存在一个多语言多模型的问题。每个地区因为行政区划和语言不同，其利用算法不同，会产生多模型治理与保护的问题。目前咱们是离开治理的，如何高效交融是咱们正在进行的尝试。

失去不同纬度的 AOI 后，又能够依据业务须要进行 AOI 层级的聚合：

• 依据业务须要，能够产生不同粒度的站点和司机，比方有的中央 ADO 比拟高，能够采纳低一级的 AOI，ADO 比拟少的能够采纳高一级的 AOI；
• 对于站点或者司机的服务范畴的变更，能够非常简单地通过 AOI 或者 AOI 聚合纬度进行调整，远比 POI 纬度高效得多。

AOI 自身也须要晓得它在地图上的地位。如何界定呢？咱们采纳 AOI 外面蕴含的 POI 的经纬度聚合形式进行。因为 AOI 的地位不须要特地准确，所以用这种形式可能根本满足需要。

对于手动划的站点或者司机服务范畴，如何与 AOI 造成匹配，则须要业务染指。比方上图，特地的区域（Zone）能够减少优化伎俩，除了聚合外，还能够减少 local 给的数据的间隔最小点，与聚合中心点进行互相校验，同时落在 Zone 外面即匹配胜利。

一旦确认下来，基本上 Zone 不发生变化，后续就简直不会再出错。

依照上述计划，岂但能够将现有的服务范畴依照不同的司机进行辨别，同时还能够依据单量将区域拆分得更细，从而减少分工度，晋升效率。

另外，有了精确的划分范畴后，能够上一些高速自动化设施，进一步晋升效率。

3. 东南亚末端物流将来瞻望

Shopee 对于末端物流的瞻望次要分为“人、货、物、场”四个维度。

首先是人员的效力和平安；第二个是货品，比如说货品的门路和货物的平安；第三个“物”包含运输的安全性，和车辆自身的运输效率；第四个“场”即场地能效，包含垛口使用率、场地的应用状况和平安状况等。

围绕以上这些，Shopee 将会用人工智能技术做更多的尝试。

本文作者
Zewu，Shopee 智能分拣团队负责人，来自 Shopee 供应链快递服务（SPX）团队。