简介：在互联网行业红利已过、在获客老本越来越高、在用户在线时长全网根本无增长以及信息大爆炸的状况下，如何更好的转化新用户和晋升老用户粘性就变得至关重要，智能化的个性化举荐无疑是通过验证的重要伎俩之一，咱们每天应用的挪动 App 或企业内都处处有其身影。
本文作者 吴世龙 阿里云智能 高级产品专家
直播视频请点击 直播 观看。
一、背景介绍
行业趋势
“2018 年天猫双 11 共产生了 453 亿次 AI 个性化举荐，阿里巴巴副总裁、淘宝总裁蒋凡示意淘宝可能是全世界最大人工智能的利用，他说：“在往年双 11 咱们也能够看到，基于个性化举荐的流量曾经超过了搜寻等形式带来的流量，这是一个十分十分大的变动”
信息爆炸一词最早呈现在 20 世纪 80 年代，各种信息以指数级增长，如何解决过载的信息成为了重要的问题，而这对于无论是消费者还是信息发布者还是承载的平台，都意味着眼下和将来都面临着微小的挑战，而个性化举荐零碎的实质则是高效连贯信息和用户，于用户满意度晋升，于信息发布者取得正当的用户群，于平台价值转化最大化。
MaxCompute 产品背景
MaxCompute 是面向剖析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供疾速、全托管的在线数据仓库服务，打消了传统数据平台在资源扩展性和弹性方面的限度，最小化用户运维投入，使您能够经济并高效的剖析解决海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与剖析，将数据高效转换为业务洞察。
智能举荐产品背景
智能举荐，基于阿里巴巴当先的大数据和人工智能技术，依据用户的趣味偏好，解决用户需要和内容展现两头的关联问题。联合阿里巴巴在电商、内容、新闻、视频直播和社交等多个行业畛域的积攒，为寰球企业及开发者提供云举荐服务与机器学习平台。
智能举荐在咱们生存和工作中都是会遇到的，比方某工业客户，在企业外部有许多的材料供员工查看。智能举荐不止是对于 ToC 的企业，ToB 的企业在企业外部，包含一些出名的企业，外部都是用很多材料，可能让员工不便的，疾速的，高效的供员工查看。这个需要在 ToB 企业中也是普遍现象。ToC 企业的需要更加显著，如果大家关注行业报告，会发现互联网的红利曾经根本完结，用户的渗透率曾经很高。那在行业倒退和用户增量达到瓶颈时，用户的在线时长从 2020 年的 6.1 小时，仅仅减少到 6.3 小时，用户的在线工夫基本上处于停滞不减少的阶段。那企业随之也会面临两个问题，一企业用户获客老本越来越高，增量的难度也越来越高。二获客老本越来越高的状况下，存量客户怎么去减少在线时长。从这两个问题表明，如何充沛、高效转化不论是增量还是存量的用户，对于企业来说都是十分重要的一环。
二、智能举荐业务场景与价值
哪些行业须要智能举荐
不论是电商行业、内容行业、新闻行业包含上文讲到的行业，其履行行业业都会用到智能举荐。大家一听到智能举荐都会想到 ToC 的行业，但 ToB 的行业也是须要智能举荐，因为企业外部有大量的材料和文章。举荐自身曾经渗透到咱们平时用到的产品的方方面面，从产品状态来看电商，内容，新闻等都有它的身影，通过大数据 + 算法预测出咱们更感兴趣的内容，极大的改善了用户体验；
痛点
电商 / 批发行业
•获客老本高用户留存差
•成交转化率低复购率低
•人工规定举荐效率低成果差
内容 / 资讯 / 视频行业
•获客老本高用户留存差
•用户粘性 / 活跃度低
•人工规定举荐效率低成果差
场景
电商 / 批发行业
•App 首页瀑布流
•店铺首页瀑布流
•商品详情页
•卖场流动页
•其余
内容 / 资讯 / 视频行业
•首页瀑布流
•内容 / 资讯 / 视频详情页
•主题 / 专题瀑布流
客户应用智能举荐后的成果
从下图表中能够看出，在企业应用完智能举荐之后，各项成果指标有了显著的晋升。
| 某出名垂类社区商城 | 某出名垂类电商 | 中青看点个性化举荐 | 某食谱类 APP |
| <span class=”lake-card-margin-top lake-card-margin-bottom”><img src=”https://ucc.alicdn.com/pic/developer-ecology/29125aa578e14917923e8081b50c8113.png” class=”image lake-drag-image” alt=”1.png” title=”1.png”></span> | <span class=”lake-card-margin-top lake-card-margin-bottom”><img src=”https://ucc.alicdn.com/pic/developer-ecology/1874f184ac86427c962cb6aeb3799ee7.png” class=”image lake-drag-image” alt=”2.png” title=”2.png”></span> | <span class=”lake-card-margin-top lake-card-margin-bottom”><img src=”https://ucc.alicdn.com/pic/developer-ecology/81640348d2154164a37cea5af6abfbb8.png” class=”image lake-drag-image” alt=”3.png” title=”3.png”></span> | <span class=”lake-card-margin-top lake-card-margin-bottom”><img src=”https://ucc.alicdn.com/pic/developer-ecology/e3f797463dbf4f15b0f7be2e51c37364.png” class=”image lake-drag-image” alt=”4.png” title=”4.png”></span> |
| 成交转化率晋升 <span>40%+</span> | CVR 晋升 <span>100%</span> | CTR 晋升 <span>80%+</span> | PV_CTR 晋升 <span>38%</span> |
| GMV 晋升 <span>50%+</span> | 每用户下复数晋升 <span>89%</span> | 用户均停留时长晋升 <span>10Min</span> | UV_CTR 晋升 <span>34%</span> |
### 基于数据仓库的智能举荐架构
智能举荐是典型的大数据利用场景，所以强依赖于数据仓库。智能举荐在数据对接方面，基于 MaxCompute 来实现，通过利用 MaxCompute 外部的一些计算能力，可能更好的剖析、治理企业的数据，从而实现智能举荐的业务场景。如果您的数据量较小，也能够通过 SDK 把数据推送到智能举荐，实现您的业务场景。智能举荐反对算法定制和业务定制，给予企业充沛的灵便自主可控的能力。
## 三、自建痛点与产品劣势
### 自建痛点(智能举荐)
#### 搭建老本
•人员要求高：自建举荐系统对人员要求较高，零碎开发、数据处理、召回、排序模型开发及调优，均须要高级开发 & 算法工程师长期参加。
•上线周期长：举荐零碎架构简单，为达到上线成果须要重复调优，所需开发工夫多于 3 个月。
•运维老本高：降级迭代、自建零碎前期有较高的保护老本。
#### 举荐成果
•成果调优艰难：套用支流算法不肯定有好的成果，还需思考应用领域数据、相关性、新鲜度、时效性等多维度举荐成果
•外围指标难对立：想进步 CTR 的同时又减少用户停留时长，无奈兼顾多个外围指标
•迭代周期长与业务快节奏：业务节奏通常很快，而外部人力无限，既要快节奏又要人力占用少还要服务稳定性高更要见效快
#### 后续保护
•适配难度大：任何一套举荐引擎都无奈齐全适配企业的业务诉求，阿里云智能举荐提供了黑白盒一体化
•经营易用性：举荐零碎较简单，不具备算法常识但须要干涉的经营人员上手难度大
•服务稳定性：举荐场景通常用于高流量页面，对系统性能及稳定性以及弹性要求极高
### 自建数据仓库面临的挑战
企业为了应用数据驱动业务倒退，在建设和经营企业数据仓库时面临的问题：
1、启动老本高、建设周期长，价值难以疾速验证
2、如何解决多样数据，拥抱新技术，充沛开掘数据价值
3、难以共享企业数据资产、数据翻新老本高
4、平台架构简单、经营老本高
5、满足业务须要的扩展性和弹性
### 业务增长
通过自建的形式搭一套智能举荐零碎是没问题的，但搭建举荐的成果如何保障。智能举荐的成果在不同行业的定义不同，在晋升成果的同时，须要在举荐零碎内做大量的工作。
#### 多场景 & 业务适配
•不同企业(业务指标和成果不同）
•同一企业不同阶段
•同一阶段不同场景
•同一场景不同诉求
#### 试验平台
•选品
•召回
•排序
•业务诉求
阿里云智能举荐 = 当先的算法能力 + 稳固且高效的工程体系 + 残缺且灵便的产品能力
### 智能举荐产品劣势
#### 开箱即用
•高度产品化、行业化(电商 / 内容 / 新闻)
•笼罩全链路（反对友盟 SDK 行为采集）
#### 举荐精准
•行业、场景定向优化
•行业与阿里自研支流算法封装
•猜你喜爱 & 相干举荐
•多指标模型训练
#### 全托管
•保障在线服务稳定性
•灵便升降配服务
•丰盛的数据品质诊断性能，在线服务监控告警
#### 灵便适配
•经营助手：产品和经营可疾速干涉举荐
•开发和算法：集成弱小的离线、在线链路开发能力
### MaxCompute 产品劣势
#### 简略、易用
* 数据仓库(Data Warehouse)
面向数仓优化高性能存储、计算
* 多服务预集成、规范 SQL，开发简略
* 企业级服务 - 内建欠缺的治理和平安能力
* 服务化(As a Service)
Serverless、免运维
* 按量付费、不必不花钱
* 主动降级
#### 匹配业务倒退的弹性扩大
* 动静扩缩容，无需提前容量布局，满足突发业务增长
* 存储 - 计算独立扩大，无扩展性限度
* 业务增长性能不降级
#### 多剖析场景反对
近实时化、交互剖析、AI 剖析、数据湖剖析方面加强，反对更多业务场景
* 机器学习
PAI 原生集成
* 内置 Spark ML
* Mars 科学计算
* 传统数仓
ETL:SQL +UDF
* BI: 查问减速、MC-Hologres
* 数据湖剖析
SQL 表面
* 联邦查问
* 非结构化数据处理
* 近实时数仓
近实时写入
* 近实时剖析
#### 凋谢的平台
全托管服务上反对凋谢接口和生态，为数据、利用迁徙、二次开发提供灵活性。
* 治理接口凋谢
Java/Python SDK
* 规范 JDBC 接口
* 数据凋谢
凋谢的导入导出数据接口(Tunnel 高低传）
* LOAD/UNLOAD：收费、高性能导入 / 导出 ORC、Parquet 凋谢格局到数据湖
* 兼容支流语法
MaxCompute SQL 兼容 Hive SQL 语法
* 反对原生 Spark 作业
* 凋谢的生态
Flink/Kafka/Presto Connector
* Airflow/Azkaban/Kettle 调度
* 反对 Tableau、FineBI 及通用 JDBC BI 工具
.jpg”)
## 四、配置与启动服务
### 产品应用根底流程
老本优化：可在 POC 阶段应用入门版实例测试，测试实现后一键升配标准版正式切流。
次要分成四个步骤：1、数据筹备；2、创立实例；3、策略配置；4、测试、公布。
实现根底服务搭建只需 1 个一般程度的工程师破费 3 - 5 天即可实现。
### 通过历史数据 (MaxCompute) 启动实例
#### 控制台配置流程
### 通过服务端 SDK 启动实例
### 通过友盟 + 服务端 SDK 启动实例
## 五、重点性能解读
### 猜你喜爱 + 相干举荐
在电商行业，智能举荐反对猜你喜爱、相干举荐这 2 种举荐服务类型。猜你喜爱次要利用于首页以及商品 TAB 页的商品瀑布流举荐，相干举荐次要利用于商品展现页、详情页的举荐。其中，种草社区可基于 AIRec 内容行业搭建。
### 实时举荐
实时交互是促成消费者沉迷式浏览的必备根底性能。智能举荐可实时学习消费者以后趣味表白、变动，并更新在下一次生成的举荐后果中，从而实现实时的互动式举荐性能。
### 负反馈
举荐零碎在与用户互动的过程中，有可能呈现不符用户预期的举荐后果，而负反馈成为举荐与用户对话的重要入口。智能举荐反对单个商品维度、商品类目维度以及商品其余特色类维度的负反馈性能。
### 业务策略配置
可针对精品做人工加权，实时高低架，保障举荐品质。
可通过设置去重规定，保障在设置工夫区间内，不反复给用户举荐同一商品或内容。
通过设置类目多样性规定，保障举荐的多样性，防止产品单一性。
### 多场景
场景作为个性化举荐的流量入口，在不同的页面 / 不同的用户群可进行差异化的定制。如，首页的举荐、频道页举荐、集体核心页、搜寻空后果页、商品详情页、购物车页等等。举荐 PLUS 反对定制差异化的场景选品规定。
#### 控制台配置规定
左侧业务定制 -> 场景治理
#### A/ B 试验平台
流程如下
控制台配置规定
### 机器学习平台
100+ 算法组件、残缺业务开发框架、拖拽式开发平台
举荐业务逻辑封装、算法模型开箱即用
可视化分析模型指标
反对离线、在线的模型部署形式
## 六、MaxCompute + 智能举荐学习阵地
### MaxCompute 学习阵地
SaaS 模式云数据仓库 MaxCompute 官网，海量学习材料，助您开启云数仓之旅！
### 智能举荐学习阵地
智能举荐（Artificial Intelligence Recommendation，简称 AIRec）基于阿里巴巴当先的大数据和人工智能技术，联合在电商、内容、新闻、视频直播和社交等多个行业畛域的积攒，为寰球企业及开发者提供个性化举荐服务。
> 版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。