关于sql:基于-MaxCompute-的智能推荐解决方案

简介：在互联网行业红利已过、在获客老本越来越高、在用户在线时长全网根本无增长以及信息大爆炸的状况下，如何更好的转化新用户和晋升老用户粘性就变得至关重要，智能化的个性化举荐无疑是通过验证的重要伎俩之一，咱们每天应用的挪动 App 或企业内都处处有其身影。

本文作者 吴世龙 阿里云智能 高级产品专家

直播视频请点击 直播 观看。

一、背景介绍

行业趋势

“2018 年天猫双 11 共产生了 453 亿次 AI 个性化举荐，阿里巴巴副总裁、淘宝总裁蒋凡示意淘宝可能是全世界最大人工智能的利用，他说：“在往年双 11 咱们也能够看到，基于个性化举荐的流量曾经超过了搜寻等形式带来的流量，这是一个十分十分大的变动”

信息爆炸一词最早呈现在 20 世纪 80 年代，各种信息以指数级增长，如何解决过载的信息成为了重要的问题，而这对于无论是消费者还是信息发布者还是承载的平台，都意味着眼下和将来都面临着微小的挑战，而个性化举荐零碎的实质则是高效连贯信息和用户，于用户满意度晋升，于信息发布者取得正当的用户群，于平台价值转化最大化。

MaxCompute 产品背景

MaxCompute 是面向剖析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供疾速、全托管的在线数据仓库服务，打消了传统数据平台在资源扩展性和弹性方面的限度，最小化用户运维投入，使您能够经济并高效的剖析解决海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与剖析，将数据高效转换为业务洞察。

智能举荐产品背景

智能举荐，基于阿里巴巴当先的大数据和人工智能技术，依据用户的趣味偏好，解决用户需要和内容展现两头的关联问题。联合阿里巴巴在电商、内容、新闻、视频直播和社交等多个行业畛域的积攒，为寰球企业及开发者提供云举荐服务与机器学习平台。

智能举荐在咱们生存和工作中都是会遇到的，比方某工业客户，在企业外部有许多的材料供员工查看。智能举荐不止是对于 ToC 的企业，ToB 的企业在企业外部，包含一些出名的企业，外部都是用很多材料，可能让员工不便的，疾速的，高效的供员工查看。这个需要在 ToB 企业中也是普遍现象。ToC 企业的需要更加显著，如果大家关注行业报告，会发现互联网的红利曾经根本完结，用户的渗透率曾经很高。那在行业倒退和用户增量达到瓶颈时，用户的在线时长从 2020 年的 6.1 小时，仅仅减少到 6.3 小时，用户的在线工夫基本上处于停滞不减少的阶段。那企业随之也会面临两个问题，一企业用户获客老本越来越高，增量的难度也越来越高。二获客老本越来越高的状况下，存量客户怎么去减少在线时长。从这两个问题表明，如何充沛、高效转化不论是增量还是存量的用户，对于企业来说都是十分重要的一环。

二、智能举荐业务场景与价值

哪些行业须要智能举荐

不论是电商行业、内容行业、新闻行业包含上文讲到的行业，其履行行业业都会用到智能举荐。大家一听到智能举荐都会想到 ToC 的行业，但 ToB 的行业也是须要智能举荐，因为企业外部有大量的材料和文章。举荐自身曾经渗透到咱们平时用到的产品的方方面面，从产品状态来看电商，内容，新闻等都有它的身影，通过大数据 + 算法预测出咱们更感兴趣的内容，极大的改善了用户体验；

痛点

电商 / 批发行业

•获客老本高用户留存差

•成交转化率低复购率低

•人工规定举荐效率低成果差

内容 / 资讯 / 视频行业

•获客老本高用户留存差

•用户粘性 / 活跃度低

•人工规定举荐效率低成果差

场景

电商 / 批发行业

•App 首页瀑布流

•店铺首页瀑布流

•商品详情页

•卖场流动页

•其余

内容 / 资讯 / 视频行业

•首页瀑布流

•内容 / 资讯 / 视频详情页

•主题 / 专题瀑布流

客户应用智能举荐后的成果

从下图表中能够看出，在企业应用完智能举荐之后，各项成果指标有了显著的晋升。

### 基于数据仓库的智能举荐架构

智能举荐是典型的大数据利用场景，所以强依赖于数据仓库。智能举荐在数据对接方面，基于 MaxCompute 来实现，通过利用 MaxCompute 外部的一些计算能力，可能更好的剖析、治理企业的数据，从而实现智能举荐的业务场景。如果您的数据量较小，也能够通过 SDK 把数据推送到智能举荐，实现您的业务场景。智能举荐反对算法定制和业务定制，给予企业充沛的灵便自主可控的能力。

## 三、自建痛点与产品劣势

### 自建痛点(智能举荐)

#### 搭建老本

•人员要求高：自建举荐系统对人员要求较高，零碎开发、数据处理、召回、排序模型开发及调优，均须要高级开发 & 算法工程师长期参加。

•上线周期长：举荐零碎架构简单，为达到上线成果须要重复调优，所需开发工夫多于 3 个月。

•运维老本高：降级迭代、自建零碎前期有较高的保护老本。

#### 举荐成果

•成果调优艰难：套用支流算法不肯定有好的成果，还需思考应用领域数据、相关性、新鲜度、时效性等多维度举荐成果

•外围指标难对立：想进步 CTR 的同时又减少用户停留时长，无奈兼顾多个外围指标

•迭代周期长与业务快节奏：业务节奏通常很快，而外部人力无限，既要快节奏又要人力占用少还要服务稳定性高更要见效快

#### 后续保护

•适配难度大：任何一套举荐引擎都无奈齐全适配企业的业务诉求，阿里云智能举荐提供了黑白盒一体化

•经营易用性：举荐零碎较简单，不具备算法常识但须要干涉的经营人员上手难度大

•服务稳定性：举荐场景通常用于高流量页面，对系统性能及稳定性以及弹性要求极高

### 自建数据仓库面临的挑战

企业为了应用数据驱动业务倒退，在建设和经营企业数据仓库时面临的问题：

1、启动老本高、建设周期长，价值难以疾速验证

2、如何解决多样数据，拥抱新技术，充沛开掘数据价值

3、难以共享企业数据资产、数据翻新老本高

4、平台架构简单、经营老本高

5、满足业务须要的扩展性和弹性

### 业务增长

通过自建的形式搭一套智能举荐零碎是没问题的，但搭建举荐的成果如何保障。智能举荐的成果在不同行业的定义不同，在晋升成果的同时，须要在举荐零碎内做大量的工作。

#### 多场景 & 业务适配

•不同企业(业务指标和成果不同）

•同一企业不同阶段

•同一阶段不同场景

•同一场景不同诉求

#### 试验平台

•选品

•召回

•排序

•业务诉求

阿里云智能举荐 = 当先的算法能力 + 稳固且高效的工程体系 + 残缺且灵便的产品能力

### 智能举荐产品劣势

#### 开箱即用

•高度产品化、行业化(电商 / 内容 / 新闻)

•笼罩全链路（反对友盟 SDK 行为采集）

#### 举荐精准

•行业、场景定向优化

•行业与阿里自研支流算法封装

•猜你喜爱 & 相干举荐

•多指标模型训练

#### 全托管

•保障在线服务稳定性

•灵便升降配服务

•丰盛的数据品质诊断性能，在线服务监控告警

#### 灵便适配

•经营助手：产品和经营可疾速干涉举荐

•开发和算法：集成弱小的离线、在线链路开发能力

### MaxCompute 产品劣势

#### 简略、易用

* 数据仓库(Data Warehouse)

面向数仓优化高性能存储、计算
* 多服务预集成、规范 SQL，开发简略
* 企业级服务 - 内建欠缺的治理和平安能力

* 服务化(As a Service)

Serverless、免运维
* 按量付费、不必不花钱
* 主动降级

#### 匹配业务倒退的弹性扩大

* 动静扩缩容，无需提前容量布局，满足突发业务增长
* 存储 - 计算独立扩大，无扩展性限度
* 业务增长性能不降级

#### 多剖析场景反对

近实时化、交互剖析、AI 剖析、数据湖剖析方面加强，反对更多业务场景

* 机器学习

PAI 原生集成
* 内置 Spark ML
* Mars 科学计算

* 传统数仓

ETL:SQL +UDF
* BI: 查问减速、MC-Hologres

* 数据湖剖析

SQL 表面
* 联邦查问
* 非结构化数据处理

* 近实时数仓

近实时写入
* 近实时剖析

#### 凋谢的平台

全托管服务上反对凋谢接口和生态，为数据、利用迁徙、二次开发提供灵活性。

* 治理接口凋谢

Java/Python SDK
* 规范 JDBC 接口

* 数据凋谢

凋谢的导入导出数据接口(Tunnel 高低传）
* LOAD/UNLOAD：收费、高性能导入 / 导出 ORC、Parquet 凋谢格局到数据湖

* 兼容支流语法

MaxCompute SQL 兼容 Hive SQL 语法
* 反对原生 Spark 作业

* 凋谢的生态

Flink/Kafka/Presto Connector
* Airflow/Azkaban/Kettle 调度
* 反对 Tableau、FineBI 及通用 JDBC BI 工具

.jpg”)

## 四、配置与启动服务

### 产品应用根底流程

老本优化：可在 POC 阶段应用入门版实例测试，测试实现后一键升配标准版正式切流。

次要分成四个步骤：1、数据筹备；2、创立实例；3、策略配置；4、测试、公布。

实现根底服务搭建只需 1 个一般程度的工程师破费 3 - 5 天即可实现。

### 通过历史数据 (MaxCompute) 启动实例

#### 控制台配置流程

### 通过服务端 SDK 启动实例

### 通过友盟 + 服务端 SDK 启动实例

## 五、重点性能解读

### 猜你喜爱 + 相干举荐

在电商行业，智能举荐反对猜你喜爱、相干举荐这 2 种举荐服务类型。猜你喜爱次要利用于首页以及商品 TAB 页的商品瀑布流举荐，相干举荐次要利用于商品展现页、详情页的举荐。其中，种草社区可基于 AIRec 内容行业搭建。

### 实时举荐

实时交互是促成消费者沉迷式浏览的必备根底性能。智能举荐可实时学习消费者以后趣味表白、变动，并更新在下一次生成的举荐后果中，从而实现实时的互动式举荐性能。

### 负反馈

举荐零碎在与用户互动的过程中，有可能呈现不符用户预期的举荐后果，而负反馈成为举荐与用户对话的重要入口。智能举荐反对单个商品维度、商品类目维度以及商品其余特色类维度的负反馈性能。

### 业务策略配置

可针对精品做人工加权，实时高低架，保障举荐品质。

可通过设置去重规定，保障在设置工夫区间内，不反复给用户举荐同一商品或内容。

通过设置类目多样性规定，保障举荐的多样性，防止产品单一性。

### 多场景

场景作为个性化举荐的流量入口，在不同的页面 / 不同的用户群可进行差异化的定制。如，首页的举荐、频道页举荐、集体核心页、搜寻空后果页、商品详情页、购物车页等等。举荐 PLUS 反对定制差异化的场景选品规定。

#### 控制台配置规定

左侧业务定制 -> 场景治理

#### A/ B 试验平台

流程如下

控制台配置规定

### 机器学习平台

100+ 算法组件、残缺业务开发框架、拖拽式开发平台

举荐业务逻辑封装、算法模型开箱即用

可视化分析模型指标

反对离线、在线的模型部署形式

## 六、MaxCompute + 智能举荐学习阵地

### MaxCompute 学习阵地

SaaS 模式云数据仓库 MaxCompute 官网，海量学习材料，助您开启云数仓之旅！

### 智能举荐学习阵地

智能举荐（Artificial Intelligence Recommendation，简称 AIRec）基于阿里巴巴当先的大数据和人工智能技术，联合在电商、内容、新闻、视频直播和社交等多个行业畛域的积攒，为寰球企业及开发者提供个性化举荐服务。

> 版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。