作者 | Saurabh Hooda
来源 | CDA 数据分析研究院
简短的回答是肯定的。只要数据科学家中存在“数据”,结构化查询语言(或我们称之为“quel”)将仍然是其中的重要部分。本文将深入探讨数据科学及其与 SQL 的关系,包括 5 W 和 1H 的答案 – 如何,为什么,何地,何时,谁和什么。我们还将学习数据库管理系统(DBMS)的基础知识,并了解数据科学家如何成为您职业生涯的最佳选择。
什么是数据科学
数据科学的视角非常广泛,作为一名数据科学家需要深入了解各种数学流,机器学习、计算机科学、统计研究、数据处理以及多个领域的专业知识。这些数学流中的每一种知识系统都需要对数据进行大量地研究和探索,无论是收集、分析还是处理。
为什么数据科学如此受欢迎
目前来说数字世界正处于巅峰时期,随着市场需求和广泛营销策略的不断增长,数据已成为所有营销目的的关键。例如,如果我想购买一部新手机,我会去亚马逊或 Flipkart 这样的网上商店,浏览不同的品牌,挑选心仪的品牌手机添加到我的购物车中,最后经过一些对比研究后决定购买。在网站后台,在线商店会保存我的购物车信息和浏览历史记录,并在我下次登录时向我展示更多相关品牌的手机推荐。即使我不买,在线商店也会给我发电子邮件或短信,提醒我购物车里的商品“还在等着我”。因此,数据在建立买卖双方关系中起着至关重要的作用。客户展现的历史行为数据越多,向买方呈现的个人定制化推荐程度就越高。这种个性化推荐算法不仅适用于电子商务,也同样适用于各行各业用户价值分析和个性化营销方案中。
怎么样实现
- 收藏:假设您在宜家选购家居用品,查看对比相关产品的价目单。你够买了一款喜欢的产品然后离开,但后来你发现你还需要购买更多相关的产品,你还会回来宜家选购。你告诉你的朋友这个产品是多么有用和便宜,他们相信你的推荐也会来宜家购买。制造商使用这些数据来了解客户的喜好并更新他们的库存以储备更多更受欢迎的产品。此外,持续的反馈也有助于他们改进现有产品。
- 处理:制造商收集用户的数据,并在数据建模和规划阶段考虑可操作的方案。例如,越来越多的客户为他们的窗帘寻找特定的彩色床单或特定的布料。
- 分析:想象一下,如果你想要买一个蓝色的床单,为了搭配你的房间的氛围,绿色将是一个更好的选择,但是目前还没有绿色的。绿色是一种常见的流行色。通过对人工输入的数据和数据管理工具中存储的数据进行分析,可以确定引入绿色搭配的产品是否是一个好主意,是否能满足更多客户的需求,并带来更多的利润。
- 对于需求预测和库存管理,我们需要存储所有用户信息,包括他们的购买浏览记录,行为偏好指数,评价反馈信息等。
数据在哪里
所有的数据都存储在数据库中。因此,SQL 对于处理需要定期加工和转换的大量数据至关重要,同时它也是数据科学打算做的精准营销和用户反馈的重要工具。例如,如果您不喜欢 Facebook 给您推荐的视频,您可以选择 ’ 隐藏此项 ’,Facebook 会立即向您询问隐藏原因。用户的这些选项数据也需要存储在数据库中。
通过像 SQL 这样的关系数据库,数据科学提供了一个连续的系统来处理和改进数据的呈现和处理方式。
SQL 应用领域
SQL 是整个数据科学领域的重要组成部分。但是,在企业实际业务工作中它究竟适用于哪些工作呢?如果您想成为数据分析师,数据工程师或数据架构师,您将需要学习 SQL 以及 C,R 和 Python 等编程语言。这是一个简单的图表,显示了使用 SQL 的阶段:
图片中突出显示的交集部分是我们需要 SQL 知识的地方:大数据,大数据分析和数据分析。
为何选择 SQL
尽管 NoSQL 数据库提供了高性能和高速度,但 SQL 数据库仍然被广泛用于所有实际业务工作中。有更多的开发人员了解 SQL 技术,因此支持和翻译帮助文档使其更加丰富。此外,数据完整性是使 SQL 与任何 NoSQL 数据库分开的一个关键因素,通过确保没有重复或未经授权的数据可以进入系统。此外,对于复杂的查询和连接,结构良好的关系数据库可以更好地管理数据。
什么是 SQL
SQL 是一种关系数据库管理系统,用于存储,检索,更新和读取数据库中的数据。
在本文中,我们将专注于 SQL 如何对数据科学起作用。让我们举一个简单的例子,说明您作为数据科学家如何使用 SQL 来收集和分析数据。
假设您想通过检查有多少用户订购它的副本来了解作者 ’Carl Shan’ 的一本名为 ’The Data Science Handbook’ 的书的受欢迎程度。因为 SQL 是具有适当模式的结构良好的语言,所以您可以使用如下结构:
customer table
order_details table
book table
要获取此类数据,我们需要使用一些关键字段或主键和外键字段来连接这三个表。在这种情况下,order_id 对于所有三个表都是共有的关键字段,可以用来作为连接字段,使用这些连接后的数据,我们可以编写查询语句来获取必要的字段信息。
在现实生活中,这种系统可以处于多个层次的分析需求中,我们需要使用 SQL 分析和处理大量数据。来自数百万用户的日常行为记录数据被存储在 SQL 数据库中,用于不同目的的分析需求。想象一下,在不使用 SQL 的情况下我们能够完成这些海量数据的处理和分析工作吗?
虽然有些人认为 SQL 在数据科学家工作中的作用正在减少,但事实并非如此。SQL 在数据分析工作中依然十分的重要。
以下是数据科学家应该了解的一些关键 SQL 概念:
- 关系数据库模型
- 在关系数据库模型中,所有数据点都相互关联或相互连接。在创建这种类型的数据库时,必须在设计阶段本身定义各种表和列之间的关系。在上面的例子中,这三个表是相关的。客户表的主键(“在关系(表)中唯一指定元组(行)的最小属性集(列)的特定选择”)将是 customerid,而 orderid 将是外键(“属性集主题”)某种包含依赖性约束,特别是一种约束,即由一个关系中的外键属性 R 组成的元组 R 也必须存在于某种其他(不一定是不同的)关系中,S“)。以同样的方式,bookid 和 orderid 组合可以是书表的复合键。必须在创建阶段本身定义这些关系。
- DBMS 规范化
- 规范化是设计过程,其中数据库中的表以规范化的方式组织,以避免数据的冗余和依赖性。使用不同形式的规范化,我们可以将数据划分为更小的结构并在它们之间建立链接,以便最佳地存储数据。这篇好文章以一种非常简单易懂的方式介绍了有关规范化的信息。
- 数据库架构
- 数据库模式是数据库的逻辑视图。应用于数据的所有关系(如约束,表,视图,触发器等)构成模式。
- 基本 SQL 命令
- SQL 可以执行以下类型的语句:
- DML(数据操作语言)声明 – select, insert, delete, update
- DDL(数据定义语言)声明 – create, drop, alter
- DCL(数据控制语言)声明 – grant, revoke
- TCL(交易控制语言)声明 – begin, commit, rollback
谁应该学习 SQL
到现在为止,您应该明白 SQL 相关从业者是否可以成为数据科学家以及如何成为一名数据科学家。如果您对数据非常感兴趣,并希望将数据科学作为您的职业选择,那么您一定要学习 SQL。
数据科学家作为职业选择
当今社会每天都会产生大量数据,需要将其转换为新的业务解决方案,设计和产品,这些只能来自数据科学家的创造性思维。这种需求至少会在几十年内增加。除了行业为数据科学家提供的脂肪包之外,吸引专业人士参与这项工作的挑战和不断增长的角色也是如此。从数据管理员,数据架构师,数据分析师,业务分析师到数据管理员或商业智能经理,在数据科学圈中有很多机会可供选择。了解 SQL,R 和 Python 等编程语言,统计和应用数学,结合批判性思维和行业知识,可以比你想象的更快。
作者:Saurabh Hooda 曾在全球范围内为各种电信和金融巨头工作。在 Infosys 和 Sapient 工作了十年之后,他开始了他的第一家创业公司 Leno,以解决超本地书籍共享问题。他对产品营销和分析感兴趣。