关于深度学习:基于PySpark的10亿级数据集LAION5B元数据快速处理实践全文分享

举荐语

多模态大模型训练热火朝天开展，但以LAION-5B为代表的大规模多模态数据集获取却成了一个令人头疼的问题。

OpenDataLab两位工程师在浦数 AI Talk做了十分实用的LAION-5B下载教训分享，咱们整顿了其演讲内容、Parquet文件、图片下载工具，心愿能对大家下载同类数据集提供帮忙和参考。以下为全文内容：

一、数据集背景

依据历史钻研发现，随着训练数据减少时，ALIGN、BASIC、Turing Bletchly、FLORENCE和GLIDE等大型多模态视觉语言模型在新的短少样本标签的数据集上也有很强的迁徙能力，而且性能还在稳固进步。但这些模型须要数十亿的图文数据才有达到良好的成果，到2022年为止，还没有十亿规模的公开图文对数据集。

直到LAION-5B公布，该数据集由5.85Billoin CLIP过滤的图像文本对组成，它为多模态预训练提供十分重要的“燃料”。（之前咱们写过LAION-5B数据集解读，戳此回顾：https://zhuanlan.zhihu.com/p/571741834）

二、 LAION-5B数据集构造

依据官网文件统计，LAION-5B数据有5,860,068,373个样本，依照语言被官网划分为3个子数据集，别离是：

1. laion2b-en 2.32 billion of these contain texts in the English language
2. laion2b-multi 2.26 billion contain texts from 100+ other languages
3. laion1b-nolang 1.27 billion have texts where a particular language couldn’t be clearly detected.

其中每个数据集官网提供了原始图片的URL，能够依据URL下载图片文件，以及些URL上的标签。
这部分元数据被存储在parquet文件中。样例parquet文件构造如下：

data_sample├── laion2B-en│   ├── part-00006-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet│   ├── part-00014-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet│   ├── part-00039-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet│   ├── part-00043-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet│   ├── part-00078-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet│   ├── part-00093-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet│   └── part-00123-5114fd87-297e-42b0-9d11-50f1df323dfa-c000.snappy.parquet└── laion2B-multi    ├── part-00001-fc82da14-99c9-4ff6-ab6a-ac853ac82819-c000.snappy.parquet    ├── part-00026-fc82da14-99c9-4ff6-ab6a-ac853ac82819-c000.snappy.parquet    ├── part-00030-fc82da14-99c9-4ff6-ab6a-ac853ac82819-c000.snappy.parquet    ├── part-00034-fc82da14-99c9-4ff6-ab6a-ac853ac82819-c000.snappy.parquet    └── part-00125-fc82da14-99c9-4ff6-ab6a-ac853ac82819-c000.snappy.parquet

三、 parquet元数据处理

在官网下载parquet元数据时，发现以下几个小问题：

1. similarity、aesthetic_score等指标散布在多个parquet文件中，字段扩散、类型不对立，须要屡次下载。应用时须要先关联组合查问，TB级的文件处理速度慢，须要高配置的服务器进行解决；
2. parquet文件中图片存储门路规定不明确，通过parquet过滤筛选图片时，无奈关联下载图片的存储门路和其它字段
3. parquet文件中parquet_id、hash等字段反复，影响图片的惟一索引
4. 通过url下载的图片格式未知（有webp、jpg、png、avif等多种格局），影响下载图片的预览和存储

为了满足不同场景的数据应用需要，保障图片惟一索引ID，咱们对官网的parquet文件进行了关联合并、字段补充等操作，造成一张字段丰盛的“宽表”，数据表构造与字段设计如下：

上表中，最初一列是parquet文件起源，示意字段对应的parquet文件。
这里应用了官网的3处parquet文件，数据预览、下载链接如下：

1. 初始Laion5B
   https://huggingface.co/datasets/laion/laion2B-en
   https://huggingface.co/datasets/laion/laion2B-multi
   https://huggingface.co/datasets/laion/laion1B-nolang
2. Joined: with punsafe and pwatermark
   https://huggingface.co/datasets/laion/laion2B-en-joined
   https://huggingface.co/datasets/laion/laion2B-multi-joined
   https://huggingface.co/datasets/laion/laion1B-nolang-joined
3. Laion-aesthetic
   Laion aesthetic is a laion5B subset with aesthetic > 7 pwatermark < 0.8 punsafe < 0.5 See
   https://huggingface.co/datasets/laion/laion1B-nolang-aesthetic
   https://huggingface.co/datasets/laion/laion2B-en-aesthetic
   https://huggingface.co/datasets/laion/laion2B-multi-aesthetic

四、 解决流程及步骤

上面聊聊“宽表”的加工处理过程，有需要的共事可参考对官网的原始parquet进行解决。嫌麻烦的同学，能够交给opendatalab，在网站下载解决好的parquet文件。https://opendatalab.com/LAION-5B

因为parquet文件数据量较大，有几个TB，这里咱们应用了大数据集群进行了分布式解决。
● 应用的技术栈有：
Spark/Hadooop/Hive/HDFS/Impala
● 集群硬件配置：
服务器3台，48core Cpu, 750GB Memory, 4TB Hard disk
● 数据处理过程和流程图如下：
数据输出：

• 下载官网parquet文件，并load到Hive表
• 解析下载的图片，判断图片类型，造成id, image_path, image_suffix的映射文件

数据处理：

• 读取Hive表数据，通过PySpark对Hive表的数据进行分布式join关联操作
  数据输入：
• Hive后果表导出为parquet格式文件，并上传至OSS/Ceph存储

为了不便数据处理，这里对数据表进行简略的分层：
- ODS层：
原始parquet文件load Hive后的结构化数据表，其中表2是对表1字段进行了裁减，表3是下载图片相干的信息。因为官网parquet文件只提供了下载url链接，咱们并不知道图片类型和后缀，所以对下载的图片文件进行程序断定，辨认出图片类型，对应image_suffix字段，image_path是图片的存储门路。
- DMD层：
通过对表2、3、4进行join关联操作，生成两头表6
- DMS层：
将两头表6与含有punsafe、pwatermark信息的表5进行关联，失去最初的后果表7

数据处理操作和代码示例如下：

4-1. Data load

次要操作是将parquet文件load到Hive表，load操作实现后，失去图中的1、3、4、5四张Hive表。
以初始parquet文件load为例，示例代码如下。

import osfrom pyspark.sql import HiveContext, SQLContextfrom pyspark.sql.functions import lit, input_file_namefrom pyspark.sql.functions import col, udffrom pyspark.sql.types import StringType, LongTypeimport mmh3sc = spark.sparkContextsql_context = SQLContext(sc)# 通过url/text计算hash值 def compute_hash(url, text):    if url is None:        url = ''            if text is None:        text = ''            total = (url + text).encode("utf-8")    return mmh3.hash64(total)[0]# 注册spark udfudf_compute_hash = udf(compute_hash, LongType())# 提取input_file_name门路中的文件名称def path_proc(file_path):    return str(file_path).split("/")[-1]udf_path_proc = udf(path_proc)# 因数据总量较大，这里按子集分批读取parquet_path = "/nvme/datasets/laion5b/parquet/laion2B-en"# parquet_path = "/nvme/datasets/laion5b/parquet/laion2B-multi"# parquet_path = "/nvme/datasets/laion5b/parquet/laion2B-nolang"# Hive一级分区名称head_tail = os.path.split(parquet_path)partition_name = head_tail[1]parquet_df =  spark.read.parquet(f"file://{parquet_path}/*.parquet")parquet_df = parquet_df.withColumn("file_name", input_file_name())parquet_df = parquet_df.withColumn("hash", udf_compute_hash(parquet_df["URL"], parquet_df["TEXT"]))parquet_df = parquet_df.withColumn("dir_name",  lit(f"{partition_name}"))parquet_df = parquet_df.withColumn("file_name", udf_path_proc(parquet_df["file_name"]))# 自定义视图名称，并注册视图view_name = 'parquet_view'parquet_df.createOrReplaceTempView(f"{view_name}")# 数据写入Hive分区表，一级分区名称dir_name，二级分区名称file_namesql_context.sql(f"insert overwrite table laion5b.parquet_view partition(dir_name='{partition_name}', file_name) select SAMPLE_ID,URL,TEXT,HEIGHT,WIDTH, LICENSE,NSFW,similarity,`hash`, file_name from {view_name}")

4-2. Data processing

数据处理过程次要包含数据表裁减、hash join操作。

因为表1的数据量较大，存在字段冗余，这里对表1的局部字段进行裁减失去表2。
表2、3、4的join代码如下，先将图片的sample_id、licenese、nsfw、image_suffix、aesthetic_score字段，按hash值进行关联，合并成一张表。
因为须要应用file_name作为Hive表二级动静分区，也防止大量数据join导致OOM，这里按dir_name别离进行join操作，不同的分区批改对应的dir_name即可。

join_sql = """insert overwrite table laion5b.dmd_image_path_suffix_aesthetics_join_view PARTITION (dir_name = 'laion2B-en', file_name)select A.sample_id,    A.`hash`,    B.image_path,    B.image_suffix,    A.license,    A.nsfw,    C.aesthetic_score,    A.file_namefrom laion5b.ods_parquet_short_view A    left join laion5b.ods_image_path_view B on A.`hash` = B.`hash`    and B.dir_name = 'laion2B-en'    left join laion5b.ods_improved_aesthetics_parquet_view C on A.`hash` = C.`hash`where A.dir_name = 'laion2B-en'"""join_df = sqlContext.sql(join_sql)

表5与表6通过hash字段进行join，失去result后果表7。

sc = spark.sparkContextsqlContext = SQLContext(sc)join_sql = """insert overwrite table laion5b.dms_parquet_result_view PARTITION (dir_name = 'laion2B-en', file_name)select B.id, B.sample_id, A.url, A.text, A.width, A.height,     A.similarity, A.`hash`, A.punsafe, A.pwatermark,    if(B.image_suffix is null or B.image_suffix = 'jpg', B.image_path,     regexp_replace(B.image_path, right(B.image_path, 3), B.image_suffix)) as image_path,    B.image_suffix, B.LICENSE, B.NSFW, B.aesthetic_score, A.language, B.file_namefrom laion5b.ods_joined_parquet_view A    left join (        select id, sample_id, image_path, image_suffix, LICENSE,             NSFW, aesthetic_score, `hash`, dir_name, file_name,             ROW_NUMBER() OVER (PARTITION BY `hash` order by `hash`) as rn        from laion5b.dmd_image_path_suffix_aesthetics_join_view        where dir_name = 'laion2B-en'    ) B on A.dir_name = B.dir_name    and A.`hash` = B.`hash`    and B.rn = 1where A.dir_name = 'laion2B-en'"""join_df = sqlContext.sql(join_sql)

4-3.Data write

最初将Hive后果表导出为snappy压缩格局的parquet文件，再上传到对象存储就能够应用了。

sc = spark.sparkContextsql_context = SQLContext(sc)write_df = sql_context.sql("""select sample_id, url, text, width, height, similarity, hash,     punsafe, pwatermark, image_suffix, license, nsfw, aesthetic_score, language, file_name     from laion5b.parquet_improve_result_view     where dir_name='laion2B-multi'""")write_df.repartition(1).write.parquet("/datasets/result/multi/", mode="overwrite", partitionBy='file_name', compression="snappy")

五、 LAION-5B媒体图片下载

在OpenDataLab网站下载到parquet文件后，能够依据这份元数据下载对应的图片文件。
当初，咱们也开源了LAION-5B图片下载代码，github开源地址如下：
https://github.com/opendatalab/laion5b-downloader

耗时25天，目前下载的图片总量为5065377962张（因url链接和网站起因，局部图片无奈下载），总存储量为300+TB。

六、 parquet不可不知（附下载链接）

在对官网parquet进行解决时，发现了数据中的几个小问题，也同步你知。

1、初始LAION-5B parquet文件中sample id字段反复度较高，有同学应用sample_id字段作为惟一索引，为了防止数据问题，倡议应用hash替换。

咱们来看看sample_id的反复状况：

当然，hash在按laion2b-en、laion2b-multi、独立分类的子集中共有6条反复值，laion1b-nolang无数据反复。
在应用时留神下即可，hash值反复状况如下表：

2、3个分类子集的图片准确数量如下，能够用来比照图片是否有缺失问题。

最初，有须要的同学能够在OpenDataLab下载解决好的parquet文件。
OpenDataLab parquet文件下载链接：
https://opendatalab.com/LAION-5B

-END-
作者 | 喻佳、张文坚