高质量数据是机器学习的命根子，创立合格的数据集对模型造就至关重要，本文将简要介绍自定义数据集的 6 个关键步骤：
抉择收集形式
数据集收集有三种形式，第三方购买、开源平台收集、手动收集。
在手动收集方面，能够利用数据抓取工具帮忙收集局部素材，也可应用本人的设施，如相机或传感器。
以手动收集主动驾驶自定义数据集为例，主动驾驶公司在车上装备摄像头、激光雷达传感器等设施，便驾驶多辆汽车在城市街道彷徨，收集视觉数据。
分层收集数据
在收集足量数据后，需将大数据合成为较小数据集。
分层可将小型数据集分批套入模型中，并适时调整，在模型性能及产生最佳后果所需的工夫和老本方面，通常须要分三到四个层级的数据集能力实现最佳成果。
应用分层办法进行数据收集，将显着升高由低质量数据废除模型的危险，避免数据中呈现不必要的偏差，及时依据论断调整试验方向。
验证数据
验证数据集能确保数据品质合乎指标 (即方差、品质、数量、密度)。在开始标注前，这是避免因偏差导致再次收集数据的最佳时机。许多人会疏忽这一步骤，但验证数据至关重要，数据收集品质能够确保接下来的操作步骤更加顺利。
标注数据
确认取得高质量数据后，下一步将开始我的项目中最耗时的工作：数据标注。
通常，数据标注的劳力有三种抉择：
丨本人标注
丨第三方平台众包
丨领有本身标注平台的技术类标注公司
数据标注依赖于优良的标注平台，按标注类型可分为图像、点云、语音、视频等类型，以曼孚科技的 SEED 平台为例，SEED 领有几十种数据标注工具，以图像与点云标注为例，图像标注领有 2D 框、多段线、语义宰割、多边形、关键点、椭圆、曲线，点云标注领有平面框、多变平面框、车道线，可实现全景语义宰割、点云宰割、间断帧、交融等多种技术。
标注数据是算法模型的养料，间接影响机器智能化进度，抉择更加业余的技术类公司不仅可节俭大量工夫与精力，也会取得更高质量的成品数据。
验证模型
在取得标注实现的数据后，便可将其输出算法模型中，这是确定标注数据是否合乎算法的关键步骤，也是测验算法品质的机会，进一步理解模型与料想后果的一致性。
此步骤可能会重复屡次，起因在于不同标注数据类型套入模型的成果不一，算法模型也需随着数据不断改进。
反复
机器学习不是一次性的练习，优良的数据集必定会经验重复收集、标注、验证的步骤，即便在模型走出实验室后也不能停下，以便应答日益更新的事实世界。
如 2020 年 COVID-19 的忽然造访，给人来带来沉痛打击，人工智能也在此期间施展了巨大作用，利用新数据集训练出的智能机器被利用至更多场景，最大限度升高了疫情扩散危险。只有不断更新数据与算法模型，能力跟上时代倒退过程，为人类提供更多便当。
结语
创立数据集须要在重复训练与验证数据中找寻调整方向，须要对流程、人员调配、技术有足够的把握，在数据收集、数据标注、数据验证方面思考的越周到，自定义的数据集品质也将越高。