关于人工智能:使用GPT3训练一个垃圾短信分类器

平时咱们都会收到很多短信，因为微信等即时通讯工具的遍及，短信曾经成为了一个验证码接收器，然而偶然也有不少垃圾短信，所以对短信进行分类和屏蔽是一个很简略又很重要的需要。

目前在AppStroe上有很多实现短信分类的App，比方《熊猫吃短信》，有须要能够自行下载体验一下。解决这样的一个简略的需要的App，就能够让App的开发者赚不少钱，咱们能够学习一下这种需要用GPT-3如何实现。

明天这个教程，咱们能够应用GPT-3模型来实现一个垃圾短信分类器，能够做为一个GPT3模型二次开发训练的简略的入门练手我的项目

因为应用老本的起因（训练实现调用接口依然须要付费，而且更贵），此形式不适宜用于正式的生产环境，仅作为学习体验应用，期待当前会有老本更低更适合的形式。

如果您没有开发根底也能够理解学习训练过程，再找到有根底的程序员代为训练

训练数据

心愿训练什么，就要筹备什么数据，如果想要做一个通用的短信辨认那就须要尽可能的宽泛而多的短信样本，这个案例咱们只取一个人的短信来训练，须要的样本数量能够很少，训练进去的模型也会很实用于这个人。

咱们从某位同学手机上间接导出了一万条短信（好几年没删），而后随机取了500条短信作为样本进行标注，将短信分成四个简略的类型：告诉短信、垃圾短信、公益短信、失常短信，而后将文件保留为.csv格局的文件，放到我的项目文件夹

注意事项

• 样本数量起码200条，倡议500条以上，数据越多准确率越高

• 做分类训练，每个类型至多有100个样本，否则会影响准确率

• 确保训练的样本与理论应用的状况是十分类似的，否则影响准确率

• 如果样本外面蕴含敏感信息，能够用*号或者某某来进行脱敏解决，不会影响训练成果

• 每条样本增加一个结束符，比方“###”或者“->"，如果没有增加，转换工具会问是否须要帮你增加

这里须要留神，咱们将短信分为四种，并且用中文示意，是不便咱们教程测试，理论应用中，应用数字代替中文分类，咱们将分类换成：

失常短信=1， 告诉短信=2， 公益短信=3， 垃圾短信=4

因为模型接口是按token免费的，能够了解为按字数免费，用数字就能够节俭一些老本

另外，训练的模型有四种可选，davinci、curie、babbage、ada

其中ada价格最便宜，性能最好，像这种分类的简略需要，应用ada模型就能够了。

四种模型的价格如下：

每1千token，token大略相当于字数，一个中文字约为2个token，一条短信大概为140个token，如果咱们以ada模型作为训练模型，换算下来，辨认1千条短信大略老本为1.568人民币。

价格不算便宜，然而人类历史上所有有需要但价格昂贵的货色，最终都会被市场打下来的。

训练过程

首先装置最新的openai库

pip install --upgrade openai

而后导入open的密钥，能够应用环境变量导入的形式

export OPENAI_API_KEY="<填你的openai密钥>" // linux零碎 set OPENAI_API_KEY="<填你的openai密钥>" // windows零碎

GPT-3训练须要将样本数据转换为他们要求的JSONL格局

{"prompt": "输出的提醒", "completion": "输入的后果"}...

{"prompt":"sms: 今天上午能够装置吗老板 ->", "completion":" 失常短信"}……

咱们能够应用openai提供的转换工具，来换为符合要求的格局

openai tools fine_tunes.prepare_data -f <样本文件地址>openai tools fine_tunes.prepare_data -f sms_classifier/sms_sample_500_converted.csv

首先将咱们csv文件的表头，改成 prompt 和 completion，代表输出和输入的内容，而后在信息后面加一个标记（sms: ），用于区别失常的内容

解决好csv文件之后，执行命令进行转换

openai tools fine_tunes.prepare_data -f sms_classifier/sms_sample_500_converted.csv

其中提醒咱们一些注意事项，一路点选Y就能够了

(venv) D:\dev2023\openai-tutorial>openai tools fine_tunes.prepare_data -f sms_classifier/sms_sample_500_converted.csvAnalyzing...- Based on your file extension, your file is formatted as a CSV file- Your file contains 441 prompt-completion pairs- Based on your data it seems like you're trying to fine-tune a model for classification- For classification, we recommend you try one of the faster and cheaper models, such as `ada`- For classification, you can estimate the expected model performance by keeping a held out dataset, which is not used for training- All prompts end with suffix ` ##`- All prompts start with prefix `sms: `- The completion should start with a whitespace character (` `). This tends to produce better results due to the tokenization we use. See https://beta.openai.com/docs/guides/fine-tuning/preparing-your-dataset for more detailsBased on the analysis we will perform the following actions:- [Necessary] Your format `CSV` will be converted to `JSONL`- [Recommended] Add a whitespace character to the beginning of the completion [Y/n]: y- [Recommended] Would you like to split into training and validation set? [Y/n]: yYour data will be written to a new JSONL file. Proceed [Y/n]: yWrote modified files to `sms_classifier/sms_sample_500_converted_prepared_train.jsonl` and `sms_classifier/sms_sample_500_converted_prepared_valid.jsonl`Feel free to take a look!Now use that file when fine-tuning:> openai api fine_tunes.create -t "sms_classifier/sms_sample_500_converted_prepared_train.jsonl" -v "sms_classifier/sms_sample_500_converted_prepared_valid.jsonl" --compute_classification_metrics --classification_n_classes 4After you’ve fine-tuned a model, remember that your prompt has to end with the indicator string ` ##` for the model to start generating completions, rather than continuing with the prompt.Once your model starts training, it'll approximately take 12.92 minutes to train a `curie` model, and less for `ada` and `babbage`. Queue will approximately take half an hour per job ahead of you.

其中工具会帮咱们将样本分成训练集和测试集，以便训练实现之后测试训练的成果

同时也揭示咱们：

• 训练实现后，失常的调用也须要放弃与样本雷同的申请格局

• 如果抉择curie模型，大略须要12.92分钟，如果抉择ada或者babbage模型则更短一些

开始训练

这里咱们指定模型为ada：-m ada

指定训练的名称为：--suffix sms_classifier

(venv) D:\dev2023\openai-tutorial>openai api fine_tunes.create -m ada --suffix "sms_classifier" -t "sms_classifier/sms_sample_500_converted_prepared_train.jsonl" -v "sms_classifier/sms_sample_500_converted_prepared_valid.jsonl" --compute_classification_metrics --classification_n_classes 4Upload progress: 100%|██████████████████████████████████████████| 97.6k/97.6k [00:00<00:00, 95.8Mit/s]Uploaded file from sms_classifier/sms_sample_500_converted_prepared_train.jsonl: file-HQgXiRZBxwn7In0sUax1WVdjUpload progress: 100%|██████████████████████████████████████████| 24.3k/24.3k [00:00<?, ?it/s]Uploaded file from sms_classifier/sms_sample_500_converted_prepared_valid.jsonl: file-gtmsXSjMpmdFowRQ8Hn0FxbXCreated fine-tune: ft-tEt9Oo95zgJ42KJvP4nS8neeStreaming events until fine-tuning is complete...(Ctrl-C will interrupt the stream, but not cancel the fine-tune)[2023-02-14 11:56:00] Created fine-tune: ft-tEt9Oo95zgJ42KJvP4nS8nee

这里提醒曾经创立了一个训练任务，返回了一个工作ID：ft-zYQQqF1bBvOgiFllSR8R9jvZ

前面咱们能够通过这个工作ID来查问具体的状况

按Ctrl+C能够中断输入工作训练状况，但不会中断工作

如果产生中断，能够应用命令持续查看记录

openai api fine_tunes.follow -i <工作ID>

期待一会后能够看到曾经实现了训练

(venv) D:\dev2023\openai-tutorial>openai api fine_tunes.follow -i ft-wHXGw263e8ujLaDHNQGqYB6K[2023-02-14 13:36:56] Created fine-tune: ft-wHXGw263e8ujLaDHNQGqYB6K[2023-02-14 13:44:57] Fine-tune costs $0.10[2023-02-14 13:44:58] Fine-tune enqueued. Queue number: 1[2023-02-14 13:44:58] Fine-tune is in the queue. Queue number: 0[2023-02-14 13:45:01] Fine-tune started[2023-02-14 13:46:10] Completed epoch 1/4[2023-02-14 13:47:07] Completed epoch 2/4[2023-02-14 13:48:03] Completed epoch 3/4[2023-02-14 13:48:59] Completed epoch 4/4[2023-02-14 13:49:24] Uploaded model: ada:ft-personal:sms-classifier-2023-02-14-05-49-24[2023-02-14 13:49:25] Uploaded result file: file-SaX4z4avlLH8KXDFM3UyNFoU[2023-02-14 13:49:25] Fine-tune succeededJob complete! Status: succeeded Try out your fine-tuned model:openai api completions.create -m ada:ft-personal:sms-classifier-2023-02-14-05-49-24 -p <YOUR_PROMPT>

能够看到工作是耗费了$0.10，模型名称为：ada:ft-personal:sms-classifier-2023-02-14-05-05-31

咱们能够输出一条短信来测试一下后果，留神格局必须与样本的格局雷同

其中 -M参数示意限度返回的token长度，因为咱们只须要返回咱们标签分类，所以返回长度1就能够了

(venv) D:\dev2023\openai-tutorial>openai api completions.create -m ada:ft-personal:sms-classifier-2023-02-14-05-49-24 -p "sms: 你在哪里###" -M 1sms: 你在哪里### 1(venv) D:\dev2023\openai-tutorial>openai api completions.create -m ada:ft-personal:sms-classifier-2023-02-14-05-49-24 -p "sms: 【京东】邀您参加调研，有机会得800京豆，点 3.cn/1EgRyx-J 回复TD8退订###" -M 1          sms: 【京东】邀您参加调研，有机会得800京豆，点 3.cn/1EgRyx-J 回复TD8退订### 4

能够看到模型曾经能失常辨认一些全新的短信并正确分类。

如何利用到生产环境中：

import openaidef model_predict(sms):    response = openai.Completion.create(        # 指定要应用的模型：这里应用的是咱们训练好的模型        model="ada:ft-personal:sms-classifier-2023-02-14-05-49-24",        prompt="""sms: {sms}###""".format(sms=sms),        temperature=0.6,        max_tokens=1,    )    return responseif __name__ == '__main__':    sms = "【腾讯云】尊敬的用户，您好，我是腾讯云技术顾问。您（账号ID: 123*****"    category = {"1": "短信", "2": "告诉短信", "3": "公益告短信", "4": " 垃圾短信"}    response = model_predict(sms)    print("判断后果：", category[response.choices[0].text])

输入

(venv) D:\dev2023\openai-tutorial>python sms_classifier/test.py  判断后果：告诉短信

迭代训练

然而目前准确率依然不高，起因有二：

• 样本总量不够多

• 各分类的样本数量不平均，有的太少（不到10条）

为了进步准确率，咱们后续还能够持续整顿样本，对以后模型进一步进行训练，不须要从头开始从新训练。

同时，持续整顿新样本时，能够先用模型进行辨认标注再人工校对，能够进步整顿速度。

在创立迭代训练任务时，减少参数：

-m curie: ft-< org >-< date >

也就是上次训练实现的名称：ada:ft-personal:sms-classifier-2023-02-14-05-49-24

与上次创立工作的参数雷同，在前面减少参数：

openai api fine_tunes.create -m ada --suffix "sms_classifier" -t "sms_classifier/sms_sample_500_converted_prepared_train.jsonl" -v "sms_classifier/sms_sample_500_converted_prepared_valid.jsonl" --compute_classification_metrics --classification_n_classes 4 -m ada:ft-personal:sms-classifier-2023-02-14-05-49-24

另外咱们还能够对每次的训练后果进行剖析，这里须要帮助官网提供的其余工具，因篇幅无限这里就不开展聊这个局部。

更多训练类型与商业利用

GPT-3经过训练能够利用在很多种场景，能够实现ChatGPT达不到的成果，能够实现更精准更弱小的商业利用

咱们大抵布局以下能够训练的类型：

内容分类器

能够实现对一段内容的分类，以下类型都能够用明天这篇教程的形式训练

1. 短信分类、垃圾邮件分类
2. 微博博文情绪判断（消极/踊跃、侧面/负面）
3. 美食评估、点评内容的分类
4. 网站留言是否为广告

5. 微信群内信息是否为广告/是否为须要重点关注的信息

结构化信息提取

能够实现对一段内容进行结构化提取，取出咱们想要的重点字段

1. 简历重点信息提取和筛选
2. IPO招股书、上市公司年报等核心内容提取
3. 从一段求职文本提取重要信息

4. 快递地址结构化提取

上下文会话

通过训练对话样本，能够训练一个对话机器人，实现专用的聊天客服机器人。

1. 公司征询客服机器人
2. 在线销售聊天辅助
3. 语音呼叫应答逻辑解决

4. 心理/法律/医疗等业余会话征询

信息嵌入查问

能够通过加载内部数据库，实现更弱小的信息查问性能，在业余畛域进行利用

1. 律师文本撰写：比方输出案由生成法律条文根据
2. 患者病历诊断，输出病历和诊断后果训练，从而辅助医生判断病情

3. 银行信贷审核，输出贷款客户各项信息，输入判断

留神：所有训练样本都能够脱敏解决，电话、姓名等隐衷信息请全副用*号代替。

训练完之后的模型和数据是公有的，只能在你的账号之下应用。

如果您有以上内容的或者能够实现类似性能的样本，违心与咱们单干，能够分割咱们代为训练，能够在您的账号之下训练，这项服务目前不免费用。

本次分享所有的代码和数据集会放在公众号后，请关注公众号并回复：短信分类器 获取。

ChatGPT正在迅速走红，寰球都在推广和关注这个我的项目，许多人也正在尝试从中变现获利。然而，他们所采纳的办法往往都过于简略和低门槛，如“写作文”、“写求职信”等。为了实现更高水平的商业价值，咱们心愿尝试更简单，更深度定制的办法。例如，咱们能够通过收集数据库并进行二次训练，比方训练一个适宜公司理论状况的客户服务的机器人。
因而，咱们将在当前逐步分享咱们的钻研步骤和操作方法，以帮忙那些心愿深刻理解GPT模型训练的敌人。这样，他们就能够以更低的技术门槛实现更高级的商业价值。

我的公众号：@大鹏学开发

加我拉你进交换群：aaronpeng2046 

此内容由猪猪代管经营，业务邮箱：1018097585@qq.com