“文心”取自《文心雕龙》一书的开篇,作者刘勰在书中引述了一个现代典故:春秋时期,鲁国有一位名叫孔文子的大夫,他在学识上十分有造诣,然而他的儿子却真才实学,孔文子十分痛心。
一天,孔文子在山上遇到了一位神仙,神仙通知他:“你的儿子之所以真才实学,是因为你没有给他灌输文心,让他懂得文学的魅力和意义。”孔文子听后深受启发,回家后开始给儿子灌输文学知识,儿子也逐步对学识产生了趣味,最终成为了一位有学识的人。因而,刘勰在书中将“文心”解释为“灌输文学知识的心灵”之意。
百度以“文心”命名本人的 AI 产品线,可见其对本人的中文解决能力是极为自信的,ERNIE3.0 对标 ChatGPT3.5/4.0,ERNIE-ViLG 对标 Stable-Diffusion,文心 PLATO 则能够了解为 ChatGPT 的 embedding,堪称是狼子野心。
文心一言 SDK 引入
百度目前曾经开源文心一言的 sdk 工具包:
pip3 install --upgrade wenxin-api
和百度云产品线一样,装置好当前,须要去文心一言官网获取 appkey 和 appsecret
随后编写申请逻辑:
import wenxin_api
from wenxin_api.tasks.free_qa import FreeQA
wenxin_api.ak = "your ak" #输入您的 API Key
wenxin_api.sk = "your sk" #输入您的 Secret Key
input_dict = {
"text": "问题:天为什么这么蓝?\n 答复:",
"seq_len": 512,
"topp": 0.5,
"penalty_score": 1.2,
"min_dec_len": 2,
"min_dec_penalty_text": "。?:![<S>]",
"is_unidirectional": 0,
"task_prompt": "qa",
"mask_type": "paragraph"
}
rst = FreeQA.create(**input_dict)
print(rst)
程序返回:
{
"code": 0,
"msg": "success",
"data": {
"result": "因为咱们有个好情绪",
"createTime": "2023-03-16 16:02:10",
"requestId": "71a6efb46acbd64394374f44579a01eb",
"text": "天为什么这么蓝",
"taskId": 1000000,
"status": 1 # 0 示意生成中,1 示意生成胜利
}
}
申请的参数含意请参照官网文档:
async
异步标识 int 1
1
是
异步标识,现阶段必传且传 1
text
用户输出文本 string 空
[1, 1000]
是
模型的输出文本,为 prompt 模式的输出。min_dec_len
最小生成长度 int 1
[1,seq_len]
是
输入后果的最小长度,防止因模型生成 END 导致生成长度过短的状况,与 seq_len 联合应用来设置生成文本的长度范畴。seq_len
最大生成长度 int 128
[1, 1000]
是
输入后果的最大长度,因模型生成 END 或者遇到用户指定的 stop_token,理论返回后果可能会小于这个长度,与 min_dec_len 联合应用来管制生成文本的长度范畴。topp
多样性 float 1.0
[0.0,1.0],距离 0.1
是
影响输入文本的多样性,取值越大,生成文本的多样性越强。penalty_score
反复惩办 float 1.0
[1,2]
否
通过对已生成的 token 减少惩办,缩小反复生成的景象。值越大示意惩办越大。设置过大会导致长文本生成成果变差。stop_token
提前结束符 string 空
否
预测后果解析时应用的完结字符串,碰到对应字符串则间接截断并返回。能够通过设置该值,能够过滤掉 few-shot 等场景下模型反复的 cases。task_prompt
工作类型 string 空 PARAGRAPH,
SENT, ENTITY,
Summarization, MT,
Text2Annotation,
Misc, Correction,
QA_MRC, Dialogue,
QA_Closed_book,
QA_Multi_Choice,
QuestionGeneration,
Paraphrasing, NLI,
SemanticMatching,
Text2SQL,
TextClassification,
SentimentClassification,
zuowen, adtext,
couplet,novel,
cloze
否
指定预置的工作模板,成果更好。PARAGRAPH:疏导模型生成一段文章;SENT:疏导模型生成一句话;ENTITY:疏导模型生成词组;Summarization:摘要;MT:翻译;Text2Annotation:抽取;Correction:纠错;QA_MRC:浏览了解;Dialogue:对话;QA_Closed_book: 闭卷问答;QA_Multi_Choice:多选问答;QuestionGeneration:问题生成;Paraphrasing:复述;NLI:文本蕴含辨认;SemanticMatching:匹配;Text2SQL:文本形容转 SQL;TextClassification:文本分类;SentimentClassification:情感剖析;zuowen:写作文;adtext:写文案;couplet:对对联;novel:写小说;cloze:文本补全;Misc:其它工作。typeId
模型类型 int 1 1
是
通用:1 ERNIE 3.0 Zeus 通用
2 ERNIE 3.0 Zeus instruct 模型
同义改写
1 ERNIE 3.0 Zeus 同义改写精调模型
写作文:1 ERNIE 3.0 Zeus 记叙文加强包
2 ERNIE 3.0 Zeus 议论文加强包
3 ERNIE 3.0 Zeus 小学作文加强包
写文案:1 ERNIE 3.0 百亿 社交短文案精调模型
2 ERNIE 3.0 Zeus 商品营销文案加强包
写摘要:1 ERNIE 3.0 Zeus 写摘要
2 ERNIE 3.0 Zeus 写题目
3 ERNIE 3.0 百亿 写题目
对对联:1 ERNIE 3.0 Zeus 对对联
2 ERNIE 3.0 百亿 对对联
自在问答:1 ERNIE 3.0 Zeus 自在问答加强包
2 ERNIE 3.0 百亿 自在问答
3 ERNIE 3.0 Zeus instruct 模型
写小说
1 ERNIE 3.0 百亿 写小说精调模型
补全文本
1 ERNIE 3.0 Zeus 词补全加强包
2 ERNIE 3.0 Zeus 句补全加强包
3 ERNIE 3.0 Zeus 段落补全加强包
penalty_text
惩办文本 string 空
否
模型会惩办该字符串中的 token。通过设置该值,能够缩小某些冗余与异样字符的生成。choice_text
候选文本 string 空
否
模型只能生成该字符串中的 token 的组合。通过设置该值,能够对某些抽取式工作进行定向调优。is_unidirectional
单双向管制开关 int 0
0 或 1
否
0 示意模型为双向生成,1 示意模型为单向生成。倡议续写与 few-shot 等通用场景倡议采纳单向生成形式,而完型填空等工作相干场景倡议采纳双向生成形式。min_dec_penalty_text
最小惩办样本 string 空
否
与最小生成长度搭配应用,能够在 min_dec_len 步前不让模型生成该字符串中的 tokens。logits_bias
屏蔽惩办 float -10000
[1, 1000]
否
配合 penalty_text 应用,对给定的 penalty_text 中的 token 减少一个 logits_bias,能够通过设置该值屏蔽某些 token 生成的概率。mask_type
生成粒度 string word
可选参数为 word, sentence, paragraph
否
设置该值能够管制模型生成粒度。
这里须要留神的是,尽管参数反对 async 异步,但那不是指申请的异步形式返回,换句话说,文心模型返回还是须要期待的,并不是 ChatGPT 那种流式返回模式。
文心一言 API 调用
文心一言 SDK 的性能无限,也不反对异步申请调用,如果须要定制化或者应用别的语言申请文心一言,须要提前发动 Http 申请获取 token,这里咱们应用异步申请库 httpx:
pip3 install httpx
增加获取 token 逻辑:
class Winxin:
def chat(self,text):
input_dict = {"text": f"问题:{text}\n 答复:",
"seq_len": 512,
"topp": 0.5,
"penalty_score": 1.2,
"min_dec_len": 2,
"min_dec_penalty_text": "。?:![<S>]",
"is_unidirectional": 0,
"task_prompt": "qa",
"mask_type": "paragraph"
}
rst = FreeQA.create(**input_dict)
print(rst)
async def get_token(self):
headers = {"Content-Type":"application/x-www-form-urlencoded"}
async with httpx.AsyncClient() as client:
resp = await client.post(f"https://wenxin.baidu.com/moduleApi/portal/api/oauth/token?grant_type=client_credentials&client_id={wenxin_api.ak}&client_secret={wenxin_api.sk}",headers=headers)
result = resp.json()
print(result)
异步调用文心一言接口的 token:
if __name__ == '__main__':
wx = Winxin()
asyncio.run(wx.get_token())
程序返回:
{'code': 0, 'msg': 'success', 'data': '24.3f6a63545345ae6588ea86a353.86400000.1679123673218.92a99f8955c6f9ab2c438a5f31b5d73b-173001'}
这里返回的数据的 data 就是 token,有效期是一天,吐槽一下,竟然没有 refreshtoken,也就是说过期了还得从新去申请,不能做到无感知换取。
随后申请接口换取 taskid:
async def get_task(self,token,text):
url = "https://wenxin.baidu.com/moduleApi/portal/api/rest/1.0/ernie/3.0.25/zeus"
data = {"async": 1, "typeId": 1, "seq_len": 512, "min_dec_len": 2, "topp": 0.8, "task_prompt": "qa", "penalty_score": 1.2, "is_unidirectional": 0, "min_dec_penalty_text": "。?:![<S>]", "mask_type": "word","text":text}
headers = {"Content-Type": "application/x-www-form-urlencoded"}
params = {"access_token": token}
async with httpx.AsyncClient() as client:
result = client.post(url, headers=headers, params=params, data=data)
result = result.json()
print(result)
返回:
{
"code":0,
"msg":"success",
"data":{
"taskId": 1229202,
"requestId":"7fad28872989e274914ee1687b8f2a13"
}
}
最初申请后果:
async def get_res(self,taskid,token):
url = "https://wenxin.baidu.com/moduleApi/portal/api/rest/1.0/ernie/v1/getResult"
access_token = token
task_id = taskid
headers = {"Content-Type": "application/x-www-form-urlencoded"}
params = {"access_token": access_token}
data = {"taskId": task_id}
async with httpx.AsyncClient() as client:
response = client.post(url, headers=headers, params=params, data=data)
print(response.text)
后果和 SDK 申请形式统一:
{
"code": 0,
"msg": "success",
"data": {
"result": "因为咱们有个好情绪",
"createTime": "2023-03-16 18:09:40",
"requestId": "71a6efb46acbd64394374f44579a01eb",
"text": "天为什么这么蓝",
"taskId": 1000000,
"status": 1 # 0 示意生成中,1 示意生成胜利
}
}
文心一格文字生成图像
ERNIE-ViLG AI 作画大模型:文心 ERNIE-ViLG2.0 是基于用户输出文本、或文本加图片生成图像及图像编辑性能的技术,次要为用户提供跨模态的文本生成图像的大模型技术服务。
文心一格和文心一言是共享 appkey 和 appsecret 的,增加图像生成逻辑:
class Winxin:
def draw(self,text):
num = 1
input_dict = {
"text": "国画,工笔画,女侠,正脸",
"style": "工笔画",
"resolution":"1024*1024",
"num": num
}
rst = TextToImage.create(**input_dict)
print(rst)
程序返回:
{
"imgUrls":["https://wenxin.baidu.com/younger/file/ERNIE-ViLG/61157afdaef4f0dfef0d5e51459160fbex"]
}
成果:
比照基于 Stable-Diffusion 算法的 Lora 模型:
大家丰俭由己,各取所需。
须要留神的是,该产品线并不是收费的:
免费送 200 张,想持续玩就得充值,不愧是百度。话说收费的 Stable-Diffusion 不香吗?
结语
产品力而言,ChatGPT 珠玉在前,文心一言还有很长的路须要走,用三国期间徐庶自比孔明的话来讲:“驽马焉敢并麒麟,寒鸦岂能配凤凰”。然而,也没必要一片挞伐之声,俄国著名作家契诃夫已经说,“大狗叫,小狗也要叫”,ChatGPT 尽管一座遥不可及的顶峰,然而其余公司也毋庸放弃人工智能畛域的钻研,毕竟作为最老牌的中文搜索引擎,百度浸润几十年的中文解决能力,还是无人能出其右的。