有时候会想,如果 chatGPT 是人,它会是一个怎么的人呢?上面是我的揣测过程。
首先,她应该是女人
会揣测而不会计算
你问它:3457 * 43216 =,它答复 149261912( 这是错的。正确后果是 149397712)。
之所以后果的 2 是对的,仅仅因为它读了太多的文字材料当前,隐约感觉到 7 结尾的文字,乘号,6 结尾的文字,和 2 结尾的文字比拟「押韵」 从语感上比拟像一首诗。
所以它就学会了这样的文字,而不是学会了计算。
理性而不感性
有没有感觉,当本人跟老婆吵架时,你讲什么正确的情理都是徒劳,她不在乎对错而在于你有没有顾及她的感触。这印证《男人来自火星,女人来自金星》中说到的一个观点:男人和女人在思维了解上有实质的不同,男人重视感性,女人重视理性。
没错,chatGPT 不善于感性计算,在背诵了一堆堆文字材料后,她感觉”顺口”就认为是对的答案,就是这么任性就是这么理性。
所以,ChatGPT 必定是记忆力超强,天生对数字逻辑无所不通的女人。
其次,她有工作教训且善解人意
预训练:减少工作教训
举个栗子:家里请阿姨,来你家之前阿姨会承受家政公司的岗前培训,怎么拖地,怎么弄饭,包含怎么带小孩,这样保障了阿姨到雇主家可间接干活。
ChatGPT 一开始就晓得主观既定的自然规律,比方苹果是水果而不是石头。起因是在被应用之前它通过了岗前培训,也就是 GPT 中的 P(Pre-trained 预训练和微调),保障它能够间接上手就干,而不是磨磨唧唧等你教完它所有之后才会干活。
预训练是给 ChatGPT 提供根底技能,让其有工作教训,间接上手就干,节约使用者老本。
微调:让她善解人意
举个栗子:还是下面那个阿姨。
上岗后,阿姨的技能和习惯可能跟雇主的不一样,比方雇主要减肥,做饭就不做三菜一汤了,全副变青菜,不要白米饭要西蓝花,OK , 三菜一汤是预训练的标配后果,全副青菜是依据雇主习惯进行的微调。微调让 chatGPT 更加合乎本人口味了。
再比方:如果你要问 chatGPT 你公司年假多少?他必定答复不进去。
然而如果给他录入你公司考勤制度信息之后,它就晓得你公司年假多少了。这个过程就是微调。
微调是给模型提供使用者个性化信息,让其与使用者更加同频,给使用者感觉是,它知我,知己也!
再次,她是语言学家
当你用不同语言时,她晓得用对应语言你。
当你感觉文字太长,她能够帮你变短。
当你想要她翻译成别的语言,她能够翻译成外语。
这其中归功于 GPT 中的 T:Transformer 转换器。该模块作用相似电源转换器: 220v 进 12v 出
转换器模块工作流程:转换器根据预训练中的教训,将输出转换成向量示意,该向量中蕴含了上下文,输出含意等信息(相似二维码)。向量能够看做 GPT 可辨认的数据结构,当使用者提出不同需要时,转换器依据该向量变换生成新的输入。
如图中,输出通过 Encoder 编码成向量,向量依据用户需要 Decoder 成不同长度,语言的输入。
转换器实现将固定输出转换成各种不同输入的性能。
最初
本文联合生存中的例子揣测 ChatGPT 是怎么的人。ChatGPT 中理论过程比这个简单得多,其过程可能不谨严,但旨在对 ChatGPT 中 G P T 含意进行通俗化解释,心愿各位大佬喜爱。
彩蛋
参考链接
Transformers Models in Machine Learning: Self-Attention to the Rescue
ChatGPT 中,G、P、T 别离是什么意思?