大家好！我是爱吃、爱玩、更爱学习技术，IT 界新晋小红人，开发者的好敌人——比特熊！
明天是咱们【比特熊故事汇 2.0】AOAI 的特地专场，咱们在四月份间断做了 4 场【比特熊充电栈】Azure Open AI 相干的技术联合实际的解说，那么咱们五月的收场直播持续来做 AOAI 的专题。咱们明天请到了三位格调不同的嘉宾讲讲本人与技术圈最新大热门的故事！
比特熊：GPT 也火了一段时间了，刷新了很多人的认知，刚拿到 OpenAI API 接口的时候认为只是简略的接口调用，其实更重要的是写好 Prompt 去疏导。
许豪：Prompt 听起来很业余，其实指的就是与模型交互的形式，最直观的形式是应用自然语言。年初开始随着模型的公布，我接连体验了 GPT3、davinci-003、ChatGPT 和 GPT4 等模型，并进行了一些集体钻研。我的一个感触是，这些模型越来越具备人格化，与人类对话越来越类似。GPT3 像一个小学生，须要逻辑上的领导，而 GPT3.5 像一个高中生，能够进行一些深层次的推理，但仍有一些有余。GPT4 像一个大学生或研究生，它的能力十分强，尤其是在引入内部数据后。这些模型的能力一直加强，起因之一是“思维链”的诞生，即模型可能从上下文和给定的推理模式中取得信息。所以正确应用提醒词，把意思表白分明，是在大模型时代跟模型共存的一个外围要点。
比特熊：为什么咱们大语言模型是以 Prompt 形式去操作？
许豪：过来的几个月里，我始终在读这个畛域的论文，和许多用户进行交换。我发现有一个认知问题，以前咱们通常应用繁多的机器学习模型解决特定工作，比方分类和辨认。然而当初的大型模型可能解决各种工作，具备更强的通用性，这意味着咱们进入了通用人工智能时代。这些大型模型可能同时实现多个工作，模型的能力变得十分弱小。
然而这也引发了一个问题，咱们发现通过不同的提醒词，能够领导模型进行不同的操作。然而行业中的一些企业发现他们无奈通过模型做出推理和总结，比方他们心愿模型通知他们上个季度的财务报表是什么样子。因为模型是应用 2020 年或 2021 年的数据训练的，它无奈提供最新的信息。于是他们想要微调模型，将新的常识引入模型中，从新训练模型。然而，在大型模型时代，这种范式产生了显著的转变。咱们能够引入额定的数据，而无需微调模型。咱们不须要扭转模型自身，只需引入数据即可。例如，咱们能够应用内部的搜寻加强或语义向量等办法，将文本数据引入模型。
这些办法曾经演变到两种流派，一种是 无记忆式交互 ，每次与模型交互时，咱们将数据写入提醒词中，让模型进行推理和总结。这种形式看起来很乏味，但天花板很低，因为它只能实现一些简略的工作。另一种是 有记忆式交互，咱们向模型中增加记忆，通过向量数据库等形式实现，这种形式使模型可能在各个行业和业务场景中失去利用。特地是在 GPT4 之后，模型的推理和总结能力十分弱小。给定各种数据，它能够帮忙解读并提供有建设性的意见。咱们当初跟客户去做利用的落地，基本上就是依照这种模式。
在大语言模型的落地过程中，我总结了五个要害因素，称之为五大支柱。这五大支柱是在大模型利用开发过程中不可避免地波及到的外围局部：
LLM AI 利用开发五大基石
⚫第一个是模型。因为咱们当初看到很多大型模型的公布，但大型模型并不等同于大型模型利用。模型公布后，它可能只能进行对话，例如简略的 Web 界面交互，它属于第一种无记忆的交互利用。你只能通过对话与模型互动，将大部分数据写在提醒词外面。而且这些提醒词可能还受到 token 的限度，有些可能是 500 个，有些可能是 2000 个，还有些可能是 4000 个。在模型的施行过程中，咱们发现不仅须要利用模型自身，还须要应用一些嵌入模型，就是将文本转化为向量的过程。
⚫第二个方面是对于应用模型的具体范式，比方应用记忆式和无记忆式的利用。记忆式利用能够间接从互联网搜寻并拉取常识，而后进行生成。另一种是将企业外部的知识库转化为内存级别的缓存，并在向量表中搜寻以获取所需的语义信息，叫 cash assistant。还有一种是多轮对话，让模型主动生成一些常识并进行向量化。目前还没有看到这些利用范式的天花板，每天都有新论文、新玩法，因而咱们须要一直学习和摸索。
⚫第三个方面是利用开发工具的框架。作为开发者，咱们须要有工具、SDK 和框架来开发应用程序。这对于大型语言模型的开发十分重要。例如，咱们能够应用 Prompt 来与模型交互，而无需编写代码。这种变动在开发过程中会扭转模型调用的框架。微软有一个名为 Semantic Kernel 的大语言模型 SDK，开源社区还有一个叫 LangChain 的 SDK，待会卢老师会讲到，这两者目前是支流。它们次要用于管制提醒词、解决语义链等。应用 SDK，开发者能够应用通过封装的构造来疾速开发应用程序，使开发过程更快、更顺利。
⚫第四个方面是平台底座的重要性。微软目前正在朝着齐全基于 AI 的基础设施方向倒退。例如，如果咱们要进行多轮对话，可能须要模型帮忙生成常识，并在其上进行推理或指令管制。在这个过程中，咱们须要解决多轮与模型的对话或模型自调用的递归。如果呈现网络断开等问题，咱们须要复原之前的状态。微软的云平台提供了一些工作长久化的机制，如 Azure Durable Functions，这些机制在 API 调用过程中帮忙咱们实现长久化，微软的云平台正朝着反对 AI 利用的方向演变。
⚫第五个方面是产学研联合。除了大型模型、利用范式和云平台外，微软还领有一些小模型我的项目，如 DeepSpeech Chat 和 BioGPT 等。将来可能呈现的趋势是大型模型与周边小模型相结合，独特合作工作。
比特熊：卢老师明天会给大家更多科普一下 Semantic Kernel 和 LangChain 的区别，它们各自适应的是哪一些不同的场景。
卢建晖：首先，咱们须要转变传统的训练、数据获取、测试和部署的形式。当初咱们能够应用面向 Prompt 的编程，通过简略的指令让计算机实现相干工作。以前，咱们通常应用编程来实现这些工作，但当初咱们能够应用自然语言。有人放心智能化会取代咱们的工作，特地是在编码架构方面，咱们如何将传统代码与面向 Prompt 的编程交融是一个须要思考的问题。研发团队可能有一些新思维，咱们要思考如何将它们融入智能化利用中。在架构时，咱们要思考如何划分和治理 Prompt 与代码之间的关系。最早的例子是 LangChain，它是一个反对 Python 的平台，为许多生成式 AI 和智能化利用提供了示例。LangChain 的作者次要面向 AI 编程，能够随时调用不同的接口。例如，在解决非结构化文档或不同模型和产品调用时，LangChain 提供了很好的接口和形式使咱们可能疾速适应不同的利用场景。
然而应用 LangChain 时存在一个问题，随着 Prompt 的一直减少以及集成各种生成式 AI，工作变得更加简单。为了解决这些问题，呈现了 Semantic Kernel。Semantic Kernel 并不仅仅反对.NET，它绝对较轻， 面向利用级开发。它可能更好地治理 Prompt，并将其转化为不同的技能和能力，这在行业利用中十分重要。两个框架都有各自的劣势，具体应用哪个要依据理论状况来定。如果你有丰盛的 AI 教训，LangChain 可能更适宜你，因为它基于作者以往的 AI 教训构建而成。而 Semantic Kernel 在应用层面对开发者更敌对。当初，两个框架都在一直演变和进化，每周都有更新版本公布。这些变动都在一直加强 Prompt、思维链和语义应用的形式。总的来说，我认为这两个框架都是很好的抉择。
比特熊：卢老师能不能持续科普到云原生场景外面去讲一讲。
卢建晖：目前，云原生场景曾经十分广泛，但如何将云原生场景与智能化利用交融是十分重要的一部分。在这方面，咱们必须议论不同的智能化利用。举个例子，最近很多人都在思考如何将技术文档与 ChatGPT 利用场景相结合。在这种智能化场景中，咱们须要解决非结构化文档治理和信息提取等工作，这些都是咱们以前领有的技能，例如 AI 技术。在寻找企业解决方案时，咱们可能须要应用企业级数据，例如在 Azure 上进行认知搜寻或文档搜寻。所以，这些技术是不能漠视的。
另外，对于一些 Serverless 服务，咱们须要依据不同需要将技术细分，例如 Micro Service 和 Azure 的容器利用。咱们能够将文档和档案搁置在一个微服务上，同时利用各种 API。在企业中，一个简略的例子是查问出行天气情况并主动发送邮件给出差人员，咱们能够通过微服务封装 API，将其融入到 GPT 利用中。在前端和后端中，咱们可能须要调用不同的服务，例如在表单中提取信息时可能须要应用 OCR，并联合认知服务的 OCR 场景进行扫描和关键字段提取。当然，当初咱们提取信息更快捷的形式是应用 Open AI，即生成式 AI 的 Prompt 写作，以疾速提取所需信息。这些都是咱们原有的场景，只是退出了智能局部，将咱们的云原生晋升到智能云原生阶段。
对于挪动利用，除了越来越智能化之外，咱们能够在下面触发更多功能。在智能利用中，咱们可能会开发一些 APP 和前端，联合低代码工作和智能化服务，造成更疾速和实用的低代码场景，这也十分必要。比方之前我帮忙教育部门开发的聊天机器人服务，或者随时可发问的服务。能够利用于许多场景，例如语音转文本，从文本中找到咱们所需的知识点，一直整合和拓展，将更多利用场景纳入其中。另外，咱们还在思考如何更好地落地这些技术，例如数据安全和用户体验。在云原生中，Azure 曾经提供了杰出的数据保护，对企业很敌对。所以，倡议大家在应用 OpenAI 服务之外，也尝试应用 Azure 的一整套解决方案，来整合你的智能化的利用。
比特熊：在实际辅助客户这方面，咱们请曾经有很多教训并正在拓展实际的周老师来分享！
周岳：就落地而言，我有一点感触：无论你是企业或组织的管理者（不仅指技术管理者，还包含董事长、CEO），或者是开发者，咱们独特的工作是要一直刷新本人。对于企业管理者而言，在近期接触到许多董事长和 CEO 级别的人后，他们对 GPT 大模型技术的关注启发了我。这个时代的技术曾经降临，不再仅限于技术圈内的人关注和学习，而是从企业角度，从上至下都在关注。因而，我要强调刷新咱们对 GPT 的认知。很多企业可能还在犹豫，认为这只是一个热点或噱头，但我要通知大家不要期待和张望，而是要 口头起来。微软的产品曾经全面采纳了 AI 和 GPT 技术，包含 Office 全家桶、CM 零碎以及云基础设施。我之前接触的一些企业通过培训后，曾经将 GPT 利用灰度公布上线，并将其融入到现有产品中。所以，我要对管理者们说，不要再期待和张望，应该着手口头起来。
对于技术圈的开发者们，我想分享几点新认知。首先，不要认为大模型很难。实际上，如果认真看技术文档，理解 OpenAI 的 API，外围只有两个：提醒词和向量。这样简略的模型却有弱小的能力，上手十分快。有了框架和简洁的 API 文档，开发者们能够尝试将 AI 能力利用于本人的我的项目和产品中。正如豪哥和卢老师介绍的，有了框架和 API 文档的反对，开发者真的能够在本人的我的项目和产品中退出 AI 的能力。因而，咱们说 OpenAI 和 GPT 的呈现值得咱们从新思考和扭转，我感觉这是一种十分理论可行的事件。在我多年的技术工作中，还没有看到一项技术具备如此微小的影响力和后劲。咱们本人的产品曾经退出了 GPT 的能力，如果你们还在犹豫，我倡议你们尝试与 GPT 交换，理解它的能力，看看市面上公开的利用案例。回忆一下本人的产品，只需退出一点 AI 能力，是否能让产品有突破性的变动。在竞争中，如果你们能更快一步，对你们的产品市场价值将有很大的助力。最近两三个月，我接触到许多企业，他们都乐意口头起来，而不仅仅是理解技术而已。这给大家带来了信念，咱们真的要开始口头，不要再期待了。
咱们必须抵赖，GPT 的常识储备曾经超过了任何人，这得益于其宏大的预训练量和 ChatGPT 的威力。GPT 外在的常识曾经十分丰盛，不须要额定增加企业私域常识，这种内置的常识自身曾经十分弱小。通过联合一些业余、职能或业务方面的提醒词，咱们能够让 GPT 具备某个特定方向的人格，使其在某一职能或业务畛域具备专属能力。
这仅仅通过提醒词就能够实现，从而赋能企业。无论你是销售人员、市场人员还是其余业务层面，比方生成文案等，你都能够领有一个专属的行业专家助理。很多企业曾经开始应用这种办法，咱们本人也有相似的产品，并获得了良好的成果。通用人工智能的大模型能力曾经能够利用于企业落地。
像刚刚提到的，有记忆的范式，咱们能够联合企业独有的常识进行开发，这些独有常识可能因为频繁更新或不公开的起因，无奈通过大模型进行训练。但咱们能够利用有记忆的形式开发针对性的利用，比方客服，通过联合企业常识的智能客服或销售机器人，能够产生颠覆性的成果，显著地节省成本。在后面的探讨中，咱们看到了很多通信行业的需要，都能够落地。
比特熊：下面的技术分享肯定给大家带来了不少思考，比特熊故事汇的特色环节也不能少，周老师应该是是始终在这个技术层面深耕，在事业布局方面有什么教训分享吗？
周岳：我不敢自称人生导师，这个责任太重了。我只想分享一些集体认识。咱们很幸运地参加了这个时代的倒退，这个大模型的呈现对咱们来说是十分好的机会。可能在这个直播间的观众中，有些小伙伴比我还年老，我置信对你们来说更有益处。我倡议大家 放弃对技术的敏感性，当一个新技术呈现时，要积极主动地察看和学习。当你验证这个方向可行时，尝试入手去应用它。当初的一些技术门槛越来越低，应用起来非常简单。不像过来一些新技术，须要深度学习等专业知识，很难上手。从大模型时代开始，很多技术变得普适化。不要置身事外，放弃敏感度。置信我，当将来有新技术呈现时，你肯定会受害。
比特熊：卢老师其实是一位真正的老师，有可能你顺手点开直播，就是卢老师在播，感觉卢老师每天的工夫都要超过 24 小时了，个别比特熊 teams 找卢老师，他又是一个十分及时回复的状态，卢老师是怎么做到的呢？
卢建晖：我对技术十分酷爱，也很喜爱技术布道，以 AI 为例，拿到 Azure OpenAI 账号后，我常常花工夫去摸索和游玩。要了解一项技术，首先你必须深刻理解它，所以有时候我会找豪哥，间接给他一段代码说我曾经搞定了，或者我会在下面尝试不同的内容，而后与不同的人探讨。在业余时间，我也会浏览书籍或尝试编写代码。有些人他们会先把一本书看完再写代码，可我会边看边写，这给我带来成就感。我会感到本人始终在学习，包含终日拿着手机看各种内容。
当然，我也会关注一些与技术无关的事件，因为技术要在生活中失去体现。去年我加入了 Build 大会，制作了一些乏味的短视频，其实这些视频是我在短视频平台上看到的段子，想着是否用这种形式推广，所以我本人尝试了一下，成果还不错。所以，你必须在生活中寻找灵感，多去尝试，这样能力取得激情。可能大家会看到我每天都在直播，实际上我也做了很多其余工作，所以须要找到本人的均衡。
比特熊：豪哥讲到产品和技术时思维逻辑都很清晰，他其实以前是一个专门的技术人员哦，是什么促使你从技术转变到 marketing 呢？
许豪：我有一个习惯，就是 打破常规，解脱门路依赖。因为我的性情，我喜爱尝试一些陈腐的事物。技术做得久了，我会思考是否有一些更新的畛域能够学习新的货色，从不同的角度思考问题。以前我从事技术开发，写过一段时间的代码，也做过技术架构方面的工作。起初我转型到市场营销畛域，这是一个很大的跨界。然而我从另一个视角从新扫视技术，就是在做 marketing 时，如何让受众了解技术。这对我来说是一个全新的课题。是否将一些形象的概念，例如大模型，进行解读和了解，而后向受众传播，这会带来不同的体验。整个思维体系建设在本人对事物的了解根底上，对我集体来说也是一种思维上的训练。通过这种 跨界的职业转换，我可能接触到各种各样的视角，从不同的角度对待同一个问题，对我来说十分有吸引力。
比特熊有话说
本期三位嘉宾风采各异，一位是大家都很相熟，屡次全力支持比特熊直播间、多项全能的 卢老师 ；还有全情翻新、长于打破常规、最懂技术的市场人 豪哥 ；为最近大热 Azure OpenAI 所奔忙、产品实际经验丰盛的 周老师！三位的各自经验与技术更新迭代密不可分，能够说他们通过心田酷爱、刷新学习、翻新意识等，与演进中的技术圈子一起向前！
简短的直播表白中，并不足以意识他们的每一面！但对新技术的钻研和激情，行业翻新的敏感摸索，打破常规的怯懦尝试，跟很多开发人和技术从业者身上的闪光点隐隐重叠！
每一个焦急理解技术最新公布、一次次将想法落地实际、一直挑战固有思维的大家，推动了技术向荣，也成就了减速倒退的技术生态！
扫描比特熊个熊微信二维码
退出 【比特熊粉丝后援会】
与开发者一起嗨聊，期待成为你的好友~
点我重温本次直播~