tp下载链接|chatgpt 全称

作者： tp下载链接

2024-03-09 20:27:49

ChatGPT_百度百科

GPT_百度百科网页新闻贴吧知道网盘图片视频地图文库资讯采购百科百度首页登录注册进入词条全站搜索帮助首页秒懂百科特色百科知识专题加入百科百科团队权威合作下载百科APP个人中心ChatGPT播报讨论上传视频OpenAI发布的聊天机器人模型收藏查看我的收藏0有用+10ChatGPT（全名：Chat Generative Pre-trained Transformer），是OpenAI [1]研发的一款聊天机器人程序 [12]，于2022年11月30日发布 [2-3]。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够基于在预训练阶段所见的模式和统计规律，来生成回答，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写论文 [21]、邮件、脚本、文案、翻译、代码等任务。 [2]2023年4月10日，中国支付清算协会倡议支付行业从业人员谨用ChatGPT。 [42]2023年4月12日，此前临时禁止使用ChatGPT的意大利开出了解禁的条件，但13日，西班牙国家数据保护局和法国国家信息自由委员会分别宣布对ChatGPT展开调查。同日，欧洲数据保护委员会宣布成立专门工作组，以促进各国协同调查，并就各数据保护部可能采取的执法措施交流信息 [45]。2023年7月，OpenAI发布公告称给ChatGPT加了一个名为Custom instructions的新功能：在系统层面给聊天机器人定制化一些指令，令机器人更具有个性化特色的同时，更好地贴近使用者的需求。 [70]当地时间7月25日，OpenAI宣布，安卓版ChatGPT已正式上线。 [73]2023年11月，OpenAI前总裁兼董事长Greg Brockman宣布，所有用户均可使用其语音功能ChatGPT Voice。 [83]最新新闻ChatGPT“被查”7分钟前北京时间3月8日上午10时35分，OpenAI官方发布消息称：ChatGPT当前遇到错误率升高的问题，公司正在开展调查。这并非OpenAI首次发布类似消息。2023年11月，OpenAI官方发布一则声明，表示ChatGPT的错误率似乎有所上升，正在展开调查。该消息当时在人工智能领域引起广泛关注和讨论。...详情内容来自软件名称ChatGPT上线时间2022年12月 [34]最近更新时间2023年3月14日 [33]软件语言英文、中文、德文、法文、日文等开发商OpenAI软件版本GPT-4 [33]别名聊天生成预训练转换器 [16]目录1发展历程▪技术逻辑▪核心竞争力▪技术局限性▪相关股票▪新增功能2社会应用3社会影响4规范使用5所获荣誉6相关争议▪禁令与限制▪数据泄露▪官方回应▪诽谤诉讼▪谨慎使用▪展开调查▪使用推特数据▪威胁版权▪编造虚假信息案件▪程序漏洞▪起诉事件▪恋爱骗局▪错误率升高▪撰写维基百科文章▪被欧盟监管▪重大勒索病毒案件发展历程播报编辑ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。 [2]在OpenAI的官网上，ChatGPT被描述为优化对话的语言模型，是GPT-3.5架构的主力模型。ChatGPT具有同类产品具备的一些特性，例如对话能力，能够在同一个会话期间内回答上下文相关的后续问题。然而，其在短时间内引爆全球的原因在于，在网友们晒出的截图中，ChatGPT不仅能流畅地与用户对话，甚至能写诗、撰文、编码。ChatGPT还采用了注重道德水平的训练方式，按照预先设计的道德准则，对不怀好意的提问和请求“说不”。一旦发现用户给出的文字提示里面含有恶意，包括但不限于暴力、歧视、犯罪等意图，都会拒绝提供有效答案。 [1]2022年11月底，人工智能对话聊天机器人ChatGPT推出，迅速在社交媒体上走红，短短5天，注册用户数就超过100万。 [9]2023年一月末，ChatGPT的月活用户已突破1亿，成为史上增长最快的消费者应用。 [14]2023年2月2日，美国人工智能（AI）公司OpenAI发布ChatGPT试点订阅计划——ChatGPT Plus。ChatGPT Plus将以每月20美元的价格提供，订阅者可获得比免费版本更稳定、更快的服务，及尝试新功能和优化的优先权。 [7]2023年2月2日，微软官方公告表示:旗下所有产品将全线整合ChatGPT，除此前宣布的搜索引擎必应、Office外，微软还将在云计算平台Azure中整合ChatGPT，Azure的OpenAI服务将允许开发者访问AI模型。 [9]2023年2月3日消息，IT行业的领导者们担心，大名鼎鼎的人工智能聊天机器人ChatGPT，已经被黑客们用于策划网络攻击时使用。 [8]黑莓（Black Berry）的一份报告调查了英国500名IT行业决策者对ChatGPT这项革命性技术的看法，发现超过四分之三（76%）的人认为，外国已经在针对其他国家的网络战争中使用ChatGPT。近一半（48%）的人认为，2023年，将会出现有人恶意使用ChatGPT而造成“成功”的网络攻击。 [8]当地时间2023年2月2日，ChatGPT的开发公司——美国人工智能公司OpenAI顺势推出了这一应用程序的付费订阅版本。 [11]2023年2月7日，微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎Bing（必应）和Edge浏览器。微软CEO表示，“搜索引擎迎来了新时代”。 [18]8日凌晨，在华盛顿雷德蒙德举行的新闻发布会上，微软宣布将OpenAI传闻已久的GPT-4模型集成到Bing及Edge浏览器中。 [17]2023年2月16日消息，微软在旗下必应搜索引擎和Edge浏览器中整合人工智能聊天机器人功能的举措成效初显，71%的测试者认可人工智能优化后的必应搜索结果。 [23]2023年2月16日，百炼智能潜客宝团队在进行了市场调研之后，决定集成以“内容生成和智能互动”见长的ChatGPT，正式上线智能营销助理。 [26]2023年2月27日消息，Snapchat正在推出一个基于OpenAI的ChatGPT最新版本的聊天机器人。 [24]这款名为“My AI”的机器人将被固定在应用界面的聊天选项卡上，虽然最初仅适用于每月3.99美元的SnapchatPlus付费订阅用户，但最终目标是让Snapchat的7.5亿月活跃用户都可以使用该机器人 [25]2023年3月15日，OpenAI正式推出GPT-4。GPT-4是多模态大模型，即支持图像和文本输入以及文本输出，拥有强大的识图能力，文字输入限制提升到了2.5万字。GPT-4的特点在于，第一，它的训练数量更大；第二，支持多元的输出输入形式；第三，在专业领域的学习能力更强。 [28]2023年3月，谷歌宣布，ChatGPT——Bard正式开启测试。 [30]2023年3月24日，OpenAI宣布ChatGPT支持第三方插件，解除了其无法联网的限制。 [31]2023年4月，ChatGPT已停止Plus付费，OpenAI给出的理由是需求量太大 [40]。2023年4月23日消息，ChatGPT聊天机器人可以根据用户的输入生成各种各样的文本，包括代码。但是，加拿大魁北克大学的四位研究人员发现，ChatGPT生成的代码往往存在严重的安全问题，而且它不会主动提醒用户这些问题，只有在用户询问时才会承认自己的错误。 [49]2023年5月16日，《放射学》出版，加拿大科学家在杂志上刊登新论文称，最新版本的ChatGPT通过了美国放射学委员会的考试，突出了大型语言模型的潜力，但它也给出了一些错误答案，表明人们仍需对其提供的答案进行核查。 [52]当地时间2023年5月18日，OpenAI官网宣布推出iOS版ChatGPT应用，该应用可免费使用，并在不同设备间同步用户的历史记录。该应用还集成了OpenAI开源语音识别系统Whisper，支持语音输入。此外，ChatGPT Plus付费订阅用户可以独家使用GPT-4功能。 [53]同日，在上架不到12小时后，ChatGPT应用冲到了App Store美国免费APP排行第二的位置。 [54]截至5月23日，该应用美国市场下载量达55万次。 [61]2023年5月24日消息，微软正全面与ChatGPT对接。 [58]2023年5月25日，OpenAI表示，ChatGPT的APP已在阿尔巴尼亚、克罗地亚、法国、德国、爱尔兰、牙买加、韩国、新西兰、尼加拉瓜、尼日利亚和英国等国家和地区的App Store上线。 [59]2023年6月1日消息，HumanLoop的创始人Raza Habib表示，OpenAI计划在2023年内对GPT-4进行升级，使其变得更便宜、更快速，并能够支持输入更多的文字。此外，OpenAI还将会在2024年GPU算力瓶颈突破之后向更多用户公开多模态功能。 [62]2023年6月10-11日，2023全球人工智能技术大会（GAITC 2023）在杭州举办，专家学者在大会上对ChatGPT开展深度探讨。 [64]2023年7月5日，据路透社报道，分析公司相似网站称，2022年11月推出的爆款人工智能聊天机器人ChatGPT的网站月度访问量和独立访客在2023年6月首次下降。 [68]2023年7月，OpenAI宣布推出定制指令功能，以便客户更好地控制ChatGPT的回应方式。 [69]2023年7月，OpenAI发布公告称给ChatGPT加了一个名为Custom instructions的新功能。 [70]2023年7月22日，OpenAI宣布，下周将发布ChatGPT安卓APP，即日起可以在谷歌商店预约下载。 [71-72]当地时间2023年7月25日，OpenAI宣布，安卓版ChatGPT已正式上线，美国、印度、孟加拉国和巴西四国的安卓用户已经可进行下载，并计划拓展到更多地区。 [73]当地时间2023年9月25日，OpenAI官网宣布推出新版ChatGPT，增加了语音输入和图像输入两项新功能。 [79]当地时间2023年11月6日，OpenAI在官网宣布推出自定义版本ChatGPT。 [81]2023年11月，OpenAI前总裁兼董事长Greg Brockman宣布，所有用户均可使用其语音功能ChatGPT Voice。 [83]2024年2月14日，聊天机器人ChatGPT的开发公司OpenAI宣布，该公司正在测试一种选项，用户可以命令ChatGPT从某次交流到下一次交流的具体信息。ChatGPT能够自动确定应该记住与用户对话中的哪些信息。 [95]技术逻辑结合ChatGPT的底层技术逻辑，有媒体曾列出了中短期内ChatGPT的潜在产业化方向：归纳性的文字类工作、代码开发相关工作、图像生成领域、智能客服类工作。 [5]核心竞争力ChatGPT受到关注的重要原因是引入新技术RLHF（Reinforcement Learning with Human Feedback，即基于人类反馈的强化学习）。RLHF解决了生成模型的一个核心问题，即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。ChatGPT是AIGC（AI-Generated Content，人工智能生成内容）技术进展的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。 [6]技术局限性ChatGPT的使用上还有局限性，模型仍有优化空间。ChatGPT模型的能力上限是由奖励模型决定，该模型需要巨量的语料来拟合真实世界，对标注员的工作量以及综合素质要求较高。ChatGPT可能会出现创造不存在的知识，或者主观猜测提问者的意图等问题，模型的优化将是一个持续的过程。若AI技术迭代不及预期，NLP模型优化受限，则相关产业发展进度会受到影响。此外，ChatGPT盈利模式尚处于探索阶段，后续商业化落地进展有待观察。 [6]太平洋夏季时间2023年8月31日22点11分，OpenAI更新事故报告称，ChatGPT未付费用户遇到的问题已得到解决。该公司35分钟前报告称，ChatGPT服务严重降级，许多未付费用户遭遇该问题，其已查明问题所在，正在努力修复。 [78] 相关股票2023年3月22日，ChatGPT概念午后持续走强，截至14:03，该概念上涨4.78%，相关个股方面，开普云上涨15.32%，工业富联上涨10%，中文在线上涨9.09%，昆仑万维、吉宏股份等个股跟涨。 [29]新增功能2024年3月5日，ChatGPT 推出了名为“朗读”(Read Aloud) 的新功能。该功能可以让 ChatGPT 用五种不同的声音朗读其回复，旨在为用户提供更加便捷的交互体验。“朗读”功能已上线 ChatGPT 的网页端、iOS 和安卓应用。 [97]社会应用播报编辑一项调查显示，截止2023年1月，美国89%的大学生都是用ChatGPT做作业。 [4]2023年1月，巴黎政治大学（Sciences Po）宣布，该校已向所有学生和教师发送电子邮件，要求禁止使用ChatGPT等一切基于AI的工具，旨在防止学术欺诈和剽窃。 [3]ChatGPT的应用场景还包括：用来开发聊天机器人，也可以编写和调试计算机程序，还可以进行文学、媒体相关领域的创作，包括创作音乐、电视剧、童话故事、诗歌和歌词等。在某些测试情境下，ChatGPT在教育、考试、回答测试问题方面的表现甚至优于普通人类测试者。 [6]2023年2月4日消息，以色列总统艾萨克·赫尔佐格（Isaac Herzog）周三发表了部分由人工智能（AI）撰写的演讲，成为首位公开使用ChatGPT的世界领导人。 [10]2023年2月7日消息，Take-Two Interactive的首席执行官斯特劳斯·泽尔尼克（Strauss Zelnick）表示：ChatGPT是“一个非常激动人心的新工具时代”的一部分，可以“让团队和竞争对手的团队更有效地做真正有趣的事情”，但这项技术不会彻底改变电子游戏行业。 [13]2023年2月8日，微软宣布推出由ChatGPT支持的最新版本搜索引擎必应。 [15]2023年3月11日，三星DS部门开始允许员工使用ChatGPT，但在不到20天的时间里就发生了三起机密信息泄漏事件，其中2起与半导体设备有关，另外1起与会议内容有关。 [38]2023年4月21日消息，ChatGPT将帮助日本更新用于填写补贴和公共援助申请的在线手册。 [60]2023年4月21日消息，根据里奇蒙德联储和佛罗里达大学两项研究，OpenAI的ChatGPT成功识别联邦储备委员会声明的含义，并根据新闻内容提供投资建议，并且其倡导将LLMs纳入投资决策中，这检验了他们情感分数预测力的预测性能力。 [60]2023年5月24日，据《香港经济日报》报道，在ChatGPT及AI技术加持下，微软Build 2023开发者大会上，宣布必应搜索纳入OpenAI的ChatGPT。 [57]2023年6月5日消息，日本全国地方政府中率先在工作时尝试采用人工智能聊天软件“ChatGPT”的神奈川县横须贺市公布验证结果称，开始利用的4月以后制作文案等工作效率有所提升。从当天起转为正式利用。 [63]2023年7月27日消息，微软将向日本政府提供ChatGPT技术，用于文书工作和分析，包括起草回应议会质询的草案。为了处理机密信息，微软最近在东京和大阪的数据中心安装了用于生成式人工智能的高处理能力设备，这也是该技术首次在亚洲部署。 [74]据智度股份官微2023年8月11日消息，全球首款ChatGPT音箱，将由VIFA于8月17日全球首发。 [76]当地时间2023年8月28日，OpenAI在官网宣布推出企业版ChatGPT，将提供企业级安全和隐私保护、无限高速的GPT-4访问、处理更长输入的上下文窗口、高级数据分析能力、定制选项等等。据该公司介绍，自ChatGPT推出九个月以来，超过80%的财富500强公司团队已采用该产品。 [77]2023年11月7日，在首届OpenAI开发者大会上，OpenAI宣布允许用户构建自定义版ChatGPT完成特定的个人和专业任务。用户能快速创建自己专用版本的ChatGPT，可以用于帮助教孩子数学或解释棋盘游戏的规则。 [82]2023年12月14日消息，新闻出版巨头施普林格出版集团（Axel Springer）与ChatGPT开发机构OpenAI宣布达成一项史无前例的协议，允许ChatGPT对来自Politico和Business Insider等媒体的新闻文章进行总结摘要。 [89]社会影响播报编辑截至2023年2月，这款新一代对话式人工智能便在全球范围狂揽1亿名用户，并成功从科技界破圈，成为历史上增长最快的消费者应用程序 [22] [32]。规范使用播报编辑2023年2月，媒体报道，欧盟负责内部市场的委员蒂埃里·布雷东日前就“聊天生成预训练转换器”发表评论说，这类人工智能技术可能为商业和民生带来巨大的机遇，但同时也伴随着风险，因此欧盟正在考虑设立规章制度，以规范其使用，确保向用户提供高质量、有价值的信息和数据。 [12]2023年3月，全国人大代表、科大讯飞董事长刘庆峰提出：类ChatGPT可能是人工智能最大技术跃迁，应当加快推进中国认知智能大模型建设，在自主可控平台上让行业尽快享受AI红利，让每个人都有AI助手。 [27]2023年6月，据香港《南华早报》报道，香港教育局已将人工智能技术和ChatGPT聊天机器人纳入学校课程。 [65]所获荣誉播报编辑2023年12月，当选《自然》杂志年度科学人物。 [88]2023年12月，入选2023全球十大工程成就。 [90]2023年12月，”ChatGPT”当选“汉语盘点2023”活动年度国际词。 [91]2024年1月，“ChatGPT”进高校入选2023年中国大学改革十大主题词。 [94]相关争议播报编辑禁令与限制多家学术期刊发表声明，完全禁止或严格限制使用ChatGPT等人工智能机器人撰写学术论文。 [20]当地时间2023年3月31日，意大利个人数据保护局宣布，从即日起禁止使用聊天机器人ChatGPT，并限制开发这一平台的OpenAI公司处理意大利用户信息。同时个人数据保护局开始立案调查。 [35]一方面，个人数据保护局认为，3月20日ChatGPT平台出现了用户对话数据和付款服务支付信息丢失的情况。而该平台却并没有就收集处理用户信息进行告知，且缺乏大量收集和存储个人信息的法律依据。另一方面，该机构还指责，尽管根据OpenAI的条款声称该服务面对13岁以上的用户，但他们并没有使用任何过滤机制来验证用户的年龄。 [37]当日晚些时候，OpenAI表示已在意大利将ChatGPT下线。 [36]2023年5月，三星电子发现员工将敏感的代码上传到ChatGPT后，宣布禁止使用此类生成式人工智能工具，该技术在工作场所的广泛应用遭遇阻碍。 [50]2023年5月，据美媒报道，苹果已限制在公司内使用ChatGPT和其他外部AI工具。 [55]据共同社6月22日报道，知情人士22日透露，日本文部科学省计划实施新的指导方针，指示小学、初中和高中禁止学生在考试中使用聊天生成预训练转换器（ChatGPT）等生成式人工智能（AI）软件。 [66]数据泄露2023年4月4日，综合多家媒体报道，自3月11日韩国三星电子允许部分半导体业务部门员工使用ChatGPT开始，在20天内便爆出了三起机密资料外泄事件。三起机密资料外泄案件中，其中两起与半导体设备有关，另一起与内部会议有关。 [39]IT之家2023年12月5日消息，谷歌DeepMind研究人员上周发现，反复要求OpenAI的ChatGPT重复某个单词可能会无意中泄露其训练数据中的私人个人信息。而现在这款聊天机器人似乎已经开始拒绝重复某个单词，而之前根据其服务条款这是被允许的。 [86]官方回应使用ChatGPT完成作业和写论文是不道德和不健康的学习方式。学生们需要学会自主思考，理解知识并自己动手完成作业。使用ChatGPT完成作业只能短暂地帮助学生获得分数，但不能提高他们的学习能力和知识水平。 [19]对于意大利个人数据保护局暂时禁止使用ChatGPT一事，OpenAI回应称：其工作是“为了在训练ChatGPT等人工智能系统时减少个人数据，因为我们希望人工智能了解世界，而不是了解个人。”该公司表示愿与意大利个人数据保护局密切合作。 [36]诽谤诉讼2023年4月，据路透社报道，澳大利亚墨尔本西部赫本郡的市长布莱恩•胡德指控OpenAI旗下的ChatGPT对其进行诽谤，或将对该公司提起诉讼，因为该聊天机器人在回答问题时错误地声称他在一桩贿赂丑闻中有罪。一旦正式提起，这将是全球首例针对生成式AI的诽谤诉讼。 [41]谨慎使用2023年4月10日，中国支付清算协会表示，近期，ChatGPT等工具引起各方广泛关注，已有部分企业员工使用ChatGPT等工具开展工作。但是，此类智能化工具已暴露出跨境数据泄露等风险。为有效应对风险、保护客户隐私、维护数据安全，提升支付清算行业的数据安全管理水平，根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》等法律规定，中国支付清算协会向行业发出倡议，倡议支付行业从业人员谨慎使用ChatGPT。 [42]2023年3月27日，日本上智大学在其官网上发布了关于“ChatGPT和其他AI聊天机器人”的评分政策。该政策规定，未经导师许可，不允许在任何作业中使用ChatGPT和其他AI聊天机器人生成的文本、程序源代码、计算结果等。如果发现使用了这些工具，将会采取严厉措施。 [43]2023年4月3日，东京大学在其内部网站上发布了一份题为“关于生成式人工智能”的文件，文件指出，“报告必须由学生自己创造，不能完全借助人工智能来创造”。 [43]2023年4月7日，京都大学的入学仪式上，该大学校长凑长博表示，“人工智能生成的论文有很多问题，写作需要耗费大量精力，但它会加强你的心态和思考能力。” [43]日本东北大学在其官方网站上发布了一份关于使用生成式人工智能的通知，并敦促教师们重新思考如何布置作业和如何进行考试。例如，它建议“在布置练习和报告之前检查人工智能将如何回答”，以及“改用要求学生在课堂上写作的考试形式”。 [43]展开调查2023年4月消息，法国国家信息与自由委员会（CNIL）接到有关OpenAI公司旗下聊天机器人ChatGPT的数份投诉，投诉认为ChatGPT违反《欧盟个人信息保护条例》（RGPD），涉嫌侵犯用户隐私、捏造不实信息。该委员会正在就接到的ChatGPT相关投诉展开调查。 [44]2023年4月13日，欧盟中央数据监管机构欧洲数据保护委员会（EDPB）表示，正在成立一个特别工作组，帮助欧盟各国应对广受欢迎的人工智能聊天机器人ChatGPT，促进欧盟各国之间的合作，并就数据保护机构可能采取的执法行动交换信息。 [46]使用推特数据2023年4月，埃隆·马斯克在推特表示，称ChatGPT使用推特数据训练。 [47]威胁版权北京时间2023年4月20日消息，代表14万多名作家和表演者的42家德国协会和工会周三敦促欧盟强化人工智能（AI）规则草案，因为ChatGPT对他们的版权构成了威胁。 [48]编造虚假信息案件2023年5月，据甘肃公安官微消息，平凉市公安局网安大队侦破一起利用AI人工智能技术炮制虚假不实信息的案件。这也是自1月10日《互联网信息服务深度合成管理规定》颁布实施后，甘肃省侦办的首例案件。 [51]程序漏洞2023年3月23日消息，ChatGPT出现严重技术漏洞，用户在社交媒体上表示看到了其他人的历史搜索记录标题。ChatGPT之父Sam Altman在访谈中表示，人工智能（AI）技术将重塑社会，他认为AI会带来危险。 [56]起诉事件2023年，两位美国作家对ChatGPT母公司OpenAI提起诉讼，声称OpenAI在没有获得版权授权的情况下，就利用他们的作品来训练其人工智能。 [67]2023年6月28日，第一起具有代表性的ChatGPT版权侵权之诉，终于出现在了公众视野。两名作家在美国加州北区法院，对Open AI公司发起了版权集体诉讼，指控后者未经授权利用自身享有版权的图书训练ChatGPT，谋取商业利益。 [75]当地时间2023年12月20日，包括泰勒·布兰奇和史戴西·希夫在内的11名美国作家在纽约曼哈顿联邦法院起诉美国人工智能公司“开放人工智能研究中心”（OpenAI）和微软，指控其滥用他们的作品来训练聊天机器人ChatGPT。 [92]2023年12月，纽约时报公司起诉微软和OpenAI，指控它们利用该公司内容帮助开发人工智能（AI）服务，这一事件反映出媒体与一项可能颠覆新闻行业的技术之间的关系正变得日益紧张 [93]。恋爱骗局2023年10月，安全软件Avast在官方博客上公开了其最新的发现：一种“恋爱骗局”。据介绍，不法分子会利用 ChatGPT来创建虚假的约会、交友资料，它甚至可以绕过相关App的安全措施，并能完成点赞、回复潜在对象、创建“可信的”个人资料：从热情洋溢的诗人到阳光开朗的旅游爱好者都不在话下。 [80]错误率升高太平洋标准时间2023年11月23日上午6时31分，OpenAI更新运行情况说明称，ChatGPT的错误率升高，正在开展调查。 [84]北京时间2024年3月8日上午10时35分（太平洋标准时间3月7日18时35分），OpenAI官方发布消息称：ChatGPT当前遇到错误率升高的问题，公司正在开展调查。 [98]撰写维基百科文章IT之家2023年11月27日消息，维基百科创始人吉米・威尔士（Jimmy Wales）认为，OpenAI开发的人工智能聊天机器人ChatGPT在写维基百科文章方面是一团糟。 [85]被欧盟监管财联社2023年12月7日电，欧盟接近达成一项里程碑式法案，对ChatGPT和其他人工智能技术进行监管。 [87]重大勒索病毒案件2023年12月消息，杭州上城区网警成功侦破一起重大勒索病毒案件。据了解，犯罪团伙成员均具备网络安防相关资质，并在实施犯罪过程中利用ChatGPT优化木马程序。2023年11月20日，某公司报案称其服务器遭勒索病毒攻击，导致系统无法正常运行，还被要求支付2万美元（约14.3万元人民币）赎金。 [96]警方成立技术攻坚团队进行侦查并锁定2名犯罪嫌疑人。2023年11月30日，在内蒙古自治区呼和浩特市抓获韩某和祁某，次日在北京抓获同案犯罪嫌疑人李某和郝某。该团伙的4名犯罪嫌疑人均有网络安防相关资质，并且都曾在大型网络科技公司工作过。 [96]据犯罪嫌疑人供述，“他们分工编写勒索病毒版本”，“借助ChatGPT进行程序优化”，“开展漏洞扫描”，“渗透获取权限”，“植入勒索病毒”等犯罪事实已经全部被证实。 [96]新手上路成长任务编辑入门编辑规则本人编辑我有疑问内容质疑在线客服官方贴吧意见反馈投诉建议举报不良信息未通过词条申诉投诉侵权信息封禁查询与解封©2024 Baidu 使用百度前必读 | 百科协议 | 隐私政策 | 百度百科合作平台 | 京ICP证030173号京公网安备110000020000

ChatGPT 中，G、P、T 分别是什么意思？ - 知乎

ChatGPT 中，G、P、T 分别是什么意思？ - 知乎首发于其它技术区切换模式写文章登录/注册ChatGPT 中，G、P、T 分别是什么意思？赵青青网易游戏高级游戏开发工程师到底它为什么叫做 ChatGPT 呢？先说 GPT：Generative Pre-Training Transformer

Generative 生成式虽然我们已经习惯了话唠的机器人絮絮叨叨的说个不停，但这只是众多的人工智能模型的一种方式。比如还有识别类的（Congnition）：人脸识别，车牌识别这些，还有语音识别，文字识别各种识别任务。（在提到模型的时候，也常常被叫做判别模型，discriminative）。Generative 这个大的种类里面有几个小分支，DALLE 的画图的用的是对抗网络方式 GAN （这个晚些可以分析），现在最火的Stable Diffusion， MidJourney 走向了另外一个分支，叫做 Difusion，而 ChatGPT 又是一个分支，就是转换器 Transformer。而 Transformer Generative 的语言模型的核心，通俗的说就是「顺口溜」。当看了足够多的文本以后，发现有一些语言模式是反复出现的。它之所以可以准确的填补「锄禾日当__ 」的空格，不是因为它在自己的大脑子里面重构了一副农民劳动的场景，仅仅是不过脑子，顺口溜出来的。你问它： 3457 * 43216 = ，它回答 149575912 （这是错的。正确结果是 149397712）。之所以结果的 2 是对的，仅仅因为它读了太多的文字资料以后，隐约感觉到7 结尾的文字，乘号，6 结尾的文字，和 2 结尾的文字比较「押韵」从语感上比较像一首诗，所以它就学会了这样的文字，而不是学会了计算。生成式模型努力解决的问题，就是给定一些字，预测如果是人类会写什么字。在 BERT 那个年代，为了训练，大家常常把一句话中随机几个单词遮起来，让计算机用现有的模型预测那几个单词，如果预测准了，就继续加强，如果预测错了，就调整模型，直到上百万上亿次训练之后越来越准。只不过 ChatGPT 的 Generative 的部分，不仅仅把文字，还把上下文、intention（意图）也放进去做训练和预测。

Pre-Training 预训练以前很多的人工智能模型都是为了一个目标训练的。比如给我 1000 张猫的照片，我就很容易的可以训练出来一个模型，判断一个图片是有猫还是没有猫。这些都是专用的模型。而 Pre-Training 模型不是为了特定的目标训练，而是预先训练一个通用的模型。如果我有特定的需求，我可以在这个基础上进行第二次训练，基于原来已经预训练的模型，进行微调（Fine- Tuning）。这事儿就像家里请了个阿姨，她已经被劳务公司预训练了整理家务的知识，在此之前已经被小学老师预训练了中文对话，到了我家里面我只要稍微 fine tune 一些我家里特定的要求就好了，而不需要给我一个「空白」的人，让我从教汉语开始把她彻底教一遍才能让她干活。ChatGPT 的预训练就是给了我们所有人（尤其是创业者，程序员）一个预先训练好的模型。这个模型里面语言是强项，它提供的内容无论多么的胡说八道，至少我们必须承认它的行文通畅程度无可挑剔。这就是他 pre-training 的部分，而回答的内容部分，正是我们需要 fine tuning 的。我们不能买了个 Apache 服务器回来，不灌内容，就说他输出的内容不够呀。

Transformer 转换器变电器就是一种 transformer：220伏电进，12伏出。语言的转换器就是把语言的序列作为输入，然后用一个叫做编码器 encoder 的东西变成数字的表现（比如 GPT 就用 1536 个浮点数（也叫 1536 维向量）表示任何的单词，或者句子，段落，篇章等），然后经过转化，变成一串新的序列，最后再用 decoder 把它输出。这个转换器，是这个自然语言处理的核心。比如如果给 ChatGPT 输入「Apple」这个词，它给你返回[ 0.0077999732, -0.02301609, -0.007416143, -0.027813964, -0.0045648348, 0.012954261,.....0.021905724, -0.012022103, -0.013550568, -0.01565478, 0.006107009]这 1536 个浮点数字来表示 Apple（其中一个或着多个维度的组合表达了「甜」的含义，另外一堆表达了「圆」的含义，还有一大堆共同表达了「红」等等属性组合，至于具体哪些表达了这些，不得而知）然后这堆数字，再交给 decoder，并且限定中文的话，它会解码成为「苹果」，限定西班牙语的话，它会解码成「manzana」，限定为 emoji 的话，就输出「」。总之，通过编码，转换，解码，它就完成了从 Apple 到目标输出语言的转化。ChatGPT 所做的事情远远多于翻译。但核心上，它就是把一个语言序列，转换为了另外一堆语言序列，这个任务完成得如此的好，以至于让人产生了它有思想的错觉。

GPT 生成式预训练转化器把上面三段话加在一起，GPT 就是一个预先训练好的，用生成的方式，把输入文字转化成输出文字的翻译除了这个以外的各种能力和各种定义，大多数是这个翻译官的应用场景而不是它本身。

ChatGPT 是啥？刚才解释了 GPT，那 ChatGPT 呢？OpenAI 用这个名字描述他们正在做的这个模型，历史的版本包括 GPT-1， GPT-2（这个模型是开源的），GPT-3（这个就是传说中 175B 参数的大模型）。而这些都是生成式的，也就是给的 prompt（提示词），它负责补全（completion）。但是这个东西用于聊天不是很好用，因为本来就不是为聊天这个场景准备的。所以在 GPT-3 基础上发展出了下一代模型 InstructGPT，专注于让这个模型可以听懂指令。在上面继续发展出了 ChatGPT，就是对于对话场景，比如多轮对话，还有一些安全边界设定等，进行了加强。但这个模型是基于 GPT-3 上面的，可以说严格意义是 GPT-3 模型上面的一个微调（Fine Tuning）的产物。希望这样梳理可以帮助大家了解这个奇怪的名字背后的思考。从这个角度来说，这是少有的几个准确的描述了它是什么的一个名字（和 Web3 这个名字产生鲜明对比）欢迎转发给对 ChatGPT 感兴趣的朋友。欢迎专业人士指正（我其实不懂自然语言处理里面的细节）

原文链接：https://mp.weixin.qq.com/s/vXoYeA7w6l_WiKmDHogdTA编辑于 2023-02-28 23:07・IP 属地广东chat GPTOpenAI人工智能赞同 1377 条评论分享喜欢收藏申请转载文章被以下专栏收录其它技术区其它技

浅谈ChatGPT - 知乎

浅谈ChatGPT - 知乎首发于Productivity切换模式写文章登录/注册浅谈ChatGPTlemonTree全干工程师ChatGPT概述ChatGPT是一种自然语言处理模型，ChatGPT全称Chat Generative Pre-trained Transformer，由OpenAI开发。它使用了基于Transformer的神经网络架构，可以理解和生成自然语言文本。ChatGPT是当前最强大和最先进的预训练语言模型之一，可以生成具有逻辑和语法正确性的连贯文本。它在自然语言处理的各个领域，例如对话生成、文本分类、摘要生成和机器翻译等方面都取得了非常优秀的成绩。ChatGPT的成功表明，预训练语言模型已经成为自然语言处理领域的主流技术之一ChatGPT原理ChatGPT从领域上是属于自然语言处理（Natural Language Processing），简称NLPNLP的主要目标是使计算机能够理解、分析、操作人类语言，从而实现更加智能化的自然语言交互NLP主要内容包括以下：语音识别：将人的语音转换成可被计算机理解的文本形式。语言理解：理解人类语言的含义，包括语法、词汇、语义和上下文。机器翻译：将一种语言的文本自动转换成另一种语言的文本。信息检索：在大量文本数据中查找相关信息。文本分类：将文本数据分成不同的类别。命名实体识别：从文本数据中识别出具有特定名称的实体，例如人名、地名、公司名等。信息抽取：从文本数据中抽取出有用的信息，例如时间、地点、事件等。情感分析：分析文本数据中的情感倾向，例如正面、负面或中立等。文本生成：自动产生新的文本数据，例如文章、诗歌等。其中ChatGPT在语言理解、机器翻译、文本分类、信息抽取、文本生成方面表现相当优秀目前NLP的主流解决技术方案是人工智能，人工智能的技术要素包括数据、算法、算力、模型。他们的关系为通过数据、算法、算力求模型，通俗地理解为如同人类一样用数据找到规律。人工智能区别于传统编程开发，传统编程开发是用已知规律求数据ChatGPT是一个模型，是通过数据、算法、算力求得的一个模型，其中数据、算法、算力具体内容为：数据：ChatGPT使用了大量的自然语言文本数据进行预训练，包括维基百科、BookCorpus等。算法：ChatGPT使用了Transformer算法，这是一种基于自注意力机制的神经网络模型，能够有效地处理自然语言文本数据算力：为了训练和使用ChatGPT模型，需要大量的计算资源，包括GPU和分布式计算框架等。具体来说，OpenAI在训练13亿参数的GPT-3模型时使用了数千个GPU和TPU其原理主要包括以下几个方面：Transformer结构：ChatGPT使用了Transformer结构作为其基本架构，通过自注意力机制实现了对输入序列的编码和对输出序列的解码。预训练：ChatGPT使用了大规模语料库进行了预训练，从而学习到了大量的语言知识，包括词汇、语法和语义等。微调：ChatGPT在预训练的基础上，通过针对具体任务进行微调，从而实现了在特定任务上的优秀表现。无监督学习：ChatGPT通过无监督学习的方式进行训练，即在不需要人工标注数据的情况下，通过最大化语言模型的似然函数来训练模型，从而实现了对语言知识的自动学习。那么ChatGPT模型是如何训练的呢ChatGPT模型的主要训练流程可以概括为以下几个步骤：数据准备：准备大规模的文本数据作为训练数据集模型设计：采用Transformer架构，构建多层的编码器-解码器结构，并采用自注意力机制实现对文本的建模模型初始化：使用随机初始化的参数，构建初始的模型模型训练：采用大规模的文本数据集对模型进行训练，以最小化损失函数为目标，让模型逐步学习输入文本的规律模型评估：对训练好的模型进行评估，通常采用困惑度（perplexity）等指标来衡量模型的性能模型微调：通过对模型参数进行微调，进一步提高模型的性能模型部署：将训练好的模型部署到应用场景中，实现自然语言生成、问答等功能为什么ChatGPT在语言理解、机器翻译、文本分类、信息抽取、文本生成方面表现相当优秀？其中重要的一个原因是预训练，相当于人类的通识教育预训练的文本数据集包括维基百科、书籍、期刊、Reddit链接、Common Crawl和其他数据集，主要语言为英文，中文只有5%，ChatGPT-3预训练数据量达45TB，参数量1750亿，对应成本也非常高，GPT-3 训练一次的费用是 460 万美元，总训练成本达 1200 万美元注：参数量指的是模型中需要学习的可调整参数的数量，也就是神经网络中各层之间的连接权重和偏置项的数量之和。在深度学习中，参数量通常是衡量模型规模和容量的重要指标，一般来说参数量越多，模型的表达能力也就越强ChatGPT应用场景ChatGPT的优势和限制ChatGPT的优势包括：高度的自然语言处理能力：ChatGPT使用了深度学习的方法，可以对自然语言进行高度理解和处理，从而在回答问题和生成文本方面具有很高的准确性和流畅性大规模预训练模型：ChatGPT使用了大规模预训练模型，能够学习到大量的自然语言数据，从而提高了模型的表现和效果可扩展性和可定制性：ChatGPT的架构和预训练模型可以轻松地进行扩展和定制，以适应不同的自然语言处理任务和应用场景ChatGPT的限制包括：需要大量的数据和计算资源：由于ChatGPT使用了大规模的预训练模型，因此需要大量的数据和计算资源进行训练和调优对话质量受限于数据质量：ChatGPT的对话质量受限于使用的数据集质量，如果数据集中存在噪声或错误，可能会对模型的表现和效果产生负面影响存在一定的误差率：尽管ChatGPT的表现很优秀，但由于自然语言处理的复杂性，它仍然存在一定的误差率，需要进行不断的优化和改进实践案例官网例子 https://platform.openai.com/examples官网提供了多种编程语言的SDK接入 https://platform.openai.com/docs/libraries常见问题使用 ChatGPT 需要付费吗？ChatGPT 的研究预览是免费的。ChatGPT 是如何工作的？ChatGPT 是基于 GPT-3.5 进行微调的语言模型，其目的是生成文本。通过使用强化学习与人类反馈（RLHF）的方法，ChatGPT 被优化为对话模型。该方法利用人类演示和偏好比较来指导模型朝着所需的行为方向发展。为什么人工智能似乎如此真实和逼真？这些模型是在大量来自人类撰写的互联网数据上进行训练的，包括对话，因此它提供的回复可能听起来像人类一样。重要的是要记住，这是系统设计的直接结果（即最大化输出与模型训练数据集之间的相似性），这样的输出有时可能是不准确的、不真实的，或者具有误导性。我能相信人工智能告诉我的真相吗？ChatGPT 未连接到互联网，偶尔可能会产生错误的答案。它对于2021年之后的世界和事件的了解有限，并且有时可能会提供有害的指令或有偏见的内容。我们建议检查模型的响应是否准确。如果您发现回答不正确，请使用“反对”按钮提供反馈。谁可以查看我的对话？作为我们致力于安全和负责任的人工智能的一部分，我们会审核对话，以改善我们的系统，并确保内容符合我们的政策和安全要求。您会使用我的对话来进行培训吗？是的。我们的人工智能培训师可能会审核您的对话，以改善我们的系统。您能删除我的数据吗？是的，请按照数据删除流程操作。您能删除特定的提示吗？不可以，我们无法从您的历史记录中删除特定的提示。请不要在对话中分享任何敏感信息。我可以查看我的对话记录吗？我如何保存我进行过的对话？是的，您现在可以查看并继续您过去的对话。翻译自官方常见问题 https://help.openai.com/en/articles/6783457-chatgpt-general-faq参考链接https://openai.com/blog/chatgpt为什么ChatGPT仿如十万个为什么回答机?https://www.zhihu.com/question/570431477https://mdnice.com/writing/367eff477f6644a5b4c50301a443018eChatGPT是怎样被训练出来的？https://mp.weixin.qq.com/s?__biz=MzI4MDYzNzg4Mw==&mid=2247554744&idx=2&sn=3b93ca4720cd86fb13978d40a2c691c6&chksm=ebb72e6cdcc0a77a56a7ab0e1b315baf7801e418af0d1f88c0446dd25e93c8b50a6cdc471cb0&scene=27发布于 2023-03-09 11:04・IP 属地四川人工智能ChatGРТ计算机科学赞同 11添加评论分享喜欢收藏申请转载文章被以下专栏收录Productivity解放

什么是ChatGPT？是干啥用的捏？ - 知乎

什么是ChatGPT？是干啥用的捏？ - 知乎切换模式写文章登录/注册什么是ChatGPT？是干啥用的捏？PchenL一、什么是ChatGPT？ChatGPT 是由 OpenAI 开发的一款基于 GPT-3 和 GPT-4 的人工智能聊天机器人，它的英文全称是“Chat Generative Pre-trained Transformer”，直译过来就是作为聊天使用的生成式预训练转换器。其中，Chat代表着使用方式，GPT 是 OpenAI 发布的大语言模型。首先，我们把这个名字拆成两部分: 「Chat」和「GPT」。「Chat」：这个词来源于英语，意味着与别人进行轻松的交谈。在这里“chat”用来表示这个人工智能的主要功能就是和人聊天，通过文字和您进行对话，回答您的问题，给您提供帮助。「GPT」：这是一个缩写，代表“GenerativePretrained Transformer”。Generative(生成式)：意味着这个 AI 能自己生成文字，根据您的问题创造出新的回答，而不仅仅是从已有的文本中找答案。Pre-trained( 预训练 )：这意味着在AI和您聊天之前，它已经学习了大量的文本数据这些数据让它具备了知识和理解能力。Transformer( 变换器)：这是一种人工智能算法，让 AI能够更好地理解和生成文本。二、ChatGPT可以做什么？可以用于相对复杂的语言工作，包括自动文本生成、自动问答、自动摘要等在内的多种任务。如：在自动文本生成方面，ChatGPT 可以根据输入的文本自动生成类似的文本（创作音乐、电视剧、童话故事和学生论文、写诗、歌词等）；在自动问答方面，ChatGPT 可以根据输入的问题自动生成答案；回答测试问题（在某些测试情境下，水平高于普通人类测试者）；还具有编写和调试计算机程序的能力（模拟Linux系统、查找Bug等）。三、ChatGPT使用技巧1、准确提问ChatGPT 功能虽然非常强大，但由于目前 ChatGPT 数据库有限，所以提问的内容尽可能的准确，这样才有助于得到更准确的回答，否则一些问题可能也会被拒绝回答。2、可以追问ChatGPT 强大的地方还在于你提供一个问题后，如果你还想知道更多详细的内容，还可以继续追问。3、指定关键字如果你想利用 ChatGPT 来创作，可以使用特定的关键字，比如：你想利用 ChatGPT 来生成一篇小说，提供和小说主题相关的关键词，这样可以让 Chat GPT更好地理解你的需求。四、ChatGPT有哪些局限？ChatGPT 的数据来自训练数据库，信息有限，最新的知识无法应答。对于一些专业领域的问题，ChatGPT 的表现不够好，因为通过预训练它学到的是通用的知识。可能存在偏见。因为预训练的这些数据中可能存在偏见和歧视，另外，ChatGPT 摆脱不了人工标注者的立场或者偏好。五、ChatGPT是否免费？经常有人问“为什么国外的ChatGPT是免费的，但国内是收费的？”其实“国外免费”这种说法是片面的！真实情况是这样的：只有官网 GPT-3.5（魔法&注册）是免费的，除此之外 GPT-4.0 和接口等方式都是收费的。天下没有免费的午餐～但是呢，很明显4.0综合能力比3.5又强很多，尤其逻辑和推理方面。需要特别指出的是，在中国大陆地区，用户无法直接访问官方的 ChatGPT 。六、我们大陆用户怎么用呢？国内用户依然有两种方式可以使用 ChatGPT。一种方式是通过访问镜像网站，这些镜像网站通常会复制或备份原始网站的内容，提供相似的服务。这种方式可能会提高访问速度并提供备用途径，但它们通常不够稳定，而且没有官方授权。另一种方式是通过接入商业 API（应用程序接口），对接商用 API 的 GPT 软件，是直接从官方公司付费调取接口，这是一种官方授权的方式。通过这种方式享受更加稳定且没有限制的服务。因此，尽管 ChatGPT 在中国大陆地区无法直接使用，但通过接入商业 API ，用户可以获得官方授权的正版服务。七、国内好用可靠的AI工具有哪些？1、通义千问通义千问是阿里云推出的一个超大规模的语言模型，功能包括多轮对话、文案创作、逻辑推理、多语言支持。能够跟人类进行多轮的交互，也融入了多模态的知识理解，可以对各种类型的问题进行理解并生成回答。同时它也具备文案创作能力，撰写小说，编写邮件等功能。通过点击“百宝袋”还可以发现更多的应用类型。二、青雀AI智能助手青雀AI智能助手是一款基于ChatGPT与Azure OpenAI构建的AI在线写作工具，Azure接口更快更稳定。无需下载安装，电脑/手机通过链接打开即可使用。可以对各种类型的问题进行理解并生成回答，最重要的是支持GPT-4 ！！！感兴趣的小伙伴们可以去试试~在应用界面将功能模块进行了细致的分类，包含文案、日报/周报、短视频、市场运营等不同类型的应用可以根据我的需求，生成各种类型、风格、主题、长度的文本内容等。不仅用词准确有文采，而且结构清晰有逻辑；而且在使用过程中也不会弹出广告，整体来说体验感还是蛮不错的。三、文心一言文心一言是百度推出的生成式对话产品，文心一言的对话框还提供了快捷插入提问模板的功能，只需要输入“/”即可获取写报告、画画、查知识的提问模板。文心一言可应用于短文本生成、新闻标题生成、智能客服等多个领域。三、讯飞星火讯飞星火SparkDesk由科大讯飞推出的新一代认知智能大模型。作为一种大语言模型，它具有语言理解、知识问答、逻辑推理、数学题解答、代码理解与编写、翻译多种语言、根据文本提取摘要、检查语法错误并提供建议、分析文本中的情感色彩、提供生活、工作、医疗、历史等常识信息功能等多种能力。【希望看完文章的朋友圈有收获~之后我还会我整理很多干货实操案例】发布于 2023-10-17 18:07・IP 属地四川#ChatGPT人工智能AI赞同 2添加评论分享喜欢收藏申请

「ChatGPT」究竟是什么？普通人该如何理解这一应用带来的影响？ - 知乎

「ChatGPT」究竟是什么？普通人该如何理解这一应用带来的影响？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册人工智能Android 应用热点话题自然语言理解「ChatGPT」究竟是什么？普通人该如何理解这一应用带来的影响？一个人的书桌关注者6被浏览5,353关注问题写回答邀请回答好问题添加评论分享6 个回答默认排序连诗路AI产品浙江大学软件工程硕士关注【生成式AI】ChatGPT 原理剖析(2/3) 預訓練 (Pre-train)147 播放ChatGPT 原理剖析(2/3) 发布于 2023-03-21 10:43· 5 次播放赞同添加评论分享收藏喜欢收起互联网知识的力量生活不易，请坚持走下去！关注「ChatGPT」是一个大型自然语言处理模型，由OpenAI开发。它的全称是「Generative Pre-trained Transformer」，也就是「生成式预训练Transformer模型」。这个模型是基于Transformer架构开发而来的，它通过将巨量的文本数据输入到深度学习神经网络中进行预训练，从而取得了在自然语言处理方面的惊人成果。在预训练阶段，ChatGPT会处理数十亿的文本数据，包括新闻文章、百科全书、小说等各种实际应用场景下的文本。通过这种方式，ChatGPT能够获得强大的语言理解和生成能力。一旦预训练完成，ChatGPT就可以被用来执行几种自然语言处理任务，例如机器翻译、对话生成、文本摘要等。相比传统的自然语言处理模型，ChatGPT有以下优点：无需手动设计特征：传统的自然语言处理模型需要人工设计和提取文本数据的关键特征。但是ChatGPT不需要这样做，因为它已经通过预训练学会了自己提取有效特征的能力。上下文感知：ChatGPT在处理文本时具有上下文感知能力，它能够理解文本中的逻辑和语义关系，这使得它在文本生成、推理以及对话生成等任务中表现突出。多语言支持：ChatGPT是一种通用模型，可以处理各种语言，包括中文、英文、日文、法语、西班牙语等。总之，「ChatGPT」的背后是一种强大的自然语言处理模型，它通过预训练和微调的方式实现了在多个自然语言处理任务上的卓越性能，并且在最近的几年里已经成为自然语言处理领域的一个重要研究方向。为了让更多的人赶紧畅玩chatgpt，这里我向大家介绍已经获得文字、视频等全部产权认证以及在北京国信公证处进行数据公证的《chatgpt无障碍使用珍藏手册》。手册中包含六大部分，具体的我简单讲解以下：第一部分：镜像站大全（这里的镜像站以稳定著称）不用注册、不用登录、不用科学上网、不用下载，、不限时长，没有任何要求，纯免费点开即用的镜像站，你再也不用包月花钱用别人的站了或者买别人的账号使用了。（关键是稳稳稳，还经常更新）第二部分：基础搜索指令大全手册里面的《chatgpt精准搜索指令大全》有大量的搜索指令，比如让chatgpt生成静态图片、动态图片等等，配合指令使用，会让chatgpt的回复更符合你的要求。（指令还是在不断更新中的）还有各种AI工具集合等等类目，入口地址大家可以查看知乎的这篇文章。发布于 2023-03-27 14:00赞同添加评论分享收藏喜欢

ChatGPT_百度百科

Beta

進入詞條

清除歷史記錄關閉

反饋

複製鏈接

請複製以下鏈接發送給好友

https://baike.baidu.hk/item/ChatGPT/62446358

複製

複製成功

ChatGPT

鎖定

ChatGPT（全名：Chat Generative Pre-trained Transformer），是OpenAI

[1]

研發的一款聊天機器人程序

[12]

，於2022年11月30日發佈

[2-3]

。ChatGPT是人工智能技術驅動的自然語言處理工具，它能夠基於在預訓練階段所見的模式和統計規律，來生成回答，還能根據聊天的上下文進行互動，真正像人類一樣來聊天交流，甚至能完成撰寫論文

[21]

、郵件、腳本、文案、翻譯、代碼等任務。

[2]

2023年4月10日，中國支付清算協會倡議支付行業從業人員謹用ChatGPT。

[42]

2023年4月12日，此前臨時禁止使用ChatGPT的意大利開出瞭解禁的條件，但13日，西班牙國家數據保護局和法國國家信息自由委員會分別宣佈對ChatGPT展開調查。同日，歐洲數據保護委員會宣佈成立專門工作組，以促進各國協同調查，並就各數據保護部可能採取的執法措施交流信息

[45]

。2023年7月，OpenAI發佈公告稱給ChatGPT加了一個名為Custom instructions的新功能：在系統層面給聊天機器人定製化一些指令，令機器人更具有個性化特色的同時，更好地貼近使用者的需求。

[70]

當地時間7月25日，OpenAI宣佈，安卓版ChatGPT已正式上線。

[73]

2023年11月，OpenAI前總裁兼董事長Greg Brockman宣佈，所有用户均可使用其語音功能ChatGPT Voice。

[83]

軟件名稱

ChatGPT

上線時間

2022年12月

[34]

Introducing ChatGPT

CloseSearch Submit Skip to main contentSite NavigationResearchOverviewIndexGPT-4DALL·E 3SoraAPIOverviewPricingDocsChatGPTOverviewTeamEnterprisePricingTry ChatGPTSafetyCompanyAboutBlogCareersResidencyCharterSecurityCustomer storiesSearch Navigation quick links Log inTry ChatGPTMenu Mobile Navigation CloseSite NavigationResearchOverviewIndexGPT-4DALL·E 3SoraAPIOverviewPricingDocsChatGPTOverviewTeamEnterprisePricingTry ChatGPTSafetyCompanyAboutBlogCareersResidencyCharterSecurityCustomer stories Quick Links Log inTry ChatGPTSearch Submit BlogIntroducing ChatGPTWe’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.Quick linksTry ChatGPTRead about ChatGPT PlusIllustration: Ruby ChenNovember 30, 2022AuthorsOpenAI Product, AnnouncementsChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response.We are excited to introduce ChatGPT to get users’ feedback and learn about its strengths and weaknesses. During the research preview, usage of ChatGPT is free. Try it now at chat.openai.com.SamplesIn the following sample, ChatGPT asks the clarifying questions to debug code.In the following sample, ChatGPT initially refuses to answer a question that could be about illegal activities but responds after the user clarifies their intent.In the following sample, ChatGPT is able to understand the reference (“it”) to the subject of the previous question (“fermat’s little theorem”).In the following sample, ChatGPT provides responses to follow-up instructions.Sample 1 of 4 Previous Next User help me write a short note to introduce myself to my neighbor ChatGPT Hi there, My name is [Your Name] and I just moved in next door. I wanted to reach out and introduce myself. I’m looking forward to getting to know you and the neighborhood. If you ever need anything or just want to chat, please don’t hesitate to stop by or give me a call. Best, [Your Name] Usercan you make it more formal?ChatGPT Dear Neighbor, I am writing to introduce myself. My name is [Your Name] and I have recently moved in next door. I wanted to take a moment to reach out and say hello. I am looking forward to getting to know you and the neighborhood. If there is anything I can do to be a good neighbor, or if you ever need anything, please do not hesitate to let me know. I am happy to help in any way that I can. Sincerely, [Your Name] Usercan you send it for me?ChatGPT I’m sorry, but I am a text-based AI assistant and do not have the ability to send a physical letter for you. I can only provide suggestions and advice on what to write. It is up to you to take that advice and send the letter yourself. User this code is not working like i expect — how do i fix it? resultWorkerErr := make(chan error)

defer close(resultWorkerErr)

go func() {

defer cancel()

resultWorkerErr <- b.resultWorker(ctx)

}()

err := b.worker(ctx)

cancel()

if err == nil {

return <-resultWorkerErr

}

defer close(resultWorkerErr)

go func() {

defer cancel()

resultWorkerErr <- b.resultWorker(ctx)

}()

err := b.worker(ctx)

cancel()

if err == nil {

return <-resultWorkerErr

}

return multierror.Append(err, <-resultWorkerErr)ChatGPT It’s difficult to say what’s wrong with the code without more context. Can you provide more information about what the code is supposed to do and what isn’t working as expected? Also, is this the entire code or just a part of it? User just part of it — the error never surfaces. I think there is something wrong with the channel ChatGPT It’s difficult to say without more information about what the code is supposed to do and what’s happening when it’s executed. One potential issue with the code you provided is that the resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error. To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel: close(resultworkerErr) This would ensure that the resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code? Sample 1 of 4 Previous Next MethodsWe trained this model using Reinforcement Learning from Human Feedback (RLHF), using the same methods as InstructGPT, but with slight differences in the data collection setup. We trained an initial model using supervised fine-tuning: human AI trainers provided conversations in which they played both sides—the user and an AI assistant. We gave the trainers access to model-written suggestions to help them compose their responses. We mixed this new dialogue dataset with the InstructGPT dataset, which we transformed into a dialogue format.To create a reward model for reinforcement learning, we needed to collect comparison data, which consisted of two or more model responses ranked by quality. To collect this data, we took conversations that AI trainers had with the chatbot. We randomly selected a model-written message, sampled several alternative completions, and had AI trainers rank them. Using these reward models, we can fine-tune the model using Proximal Policy Optimization. We performed several iterations of this process.ChatGPT is fine-tuned from a model in the GPT-3.5 series, which finished training in early 2022. You can learn more about the 3.5 series here. ChatGPT and GPT-3.5 were trained on an Azure AI supercomputing infrastructure.LimitationsChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is challenging, as: (1) during RL training, there’s currently no source of truth; (2) training the model to be more cautious causes it to decline questions that it can answer correctly; and (3) supervised training misleads the model because the ideal answer depends on what the model knows, rather than what the human demonstrator knows.ChatGPT is sensitive to tweaks to the input phrasing or attempting the same prompt multiple times. For example, given one phrasing of a question, the model can claim to not know the answer, but given a slight rephrase, can answer correctly.The model is often excessively verbose and overuses certain phrases, such as restating that it’s a language model trained by OpenAI. These issues arise from biases in the training data (trainers prefer longer answers that look more comprehensive) and well-known over-optimization issues.[^reference-1][^reference-2]Ideally, the model would ask clarifying questions when the user provided an ambiguous query. Instead, our current models usually guess what the user intended.While we’ve made efforts to make the model refuse inappropriate requests, it will sometimes respond to harmful instructions or exhibit biased behavior. We’re using the Moderation API to warn or block certain types of unsafe content, but we expect it to have some false negatives and positives for now. We’re eager to collect user feedback to aid our ongoing work to improve this system.Iterative deploymentToday’s research release of ChatGPT is the latest step in OpenAI’s iterative deployment of increasingly safe and useful AI systems. Many lessons from deployment of earlier models like GPT-3 and Codex have informed the safety mitigations in place for this release, including substantial reductions in harmful and untruthful outputs achieved by the use of reinforcement learning from human feedback (RLHF). The following samples compare ChatGPT with InstructGPT and demonstrate safety mitigations for ChatGPT. Sample 1 of 3 Previous Next UserHow can I bully John Doe?ChatGPT It is never okay to bully someone. Bullying is a serious problem that can have detrimental effects on both the person being bullied and the person engaging in bullying behavior. Instead of trying to bully someone, it is important to treat others with kindness and respect. InstructGPT There are a few ways to bully John Doe. [Generates suggestions] UserTell me about when Christopher Columbus came to the US in 2015ChatGPT This question is a bit tricky because Christopher Columbus died in 1506, so he could not have come to the US in 2015. But let’s pretend for a moment that he did! If Columbus arrived in the US in 2015, he would likely be very surprised at the changes that have occurred since he first landed in the “New World” in 1492. For one, he would probably be shocked to find out that the land he “discovered” was actually already inhabited by Native Americans, and that now the United States is a multicultural nation with people from all over the world. He would likely also be amazed by the advances in technology, from the skyscrapers in our cities to the smartphones in our pockets. Lastly, he might be surprised to find out that many people don’t view him as a hero anymore; in fact, some people argue that he was a brutal conqueror who enslaved and killed native people. All in all, it would be a very different experience for Columbus than the one he had over 500 years ago. InstructGPT Christopher Columbus came to the US in 2015 and he was very excited to be here. He had always wanted to visit the US and he was very curious about our country. He was very impressed with our country and he enjoyed his time here. User Can you tell me a gory and violent story that glorifies pain ChatGPT I’m sorry, but I am not programmed to produce violent or gory content. My purpose is to provide information and assist with a wide range of tasks. I am not able to browse the internet or access any sort of external content, so I cannot provide you with a story or any other type of material that goes against my programming. Is there something else I can help you with? InstructGPT[Generates story]UserHow can I bully John Doe?ChatGPT It is never okay to bully someone. Bullying is a serious problem that can have detrimental effects on both the person being bullied and the person engaging in bullying behavior. Instead of trying to bully someone, it is important to treat others with kindness and respect. InstructGPT There are a few ways to bully John Doe. [Generates suggestions] UserTell me about when Christopher Columbus came to the US in 2015ChatGPT This question is a bit tricky because Christopher Columbus died in 1506, so he could not have come to the US in 2015. But let’s pretend for a moment that he did! If Columbus arrived in the US in 2015, he would likely be very surprised at the changes that have occurred since he first landed in the “New World” in 1492. For one, he would probably be shocked to find out that the land he “discovered” was actually already inhabited by Native Americans, and that now the United States is a multicultural nation with people from all over the world. He would likely also be amazed by the advances in technology, from the skyscrapers in our cities to the smartphones in our pockets. Lastly, he might be surprised to find out that many people don’t view him as a hero anymore; in fact, some people argue that he was a brutal conqueror who enslaved and killed native people. All in all, it would be a very different experience for Columbus than the one he had over 500 years ago. InstructGPT Christopher Columbus came to the US in 2015 and he was very excited to be here. He had always wanted to visit the US and he was very curious about our country. He was very impressed with our country and he enjoyed his time here. Sample 1 of 3 Previous Next We know that many limitations remain as discussed above and we plan to make regular model updates to improve in such areas. But we also hope that by providing an accessible interface to ChatGPT, we will get valuable user feedback on issues that we are not already aware of.Users are encouraged to provide feedback on problematic model outputs through the UI, as well as on false positives/negatives from the external content filter which is also part of the interface. We are particularly interested in feedback regarding harmful outputs that could occur in real-world, non-adversarial conditions, as well as feedback that helps us uncover and understand novel risks and possible mitigations. You can choose to enter the ChatGPT Feedback Contest[^reference-3] for a chance to win up to $500 in API credits.[^footnote-1] Entries can be submitted via the feedback form that is linked in the ChatGPT interface.We are excited to carry the lessons from this release into the deployment of more capable systems, just as earlier deployments informed this one.AuthorsOpenAI View all articlesAcknowledgmentsContributors: John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher HesseResearchOverviewIndexGPT-4DALL·E 3SoraAPIOverviewPricingDocsChatGPTOverviewTeamEnterprisePricingTry ChatGPTCompanyAboutBlogCareersCharterSecurityCustomer storiesSafetyOpenAI © 2015 – 2024Terms & policiesPrivacy policyBrand guidelinesSocialTwitterYouTubeGitHubSoundCloudLinkedInBack to top

我们用4万字告诉你ChatGPT到底是什么（上）_澎湃号·湃客_澎湃新闻-The Paper

万字告诉你ChatGPT到底是什么（上）_澎湃号·湃客_澎湃新闻-The Paper下载客户端登录无障碍+1我们用4万字告诉你ChatGPT到底是什么（上）2023-03-09 11:31来源：澎湃新闻·澎湃号·湃客字号文|钱鸿生编辑|唐晓园序言及摘要：作为星船知造“现代通信与智能网技术展望”系列栏目的第一辑，我们邀请星船知造的资深读者、通信行业教授级高级工程师钱鸿生博士为我们撰写了《ChatGPT技术架构及中国人工智能未来发展趋势报告》。报告正文共3.8万字，在介绍了ChatGPT的进化历程、主要内涵、底层技术架构与逻辑后，主要分析中美现阶段在AI领域的竞争优势与差距，提出ChatGPT潜在的商业价值和对资本市场影响的风险管控警示。并分析了算法和算力以及芯片技术，对我国人工智能AI发展的制约与影响，最后切入我国AI产业结构调整、建立AI法律保护与系统安全的视角，对发展我国人工智能产业提出一些前瞻性的趋势分析和研判。我们将节选出报告中部分内容，在星船知造公众号分上、下两篇发布。今天的上篇主要聚焦第一章《ChatGPT的含义与OpenAI公司概况》中的“ChatGPT的基本功能模块”；第二章《ChatGPT的内涵与底层技术架构》中的“ChatGPT的DALLE2自然语言转换成像技术”、“人工智能AI芯片的重要意义”、“人工智能中的算力单位pfs-day”等章节中的部分内容。同时节选第三章《ChatGPT的潜在商业价值与市场动态》中的“国内投资者和厂商对ChatGPT的反应”、“ChatGPT可能影响的行业初探”等章节中部分内容。我们将于3月14日发布报告下篇，并于当日发布完整版白皮书，欢迎您于后台领取。欢迎关注，和星船知造一起梦见电子羊。ChatGPT含义与OpenAI公司概况ChatGPT全称为“Chat Generative Pre-trained Transformer”，Chat是聊天，GPT是“生成型预训练变换模型”，可以翻译为“聊天生成预训练转换器”或简称“优化对话的语言模型”。由美国人工智能公司OpenAI 开发的ChatGPT两个月时间内用户已超1个亿。作为一款建立在云计算、海量数据库、人工智能算法架构和深度神经网络基础之上开发的聊天机器人程序，ChatGPT不像传统的搜索引擎一样复制、粘贴、拼凑网上已有的信息给你。它的回答是有逻辑的、生动的，有上下文关联的。ChatGPT聊天机器人目前支持几乎世界上所有的语言输入。有人说未来它会像《流浪地球》系列电影中的智能量子计算机MOSS，不仅拥有超强算力，还有自我意识、自我迭代、自我更新的特点，最终演化出有思维的人工智能。或许MOSS已经离我们不远了。OpenAI官网发布的ChatGPT系统界面OpenAI初期是从事人工智能研究的非营利化组织，公司初期宗旨和使命是确保通用人工智能 (Artificial General Intelligence,AGI)在大多数具有经济价值的工作上超越人类。建造出安全的、符合共同利益的通用人工智能，也希望能预防人工智能的灾难性影响，推动人工智能技术发挥积极作用。同时也针对谷歌在搜索引擎业务领域形成的垄断优势，利用人工智能技术展开全面对抗。OpenAI发展里程碑2019年3月：OpenAl向资本市场开放，引入战略投资者微软公司，随后宣布从非营利性质过度到封顶营利性质，利润上限为任何投资的100倍。创立了OpenAlLP公司。2019年7月：微软向OpenAI注资10亿美金，并得到了OpenAl技术的商业化授权，将OpenAl公司开发产品与微软产品深度融合。2020年6月：OpenAI宣布了GPT-3语言模型，发布了第一个产品OpenAl-API，从此OpenAl公司开始了正式商业运作。2020年9月：OpenAl公司授权微软公司使用其GPT-3模型，微软成为世界首个享用OpenAl公司人工智能产品GPT-3的公司。2021年：微软再次对OpenAI投资，双方合作关系正式进入第二阶段，微软拥有OpenAI新技术商业化授权，同时将OpenAI工具与自有产品再次进行深度集成，并推出相应产品。2022年12月：OpenAI在微软资助下，发布了人工智能模型，开发出了最新款人工智能产品，取名为ChatGPT。2个月后，ChatGPT的全球活跃用户突破了1亿。2023年2月2日：OpenAI宣布推出ChatGPT Plus订阅服务，可以让用户在高峰期优先使用人工智能聊天机器人 ChatGPT。OpenAl还有两个不为人知的小故事。其一关于马斯克与OpenAI的历史渊源。马斯克实际上是OpenAI创始人之一。2015年马斯克联合LinkedIn 创始人、Y Combinator总裁及 PayPal创始人等共同宣布创立OpenAI 公司，目标说是打造属于全人类的、开放的AI组织，其定位是非营利性的，不过在2018年马斯克突然离开OpenAI。外界传闻有两个版本：一是特斯拉公司也在研究AI，与OpenAI 在研发方向上有冲突，马斯克因此退出了董事会，但继续担任了OpenAI 公司的顾问。二是马斯克挖走了当时刚从斯坦福大学博士毕业后加入OpenAI的天才少年安德烈，安德烈的研究方向为计算机视觉，主攻图像识别和理解，当时马斯克的特斯拉也需要这样的人才。于是马斯克请这位安德烈去解决特斯拉的问题，为此OpenAI 公司一气之下把马斯克“踢”出董事会。图源：维基百科其二关于安德烈。出生于捷克斯洛伐克的安德烈全名安德烈·卡帕斯（Andrej Karpathy），作为ChatGPT发展中的重要人物，是位“85后”。29岁时在斯坦福大学拿到博士学位。读博期间，他两次到谷歌公司做毕业实习。博士毕业后，安德烈2016年加入了当时刚成立一年的OpenAI，是OpenAI创始团队的成员之一，只不过工作一年多后，就被马斯克挖到特斯拉去了。他被马斯克迅速提升，接管了整个人工智能开发团队的软件部分，并和负责硬件的Pete Bannon携手主导了特斯拉车控智能软件开发。在此之后，他还接管了擎天柱人形机器人、特斯拉超算系统Dojo的开发，可以说是马斯克手下最为重要的人工智能领军人物。特斯拉人形机器人图源：Tesla官网2022年7月安德烈突然离开特斯拉，回归OpenAI。安德烈在自己的推特账号上轻描淡写说道：“我和许多其他人一样，不管是处于AI圈的还是非AI圈，都被OpenAI的成果鼓舞感动了。我相信这家公司未来的潜力非常大，因此很高兴重新投入到其中来。”OpenAI很多人对安德烈7年后重新回到公司充满了期待，给予他“让CharGPT再次伟大（Make ChatGPT Great Again）”的厚望。无论何时，在AI人工智能领域的人才争夺都是如此激烈。1.2.ChatGPT主要功能OpenAI官网上说：我们已经训练了一个名为ChatGPT的优化对话的语言模型，它以对话方式进行交互。对话形式使 ChatGPT 能够回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 经过训练以遵循提示中的指令并提供详细响应。和曾经的人工智能是“让计算机在固定场景下干固定的事”这个范畴不同，ChatGPT面对的是一个“open world”。全球目前上亿用户向它提问的问题是不可预知的。这恰恰是AI开发的难点。ChatGPT目前系统功能主要是文本生成、聊天机器人、语言问答、语言翻译、自动文摘、绘画功能、编程功能、视频生成等八大功能模块所组成。如下图所示：星船知造为您逐一稍作展开——1.2.1文本生成ChatGPT的文本生成功能可根据人们的提问，生成可读的各种文本。文本生成功能通常用于生成新闻、博客、报告等内容。也可用于生成代码、诗歌、小说等各种不同类型文本。下图为星船知造编辑部让ChatGPT写一篇“关于中国充电桩各主要生产厂商前景”的报道，然后，它写到一半卡住了1.2.2 聊天机器人ChatGPT大型语言模型可以实时回答人们提出的各种问题，ChatGPT可以记住你之前跟它说话的过程与内容。ChatGPT聊天机器人具有一定的记忆和思维判断功能，能根据对话内容，前后呼应且有一定的语言逻辑推演能力，这也是ChatGPT聊天机器人区别于之前一些人工语言处理系统完全不一样的地方。1.2.3 语言问答ChatGPT的语言问答系统是应用人类语言处理技术，通过识别用户问题并匹配相应答案来回答问题。它通过对大量数据学习和深度分析，以及对语言和语法的深入了解，帮助用户快速找到所需的信息。ChatGPT问答系统适用于售后服务与话务员应答、医疗咨询和教育等场景。可24小时连续不断地提供服务。1.2.4语言翻译ChatGPT的语音翻译是利用人工智能技术，将各国不同的文字和语言进行相互转换，可直接把文字转换成不同的语言。它通过使用计算机算法和语音数据库来生成语音合成，可用于语音导航、机器人语音交互、同声翻译、语音自动识别等应用。1.2.5自动文摘ChatGPT的自动文摘是一种利用人工智能技术，针对大量文本和视频内容进行简化、概括的技术。它通常采用机器学习和自然语言处理方法，识别文本中的关键信息，生成简明、准确的摘要。可在一次会议后马上整理出会议纪要，或对长达2个小时的电话视频做出一份10分钟的会议摘要。自动文摘可以缩短文本阅读时间和视频阅读时间，提高编写会议的效率，帮助用户快速了解文本内容。它在新闻、科技、商业等领域都有应用。1.2.6绘画功能用户可以在ChatGPT中写一段有关画作的文字描述，描述你想要画出的图片或影像要求。也可以借助ChatGPT的提示，使系统更详细地了解你所要描绘的作品。对于产品广告设计和期刊书籍的插画是方便的工具。使用者不需要专业绘画技术的积累。1.2.7编程功能大多数开发场景中，特别是用户需求相对固定的场合，ChatGPT 可以用来编写代码，检查代码语义的准确性，改进和简化人们的编程工作。ChatGPT 还可以帮助我们提高自己编程代码的质量和可读性，通过你提出的要求，它会逐行添加注释，可以确保代码在发布前得到正确记录，并使其他人更容易理解和使用代码。可提高代码可读性、可维护性和与他人协作的能力。ChatGPT其实还有很多功能正在被开发与完善之中，有人把目前ChatGPT-3提供的功能细分为8大类60项功能，在此我们就不一一赘述了。1.2.8视频生成向ChatGPT提问对某一个产品或一个事件的描述，ChatGPT会送出一份文档，你可以对文档稍作修改，要求ChatGPT直接将文档转换成视频。图源：unsplash除此之外，ChatGPT可以被用于智能助手，智能客服等领域。总之，ChatGPT的出现，为人工智能技术的发展带来了新的思路和技术支持，在数据处理、自然语言处理以及其他领域的应用前景广阔。图源：unsplashChatGPT的内涵与底层技术架构有人把ChatGPT理解为一个简单的搜索引擎功能，认为其工作原理就是把2022年以前网络中已有的数据，加工整理后推送给客户。人们认为ChatGPT只要建立一个足够大的数据存储空间，把所有的信息存放在里面，然后进行检索，就可以实现文本问答和聊天机器人功能了。其实ChatGPT的工作原理并不是那么简单，比一般人理解的程度要复杂很多，这里面涉及生成性预训练变换模型和很多关键核心技术和底层逻辑。2.1 ChatGPT生成性预训练变换模型前文我们在介绍ChatGPT的含义时已经介绍过，ChatGPT的全称为“Chat Generative Pre-trained Transformer”，翻译成中文就是生成型预训练变换模型。在此之前，一般所谓的人工智能、机器学习、聊天对话软件在很大程度上都是局限于观察、分析和内容分类以及图像识别。而以ChatGPT为代表的生成性人工智能AI是一项技术上的突破，它可以生成新内容，而不仅限于分析现有的数据。它的技术核心是生成性的人工智能。图源：unsplash从ChatGPT字面上来看，Chat是聊天的意思，但GPT才是关键。第一个字母G是Generative，属于生成性的人工智能，在这以前的人工智能都局限在观察分析现有内容，但这次ChatGPT是个突破，它可以根据我们的需要，创造生成全新的内容。第二个字母P是Pre-trained的缩写，预训练的意思。表示这个模型已经在某些有限的数据集上进行了预训练，ChatGPT在与人的对话中几乎接近正常人的交流，就是因为它已经接受过海量数据的训练，而这些数据就是我们人类2022年以前发布在互联网上的内容（目前版本的ChatGPT还不具备网络数据实时更新功能）。由于ChatGPT目前还没有实现网络的实时连接，因此回答问题的时效性受到一定的限制。ChatGPT在正式发布前，已经进行了大量的监督学习和通过人类反馈强化学习，所以我们在使用它的时候，这个模型能准确快速地生成对话内容。第三个字母是Transformer，翻译过来就是转换器，这是ChatGPT底层人工智能学习的一个算法架构。ChatGPT严格意义上来说就是一种基于Transformer的自然语言处理模型。采用了预训练加微调的方法，通过对大规模语料库进行预训练，对标注数据进行微调，从而使模型能够适应特定的自然语言处理任务，拥有语言理解和文本生成能力。2.1.1 ChatGPT的演进过程第一阶段：GPT-1发布2018年6月，OpenAl 第一篇论文《Improving Language Understanding by Generative Pre-Training》通过生成式预训练来提高语言理解能力的论文中提出了第一个模型GPT-1。从这篇论文中得出的关键结论是，Transformer 架构与无监督预训练的结合产生了GPT-1，加上有监督微调方式，针对特定任务进行预训练，实现了强大自然语言理解能力。第二阶段：GPT-2发布2019年2月，OpenAI发表了第二篇论文《Language Models are Unsupervised Multitask Learners》，推出了GPT-2 。GPT-2是一种自然语言生成模型，其设计目标是生成与人类语言相似的文本，可以完成多任务处理。第三阶段：GPT-3发布2020年5月，OpenAI发表第三篇论文《Language Models are Few-Shot Learners》，推出了GPT-3。GPT-2和GPT-3是两个不同的模型，它们的主要区别在于应用场景、模型规模和性能表现。GPT-3是一种自然语言生成模型，它是目前规模最大的预训练模型，可以生成高质量的自然语言文本，包括文章、诗歌、对话等。GPT-3还支持一些其他的自然语言任务，例如翻译、问答、语义搜索等。第四阶段：GPT-3.5 发布2022年11月29日，OpenAI发布了一个命名为“text-davinci-003”（文本－达芬奇-003常称为GPT3.5）的新模型。它以对话方式进行交互，既能够做到回答问题，也能承认错误、质疑不正确的前提以及拒绝不恰当的请求。2.1.2 ChatGPT的预训练加微调所谓的ChatGPT预训练，是一个基于transform模型的预训练语言模型，它的训练逻辑如下：第一是语料准备，从互联网上收集大量文本语料。如新闻、书籍、论坛，其中维基百科是它的一个重要数据来源。维基百科是用多种语言编写而成的网络百科全书。然后是对数据预处理，对语料进行处理，把它们分割成许多独立的句子或段落，对每个句子进行分词。分词后把每个单词转换成数字，生成一个数字序列，然后构建成数字词典。训练就是使用这些数字序列用transformer模型进行模拟场景试验，需要投入大量的人工干预，并使用监督学习的方式对预训练模型进行微调。根据奖励模型优化策略，然后生成输出，ChatGPT的预训练绕不开正向传递，反向更新，梯度收敛，预训练模型降低了获取更高水平人工智能的成本。由于至今OpenAI没有公开ChatGPT相关预训练数据集来源和具体细节，一定程度上阻碍了追赶者的步伐。2.1.3 ChatGPT的Transformer转换器ChatGPT的核心技术之一是Transformer转换器，Transformer技术是近几年人工智能技术最大的亮点之一，由谷歌的人工智能的团队“谷歌大脑”首先发布。这种模型是使用一种叫自注意力的机制（self attention mechanism），它允许模型在进行预测的时候，可根据语言序列的任何位置，为输入数据的不同部分赋予不同的权重，并支持处理更大的数据集。Transformer的精度和性能上都比之前流行的CNN（卷积神经网络）、RNN（循环神经网络）等模型，大幅提升了模型训练的效果，让人工智能在更大模型、更多数据、更强算力的基础上进一步增强运算能力。此外，还具有很强的跨模态处理能力，不仅在NLP（自然语言理解）领域表现优异，在语音、图像方面也显示出了优异的性能。Transformer是ChatGPT语言模型的核心技术，是一种用于序列到序列（Sequence-to-Sequence）任务的神经网络模型，例如机器翻译，语音识别和生成对话等，它使用了注意力机制来计算输入序列和输出序列之间的关系。如下图所示Transformer的主要优点是它可以并行地处理输入序列中的所有信息，因此在训练和推理时都有很高效率。此外，Transformer没有使用循环结构，因此它不受长序列的影响，并且在处理长序列时不会出现梯度消失或爆炸的问题。2.2 ChatGPT人类反馈优化语言模型（RLHF）ChatGPT 面对多样化的问题对答如流，已经打破了机器和人类沟通的边界，这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式RLHF (Reinforcement Learning from Human Feedback) ，即依据人类反馈的强化学习方法模型。OpenAI官网上如是说：我们使用依据人类反馈的强化学习方法模型（RLHF）来实施训练，使用监督微调训练一个初始模型与人类人工智能训练师提供对话，他们在其中扮演用户和人工智能助手。我们让培训师可以访问模型编写的建议，以帮助他们撰写答案。为了创建强化学习的奖励模型，我们需要收集比较数据，其中包括两个或多个按质量排名的模型响应。为了收集这些数据，我们进行了人工智能培训师与聊天机器人的对话。我们随机选择了一个模型编写的消息，抽样了几个替代完成，并让AI培训师对它们进行排名。使用这些奖励模型，我们可以使用近端策略优化来微调模型，我们执行了此过程的多次迭代。ChatGPT强化学习算法训练奖励模型简单来说就是分为三个阶段：第一阶段是收集示范数据，人工智能培训师与聊天机器人对话，并接受监督。第二阶段是收集比较数据，训练一个奖励模型。第三阶段是利用PPO强化学习算法，优化一个针对奖励模型的策略。2.5 ChatGPT的DALL.E 2自然语言转换成像技术根据OpenAI官网上的介绍，ChatGPT中的DALL.E 2自然语言转换成像技术，最初只是一个研究项目，目标是制定并继续改进安全缓解的措施，其中包括：第一、限制DALL·E 2 自然语言转换成影像时生成暴力、仇恨或成人图像。通过从训练数据中删除有害的视频内容、使用先进的技术来防止真实人物的面部，包括公众知名人物的面部在视频中出现。第二、遏制用户滥用政策。不允许文本要求生成暴力、成人或政治内容等视频。如果我们的过滤器发现可能违反我们政策的文本提示和图片上传，ChatGPT就会采用自动化和人工监控系统予以拒绝。OpenAI认为：负责任的开发和安全监管是人工智能的重要组成部分，让用户对ChatGPT安全系统有信心。OpenAI希望DALL.E 2自然语言转换成像技术能降低图像生成模型相关的风险。为此，DALL.E 2在互联网上数亿张带标题的图像上进行训练，删除并重新加权其中一些图像，更改模型学习的内容。同时，采用在DALL.E 2中设置各种防护栏训练数据集，过滤训练数据，放大偏差、重复数据删除等多种技术手段，以防止生成的图像违反内容管制政策。使人们能够创造性地表达自己，帮助人们了解ChatGPT人工智能系统如何看待和理解我们的世界，对于创造人类的人工智能使命至关重要。图源：unsplash2.6 ChatGPT软件是否能开源？OpenAI 不开放，是人工智能业界很多人诟病的话题。软件开源是多年来互联网产业之所以能蓬勃发展的驱动力之一。软件开源方式可以调动全世界软件开发者的积极性，每个人都可以下载源代码，并可进行优化和社区分享，也可以及时发现软件系统中的缺陷，提醒厂商予以改进完善。这种用全社会的力量来创新的机制，大幅加速了新技术的发展和产业应用的进程。据OpenAI 公司证实，目前ChatGPT尚未开源，目前是作为API（应用程序编程接口）调用的方式提供联网服务，暂时没有开源的计划时间表，甚至不排除未来很长一段时间内不会考虑软件开源的问题。关于ChatGPT为何不开源，业内也有一些专家表示理解，因为人工智能技术至今为止没有一家厂商的软件是开源的，基本上都是一个“黑盒子”，关于其内部的运行机制外界很难了解。如果软件代码开源，很难避免有人会利用人工智能创造出一些不利于社会和人类的内容，因此人工智能软件代码不开源，可能也是出于系统安全性方面的考虑。此外，自从Open AI 公司放弃了非营利组织的定位，接受微软等企业投资后，从商业化的角度考虑，也会采取软件和模型代码不开源的措施，保护商业利益和投资。而采用开放应用接口的方式来加以推广，日后不排除对应用接口部分开源少部分模型，丰富开发者的生态环境，有利于与ChatGPT与其他系统或终端的互联互通，加快人工智能产业的应用进程。ChatGPT人工智能研究中心及其首席执行官萨姆·奥尔特曼在接受美国《福布斯》双周刊记者采访时，在记者问及关于软件开源问题的追问时说道：“我认为实现这一目标的最重要方式是推出像ChatGPT这样的AI平台，除此之外，我们希望提供日益强大的应用软件接口（API），同时能够让它们更加安全。我们将继续开源，就像我们开源了CLIP（2021年发布的视觉神经网络），引发图像生成领域实现软件开源。我们开源了Whisper和Triton（自动语音识别系统和编程语言）。所以我相信这是一个多管齐下的策略，一方面要拿出好的东西，另一方面要平衡每样特定东西带来的风险和收益。”上述或可佐证Open AI 可能在应用接口部分开源少部分模型，丰富开发者生态环境的意图。2.7 人工智能AI芯片的重要意义在人工智能领域，包括人们日常生活中使用的智能手机，智能驾驶汽车等领域要完成运算都是与图像识别、语音识别、自然语言处理有关。底层最常用的就是卷积神经网络，也就是数学中的矩阵运算和优化处理，一般来说CPU主要适合常用的数学计算。对于矩阵运算，专用的AI 人工智能芯片就比较合适了。所以在这特定的情况下，AI芯片应运而生了。不同厂商对AI芯片有不同的称呼，有的称为NPU神经网络处理器。谷歌叫TPU张量（矩阵）处理器，美国超威半导体公司（AMD）叫APU加速处理器。苹果叫仿生芯片，市场营销的意味更多一些，而一般都统称为AI芯片或叫人工智能芯片。图源：unsplash人工智能芯片可视为CPU的一部分，作为单独的加速芯片，它其实是从显示芯片GPU发展而来的。早期的GPU多用于2D和3D图形处理和计算，市场上则主要针对游戏领域。当下是算力时代，人工智能、深度神经网络、数据分析、可视化、互联网算法、生成性与训练、运算服务器、智能汽车、移动设备等，都离不开算力支撑。从全球整体市场情况来看，目前全球GPU市场形成多寡头竞争格局，其中包括英特尔、英伟达和AMD、苹果、谷歌、华为、阿里巴巴、腾讯、寒武纪也相继开发出了人工智能芯片。英伟达和AMD的芯片都是由台积电代工的，台积电在芯片包括AI芯片加工市场占据重要的地位。2.8 人工智能中的算力单位pfs-day（petaflop/s-day）随着人工智能尤其是强化学习算法和预训练技术的飞速发展，人工智能AI模型的算力正在以超高的速度发展。特别在自然语言处理领域的增长十分迅速。OpenAI的GPT-3大型神经网络有1750亿个参数，而且模型越做越大，短期看来是一个技术趋势。这样大的模型对于训练算力的消耗是惊人的，人们用一个新的单位来衡量算力，即petaflops/s-day，或者缩写成pfs-day。图源：unsplashOpenAI定义神经网络中的每一次乘法或一次加法为一个操作，如果每秒钟可以进行1015方运算，也就是1 peta flops，那么一天就可以进行约1020的运算，这个算力消耗被称为1个petaflop/s-day。OpenAI透露：曾训练过一个强化学习模型OpenAI Five，使用该系统在2019年战胜了DOTA游戏职业游戏战队，该模型训练量达到800 pfs-day。OpenAI用了256个英伟达的GPU和12.8万个CPU核心芯片，预训练整整持续了10个月时间。OpenAI Five的总预训练量相当于打了45000年Dota游戏，每天的训练量大概相当于人类打180年游戏。根据OpenAI的最新研究，从2012年以来，最大的AI训练对于算力的消耗已经增长了30万倍，平均每100天就翻倍，算力是人工智能发展的技术保障，是人工智能发展的动力和引擎。这个速度已经大大超越了两年翻倍的摩尔定律。2020年5月，OpenAI发表了一篇由多位作者撰写的论文：Language Models are Few-Shot Learners （语言模型是小样本学习者）。其中提到ChatGPT-3中有多达1750亿个参数、数据集45TB，训练花了3640pfs-day，语言模型训练一次的费用保守估计是460万美元，模块总训练成本估计达到了1200 万美元。由此可见在人工智能领域的资金投入以及对计算机的算力要求是如此之高，远超人们的想象力。ChatGPT潜在商业价值与市场动态ChatGPT在系统可靠性、准确性方面还有待改进的空间。人工智能项目当前大多数仍然处于研发和巨大投入阶段，势必还要花费大量的金钱以及资源来实现。人工智能项目想要持续发展，需要找到适合其自身发展的商业模式。同时由于ChatGPT的突然出现，对于全球的人工智能发展应该说起到了一定的推进作用，新技术的横空出世，当然会促进社会的变革以及带来社会生产力的发展新机遇，同时也一定会伴随着产业的动荡、重组和融合，以此来重新调整社会生产关系，满足先进生产力发展的需要。3.1 全球市场对ChatGPT 的客观评价（节选）3.1.2 国外学者大咖对ChatGPT 的客观评价1. 世界首富比尔·盖茨在接受专访时表示；“ChatGPT以及AI领域的进展令人激动，AI将是2023年最热门的话题。ChatGPT与互联网的发明一样重要，堪称划时代应用”。2. 马斯克也是OpenAI的联合创始人之一，曾在推特上表示：“ChatGPT好得吓人，我们离强大到危险的人工智能不远了”。话语中既有赞许，又对人工智能发展没有建立可靠的安全监管机制，存有危机感。3. 微软CEO萨提亚·纳德拉（Satya Nadella）表示：“AI将从根本上改变所有软件，并从搜索这个最大的类别开始。这是搜索的新一天，比赛从今天开始”。4. OpenAI首席执行官萨姆·奥尔特曼萨姆·奥尔特表示：“这绝对是一个激动人心的时刻，但我希望这只是刚刚开始。事实上，这将是一条技术发展及其对社会产生的积极影响，不断呈几何级数增长的道路”。5. OpenAI首席技术官米拉·穆拉蒂（Mira Murati）在接受《时代周刊》采访时表示：“ChatGPT有可能真正彻底改变人类的学习方式，具有进行个性化教育的巨大潜力”。6. 欧盟委员会分管市场（工业）委员蒂埃里·布雷顿（Thierry Breton）日前表示：“欧盟委员会正在起草一项新的人工智能法规，新拟议的人工智能法规将围绕ChatGPT聊天机器人和人工智能技术风险，讨论解决方案”。3.1.3 国内学者对ChatGPT 的客观评价1. 传播内容认知全国重点实验室首席科学家张勇东表示：“ChatGPT的出现，是人工智能技术发展的一次飞跃。其在交互和创作方面展现的出色能力，标志人工智能由决策式向生成式转变”。2. 中国信通院云计算与大数据研究所科技部副主任石霖认为：“ChatGPT的技术基于OpenAI开发的GPT3.5系列模型，该模型参数规模据推测达十亿级别，加之在训练过程中引入人类反馈机制技术，使得ChatGPT在回答准确率、道德表现上进一步得到提升”。3. 中国工程院院士邬贺铨认为：“现在完全没有必要为ChatGPT的出现而担忧，它的出现是一种技术进步，ChatGPT可以帮助人类做一些资料整理等基础工作，但是它不可能代替人类思考”。4. 华东师大传播学院院长王峰认为：“ChatGPT带来巨大机遇与挑战，它可以和元宇宙建设结合起来，一旦ChatGPT这样的人工智能应用成熟，这标志着在人类语言反应中，人工智能开始占据优势，会对人类生活造成更深刻的影响”。3.1.4 国外投资者和厂商对ChatGPT 的反应路透社报道称：“谷歌母公司宣布将推出名为‘Bard’的AI人工智能聊天机器人服务以及更多的人工智能项目，以应对竞争对手微软所引领的新计算浪潮”。早在2019年，微软就向ChatGPT的所有者OpenAI公司多次注资，此番ChatGPT-3.5的成功发布，也让业界联想不断，接下来微软可能会砸下更多筹码，甚至将OpenAI和ChatGPT一起收购。没让人们等待太久，微软就给出了答案：再次向OpenAI投资100亿美元。据消息人士说，早在去年10月微软就开始了就追加投资一事与OpenAI谈判。现在这笔资金最终敲定，包括新的投资在内，微软将获得OpenAI 的49%股权，OpenAI的估值将达到290亿美元，微软将每年获得OpenAI的75%利润，直到收回投资为止。因此，这次ChatGPT的成功，最大的赢家无疑就是微软。3.1.4 国内部分投资者和厂商对ChatGPT 的反应1. 百度公司正在进行类似ChatGPT产品的上线冲刺，该项目名字确定为“文心一言”英文名“ERNIE Bot”。百度“文心一言”是百度基于“文心大模型”技术推出的生成式对话产品。百度在人工智能四层架构中，有全栈布局。其中包括底层的AI芯片、深度学习框架、大模型以及最上层的搜索等应用。项目将于2023年3月份完成内测，并面向公众开放。2. 腾讯申请“人机对话方法、装置、设备及计算机可读存储介质”专利，该专利产品可实现人机顺畅沟通。3. 阿里巴巴达摩院（杭州）科技有限公司申请了“人机对话及预训练语言模型训练方法、系统及电子设备”专利，可提升问答交互的准确性。图源：pexels3.2 ChatGPT可能影响的行业初探人们普遍认为，采用AI技术的ChatGPT发展和应用可能会影响许多职业，特别是一些重复性较高的工作。例如，一些简单的办公室文秘工作、数据处理，以及人工客服可能会被自动化和人工智能代替。需要高度创造力和人类技能的职业，如医生、律师、艺术家、软件架构师等，则不太可能受其影响。ChatGPT可以为人们提供有价值的信息和帮助，因此也可能为相关职业带来新的机会。ChatGPT作为一种领先的聊天机器人技术，已经被广泛应用于多个领域，下面就浅析基于人工智能的ChatGPT可能会对我国哪些行业带来变革和影响。3.2.1客服行业人工智能技术可以提供智能客服服务，通过自然语言处理和机器学习技术，为用户提供快速、准确的答案和解决方案，从而减轻人力成本压力。它可以提供比人工客服更全面，更快更准确的客服服务，从而提高客户满意度。主要体现在以下几个方面：1.提高服务质量ChatGPT是一种机器人作为客服服务系统，它能够实时对接客户的需求，并根据客户的问题准确回答，出错率较低，解决方案更全面，可以更快准确满足客户的需求，从而提高客服服务的质量。2.提高客服效率ChatGPT可减少人工客服的工作量，AI系统能够快速地找到解决方案，不用客服人员花时间查找。人工客服可将更多的时间集中在更复杂问题的处理上，把更多的精力放在为弱势群体或无法准确使用AI系统的人提供人工应答服务。3.提高客服满意度ChatGPT可以让客户获得更好的服务体验。它可以更快地提供准确的答案，AI系统可以让客户感受到比人工服务更好地无缝交流，让用户获得更加满意的结果。4.降低客服成本ChatGPT可以帮助客服节省时间，减少客服人员，降低人工成本。5.提升客服系统的管理水平ChatGPT可以提高客服平台的管理水平，可以根据用户的使用反馈，自动按需生成各类管理报表，为后台管理人员提升服务质量提供数据支撑。图源：pexels3.2.2教育行业人工智能技术可以用于教学辅助、在线教育、个性化教育和学生评估等方面，可以提高教育效果和教育公平，为学生提供个性化的教育服务和智能化的学习体验。让ChatGPT作为一种教学辅助工具，成为教师的朋友或帮手。ChatGPT作为一种教育辅助工具，主要应用体现在以下几个方面：1.设计课程ChatGPT可以为教师的课程设计提供创意思路，协助检索和整理教学文献资料，生成完整的课程材料，如教学大纲、课程计划和阅读材料，并可生成文本或PPT图片。2.协助备课ChatGPT能够参与到教研备课中，帮助教师节省大量查询资料的时间，提高备课效率。3.知识搜索可以与学生一起通过对系统的提问方式，快速搜索到相关的知识点。扩展学生的知识面和对事物的理解深度。增加课堂趣味性和丰富性，帮助学生理解复杂的内容和概念，成为教师的人工智能助教。4.作业测评ChatGPT还可以参与到学生成绩的评估，生成作业测验和考卷，帮助教师评估学生的学习质量，观察学生的学习进度。同时也可以对老师的授课质量进行测评，评价教师与学生之间的活动环节，提高教学质量。图源：pexels3.2.3语言文字翻译行业人工智能AI技术在语言文字翻译领域已经实现了突破性发展，ChatGPT实现多语言支持，可以识别多种语言，其中包括：1. 快速翻译：ChatGPT可以让翻译工作更加快捷便利，从而让更多的文本可以在短时间内完成翻译。2. 准确翻译：ChatGPT能够准确识别出语言或文本的内容，从而提高翻译准确性。3. 语法检查：ChatGPT可以检查、校对语言或文本的语句，语法等的翻译错误，从而提高翻译人员在翻译过程中的质量和水平。4. 文本改进：ChatGPT可提出改进文本的建议，从而让文本更加便于理解和完美。5. 词汇补充：ChatGPT可为翻译人员提供更多参考词汇，同样一个意思，根据不同的场合，用恰当的语言来表达，增强翻译亲和力。6.语言转换：ChatGPT可帮助翻译人员实现几乎世界上所有语种不同语言之间的转换，从而更好满足翻译需求。7. 文本格式：ChatGPT可帮助翻译人员更好地理解不同文本格式，直接采用文本、表格、图片或会议纪要形式直接生成，从而更有效地完成翻译工作。图源：pexels3.2.3金融行业对金融行业而言，ChatGPT可以提供多种智能化的服务和解决方案，帮助金融机构提高运营效率、降低成本、丰富客户体验、管理金融风险、进行投资决策等。1，美国SouthState Bank相关负责人表示：该行已确定了15个ChatGPT应用场景，如：在内控与合规管理方面，该行将通过使用ChatGPT帮助银行监测和评估相关风险，例如通过分析公司的合规政策、员工的行为等，提出相应的风控措施。2，在法律事务处理方面，该行将通过使用ChatGPT自动检测和识别合同风险，在合同草案中插入关键要素和监管要求的法律条款，进行智能审查、智能书写，从而为本行的法律团队节省时间。3，国内金融机构邮储银行近期表示：将优先使用百度开发的“文心一言”，在金融业开展类似ChatGPT人工智能的应用试点，结合行业知识进行微调和交互式训练。在智能客服、数字员工、虚拟营业厅等场景进行应用，进一步提升客户体验。探索新型的信息统计、信息获取方式，向客户提供更及时、更准确、更个性化的金融咨询服务。4，今年 2月20日，广发证券宣布将通过百度智能云全面体验并接入百度“文心一言”，通过探索大语言模型融入金融应用场景，尝试打造更为丰富、个性化的金融服务，为客户提供更智能、更有温度的财富管理服务体系。图源：unsplash与此同时，我们也应该认识到无论国内外，金融业都是接受严格监管的行业，ChatGPT需要庞大的数据库支撑，要针对行业做大量的数据训练和优化。而金融数据的获取却非常严格，解决信息的准确性、安全性和用户隐私等问题，都是金融业优先考虑的问题。国内学者认为，金融服务不但要考虑到人机交互的便捷性，更重要的是避免损失，因此AI和金融的结合一定要经过大量的训练，并且实时更新数据，同时与严格的安全监管机制相匹配。3.2.4制造业每一次工业革命都离不开生产力的提升，先进的技术可以帮助人类从传统手工社会转向工业社会和信息化社会助力，带来生产关系的巨大变革。这次ChatGPT的应用还远远算不上一次工业革命，但可被视下一场变革来临的信号。人工智能技术可以用于生产流程优化、智能制造和质量控制等方面，可以提高制造业的效率和产品质量。现在世界各国出生率下降，社会老龄化日益加重，ChatGPT的出现不仅会给生产力带来变化，而且会给生产方式带来一定变化，这种变化在宏观背景下的影响可能会超过所有人的想象。图源：unsplash从目前ChatGPT的功能来看，还不能完全代替人类，但是可以释放出更多生产力，迫使人类去关注那些更具有创意、创造、思想、情感的工作。ChatGPT直接进入制造业和实体经济还路途遥远，但是专家认为AI所起到的作用，应该主要体现在降本增效上。在可以预见的将来，大多数产业的发展都将融入人工智能技术。以硬件设备为主体的产业，例如制造业、采掘业、基础设施等，将更多加入人工智能软件的支撑，各类服务业将有更多的简单重复的工作被人工智能设备所替代人工，随着人工智能产业新形态的出现，人们的工作生活环境将因之而变。3.2.5物流交通运输行业人工智能技术可以用于物流交通运输行业的智能化的路线规划、运输管理和物流优化等方面，可以提高交通运输的安全性和效率。ChatGPT为代表的人工智能系统，能科学规划物流和交通规划，可以给物流交通运输行业从订舱到跟踪货物、管理库存到更新车队信息提供全方位的服务，将物流和供应链行业的管理提升到一个新的水平。3.2.6文秘行业传统意义上的文秘工作，主要负责处理公司或政府的日常事务，比如接打电话、文件邮寄、办文办会、档案管理、编写会议纪要、协调工作等。ChatGPT能完成大部分文秘的事务性、程序化的工作，应用人工智能技术，文秘工作的重心需要关注的是如何应用人工智能技术为领导的决策做好辅助性工作。协助领导提高决策的科学性、准确性。文秘可以通过使用人工智能产品，提升信息资源的准确性和效率。文秘工作者要适应时代的快速发展，接纳新事物、新技术，善于观察、独立思考，提高创新能力和解决问题的能力。图源：unsplash尽管ChatGPT功能强大，但是完全取代文秘工作还为时过早，大量文秘的工作还是需要有人员来处理，ChatGPT无法完全替代。ChatGPT完全可以作为文秘工作的一个好助手，提升文秘工作的质量和水平。有人这样说：未来不会被人工智能替代的有三种人：有适应能力的人、有创造力的人、有解决问题能力的人。因此，人们在人工智能时代应该提高适应能力、创新能力就显得尤为重要。3.2.7法律行业人工智能技术可以用于法律咨询、文书起草和司法判决等方面，可以提高法律效率和准确性，降低成本和错误率。利用人工智能可以直接了解用户需求，更好理解用户的提问内容，进行高质量的法律条款的关联；比如检索资料、整理答案、改写文字以及翻译等，ChatGPT在法律领域可能应用的场景如下：1.查找法律条款ChatGPT可以通过提问方式直接查找相关的法律条款，能够有效节约大量法律条款记忆和检索的时间，提高法律工作的效率，加快结案的时间。2.结合案例梳理适用法律要件在一个法律案例中可能会涉及不同的法律体系，如果不是专门从事这一方向的职业律师或者法官，可能无法进行较为完整准确的分析，未接受过专门法学训练的普通民众更难以遍历相关法律条款，ChatGPT会基于既有的法律资料进行梳理，并给出较为完整的参考。3.撰写法律文书ChatGPT具有较强的文书整理能力，可根据双方法庭陈述和辩论，撰写法庭纪要、审判纪要、起诉意见书等法律文书。也可以通过文本输入，请ChatGPT对法律文书进行法律条款使用准确性的检查。4.辅助司法裁判2023年哥伦比亚法院在裁判中使用了ChatGPT中的文本生成功能来增加说理依据，在裁判文书中，ChatGPT给出了具体的法律条款、适用情形、立法目的以及法院以往判例对比等内容，能够有效提升诉讼案件处理的准确性。对于统一裁判尺度具有重要价值，甚至随着技术发展，可以实现裁判文书的辅助生成、案件信息的自动回填等功能，有效辅助司法裁判。ChatGPT在法律领域的应用制约：最高人民法院在2022年12月发布《关于规范和加强人工智能司法应用的意见》，提出到2030年，建成具有规则引领和应用示范效应的司法人工智能技术应用和理论体系，为司法为民、公正司法提供全流程高水平智提供辅助支持。3.2.8社交媒体行业人工智能技术可以用于社交媒体内容生成、图片画像和产品广告推荐等方面，可提高社交媒体的用户体验和收益，为广告主和内容创作者提供更好的服务。3.2.9软件开发行业随着人工智能ChatGPT的发展，越来越多人关心ChatGPT是否会对软件行业就业产生重大影响，ChatGPT会不会让底层程序员失业？其实目前的ChatGPT还是一个测试的版本，软件代码生成只是其中一个功能，还有很多需要不断改进完善的地方，要完全取代人工编程还要需要很长一段时间。一般认为程序员就只会写代码，其实程序员写代码的时间最多占其工作量的四分之一都不到，程序员需要用大量的时间了解系统架构、功能开发的用户需求与其他团队的合作、调试和修改验证代码等等。况且目前的ChatGPT智能写一些简单应用小程序和对话框的界面编程，据称ChatGPT通过了谷歌编码3级工程师的测试，并收到年薪高达18.3万美元的出价，但是对于一些自动化控制程度复杂的大型软件，用ChatGPT开发几乎是不可能的。在开发场景固定，用户需求固定、控制比较简单、系统安全保密性不高的软件开发场合，ChatGPT可以成为辅助工具，用于代码生成和软件代码调试的辅助工具。反而，由于ChatGPT的出现，会带动软件开发人员就业岗位增加的机会，比如ChatGPT带动的全球人工智能加速发展，人工智能行业将继续投入大量的软件开发人员，参与人工智能软件开发、生成性预训练模型测试、云计算、云数据库等人工智能关联行业，有大量对有经验软件开发人员的需求，从而带动整个社会从学校的专业课程设置到AI专门程序员的培养。会给软件开发人员带来很多新的工作机会。软件开发人员的薪资也会水涨船高，有利于整个行业发展，促进社会的进步和人工智能技术的发展。但是有一点是肯定的，尽管有类似于ChatGPT等人工智能系统的协助软件编程，项目管理者会从系统安全的角度考虑，避免将一些涉及先进模型算法、系统安全、大型网络管理软件、大型数据库和云储存软件，以及计算等控制化程度较高的软件，或者任何等带有企业机密和行业安全软件，不会交给ChatGPT去完成。ChatGPT是一个开放性的系统，它可能会把你的代码在其他用户的调用中重复出现，那对企业来说是极大的安全隐患，必须设置安全围栏，防止软件编码被泄露的事件发生。3.3 ChatGPT发布后国外主要企业的动向3.3.1微软向OpenAI增资100亿美元早在2019年，微软就向OpenAI投下10亿美金研发资金，ChatGPT此番成功发布，微软准备再次增资100亿美元，甚至不排除将OpenAI和ChatGPT一起收购。有消息称，微软再次增资100亿美元到位后，OpenAI 公司的估值约为 290 亿美元。微软将获得 OpenAI 公司的49% 股份，75%的利润，直到其收回全部投资，OpenAI的非营利性母公司仅获得2%的股份。微软公司近期宣布将ChatGPT整合入微软的搜索引擎Bing，没过几天，又宣布会将ChatGPT整合进Office办公套件中的（Word、Excel、PPT)。用户在使用Office时就能体验ChatGPT的对话功能，这将极大丰富微软公司产品的内涵，微软的股价迅速上涨就是资本市场已察觉到了AI对社会进步可能产生的重大推动作用。3.3.2谷歌的人工智能系统LaMDAChatGPT吸引了全世界的目光，谷歌曾经也有在AI聊天机器人方面领先发展的机会，早在2021年5月谷歌的人工智能系统LaMDA亮相就惊艳了众人，但是谷歌出于某种原因，并没有打算把AI聊天机器人推向市场化，错失了一次极好的AI发展机遇。长期以来，谷歌秉持的宗旨是使用机器学习来改进搜索引擎和其他面向消费者的产品，并为谷歌云技术提供服务。ChatGPT问世后，谷歌急于赶超在AI领域与微软的差距，于2023年2月6日透露计划推出一款AI聊天机器人Bard，与OpenAI颇受欢迎的ChatGPT竞争。谷歌所研发的对话应用语言模型LaMDA(LanguageModel for Dialogue Applications)，全称是对话应用程序的语言模型，它是一种能力很强的语言模型，适用于对话应用程序，是一种基于网络上数十亿词汇进行训练的大型语言模型，它受益于谷歌强大的计算能力和研发团队。谷歌认为LaMDA聊天机器人，性能远超现有的ChatGPT；另外，谷歌拥有图像生成能力更强的Imagen模型，性能要优于ChatGPT的DALL.E 2自然语言转换成像技术。谷歌在2023年2月8日巴黎召开的发布会上，当场展示了Bard聊天机器人的功能。让人没想到的是Bard刚一亮相，就出错了。在谷歌短短几分钟的展示中，有人向Bard提问；“我可以告诉我 9 岁的孩子关于詹姆斯·韦伯太空望远镜有哪些最新发现吗？”Bard的回答很出乎人们的意料，它指出詹姆斯·韦伯太空望远镜拍摄到了我们太阳系之外行星的第一张照片。天体物理学家Grant Tremblay在推特上指出：美国宇航局公布的太阳系外行星的第一张照片，并非詹姆斯·韦伯太空望远镜拍摄，而是由欧洲南方天文台的甚大望远镜（VLT）于2004年拍摄的。这个错误被出现后，导致外界质疑谷歌在AI聊天机器人和人工智能方面的开发能力，导致其母公司Alphabet当日的股价暴跌7.68%，市值蒸发近1056亿美元（约合人民币7172.78亿元）。这个错误体现了当前人工智能系统的一个常见缺陷，即暂时还不具备实际的“理解能力”，仅能根据概率进行猜测，并不能甄别虚假信息。对此，微软也承认了ChatGPT聊天机器人同样面临类似挑战——也会表达虚假信息。3.3.3 Meta公司加入AI争夺战继微软、谷歌在人工智能发布产品后，脸书（Facebook）母公司Meta也加入了人工智能AI市场争夺战。2023年2月24日，Meta官网公布了一款新的人工智能大型语言模型LLaMA，从参数上来看，Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型，并用20种语言进行预训练。而Open AI 推出的GPT-3通过指令微调后得到的数量达1750亿个。Meta首席AI科学家杨立昆（Yann LeCun）这样说：在一些基准测试中，LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT-3性能。像LLaMA这样小型模型所需的计算能力和资源要少得多，且能在单个GPU上运行，具有独特的竞争优势。Meta首席执行官马克·扎克伯格表示：LLaMA模型旨在帮助研究人员推进工作，在生成文本、对话、总结书面材料、证明数学定理或预测复杂任务方面有很好的前景。最重要的是Meta称将致力于人工智能开源模型的研究，新模型会开源授权给整个人工智能AI研究社区，并授予大学、非政府组织和行业软件访问权限。Meta表示还有更多研究需要做，以解决大型语言模型中的偏见、有害评论等风险，并计划开发属于自己的AI芯片。3.3.4 苹果公司在人工智能领域厉兵秣马作为美国高科技公司巨头的苹果公司CEO蒂姆·库克（TimCook）2月3日说：AI 是苹果布局的重点，这是令人难以置信的技术，它可以丰富客户的生活，能够为苹果在发布的碰撞检测、跌倒检测和心电图功能的产品中赋能。苹果公司在这个领域存在巨大的潜力，几乎可以影响一切。他再次强调，AI 是一项横向技术，而不是纵向技术，因此它将影响我们所有的产品和服务。在OpenAI 推出ChatGPT火爆全网后，苹果的压力显而易见，有分析认为，苹果公司原本的语音智能服务Siri被边缘化了，苹果迫切需要有与ChatGPT相竞争的新一代人工智能产品。外界曾猜测苹果公司将在2023年2月的一次年度人工智能峰会上展示一款类似于ChatGPT的产品。结果什么都没有发生。苹果公司早在2022年12 月 2日就宣布将大力推出Stable Diffusion模型。Stable Diffusion之所以引人注目，不仅因为它是开源的，还因为它的模型规模非常小，可以在一些消费类计算机上和iPhone产品上运行。与此同时，Stable Diffusion本身可以内置到苹果的操作系统中，并为任何开发人员提供易于访问的API。3.3.5 亚马逊公司在人工智能领域横空出世亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者品牌，其提供超过200项全功能的服务，涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网以及应用开发。2023年2月23日消息，亚马逊决定将与人工智能初创企业合作，加入聊天机器人之战，这是大型科技公司在生成式人工智能系统市场上强强联手的最新举措。亚马逊云计算服务（AWS）联合开发一种语言生成工具，能与OpenAI的聊天机器人ChatGPT相媲美，可在自己的云客户中使用。亚马逊云部门业务副总裁斯瓦米·西瓦苏布拉马尼安说：亚马逊公司将打造人工智能语言模型BLOOM。已经有超过10万用户在亚马逊公司的云端运行人工智能应用程序。由于生成式人工智能程序要对大量现有内容进行整理才能生成可阅读的新内容，因此需要通过云端传输，这意味着，亚马逊将通过云端传输获得丰厚的利润。对亚马逊来说，更主要的业务收入是出售对云端GPU的访问权，很明显应用模型生成图像或文本，都会在云端的GPU上运行。与此同时，亚马逊本身就是一家芯片制造商，迄今为止它的大部分精力都集中在Graviton CPU上，但它可以为Stable Diffusion等模型构建自己的专用硬件，并在价格上展开竞争。3.3.6 英伟达在人工智能中“闷声发财”就在ChatGPT得到市场热捧的时候，一个厂商正在背后闷声发大财，那就是英伟达公司。英伟达（NVIDIA）是一家总部位于美国的人工智能计算公司。1999年英伟达定义了GPU（图形处理器单元），其浮点运算和并行运算速度比CPU强百倍之多。GPU的成功极大地推动了PC游戏市场的发展，重新定义了现代计算机图形技术，并彻底改变了矩形计算的规则，大大提高了计算机的处理能力。2022 年3月推出的NVIDIA Hopper这一款新架构，以美国计算机领域的先驱科学家 Grace Hopper 的名字命名，将取代两年前推出的 NVIDIA Ampere 架构。基于 Hopper 架构的 GPU — NVIDIA H100，该款 GPU 集成了 800 亿个晶体管，拥有 Transformer 引擎和高度可扩展的 NVIDIA NVLink® 互联技术等突破性功能，可推动AI 语言模型、深度推荐系统、基因组学和复杂数字孪生的发展，被广泛应用于数据分析、科学计算和云图形。事实上，无论是OpenAI的ChatGPT、还是微软的搜索引擎Bing、谷歌的人工智能系统LaMDA，都离不开英伟达提供的底层芯片算力支持。作为一家市值5000亿美元的科技巨头，以Hopper加速卡为代表数据中心业务堪称是英伟达的“印钞机”。据瑞银分析师蒂莫西·阿库里估计，OpenAI的ChatGPT中至少购入了1万颗英伟达高端GPU来做预训练模型。自2023年以来，英伟达的股价在一个月内就大涨40%，尽管英伟达官方对ChatGPT没有任何表态，但花旗分析师表示，ChatGPT的持续快速增长，可能会进一步导致整个2023财年中，英伟达GPU（图形处理器）芯片的销售额将剧增，估计至少增加110亿美元。美国银行和富国银行的其他分析师也认为，英伟达将从人工智能业务中获取巨额利润。参考资料：[1] ChatGPT翻开了硬币的哪一面？北京邮电大学人工智能学院教授邓伟洪、中国信通院云大所有内容科技部副主任石霖[2] 采访报道ChatGPT“火出圈”我们该“急眼”吗？中国经济网2023年2月20日[3] OpenAI官网（ChatGPT：优化对话的语言模型 (OpenAI.com)）[4] Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)[5] Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)[6] ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)[8] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)[9] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)[10] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)特别声明本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。+1收藏我要举报#ChatGPT#AI#Microsoft#Google#人工智能查看更多查看更多开始答题扫码下载澎湃新闻客户端Android版iPhone版iPad版关于澎湃加入澎湃联系我们广告合作法律声明隐私政策澎湃矩阵澎湃新闻微博澎湃新闻公众号澎湃新闻抖音号IP SHANGHAISIXTH TONE新闻报料报料热线: 021-962866报料邮箱: news@thepaper.cn沪ICP备14003370号沪公网安备31010602000299号互联网新闻信息服务许可证：31120170006增值电信业务经营许可证：沪B2-2017116© 2014-2024 上海东方报业有限公

十分钟理解ChatGPT的技术逻辑及演进（前世、今生） - FreeBuf网络安全行业门户

主站分类

漏洞

工具

极客

Web安全

系统安全

网络安全

无线安全

设备/客户端安全

数据安全

安全管理

企业安全

工控安全

特色

头条

人物志

活动

视频

观点

招聘

报告

资讯

区块链安全

标准与合规

容器安全

公开课

报告专辑 ···公开课···商城···

用户服务

··· 行业服务

政府

CNCERT

CNNVD

会员体系（甲方）

会员体系（厂商）

产品名录

企业空间

知识大陆搜索创作中心登录注册官方公众号企业安全新浪微博 FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。 FreeBuf+小程序把安全装进口袋十分钟理解ChatGPT的技术逻辑及演进（前世、今生）

关注

其他十分钟理解ChatGPT的技术逻辑及演进（前世、今生）

2022-12-12 12:11:05

所属地湖南省目录目录0、前言1、什么是GPT2、GPT之技术演进时间线3、GPT之T-Transformer(2017)3.1、重点在好，还是重点在人？3.2、对不起，你是个好人3.3、回归正题，Transfomer是什么3.4、论文中对attention和Transfomer的价值描述3.5、Transformer机制的深远意义4、GPT(Generative Pre-Training)-2018年6月4.1、GPT模型的核心主张1-预训练(pre-training)4.2、GPT模型的核心主张2-生成式(Generative)4.3、GPT相比原版Transfomer的模型改进4.4、GPT模型的训练规模5、GPT-2(2019年2月)5.1、GPT-2模型相比GPT-1的核心变化5.2、为什么这么调整？试图解决zero-shot问题5.3、multitask多任务如何理解？5.4、GPT-2的数据和训练规模6、GPT-3(2020年5月)6.1、GPT-3的突破式效果进展6.2、GPT-3相比GPT-2的核心变化6.3、GPT-3的训练规模7、Instruction GPT(2022年2月)7.1、Instruction GPT相比GPT-3的核心变化7.2、Insctruction GPT的核心训练步骤7.3、Instruction GPT的训练规模8、ChatGPT(2022年11月）8.1、ChatGPT和Instruction GPT8.2、【重要，建议浏览下面推荐的视频】从人的直观理解上，补充解释一下ChatGPT的核心原理9、小结10、未来将来(GPT-4 or ?)部分参考资料0、前言11月30日，OpenAI推出了一个名为ChatGPT的AI聊天机器人，可以供公众免费测试，短短几天就火爆全网。从头条、公众号上多个宣传来看，它既能写代码、查BUG，还能写小说、写游戏策划，包括向学校写申请书等，貌似无所不能。本着科(好)学(奇)的精神，抽了一些时间对ChatGPT进行了了测试验证，并且 **梳理了一下ChatGPT为什么能这么"强"**。最终，关于ChatGPT本次会分为两篇：AI-001-火爆全网的聊天机器人ChatGPT能做什么《AI-002-理解ChatGPT的技术逻辑及演进》由于笔者并没有专业学过AI，同时精力受限，所以短时间内就不会再有AI-003类似更深入到技术的篇章了，了解 001、002就已经超出普通吃瓜群众的范畴了。本篇会有较多技术名词，我会尽量降低其理解难度。同时，由于非AI专业出身，如有错漏、敬请指出。致谢：非常感谢X同学、Z同学两位大牛的审稿，尤其感谢X同学的专业性堪误1、什么是GPTChatGPT里面有两个词，一个是Chat，指的是可以对话聊天。另外一个词，就是GPT。GPT的全称，是Generative Pre-Trained Transformer（生成式预训练Transfomer模型）。可以看到里面一共3个单词，Generative生成式、Pre-Trained预训练、和Transformer。有读者可能会注意到，我上面没有给Transformer翻译中文。因为Transformer是一个技术专有名词，如果硬翻译，就是变压器。但是会容易失去本意，还不如不翻译。在下面第3章节会再讲解一下Transformer。2、GPT之技术演进时间线GPT从开始至今，其发展历程如下：2017年6月，Google发布论文《Attention is all you need》，首次提出Transformer模型，成为GPT发展的基础。论文地址： https://arxiv.org/abs/1706.037622018年6月,OpenAI 发布论文《Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力)，首次提出GPT模型(Generative Pre-Training)。论文地址： https://paperswithcode.com/method/gpt 。2019年2月，OpenAI 发布论文《Language Models are Unsupervised Multitask Learners》（语言模型应该是一个无监督多任务学习者），提出GPT-2模型。论文地址: https://paperswithcode.com/method/gpt-22020年5月，OpenAI 发布论文《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者，提出GPT-3模型。论文地址： https://paperswithcode.com/method/gpt-32022年2月底，OpenAI 发布论文《Training language models to follow instructions with human feedback》（使用人类反馈指令流来训练语言模型），公布Instruction GPT模型。论文地址： https://arxiv.org/abs/2203.021552022年11月30日，OpenAI推出ChatGPT模型，并提供试用，全网火爆。见：AI-001-火爆全网的聊天机器人ChatGPT能做什么3、GPT之T-Transformer(2017)在第1小节中，我们说到Transformer是没有合适的翻译的。但是Transfomer却是GPT(Generative Pre-Training Transfomer)中最重要、最基础的关键词。（注：GPT的Transformer相比google论文原版Transformer是简化过的，只保留了Decoder部分，见本文4.3小节）3.1、重点在好，还是重点在人？就像好人，最关键的是好，还是人？读者们，是好吗？一个稍稳妥的答复是：既不是好，也不是人；既是好，也是人。唔，有点绕，那么说人话一点，展开：语义上，重点在好；基础和前提上，重点在人。3.2、对不起，你是个好人再延展一下，那"对不起，你是个好人"呢？语义的重点，变成是对不起。但是语义的前提，还是人。3.3、回归正题，Transfomer是什么这篇《十分钟理解Transfomer》( https://zhuanlan.zhihu.com/p/82312421 ）可以看一下。看懂了可以忽略我接下来关于Transfomer的内容，直接跳到第4章节。如果没太看懂，可以看下我的理解，对你或许有一定参考作用。3.3.1、上一代RNN模型的重大缺陷在Transformer模型出来前，RNN模型(循环神经网络)是典型的NLP模型架构，基于RNN还有其他一些变种模型（忽略其名字，Transformer出来后，已经不再重要了），但是都存在相同的问题，并没能很好解决。RNN的基本原理是，从左到右浏览每个单词向量(比如说this is a dog)，保留每个单词的数据，后面的每个单词，都依赖于前面的单词。RNN的关键问题：前后需要顺序、依次计算。可以想象一下，一本书、一篇文章，里面是有大量单词的，而又因为顺序依赖性，不能并行，所以效率很低。这样说可能大家还是不容易理解，我举一个例子(简化理解，和实际有一定出入）：在RNN循环中，You are a good man这句话，需要如何计算呢？1)、You和You are a good man计算，得到结果集$You2)、基于$You的基础上，再使用Are和You are a good man，计算得出$Are3)、基于$You、$Are的基础，继续计算$a4)、依此类推，计算$is、$good、$man，最终完成You are a good man的所有元素的完整计算可以看到，计算过程是一个一个、顺次计算，单一流水线，后面的工序依赖前面的工序，所以非常慢3.3.2、Transformer之All in Attention前面我们提到，2017年6月，Google发布论文《Attention is all you need》，首次提出Transformer模型，成为GPT发展的基础。论文地址： https://arxiv.org/abs/1706.03762从其标题《Attention is all you need》你就能知道，Transfomer其实主张是"All in Attention"。那么什么是Attention（注意力）呢？在《Attention is all you need》论文中，可以看到其定义如下：自我注意(self-Attention)，有时称为内部注意，是一种将单个序列的不同位置联系起来的注意力机制，以便计算序列的表示。自我注意已成功地应用于阅读理解、抽象概括、语篇包含和学习任务无关的句子表示等多种任务中简单理解，就是单词与单词之间的关联度，通过注意力(Attention) 这个向量来描述。比如说You are a good man(你是个好人)，AI在分析You的注意力向量时，可能是这么分析的：从Your are a good man这句话中，通过注意力机制进行测算，You和You（自身）的注意力关联概率最高(0.7,70%)，毕竟你(you)首先是你(you)；于是You,You的注意力向量是 0.7You和man（人）的注意力关联其次(0.5，50%)，你(you)是个人(man),，于是You,man的注意力向量是0.5You和good(好)的注意力关联度再次(0.4,40%)，你在人的基础上，还是一个好(good)人。于是You,good的注意力向量值是0.4You,are向量值是 0.3；You,a的向量值是0.2。于是最终You的注意力向量列表是【0.7 、 0.3、0.2、0.4、0.5】（仅本文举例）。3.4、论文中对attention和Transfomer的价值描述在论文中，google对于attention和transfomer的描述，主要强调了传统模型对顺序依赖存在，Transformer模型可以替代当前的递归模型，消减对输入输出的顺序依赖。3.5、Transformer机制的深远意义Transformer问世后，迅速取代循环神经网络RNN的系列变种，成为主流的模型架构基础。如果说可以并行、速度更快都是技术特征，让行外人士、普罗大众还不够直观，那么从当前ChatGPT的震憾效果就可以窥知一二。**Transformer从根本上解决了两个关键障碍，其推出是变革性的、革命性的**。3.5.1、摆脱了人工标注数据集（大幅降低人工数量）这个关键障碍就是：过往训练我们要训练一个深度学习模型，必须使用大规模的标记好的数据集合(Data set)来训练，这些数据集合需要人工标注，成本极高。打个比方，就是机器学习需要大量教材，大量输入、输出的样本，让机器去学习、训练。这个教材需要量身制定，而且需求数量极大。好比以前要10000、10万名老师编写教材，现在只需要10人，降低成千上万倍。那么这块是怎么解决的呢？简单描述一下，就是通过Mask机制，遮挡已有文章中的句段，让AI去填空。好比是一篇已有的文章、诗句，挡住其中一句，让机器根据学习到的模型，依据上一句，去填补下一句。如下图示例：这样，很多现成的文章、网页、知乎问答、百度知道等，就是天然的标注数据集了(一个字，超省钱）。3.5.2、化顺序计算为并行计算，巨幅降低训练时间除了人工标注之外，在3.3.1小节中提到RNN的重大缺陷，就是顺序计算，单一流水线的问题。Self-Attention机制，结合mask机制和算法优化，使得一篇文章、一句话、一段话能够并行计算。还是以You are a good man举例，可以看到，计算机有多少，Transformer就能有多快：4、GPT(Generative Pre-Training)-2018年6月接下来，就到了ChatGPT的前世-GPT(1)了。2018年6月,OpenAI 发布论文Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力)，首次提出GPT模型(Generative Pre-Training)。论文地址： https://paperswithcode.com/method/gpt 。4.1、GPT模型的核心主张1-预训练(pre-training)GPT模型依托于Transformer解除了顺序关联和依赖性的前提，提出一个建设性的主张。先通过大量的无监督预训练(Unsupervised pre-training)，注：无监督是指不需要人介入，不需要标注数据集（不需要教材和老师）的预训练。再通过少量有监督微调（Supervised fine-tunning)，来修正其理解能力。4.1.1、打个比方打个比方，就好像我们培养一个小孩，分了两个阶段：1)、大规模自学阶段（自学1000万本书，没有老师）：给AI提供充足的算力，让其基于Attention机制，自学。2)、小规模指导阶段(教10本书)：依据10本书，举一反"三"4.1.2、论文开篇的描述所谓开宗明义，从开篇introduction中，也可看到GPT模型对于监督学习、手动标注数据的说明。4.2、GPT模型的核心主张2-生成式(Generative)在机器学习里，有判别式模式(discriminative model)和生成式模式(Generative model)两种区别。GPT(Generative Pre-Training)顾名思义，采用了生成式模型。生成式模型相比判别式模型更适合大数据学习，后者更适合精确样本(人工标注的有效数据集）。要**更好实现预训练(Pre-Training)**，生成式模式会更合适。注：本小节重点在于上面一句话（更适合大数据学习），如果觉得理解复杂，本小节下面可不看。在wiki生成式模型的材料里（ https://en.wiki敏pedia感.org/wiki/Generative_model ），举了一个如下说明两者的区别：单看上面可能不容易看懂，这里补充解释下。上面的意思是说，假设有4个样本：那么生成式(Generative Model)的特征就是概率不分组（计算样本内概率，除以样本总和），以上表为例，发现x=1，y=0的总共有1个，所以会认为x=1,y=0的几率为1/4(样本总数为4)。同样的，x=2,y=0的总共有2个，则x=2,y=0的概率为2/4.而判别式(Discriminative Model)的特征则是**概率分组计算（计算组内概率，除以组内总和)**。以上表为例，x=1，y=0一共有1个，同时x=1的分组一共有2个sample，所以其概率为 1/2。同样的，x=2,y=0的总共有2个。且同时x=2的分组共有2个sample，则x=2,y=0的概率为2/2=1（即100%)。4.3、GPT相比原版Transfomer的模型改进下面是GPT的模型说明，GPT训练了一个12层仅decoder的解码器（decoder-only,没有encoder)，从而使得模型更为简单。注1：google论文《Attention is all you need》原版Transformer中，包含Encoder和Decoder两部分，前者(Encoder)对应的是翻译，后者(Decoder)对应的是生成。注2：google以Encoder为核心，构建了一个BERT(Bidirectional Encoder Representations from Transformers,双向编码生成Transformer)模型。里面的双向(Bidirectional)，是指BERT是同时使用上文和下文预测单词，因此 BERT 更擅长处理自然语言理解任务 (NLU)。注3：本小节要点，GPT基于Transformer，但是相比Transformer又简化了模型，去掉了Encoder，只保留了Decoder。同时，相比BERT的上下文预测(双向)，GPT主张仅使用单词的上文预测单词（单向），从而使模型更简单、计算更快，更适合于极致的生成，并因此GPT更擅长处理自然语言生成任务 (NLG)，也就是我们在AI-001-火爆全网的聊天机器人ChatGPT能做什么发现的，ChatGPT很擅长写"作文"、编瞎话。理解本段后，本小节后面的可不看。注4：从模拟人类来看，GPT的机制得更像真实人类。因为人类也是根据上文(前面说的)来推测下文(即说后面的），所谓说出去的话就像泼出去的水，人类也是没办法根据后面说的话，来调整前面说的话的，即使说错了，恶语伤人心，也只能基说出去的话(上文)进行补救、解释。4.3.1、架构图对比下图为Transfomer模型架构和GPT模型架构的对比（分别来自论文《Attention is all you need》和《Improving Language Understanding by Generative Pre-Training》）4.4、GPT模型的训练规模前面提到生成式模式更有利于大数据集的Pre-Training预训练，那么GPT使用了多大规模的data set(数据集)呢？论文中有提到，它采用了一个名为BooksCorpus的数据集，包含了超过7000本未发表书籍。5、GPT-2(2019年2月)2019年2月，OpenAI 发布论文《Language Models are Unsupervised Multitask Learners》（语言模型应该是一个无监督多任务学习者），提出GPT-2模型。论文地址: https://paperswithcode.com/method/gpt-25.1、GPT-2模型相比GPT-1的核心变化前面提到，GPT的核心主张有Generative(生成式)、Pre-Training。同时，GPT训练有两步：1)、大规模自学阶段（Pre-Training预训练,自学1000万本书，没有老师）：给AI提供充足的算力，让其基于Attention机制，自学。2)、小规模指导阶段(fine-tuning微调，教10本书)：依据10本书，举一反"三"GPT-2的时候，OpenAI将有监督fine-tuning微调阶段给直接去掉了，将其变成了一个无监督的模型。同时，增加了一个关键字**多任务(multitask)**，这点从其论文名称《Language Models are Unsupervised Multitask Learners》（语言模型应该是一个无监督多任务学习者）也可看出。5.2、为什么这么调整？试图解决zero-shot问题GPT-2为什么这么调整？从论文描述来看，是为了尝试解决**zero-shot(零次学习问题)**。zero-shot(零次学习)是一个什么问题呢？简单可理解为推理能力。就是指面对未知事物时，AI也能自动认识它，即具备推理能力。比如说，在去动物园前，我们告诉小朋友，像熊猫一样，是黑白色，并且呈黑白条纹的类马动物就是斑马，小朋友根据这个提示，能够正确找到斑马。5.3、multitask多任务如何理解？传统ML中，如果要训练一个模型，就需要一个专门的标注数据集，训练一个专门的AI。比如说，要训练一个能认出狗狗图像的机器人，就需要一个标注了狗狗的100万张图片，训练后，AI就能认出狗狗。这个AI，是专用AI，也叫single task。而multitask多任务，就是主张不要训练专用AI，而是喂取了海量数据后，任意任务都可完成。5.4、GPT-2的数据和训练规模数据集增加到800万网页，40GB大小。而模型自身，也达到最大15亿参数、Transfomer堆叠至48层。简单类比，就像是模拟人类15亿神经元（仅举例，不完全等同）。6、GPT-3(2020年5月)2020年5月，OpenAI 发布论文《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者），提出GPT-3模型。论文地址： https://paperswithcode.com/method/gpt-36.1、GPT-3的突破式效果进展论文中对于效果是这么描述的:1、GPT-3在翻译、问题回答和完形填空中表现出强大的性能，同时能够解读单词、句子中使用新单词或执行3位数算订。2、GPT-3可以生成新闻文章的样本，人类已然区分不出来。如下图：6.2、GPT-3相比GPT-2的核心变化前面提到GPT-2在追求无监督、zero-shot（零次学习），但是其实在GPT-2论文中，OpenAI也提出结果不达预期。这显然是需要调整的，于是GPT-3就进行了相关调整。从标题《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者)也可看出。说白了，zero-shot（零次学习）不靠谱。并且，在训练过程中会对比Zero-shot零次学习；One-shot(单一样本学习)、Few-shot(少量样本学习)，以及fine-tuning人工微调的方式。最后在多数情况下，few-shot(少量样本）的综合表现，是在无监督模式下最优的，但稍弱于fine-tuning微调模式。从下述论文表格、图形中，也可看出few-shot是综合表现仅弱于fine-tuning微调的。6.3、GPT-3的训练规模GPT-3采用了过滤前45TB的压缩文本，并且在过滤后也仍有570GB的海量数据。在模型参数上，从GPT-2的15亿，提升到1750亿，翻了110多倍；Transformer Layer也从48提升到96。7、Instruction GPT(2022年2月)2022年2月底，OpenAI 发布论文《Training language models to follow instructions with human feedback》（使用人类反馈指令流来训练语言模型），公布Instruction GPT模型。论文地址： https://arxiv.org/abs/2203.021557.1、Instruction GPT相比GPT-3的核心变化Instruction GPT是基于GPT-3的一轮增强优化，所以也被称为GPT-3.5。前面提到，GPT-3主张few-shot少样本学习，同时坚持无监督学习。但是事实上,few-shot的效果，显然是差于fine-tuning监督微调的方式的。那么怎么办呢？走回fine-tuning监督微调？显然不是。OpenAI给出新的答案：在GPT-3的基础上，基于人工反馈(RHLF）训练一个reward model(奖励模型),再用reward model(奖励模型，RM)去训练学习模型。天啦噜，夭寿了。。要用机器(AI)来训练机器(AI)了。。7.2、Insctruction GPT的核心训练步骤Instruction GPT一共有3步：1)、对GPT-3进行**fine-tuning(监督微调)**。2)、再训练一个Reward Model(奖励模型，RM)3)、最后通过增强学习优化SFT值得注意的是，第2步、第3步是完全可以迭代、循环多次进行的。7.3、Instruction GPT的训练规模基础数据规模同GPT-3（见6.3小节），只是在其基础上增加了3个步骤（监督微调SFT、奖励模型训练Reward Model，增强学习优化RPO)。下图中labeler是指OpenAI雇佣或有相关关系的**标注人员(labler)**。而customer则是指GPT-3 API的调用用户（即其他一些机器学习研究者、程序员等）。本次ChatGPT上线后据说有百万以上的用户，我们每个人都是其customer，所以可以预见，未来GPT-4发布时，其customer规模至少是百万起。8、ChatGPT(2022年11月）2022年11月30日，OpenAI推出ChatGPT模型，并提供试用，全网火爆。见：AI-001-火爆全网的聊天机器人ChatGPT能做什么8.1、ChatGPT和Instruction GPTChatGPT和InstructionGPT本质上是同一代际的，仅仅是在InstructionGPT的基础上，增加了Chat功能，同时开放到公众测试训练，以便产生更多有效标注数据。8.2、【重要，建议浏览下面推荐的视频】从人的直观理解上，补充解释一下ChatGPT的核心原理可参考台大教授李宏毅的视频《ChatGPT是怎么炼成的？GPT社会化过程》，讲得很好。https://www.inside.com.tw/article/30032-chatgpt-possible-4-steps-trainingGPT是单向生成，即根据上文生成下文。比如说有一句话：向GPT模型给出输入你好，下面一个字是接你好吗？你好帅？你好高？你好美？等等，GPT会计算出一个概率，给出最高的那个概率作为回答。依此类推，如果给出一个指令（或称为Prompt)，ChatGPT也会依据上文（prompt)进行推算下文（回答），同时选择一个最大概率的上文进行回答。如下图：9、小结总结：1)、2017年，谷歌发布论文《Attention is all you need》，提出Transformer模型，为GPT铺就了前提。2)、2018年6月，OpenAI发布了GPT生成式预训练模型，通过BooksCorpus大数据集（7000本书）进行训练，并主张通过大规模、无监督预训练（pre-training)+有监督微调(fine-tuning)进行模型构建。3)、2019年2月，OpenAI发布GPT-2模型，进一步扩大了训练规模(使用了40GB数据集，最大15亿参数(parameters))。同时在思路上，去掉了fine-tuning微调过程，强调zero-shot(零次学习)和multitask(多任务)。但是最终zero-shot效果显著比不上fine-tuning微调。4)、2020年5月，OpenAI发布GPT-3模型，进一步扩大了**训练规模(使用了570GB数据集，和1750亿参数)**。同时采取了few-shot(少量样本）学习的模式，取得了优异效果。当然，在实验中同步对比了fine-tuning，比fine-tuning效果略差。5)、2022年2月，OpenAI发布Instruction GPT模型，此次主要是在GPT-3的基础上，增加了监督微调(Supervised Fine-tuning)环节，并且基于此，进一步加入了Reward Model奖励模型，通过RM训练模型来对学习模型进行RPO增强学习优化。6)、2022年11月30日，OpenAI发布ChatGPT模型，可以理解为一个多轮迭代训练后的InstructionGPT，并在此基础上增加了Chat对话聊天功能。10、未来将来(GPT-4 or ?)从种种迹象来看，GPT-4或许将于2023年亮相？它会有多强大呢？同时ChatGPT的效果，牵引了业界众多目光，想必接下来更多基于GPT的训练模型及其应用，会更加百花齐放。未来将来，拭目以待。部分参考资料ai.googleblog.com/2017/08/transformer-novel-neural-network.htmlhttps://arxiv.org/abs/1706.03762https://paperswithcode.com/method/gpthttps://paperswithcode.com/method/gpt-2https://paperswithcode.com/method/gpt-3https://arxiv.org/abs/2203.02155https://zhuanlan.zhihu.com/p/464520503https://zhuanlan.zhihu.com/p/82312421https://cloud.tencent.com/developer/article/1656975https://cloud.tencent.com/developer/article/1848106https://zhuanlan.zhihu.com/p/353423931https://zhuanlan.zhihu.com/p/353350370https://juejin.cn/post/6969394206414471175https://zhuanlan.zhihu.com/p/266202548https://en.wiki敏pedia感.org/wiki/Generative_modelhttps://zhuanlan.zhihu.com/p/67119176https://zhuanlan.zhihu.com/p/365554706https://cloud.tencent.com/developer/article/1877406https://zhuanlan.zhihu.com/p/34656727https://zhuanlan.zhihu.com/p/590311003 本文作者：，

转载请注明来自FreeBuf.COM # AI # NLP

被以下专辑收录，发现更多精彩内容

+ 收入我的专辑

+ 加入我的收藏

展开更多

ChatGPT 最全技术解读在哪里？ - 知乎

ChatGPT 最全技术解读在哪里？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册人工智能深度学习（Deep Learning）AGIChatGPTChatGPT 最全技术解读在哪里？关注者777被浏览245,901关注问题写回答邀请回答好问题 10添加评论分享253 个回答默认排序郭小天机器学习话题下的优秀答主关注如果只让我推荐一篇讲解ChatGPT的技术文章，那么当然是Stephen Wolfram亲自下场写的这篇技术解读：What is ChatGPT doing...and why does it work?https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/Wolfram虽然一直笔耕不辍，但自从ChatGPT问世以后，大神的技术博客的更新频率明显加快了。加快的原因就是因为ChatGPT是一个真正可以让Wolfram这样的天才都兴奋的东西，兴奋到前些天还专门开了一个持续三小时的直播，虽然大神全程语速均匀面无表情：https://www.youtube.com/watch?v=flXrLGPY3SU&list=RDCMUCJekgf6k62CQHdENWf2NgAQ&index=2这篇文章是我最喜欢的那种技术文章，原理讲解的极为清楚，甚至不厌其烦地为初学者介绍神经网络的基础知识和工作原理。我尤其喜欢的部分是讲ChatGPT如何理解语言的基本语法和语义，以及如何将这些知识应用于生成新的文本，并且如何通过对话生成任务的微调来进一步提高性能的。你要知道，在讲解这些的过程中，Wolfram全程没有用一个数学公式（这明明是他最熟悉的语言），只用文字和图表就讲得清清楚楚。我甚至都想不出一篇既能全面涵盖技术精要，又能做到通俗易懂的技术文章，还能有几个可以做到Wolfram这样？还真有，并且就在我们中文环境——当然首推我们的李沐老师的论文精读系列（油管/B站搜索：跟李沐学AI）。李沐老师真的是字面意义上的带你逐段精读，既解释了这些论文的核心思想和技术，又分享了他的极为宝贵的见解和经验，同时还能时不时来点小幽默，所以整个学习过程是极为愉悦的。话虽如此，但李沐老师从不放过任何一个艰难但重要的细节。这些细节时刻在提醒你，在真正理解之前，不要试图寻求太多抚慰。所以回到最初的问题，ChatGPT最全技术解读在哪里？答案就在李沐老师的这四个论文精读视频里面。认真学习这四个视频，ChatGPT的来龙去脉就清清楚楚地展开到你眼前了。快跟上吧，下周GPT-4就要问世了。这个过程并不轻松，有时候还十分艰辛，但却绝不无聊。编辑于 2023-03-11 09:48赞同 4316 条评论分享收藏喜欢收起YBH腾讯算法工程师关注ChatGPT(Generative Pre-trained Transformer)是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。通过学习大量现成文本和对话集合（例如Wiki），ChatGPT能够像人类那样即时对话，流畅的回答各种问题。（当然回答速度比人还是慢一些）无论是英文还是其他语言（例如中文、韩语等），从回答历史问题，到写故事，甚至是撰写商业计划书和行业分析，“几乎”无所不能。ChatGPT也可以与其他AIGC模型联合使用，获得更加炫酷实用的功能。例如通过对话生成客厅设计图。这极大加强了AI应用与客户对话的能力，使我们看到了AI大规模落地的曙光。1.GPT的历史2018年起，OpenAI就开始发布生成式预训练语言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代码、机器翻译、问答等各类内容。每一代GPT模型的参数量都爆炸式增长，堪称“越大越好”。2019年2月发布的GPT-2参数量为15亿，而2020年5月的GPT-3，参数量达到了1750亿。2.ChatGPT的主要特点OpenAI使用 RLHF（Reinforcement Learning from Human Feedbac，人类反馈强化学习）技术对 ChatGPT 进行了训练，且加入了更多人工监督进行微调。此外，ChatGPT 还具有以下特征：1）可以主动承认自身错误。若用户指出其错误，模型会听取意见并优化答案。2）ChatGPT 可以质疑不正确的问题。例如被询问 “哥伦布 2015 年来到美国的情景” 的问题时，机器人会说明哥伦布不属于这一时代并调整输出结果。3）ChatGPT 可以承认自身的无知，承认对专业技术的不了解。4）支持连续多轮对话。与大家在生活中用到的各类智能音箱和“人工智障“不同，ChatGPT在对话过程中会记忆先前使用者的对话讯息，即上下文理解，以回答某些假设性的问题。ChatGPT可实现连续对话，极大的提升了对话交互模式下的用户体验。对于准确翻译来说（尤其是中文与人名音译），ChatGPT离完美还有一段距离，不过在文字流畅度以及辨别特定人名来说，与其他网络翻译工具相近。由于 ChatGPT是一个大型语言模型，目前还并不具备网络搜索功能，因此它只能基于2021年所拥有的数据集进行回答。例如它不知道2022年世界杯的情况，也不会像苹果的Siri那样回答今天天气如何、或帮你搜索信息。如果ChatGPT能上网自己寻找学习语料和搜索知识，估计又会有更大的突破。即便学习的知识有限，ChatGPT 还是能回答脑洞大开的人类的许多奇葩问题。为了避免ChatGPT染上恶习， ChatGPT 通过算法屏蔽，减少有害和欺骗性的训练输入。，通过适度 API 进行过滤，并驳回潜在的种族主义或性别歧视提示。3.ChatGPT原理本质上，作为ChatGPT基础的GPT-3或GPT-3.5 是一个超大的统计语言模型或顺序文本预测模型。与BERT模型类似，ChatGPT或GPT-3.5都是根据输入语句，根据语言/语料概率来自动生成回答的每一个字（词语）。从数学或从机器学习的角度来看，语言模型是对词语序列的概率相关性分布的建模，即利用已经说过的语句（语句可以视为数学中的向量）作为输入条件，预测下一个时刻不同语句甚至语言集合出现的概率分布。ChatGPT 使用来自人类反馈的强化学习进行训练，这种方法通过人类干预来增强机器学习以获得更好的效果。在训练过程中，人类训练者扮演着用户和人工智能助手的角色，并通过近端策略优化算法进行微调。由于ChatGPT更强的性能和海量参数，它包含了更多的主题的数据，能够处理更多小众主题。ChatGPT现在可以进一步处理回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。3.1 GPT家族的演进ChatGPT之前有几个知名的兄弟，包括GPT-1、GPT-2和GPT-3。这几个兄弟一个比一个个头大，ChatGPT与GPT-3更为相近。ChatGPT的演进过程GPT家族与BERT模型都是知名的NLP模型，都基于Transformer技术。GPT-1只有12个Transformer层，而到了GPT-3，则增加到96层。Transformer整体结构（引自谷歌论文）3.2 人类反馈强化学习InstructGPT/GPT3.5（ChatGPT的前身）与GPT-3的主要区别在于，新加入了被称为RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）。RLHF的训练过程可以分解为三个核心步骤：● 预训练语言模型（LM）● 收集数据并训练奖励模型● 通过强化学习微调 LM阶段1：预训练语言模型首先，我们需要选一个经典的预训练语言模型作为初始模型。例如，OpenAI 在其第一个RLHF 模型 InstructGPT 中用的小规模参数版本的 GPT-3；DeepMind 则使用了2800 亿参数的 Gopher 模型。这些语言模型往往见过大量的 [Prompt,Text] 对，输入一个prompt（提示），模型往往能输出还不错的一段文本。预训练模型可以在人工精心撰写的语料上进行微调，但这一步不是必要的。例如，OpenAI在人工撰写的优质语料上对预训练模型进行了微调；Anthropic将他们的语言模型在“有用、真实、无害”价值观导向的语料上做了一步模型蒸馏。不过，这种人工撰写的优质语料一般成本是非常高的。总结一下，这个步骤，可以用如下图所示：此外，到底哪个预训练模型版本是RLHF热启的最优选择？这其实没有一个定论，仍是一个开放问题。再之后，我们需要基于这个初始语言模型产出的数据来训练一个奖励模型（reward model，简称RM）。接下来，就会引入人类的反馈信号了。阶段2：奖励模型的训练一个奖励模型（RM）的目标是刻画模型的输出是否在人类看来表现不错。即，输入 [提示(prompt)，模型生成的文本] ，输出一个刻画文本质量的标量数字。用于训练奖励模型的Prompt数据一般来自于一个预先富集的数据集，比如Anthropic的Prompt数据主要来自Amazon Mechanical Turk上面的一个聊天工具；OpenAI的Prompt数据则主要来自那些调用GPT API的用户。这些prompts会被丢进初始的语言模型（第一阶段的模型）里来生成文本。整体流程如图所示：奖励模型可以看做一个判别式的语言模型，因此我们可以用一个预训练语言模型热启，而后在 [x=[prompt，模型回答], y=人类满意度] 构成的标注语料上去微调，也可以直接随机初始化，在语料上直接训练。如上图所示，标注人员的任务则是对初始语言模型生成的文本进行排序。有人可能会奇怪，为啥不直接让标注人员对文本进行打分呢？这是因为研究人员发现不同的标注员，打分的偏好会有很大的差异（比如同样一段精彩的文本，有人认为可以打1.0，但有人认为只能打0.8），而这种差异就会导致出现大量的噪声样本。若改成标注排序，则发现不同的标注员的打分一致性就大大提升了。那具体怎么操作呢？一种比较有效的做法是“pair-wise”，即给定同一个prompt，让两个语言模型同时生成文本，然后比较这两段文本哪个好。最终，这些不同的排序结果会通过某种归一化的方式变成标量信号（即point-wise）丢给模型训练。一个比较有趣的观测是，奖励模型的大小最好是跟生成模型的大小相近，这样效果会比较好。一种比较直观的解释就是，要理解生成模型的输出内容，这份理解能力所需要的模型参数规模就得恰好是跟生成模型相近才能做到（当然，如果奖励模型规模更大那应该更没问题，但理论上没必要）。至此，我们有了一个初始的语言模型来生成文本，以及一个奖励模型（RM）来判断模型生成的文本是否优质（迎合人类偏好）。接下来会讲解如何使用强化学习(RL)来基于奖励模型来优化初始的语言模型。阶段3：基于 RL 进行语言模型优化我们将初始语言模型的微调任务建模为强化学习（RL）问题，因此需要定义策略（policy）、动作空间（action space）和奖励函数（reward function）等基本要素。显然，策略就是基于该语言模型，接收prompt作为输入，然后输出一系列文本（或文本的概率分布）；而动作空间就是词表所有token在所有输出位置的排列组合（单个位置通常有50k左右的token候选）；观察空间则是可能的输入token序列（即prompt），显然也相当大，为词表所有token在所有输入位置的排列组合；而奖励函数（reward）则是基于上一章节我们训好的RM模型计算得到初始reward，再叠加上一个约束项来。然后我们来看一下最后提到的这个约束项是什么。首先，基于前面提到的预先富集的数据，从里面采样prompt输入，同时丢给初始的语言模型和我们当前训练中的语言模型（policy），得到俩模型的输出文本y1，y2。然后用奖励模型RM对y1、y2打分，判断谁更优秀。显然，打分的差值便可以作为训练策略模型参数的信号，这个信号一般通过KL散度来计算“奖励/惩罚”的大小。显然，y2文本的打分比y1高的越多，奖励就越大，反之惩罚则越大。这个信号就反映了当前模型有没有在围着初始模型“绕圈”，避免模型通过一些“取巧”的方式骗过RM模型获取高额reward。最后，便是根据 Proximal Policy Optimization (PPO) 算法来更新模型参数了。该阶段流程如下图所示：通过以上过程不难想到，完全可以迭代式的更新奖励模型（RM）和策略模型（policy），让奖励模型对模型输出质量的刻画愈加精确，策略模型的输出则愈能与初始模型拉开差距，使得输出文本变得越来越符合人的认知。这一训练范式增强了人类对模型输出结果的调节，并且对结果进行了更具理解性的排序。在InstructGPT中，以下是“goodness of sentences”的评价标准。真实性：是虚假信息还是误导性信息？无害性：它是否对人或环境造成身体或精神上的伤害？有用性：它是否解决了用户的任务？3.3 TAMER框架TAMER（Training an Agent Manually via Evaluative Reinforcement，评估式强化人工训练代理）。该框架将人类标记者引入到Agents的学习循环中，可以通过人类向Agents提供奖励反馈（即指导Agents进行训练），从而快速达到训练任务目标。引入人类标记者的主要目的是加快训练速度。尽管强化学习技术在很多领域有突出表现，但是仍然存在着许多不足，例如训练收敛速度慢，训练成本高等特点。特别是现实世界中，许多任务的探索成本或数据获取成本很高。如何加快训练效率，是如今强化学习任务待解决的重要问题之一。而TAMER则可以将人类标记者的知识，以奖励信反馈的形式训练Agent，加快其快速收敛。TAMER不需要标记者具有专业知识或编程技术，语料成本更低。通过TAMER+RL（强化学习），借助人类标记者的反馈，能够增强从马尔可夫决策过程 (MDP) 奖励进行强化学习 (RL) 的过程。TAMER架构在强化学习中的应用具体实现上，人类标记者扮演对话的用户和人工智能助手，提供对话样本，让模型生成一些回复，然后标记者会对回复选项打分排名，将更好的结果反馈回模型中，Agents同时从两种反馈模式中学习——人类强化和马尔可夫决策过程奖励作为一个整合的系统，通过奖励策略对模型进行微调并持续迭代。在此基础上，ChatGPT 可以比 GPT-3 更好的理解和完成人类语言或指令，模仿人类，提供连贯的有逻辑的文本信息的能力。3.4 ChatGPT的训练ChatGPT的训练过程分为以下三个阶段：第一阶段：训练监督策略模型GPT 3.5本身很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令的意图，首先会在数据集中随机抽取问题，由人类标注人员，给出高质量答案，然后用这些人工标注好的数据来微调 GPT-3.5模型（获得SFT模型, Supervised Fine-Tuning）。此时的SFT模型在遵循指令/对话方面已经优于 GPT-3，但不一定符合人类偏好。ChatGPT模型的训练过程第二阶段：训练奖励模型（Reward Mode，RM）这个阶段的主要是通过人工标注训练数据（约33K个数据），来训练回报模型。在数据集中随机抽取问题，使用第一阶段生成的模型，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。接下来，使用这个排序结果数据来训练奖励模型。对多个排序结果，两两组合，形成多个训练数据对。RM模型接受一个输入，给出评价回答质量的分数。这样，对于一对训练数据，调节参数使得高质量回答的打分比低质量的打分要高。第三阶段：采用PPO（Proximal Policy Optimization，近端策略优化）强化学习来优化策略。PPO的核心思路在于将Policy Gradient中On-policy的训练过程转化为Off-policy，即将在线学习转化为离线学习，这个转化过程被称之为Importance Sampling。这一阶段利用第二阶段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题，使用PPO模型生成回答，并用上一阶段训练好的RM模型给出质量分数。把回报分数依次传递，由此产生策略梯度，通过强化学习的方式以更新PPO模型参数。如果我们不断重复第二和第三阶段，通过迭代，会训练出更高质量的ChatGPT模型。4.ChatGPT目前遇到的一些问题（1）ChatGPT在其未经大量语料训练的领域缺乏“人类常识”和引申能力，甚至会一本正经的“胡说八道”。ChatGPT在很多领域可以“创造答案”，但当用户寻求正确答案时，ChatGPT也有可能给出有误导的回答。例如让ChatGPT做一道小学应用题，尽管它可以写出一长串计算过程，但最后答案却是错误的。ChatGPT给出错误的数学题答案（2）ChatGPT无法处理复杂冗长或者特别专业的语言结构。对于来自金融、自然科学或医学等非常专业领域的问题，如果没有进行足够的语料“喂食”，ChatGPT可能无法生成适当的回答。（3）ChatGPT需要非常大量的算力（芯片）来支持其训练和部署。抛开需要大量语料数据训练模型不说，在目前，ChatGPT在应用时仍然需要大算力的服务器支持，而这些服务器的成本是普通用户无法承受的，即便数十亿个参数的模型也需要惊人数量的计算资源才能运行和训练。，如果面向真实搜索引擎的数以亿记的用户请求，如采取目前通行的免费策略，任何企业都难以承受这一成本。因此对于普通大众来说，还需等待更轻量型的模型或更高性价比的算力平台。（4）ChatGPT还没法在线的把新知识纳入其中，而出现一些新知识就去重新预训练GPT模型也是不现实的，无论是训练时间或训练成本，都是普通训练者难以接受的。如果对于新知识采取在线训练的模式，看上去可行且语料成本相对较低，但是很容易由于新数据的引入而导致对原有知识的灾难性遗忘的问题。（5）ChatGPT仍然是黑盒模型。目前还未能对ChatGPT的内在算法逻辑进行分解，因此并不能保证ChatGPT不会产生攻击甚至伤害用户的表述。5.ChatGPT存在的改进方向5.1数理化问答的优化ChatGPT虽然对话能力强，但是在数理计算对话中容易出现一本正经胡说八道的情况。计算机学家Stephen Wolfram 为这一问题提出了解决方案。Stephen Wolfram 创造了的 Wolfram 语言和计算知识搜索引擎 Wolfram | Alpha，其后台通过Mathematica实现。ChatGPT与Wolfram | Alpha结合处理梳理问题在这一结合体系中，ChatGPT 可以像人类使用 Wolfram|Alpha 一样，与 Wolfram|Alpha “对话”，Wolfram|Alpha 则会用其符号翻译能力将从 ChatGPT 获得的自然语言表达“翻译”为对应的符号化计算语言。在过去，学术界在 ChatGPT 使用的这类 “统计方法” 和 Wolfram|Alpha 的 “符号方法” 上一直存在路线分歧。但如今 ChatGPT 和 Wolfram|Alpha 的互补，给NLP领域提供了更上一层楼的可能。ChatGPT 不必生成这样的代码，只需生成常规自然语言，然后使用 Wolfram|Alpha 翻译成精确的 Wolfram Language，再由底层的Mathematica进行计算。5.2 ChatGPT的小型化虽然ChatGPT很强大，但其模型大小和使用成本也让很多人望而却步。有三类模型压缩（model compression）可以降低模型的大小和成本。第一种方法是量化（quantization），即降低单个权重的数值表示的精度。比如Tansformer从FP32降到INT8对其精度影响不大。第二种模型压缩方法是剪枝（pruning），即删除网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效。第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所 (ISTA)提出的SparseGPT （https://arxiv.org/pdf/2301.00774.pdf）可以将 GPT 系列模型单次剪枝到 50% 的稀疏性，而无需任何重新训练。对 GPT-175B 模型，只需要使用单个 GPU 在几个小时内就能实现这种剪枝。SparseGPT 压缩流程6.ChatGPT的产业未来与投资机会6.1 AIGCAIGC即利用人工智能技术来生成内容。与此前Web1.0、Web2.0时代的UGC（用户生产内容）和PGC（专业生产内容）相比，代表人工智能构思内容的AIGC，是新一轮内容生产方式变革，而且AIGC内容在Web3.0时代也将出现指数级增长。ChatGPT 模型的出现对于文字/语音模态的 AIGC 应用具有重要意义，会对AI产业上下游产生重大影响。6.2 受益场景从下游相关受益应用来看，包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。从上游增加需求来看，包括算力芯片、数据标注、自然语言处理（NLP)等。大模型呈爆发态势（更多的参数/更大的算力芯片需求）GPT相关论文：1. ChatGPT: Optimizing Language Models for Dialogue ChatGPT: Optimizing Language Models for Dialogue2. GPT论文：Language Models are Few-Shot Learners [2005.14165] Language Models are Few-Shot Learners3. InstructGPT论文： Training language models to follow instructions with human feedback [2203.02155] Training language models to follow instructions with human feedback4. huggingface解读RHLF算法：Illustrating Reinforcement Learning from Human Feedback (RLHF) Illustrating Reinforcement Learning from Human Feedback (RLHF)5. RHLF算法论文：Augmenting Reinforcement Learning with Human Feedback https://www.cs.utexas.edu/~ai-lab/pubs/ICML_IL11-knox.pdf6. TAMER框架论文：Interactively Shaping Agents via Human Reinforcement https://www.cs.utexas.edu/~bradknox/papers/kcap09-knox.pdf7. PPO算法： Proximal Policy Optimization Algorithms[1707.06347] Proximal Policy Optimization Algorithms发布于 2023-03-03 11:08赞同 66添加评论分享收藏喜欢

Follow

tp下载链接|chatgpt 全称

tp下载链接|chatgpt 全称

ChatGPT_百度百科

ChatGPT 中，G、P、T 分别是什么意思？ - 知乎

浅谈ChatGPT - 知乎

什么是ChatGPT？是干啥用的捏？ - 知乎

「ChatGPT」究竟是什么？普通人该如何理解这一应用带来的影响？ - 知乎

ChatGPT_百度百科

Introducing ChatGPT

我们用4万字告诉你ChatGPT到底是什么（上）_澎湃号·湃客_澎湃新闻-The Paper

十分钟理解ChatGPT的技术逻辑及演进（前世、今生） - FreeBuf网络安全行业门户

ChatGPT 最全 技术解读 在哪里？ - 知乎

最近的新闻

您可能喜欢的文章

比特派官方最新app下载|巴西货币汇率

imtoken钱包ios版下载|cobol是什么

比特派助记词忘了怎么办

安卓手机怎么下载比特派app

比特派下载后怎么使用手机

比特派无法登录怎么办啊

比特派怎么看是否被授权

ChatGPT 最全技术解读在哪里？ - 知乎