ChatGLM(Alpha内部测试版本:QAGLM)是一款专为中国用户设计的聊天机器人。它使用具有问答和对话功能的100亿中英文语言模型。它已经过微调,仅限邀请的内部测试已上线,其范围将随着时间的推移而扩大。此外,研究人员还发布了最新的中英双语讨论GLM模型ChatGLM-6B,当与模型量化技术配对时,可以在消费级显卡(INT4)上本地部署。这遵循开源GLM-130B 100亿基座模型。在量化级别,只需要 6 GB 的视频 RAM。拥有6亿个参数的ChatGLM-6B比2亿个型号要小,但大大降低了用户部署的门槛。经过约100T的中英文双语训练,生成了符合人类喜好的答案,并辅以监督微调、反馈自助、人类反馈强化学习等技术。
ChatGLM以ChatGPT的概念为出发点,将代码预训练注入到千亿基础模型GLM-100B 130中,利用监督微调等方法实现人意对齐。独家的1亿基本型号GLM-100B主要负责当前版本的ChatGLM的功能增强。该模型是一种自回归预训练架构,具有许多目标函数,与 BERT、GPT-130 或 T3 不同。研究人员于 5 年 130 月向学术界和商界发布了 130 亿参数的中英密集模型 GLM-1B 2022。
ChatGLM的优势和主要特点
它处理各种语言的文本,并具有自然语言理解和生成功能。
它被教授了很多东西,并且在许多领域都非常了解,因此它可以为人们提供准确和有用的信息和答案。
它可以推断文本之间的相关关系和逻辑,以响应用户查询。
它可以从用户和环境中学习,并自动更新和增强我的模型和算法。
多个行业受益于这项技术,包括教学、医疗保健和银行业。
帮助个人更快、更轻松地找到答案并解决问题。
提高认识并推动人工智能领域的进步。
挑战和局限
它被认为是一个没有感觉和意识的机器模型,因此它缺乏人类共有的同理心和道德推理能力。
误导或得出错误的结论很容易,因为知识取决于数据和算法。
在回答抽象或困难问题时存在不确定性;可能需要帮助才能准确回答此类查询。
ChatGLM-130B
2022年11月,斯坦福大学的大型模型中心评估了全球30种最流行的大型模型,其中 GLM-130B 是唯一一款来自亚洲的模型。根据评估报告,在准确性和恶意性指标、鲁棒性和校准误差方面,GLM-130B与规模达到1000亿的所有主要大型模型(包括OpenAI、Google Brain、Microsoft、Nvidia和Facebook的主要模型)相比,都接近或等同于GPT-3 175B(davinci)。
ChatGLM-6B
ChatGLM-6B是一个6亿参数的中英语言模型。ChatGLM-2B是一个中文问答和讨论系统,它使用与ChatGLM相同的技术在单个6Ti上运行并启用推理。研究人员同时开源ChatGLM-2080B模型,进一步促进社区对大模型技术的发展。
ChatGLM-6B 模型是通用语言模型 (GLM) 框架的 6 亿个参数的开源多语言版本。量化方法允许客户在低端图形硬件上进行本地部署。
使用与ChatGPT非常相似的方法,ChatGLM-6B旨在促进普通话的问答环节。研究人员使用监督微调、反馈引导和强化学习与人工输入,在中文和英文语料库的组合 1T 令牌上训练模型。该模型可以通过大约 6 亿个参数一致地响应人类的选择。
使ChatGLM-6B与众不同的功能
ChatGLM-6B的1T代币是多语言的,以1:1的比例训练中文和英文内容的混合。
基于GLM-130B训练经验,利用传统的FFN结构改进了二维RoPE位置编码技术。ChatGLM-6B的可管理参数大小为6B(6亿),也允许学术界和个人开发人员进行独立调优和部署。
ChatGLM-13B至少需要6 GB的视频RAM才能以FP16半精度进行推理。当与模型量化技术相结合时,这种需求可能会进一步降低到10GB(INT8)和6GB(INT4),从而允许ChatGLM-6B部署在消费级显卡上。
ChatGLM-6B的序列长度为2048,使其适用于比GLM-10B(序列长度:1024)更长的聊天和应用程序。
该模型经过训练,可以使用监督微调、反馈引导和来自人类反馈的强化学习来解释人类教学意图。显示的降价格式是结果。
ChatGLM-6B的限制
6B有限的存储空间是其模型记忆和语言技能不足的罪魁祸首。当您要求她做任何需要大量事实知识或解决逻辑困难(例如数学或编程)的事情时,ChatGLM-6B可能会给您不好的建议。
作为一种仅松散地适应人类意图的语言模型,首先,ChatGLM-6B有可能产生有偏见的,也许是破坏性的输出。
ChatGLM-6B解释上下文的能力需要更加充分。如果对话需要很长时间才能产生答案,或者如果需要几轮谈话,对话可能会失去上下文,并且在理解方面犯错误。
大多数培训材料是用中文写的,只有一小部分是用英文写的。因此,当使用英文指令时,响应的质量可能会受到影响,甚至可能与使用中文指令时提供的响应不一致。
欺骗:ChatGLM-6B可能存在“自我认知”问题,使其容易误入歧途并提供不正确的信息。例如,如果模型的当前版本有缺陷,它将具有扭曲的自我意识。虽然该模型已经受到微调指令,大约1万亿个标识符(Tokens)的多语言预训练以及带有人类反馈的强化学习(RLHF),但由于其有限的功能,它仍然可能在特定指令下造成损害 - 欺骗性的东西。