chatgpt 的发布，搅动了整个 ai 领域，各大科技公司、创业公司以及高校团队都在跟进。近段时间，机器之心报道了多家创业公司、高校团队的研究成果。
昨日，又一国产 ai 对话大模型重磅登场：由清华技术成果转化的公司智谱 ai 基于 glm-130b 千亿基座模型的 chatglm 现已开启邀请制内测。
值得一提的是，此次智谱 ai 也开源了中英双语对话模型 chatglm-6b，支持在单张消费级显卡上进行推理使用。
内测申请网址：chatglm.cn
据了解，chatglm 当前版本模型的能力提升主要来源于独特的千亿基座模型 glm-130b。它是不同于 bert、gpt-3 以及 t5 的架构，是一个包含多目标函数的自回归预训练模型。
2022 年 8 月，清华大学联合智谱 ai 向研究界和工业界开放了拥有 1300 亿参数的中英双语稠密模型 glm-130b，该模型有一些独特的优势：
双语：同时支持中文和英文；高精度（英文）：在公开的英文自然语言榜单 lambada、mmlu 和 big-bench-lite 上优于 gpt-3 175b（api: davinci，基座模型）、opt-175b 和 bloom-176b；高精度（中文）：在 7 个零样本 clue 数据集和 5 个零样本 fewclue 数据集上明显优于 ernie titan 3.0 260b 和 yuan 1.0-245b；快速推理：首个实现 int4 量化的千亿模型，支持用一台 4 卡 3090 或 8 卡 2080ti 服务器进行快速且基本无损推理；可复现性：所有结果（超过 30 个任务）均可通过我们的开源代码和模型参数复现；跨平台：支持在国产的海光 dcu、华为昇腾 910 和申威处理器及美国的英伟达芯片上进行训练与推理。如今， 参考 chatgpt 的设计思路，chatglm 在千亿基座模型 glm-130b 中注入了代码预训练，通过有监督微调（supervised fine-tuning）等技术实现人类意图对齐。
机器之心获得了内测邀请码，这里简单和 chatglm 进行了对话，效果如下：
它能够理解「站 cp」的实际涵义：
给 chatglm 一个数学问题试试：
自从学会了二元一次方程，像这种基础的「鸡兔同笼」问题就再也难不倒它了：
开源 chatglm-6bchatglm-6b 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 general language model (glm) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（int4 量化级别下最低只需 6gb 显存）。chatglm-6b 使用了和 chatglm 相同的技术，针对中文问答和对话进行了优化。经过约 1t 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 chatglm-6b 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
模型开源地址：https://github.com/thudm/chatglm-6b
具体来说，chatglm-6b 具备以下特点：
充分的中英双语预训练：chatglm-6b 在 1:1 比例的中英语料上训练了 1t 的 token 量，兼具双语能力。优化的模型架构和大小：吸取 glm-130b 训练经验，修正了二维 rope 位置编码实现，使用传统 ffn 结构。6b（62 亿）的参数大小，也使得研究者和个人开发者自己微调和部署 chatglm-6b 成为可能。较低的部署门槛：fp16 半精度下，chatglm-6b 需要至少 13 gb 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10gb（int8） 和 6gb（int4），使得 chatglm-6b 可以部署在消费级显卡上。更长的序列长度：相比 glm-10b（序列长度 1024），chatglm-6b 序列长度达 2048，支持更长对话和应用。人类意图对齐训练：使用了监督微调（supervised fine-tuning）、反馈自助（feedback bootstrap）、人类反馈强化学习（reinforcement learning from human feedback）等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。不过由于 chatglm-6b 模型的容量较小，不可避免的存在一些局限和不足，包括：
相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，chatglm-6b 可能会生成不正确的信息，也不太擅长逻辑类问题（如数学、编程）的解答。可能会产生有害说明或有偏见的内容：chatglm-6b 只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。较弱的多轮对话能力：chatglm-6b 的上下文理解能力还不够充分，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。glm 团队表示，chatglm 距离国际顶尖大模型研究和产品还有一定差距，未来将持续研发并开源更新版本的 chatglm 和相关模型。glm 团队也欢迎大家下载 chatglm-6b，基于它进行研究和（非商用）应用开发。
以上就是清华系千亿基座对话模型chatglm启动内测，开源单卡版模型的详细内容。