我院获得清华大学ChatGLM商业授权
时间
2023-07-28 10:39:33
智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型，目前ChatGLM大模型属于全球领先水平。我院正式获得智谱AI ChatGLM商业授权，未来将致力于打造垂直行业领域AI服务。
ChatGLM的基座模型使用了GLM模型的混合目标函数，在1.4万亿中英文tokens数据集上训练，并做了模型对齐，性能比第一代有了很大提升。在上下文支持方面，基于FlashAttention技术，基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练，允许更多轮次的对话。在推理速度和资源使用效率方面，模型使用了Multi-Query Attention技术，能够实现高效推理和更低的显存占用。在官方的模型实现下，推理速度相比初代提升了42％，INT4量化下，6G显存支持的对话长度由1K提升到了8K。
ChatGLM的基座模型使用了GLM模型的混合目标函数，在1.4万亿中英文tokens数据集上训练，并做了模型对齐，性能比第一代有了很大提升。在上下文支持方面，基于FlashAttention技术，基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练，允许更多轮次的对话。在推理速度和资源使用效率方面，模型使用了Multi-Query Attention技术，能够实现高效推理和更低的显存占用。在官方的模型实现下，推理速度相比初代提升了42％，INT4量化下，6G显存支持的对话长度由1K提升到了8K。
