3月28日 消息:元象大模型开源了30款量化版本，支持 vLLM 和 llama.cpp 等主流框架的量化推理，无条件免费商用。
对量化前后的模型能力、推理性能进行评估，以 XVERSE-13B-GPTQ-Int4量化版本为例，量化后模型权重压缩了72%，总吞吐提高了1.5倍，同时保留了95% 的能力。
开发者可以根据技能、软硬件配置和具体需求选择不同推理框架和数据精度的模型。如果本地资源有限，可以直接调用元象大模型的 API 服务（chat.xverse.cn）。
总体来说，元象大模型的开源量化版本提供了方便快捷的部署方式，可以根据需求选择不同的框架和精度模型进行部署和推理。
元象大模型下载：
Hugging Face:https://huggingface.co/xverse
ModelScope魔搭:https://modelscope.cn/organization/xverse
Github:https://github.com/xverse-ai
版权声明： "元象大模型开源30款量化版本 可更低成本部署(元象科技)"来源于会员自助提稿或网络转载，并不代表优站目录网站大全的观点，如有疑问，敬请联系我们，我们将在第一时间予以审查或更改。
原文链接： https://www.66dir.com/artinfo/1506.html （ 转载请注明来源 ）
聚站网聚站网，免费提供网站目录分类检索，收集正规的中文网站，用户自主的网站提交，为各行业分类目录收藏，聚站网努力打造优质丰富的网站收录平台。
www.565865.com
YY分类目录YY分类目录全人工编辑的开放式网站分类目录，收录国内外、各行业优秀网站，旨在为用户提供网站分类目录检索、优秀网站参考、网站推广服务。
www.yydir.com
66网站目录66网站目录是免费收录各行业优秀网站,提供网站分类目录检索,关键字搜索,提交网站即可免费推广,增加外链,提升网站流量。
www.66dir.com
25分类目录25分类目录专业提供网站网址免费提交收录,25分类目录是采用开放导航式的网站大全,收录国内外各行业优秀的网站网址,让网站在各大搜索引擎收录快排名靠前。
www.25dir.com
和讯科技和讯科技是和讯网核心资讯频道,以报道科技中国,分享全球智慧为目标,为高端财经网络用户提供有关TMT产业领域及时、快速、全面的资讯报道。
tech.hexun.com
百度搜索百度，全球最大的中文搜索引擎、最大的中文网站。
www.baidu.com