团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
标签：
8月11日，凯添燃气（831010）融资买入1 84万元，融资偿还0 13万元，融
2023申请季博言博语No 6Kevin加州大学圣芭芭拉分校、尔湾分校、戴维斯
据“中国地震台网”微信公众号的消息，据中国地震台网正式测定，8月13
安排了，建德人工增雨，就在……杭州网发布时间：2023-08-1317:22热热
8月13日消息，广东梅州一名摄影师拍到罕见粉色烟花状闪电，镜头下云层
【动漫杂谈】关于外包：《天官赐福》动画近期名声不太好，第九集部分作
利率可到4%，部分银行买大额存单需“配货”，这类存款也火了,利率可到4
8月2日，据中国驻罗马尼亚大使馆网站消息，近期赴罗马尼亚中国游客数量
家庭保险保障科技平台轻松集团轻松筹助力《交换人生》，打造欢笑家庭故
大河网讯7月31日，中牟县检察院组织开展了庆“八一”走访慰问活动，全
香港恒生指数周三低开低走收跌2 47%，报19517 38点。恒生科技指数跌3 2
国有土地使用权的出让年限规定是居住用地70年，教育、科技、文化、卫生
相信大家对用扭力梁的车型，还有什么车用扭力梁？的问题都很疑惑，这个
自2018年首次启动“爱心补给站”以来，WiFi万能钥匙连续6年，在高温袭
铜仁市房地产业发展情况汇报会召开,住房,铜仁市,房地产企业,城乡建设局
在新服【龙吟苍海】开启后，许多玩家可能会面对自身防御力不足，无法抵
