近日，面壁智能宣布其MiniCPM-2B模型在端侧推理优化方面取得重大突破，全新优化方案将模型体积压缩至1GB以内，并在主流智能手机上实现毫秒级响应速度，推理性能较此前提升30%。这一成果使得大语言模型在移动终端上的实时应用成为可能，为开发者提供了高效、低成本的本地AI部署方案。面壁智能团队表示，该优化基于模型剪枝、量化及内核级算子融合技术，同时支持多模态输入（文本、图像）的端侧混合推理。目前，MiniCPM-2B已开源并提供示例代码，开发者可通过官方渠道下载体验。未来，面壁智能计划进一步降低功耗，推动AI在更多消费级设备上的落地。
发表回复