据最新新闻报道,中科院自动化研究所近日宣布其自主研发的紫东太初多模态训练平台迎来重大升级,新增千亿参数级模型支持,训练效率提升超40%。作为国内领先的多模态人工智能基础设施,紫东太初正在成为科研机构与企业构建通用智能体的核心工具。官方访问入口:官方网站。
工具功能与核心优势
紫东太初多模态训练平台集成了文本、图像、视频、语音、3D点云等多种模态数据的联合训练能力,支持从数据预处理、模型设计到分布式训练的全流程自动化。其优势主要体现在以下方面:
- 统一框架:基于自研的M6架构,实现多模态数据的高效对齐与融合,无需额外搭建适配层。
- 弹性算力:可动态调度数千张GPU卡,支持混合精度训练与梯度压缩,显著降低显存占用。
- 模型仓库:内置数十个预训练基础模型(如ViT、BERT、Whisper),用户可一键加载并微调。
典型应用场景
智慧医疗
利用紫东太初的影像-文本联合训练能力,医疗机构可快速构建辅助诊断模型,实现CT片自动分析与报告生成。已有三甲医院在病理切片识别任务中取得98%的准确率。
自动驾驶
平台支持激光点云、摄像头图像、毫米波雷达等多源数据的端到端训练,帮助车企提升环境感知模型的泛化能力,在极端天气下的识别率提升15%。
内容生成
创作者可使用紫东太初训练专属的图文生成模型,一键生成广告海报、短视频脚本,甚至实现“一句话生成3D资产”的自动流程。
如何使用与快速入门
用户只需在官方网站注册账号,即可通过Web界面或Python SDK使用平台。典型流程包括:上传数据集 → 选择模型模板 → 配置训练参数(如学习率、批大小)→ 启动训练 → 监控Loss曲线 → 导出推理模型。平台提供详尽的文档和社区论坛,初学者也可在30分钟内完成第一个多模态模型训练。
紫东太初持续开源部分核心代码和基准模型,近期更新的3.0版本已向全球研究机构免费开放申请。更多信息,请访问:官方网站。
发表回复