北京大学新闻网：对齐小组align-anything框架提供全模态大模型的训练、数据处理和测评解决方案
随着人工智能领域的快速发展，全模态大模型的训练、数据处理和测评已成为研究热点。人工智能研究院杨耀东团队、北大对齐小组近期开源的align-anything框架，为全模态大模型的对齐提供了全面的解决方案，包括训练、数据处理和测评框架，旨在使全模态大模型与人类意图和价值观对齐。
该框架是一个高度模块化、可扩展且易于使用的对齐训练和评估框架，支持文本、图片、视频和音频等多种模态的模型对齐微调。框架通过解耦模态与算法实现高度的模块化，例如，将多模态模型的加载实现和对齐算法如DPO\GRPO的实现进行分解组合。这种设计使得框架在模态扩展时能够复用相同的代码，便于用户为不同的任务修改和定制代码。
Align-anything框架不仅支持多种对齐算法，还提供了丰富的多模态评测基准，适用于多种推理后端，具有高度的灵活性和可扩展性。框架发布了一个高质量的全模态人类偏好数据集，涵盖文本、图片、视频和音频4种模态，并根据输入与输出的多样性延伸至8种任务。该数据集提供了详细的标注，包括输入和输出中的任意模态，旨在实现跨模态的全面评估和改进。数据集的构建过程包括从多个来源收集回答，使用目前最先进的闭源模型和专业标注人员进行细粒度的偏好标注，并针对各个模态任务特性提供有关回答的语言反馈，确保对响应进行全面评估和优化。