为实现人工智能项目开发过程中数据、算法、模型等AI资产有序和高效的研发和运营管理，行业内积极布局MLOps管理体系，以达成AI规模化落地的目标。中国信通院云计算与大数据研究所、人工智能工程化推进委员会联合业界30余家单位完成了全球首个AI模型开发管理标准--《人工智能研发运营一体化(Model/MLOps)能力成熟度模型第一部分：开发管理》（以下简称“开发管理”标准）。目前本标准的正式文稿及评估测试方案已完成，首批评估工作正在紧密开展中。
评测价值Model/MLOps能力成熟度模型系列评测,适用于智能化转型或升级的组织，面向机器学习等模型研发运营项目，以生产规模化、高质量、低风险的AI模型为目标，从开发管理、模型交付等方面全面推进AI项目管理能力建设。本项评测以“开发管理”标准为基础，重点聚焦于机器学习项目开发过程管理，帮助企业准确定位开发管理能力水平，诊断自身的缺漏和不足，并提供定制化改进方向和提升路径,推动组织级AI工程化能力升级和可信AI治理的完善。
本项评测融合了MLOps基本原则中的自动化、版本控制、实验跟踪、测试、可重现性等理念。
MLOps基本原则
成熟度评测全貌“开发管理”标准的完整体系包含需求管理、数据工程和模型开发3个能力子域、10个能力项、28个能力子项和近个细分能力要求，具体如下：
本文是“开发管理”标准解读系列的第一篇文章，后续文章将对数据工程和模型开发能力子域进行持续解读。
需求管理子域解读为解决机器学习项目中需求管理流程混乱、不同角色对需求理解不一致、风险不可控等问题，通过加强需求管理能力，可从源头提高机器学习项目的成功率，减少需求变更对项目产生的负面影响。
需求管理是机器学习项目研发的首要环节，它对业务需求转化为技术需求的过程进行管理。需求管理包括需求分析、测试用例设计、项目计划等三个能力项的能力要求。需求管理子域的总体分级要求如下表所示：
一、需求分析很多时候，机器学习项目的交付不符合业务方真实需求，或不得不重头返工，正是因为模型开发前缺乏适当的需求分析。
需求分析帮助开发人员识别需求的有效性、评估需求实现难度并构建机器学习建模方案。需求分析主要包含需求确认、可行性评估、场景设计三个能力子项。
需求确认：技术人员从业务角度充分理解需求的目标和要求，便于后续建模工作的开展。
可行性评估：对需求的业务价值及其可行性进行充分认知和论证。
场景设计：将业务需求转化为人工智能问题的描述，形成最终模型策略解决方案。
下表以需求确认作为示例，展示从1级到5级不同级别的细分能力要求：
二、测试用例设计测试用例设计的目的是为有效保障项目交付和验收质量，督促业务人员在项目初期开展业务用例编写，减少业务需求变更风险，提高业务人员和技术人员对需求理解的一致性。
根据需求分析及场景设计方案，编写业务验收测试用例，制定验收标准，测试用例设计包含测试用例编写、测试用例管理两个能力子项：
测试用例编写：根据模型场景设计方案，编写业务测试用例，制定业务验收标准。
测试用例管理：对测试用例的生命周期进行管理与跟踪，测试用例相关配置项包括发布者、内容、状态、优先级、测试数据等。
下表以测试用例编写作为示例，展示从1级到5级不同级别的细分能力要求：
三、项目计划机器学习项目涉及的团队角色众多、流程复杂、计算资源消耗大，有效地制定和管理项目计划能减少实施过程不确定性，跟踪把控项目进度及风险，提升项目研发效率和交付质量。
项目计划包含进度管理、资源管理、风险管理三个能力子项：
进度管理是指制定并管理项目开发计划，进行各节点的时间编排和规划。
资源管理是指在项目实施过程中，对各阶段所需的人力资源、数据资源、软件资源、硬件资源等进行合理规划。
风险管理是指在项目实施过程中，对人员、进度、成本、范围等各方面的风险进行识别和管理，并制定风险管控策略和应对措施。
下表以风险管理作为示例，展示从1级到5级不同级别的细分能力要求：
.写在最后.本轮评测后将首发《人工智能研发运营一体化（Model/MLOps）能力成熟度模型第一部分：开发管理》能力等级证书。截止发稿日，已有多家企事业单位确认了参评意向，为保障评测工作按时保质完成，本轮评测将于6月20日正式截止报名，并于6月开展集中评测。如有评测需求，请于截止日前与我们联系。
《人工智能研发运营一体化(Model/MLOps)能力成熟度模型第二部分：模型交付》标准编制已启动，欢迎更多行业专家的加入。
联系我们
秦老师（
转载请注明：http://www.0431gb208.com/sjszjzl/542.html
