数据要素产业
2021年企业机器学习十大趋势:83%企业增加预算和人手
如果企业想在明年AI/ML实践中取得实质进展,请留意这份调查揭示的2021年十大关键趋势。
如果你对细节不感兴趣,那么不妨记住该份报告最重要发现:企业正在提升AI/ML项目战略高度并赋予优先性,增加相应招聘和开支。不过,收获付出仍面临巨大挑战。
十大关键趋势具体如下。
1、各企业增加了了AI/ML的预算和项目优先性;
2、企业正在更广泛的场景案例中采用AI/ML,客户体验和工作流程自动化被认为最能应对经济不稳定,也是最受关注的领域;
3、尽管大多数企业拥有超过25个模型,40%的企业的采纳模型甚至超过50个,但企业之间差距悬殊;
4、企业在部署AI/ML模型时面临的主要挑战是模型治理(Governance );
5、技术集成与兼容性(technology integration and compatibility)仍然是实现AI/ML成熟度主要挑战;
6、随着AI/ML项目利害关系和复杂性增加,协作的需求也在增加;
7、组织一致性是实现AI/ML成熟度的最大差距;
8、部署模型所需时间增长了64%;
9、38%的企业将一半以上的数据科学家都用在模型部署上并且,规模越大,情况越糟;
10、购买第三方解决方案的企业每年在基础设施上的花费平均减少了19-21%,并且在生产中实际节约成本可能会更高。
编译 | 机器之能
2020年是许多企业勒紧裤腰带的一年。2020年5月,Gartner曾预测随着商业和技术领袖重新聚焦最重要的举措,全球IT支出增长会下降8%。
幸运的是,最近由总部位于西雅图的初创公司Algorithmia(为企业提供一个独立于云计算的人工智能自动化平台)发布的一份报告《2021年企业机器学习趋势报告》(2021 enterprise trends in machine learning)显示,2020年的惊涛骇浪不仅没有阻碍早已开始的相关努力,许多企业反而明显提升AI和ML项目的战略高度并赋予优先级,增加相应的招聘和开支。
这也是这家企业连续第三年发布此类报告,也是迄今为止最为全面的一份。他们联系到403名参与机器学习计划的商业领袖(来自收入在1亿美元或以上公司)。除了发现这些企业的IT部门正在增加相应的预算和员工人数,今年的调查还揭示了企业应该关注的十个关键趋势。
报告提示,尽管预算和人员都在增加,但这并不等于胜利果实唾手可得。目前,市场仍然由早期采用者主导,企业需要继续应对模型部署和组织等方面的挑战。
总体而言,报告作者仍然对AI/ML在2021年的潜力持乐观态度。随着市场空间不断成熟,进入门槛也在不断降低,不论你的企业规模、所在行业如何以及有何独特的基础设施需求,是时候投资AI/ML了。
一 企业对AI/ML的资金、人力投入不断增加
Algorithmia的2020年报告强调,各企业在疫情之前就已经增加了对人工智能/ML的投资。然而,COVID-19的出现加速了这一进程。
2021年的调查显示,83%的企业增加了AI/ML的预算,数据科学家的平均人数同比增长了76%。
76%的组织将AI/ML优先于其他IT计划。(本报告中的数据均为四舍五入到最接近的百分比,因此总和没有达到100%)
64%的组织在过去一年提高了AI/ML的优先级。
83%的组织同比增加了AI/ML预算。
受雇的数据科学家的平均人数同比增长76%。
此外,客户体验和工作流程自动化被认为最能应对经济不稳定,也是最受关注的领域。这意味着,2020年的巨变迫使企业把注意力集中在最重要的优先事项。由于客户体验和流程自动化直接与ROI挂钩(前者吸引新客户以及留住现有客户、后者降本增利润),业务模式最为清晰,客户也最愿意买单。过去为做一个AI/ML项目而做的奢侈已经不复存在。
报告显示,企业正在更广泛的场景案例中采用AI/ML,拥有超过5个AI/ML案例的组织的百分比同比增长了74%。
当组织在这些领域获得有形ROI时,也更有动力尝试其他领域创新。这也是企业扩张AI应用案例范围关键原因之一,这些组织也试图超越实验,实现更为显著的ROI。
表示拥有超过5个的受访者所占的百分比,AI/ML用例同比增长了74%
50%或更多企业正在增加AI/ML使用。
值得注意的是,尽管大多数企业拥有超过25个模型,40%的企业的采纳模型甚至超过50个,但是,企业之间的差距还是很大的:
规模较小的企业,拥有100个模型以上的仅占比7;规模最大的企业拥有100以上模型的占比41%。
世界上最大的企业正占据模型规模的顶端。
二 模型治理仍然是企业部署AI/ML的主要挑战
企业在部署AI/ML模型时面临的主要挑战是模型治理(Governance )。大约56%的企业将治理、安全性和可审核性问题列为重点关注事项,67%企业的AI/ML需要遵守多个规则。
56%的组织在治理、安全性和可审核性方面面临挑战。
67%组织的模型必须遵守多种规则。
此外,技术集成与兼容性(technology integration and compatibility)仍然是实现AI/ML成熟度的主要挑战。49%的组织仍将基本的集成问题列为关注点。
而且,随着AI/ML项目利害关系和复杂性增加,跨部门协作需求也在增加。强劲、持续的业绩绝对依赖于这样的团队建设方法。
成功的AI/ML计划需要跨组织协调。
更广泛角色正在领导或参与AI/ML战略和运营,而且这种跨部门性在企业成功使用AI的衡量标准中也得到明显体现。
企业正在为AI/ML项目的成功,采纳各种度量标准。
最后,实现AI/ML成熟度方面,组织一致性(Organizational alignment )企业之间的最大鸿沟。尽管很多企业在相关调查事项上将自己视为高度或中度成熟,但涉及组织一致性时,结果往往相反。
组织一致性是实现AI/ML成熟度的最大差距。
三 效率低下,AI/ML部署的最大陷阱
正如前文所示,企业越来越重视AI/ML,并增加了预算和人员。然而调查显示,随着企业对AI/ML投资的增加,模型部署花费的时间反而更多了。
因此,Algorithmia认为,企业正在通过不断增加的员工手动扩大AI/ML的工作规模,而不是解决运营效率方面的潜在问题。
数据显示,66%的企业需要一个月或更长的时间开发一个训练过的模型。在将模型部署到生产过程时,只有11%的企业表示他们能在一周内完成,64%的企业需要一个月或者更长时间。
只有11%的组织能够在一周内将模型投入生产。
然后,被开发出的模型还必须投入生产,数据显示,只有11%的人表示他们能在一周内将一个经过培训的模型部署到生产中。大多数组织(64%)需要一个月或更长的时间。
这意味着,当企业决定部署AI/ML时,从开发一个训练过的模型到将其扩展到生产地步还需要数年甚至数月的时间。更重要的是,部署一个模型(一旦它被开发出来)所需要的时间实际上越来越长。
部署一个模型所需要的时间逐年增加
另外,38%的企业将一半以上的数据科学家都用在模型部署上并且,规模越大,情况越糟。数据科学家花在模型部署上的时间实际上也随着生产中的模型数量的增加而增加。数据显示,生产中拥有最多模型的组织在模型部署上花费的数据科学家的时间最多。
38%的企业将一半以上的数据科学家用在模型部署上
这种方式极大限制了企业发展的长期可持续性。如果企业专注于提高操作效率,数据科学家就可以专注于建立创新的模型,而不是执行手工操作任务。
四 使用第三方MLOps使基础设施上的花费平均减少了19-21%
随着AI/ML市场的成熟,企业对基础设施的部署也出现了一些有趣的趋势。
首先,企业有越来越复杂的环境来部署模型。在我们2021年的调查中,71%的受访者表示他们使用混合环境(包括多个云或本地基础设施提供商)来部署模型,42%的受访者拥有混合环境,包括云和本地解决方案。而在2020年的调查中,拥有混合环境的企业比例还只有16%。
71%的组织拥有混合环境,42%拥有云和本地基础设施的结合
关于如何使用模型部署和管理基础架构,企业有四种不同的选择:1、从头开始构建和维护自己的系统;2、将开源组件集成到一个内部维护的系统中;3、将商业点解决方案集成到一个内部维护的系统中;4、使用由供应商支持的第三方平台。
调查显示,在拥有超过100个模型的组织中,60%的组织选择从头开始构建和维护他们自己的系统,但是在其他组织中只有35%的组织选择这样做。报告倾向认为这些企业是AI/ML领域的早期采用者,构建自己的方案是唯一选择。
选择第3或第4种方案的被统称为「购买第三方解决方案」, 这对应于MLOps是构建还是购买的决策。
2021年调查数据显示,购买第三方解决方案的企业每年在基础设施上的花费平均减少了19-21%,并且在生产中实际节约成本可能会更高。(该报告使用了一种保守的方法来计算平均基础设施成本,它折现了成本谱中较高的一端。由于大部分处于高成本范围的企业都是从头开始构建他们自己的解决方案,他们的平均成本可能被低估了)。
购买第三方解决方案比自己建立解决方案便宜19-21%。
购买第三方解决方案的组织也倾向于在模型部署上花费更少的时间。
购买第三方解决方案的组织会减少数据科学家在模型部署上的时间
最后,这些企业倾向于更快地将他们的模型投入生产。平均而言,他们将一个经过训练的模型投入规模化生产所需的天数比白手起家的组织要少31%。
对于购买第三方解决方案的组织来说,部署模型所需的时间要少31%
「新冠疫情在许多领域挑战了我们的假设。在这种快速变化的环境下,企业正在重新考虑他们的投资,并看到了AI/ML在不确定时期推动收入和效率的重要性。」Algorithmia CEO Diego Oppenheimer说。
「在疫情之前,从事人工智能/ML项目的企业最担心的是缺乏有技能的内部人才。如今,企业更加担心如何更快地将ML模型投入生产,以及如何确保它们的性能。让人感到欣慰的是,这类问题的关键是在于如何最大化AI/ML投资的价值,而不是企业如何研究人工智能/ML。」
五 结论
2021年将是AI/ML计划的关键一年。很多企业已经感受到部署AI/ML的紧迫性和重要性,并且在优先级、支出和人员配置方面不断增长投资。并且,利用第三方供应商,企业将不再需要从头开始构建和维护自己的基础设施。
同时,2021年会从AI/ML中获得最大收益的企业是那些投资于运营效率和规模的组织。这些企业能更有效地将他们的AI/ML投资用用于其业务产生最显著的地方。
2021年,那些采取大胆措施扩大AI/ML规模的企业和其他企业之间的差距肯定会扩大。企业是时候行动起来做出改变了。