AI工程师——下一个大热门技术职位

在数量上，AI工程师可能会远多于ML工程师/LLM工程师。一个人即使没有接受过任何培训，也可以在这个岗位上取得相当大的成功。

——Andrej Karpathy

仅创业公司就从Gen AI中获得超过10亿美元的收入，随着早期成功迹象的显现，每个具有前瞻思维的科技公司都在争相将Gen AI功能融入其产品、客户支持机器人和营销中。AI技术正处于类似于90年代末互联网的转折点，甚至可能相同。

如果你想了解更多关于人工智能的相关内容，可以阅读以下这些文章：
2024年每个开发人员都需要掌握的生成式人工智能技能
Google的Gemini AI模型：揭开人工智能的未来
世界上最好的人工智能模型：谷歌DeepMind的Gemini已经超过了GPT-4！
我尝试了50种人工智能工具，以下是我的最爱

AI需求和建设者不断增长

为了发现这一趋势，我查看了YCombinator的投资组合。有些人可能不知道，YCombinator是一家位于美国的知名创业加速器。他们投资了许多初创公司，这些公司现在已经成为科技巨头，比如Airbnb、Dropbox、Stripe和Reddit。

这是我得到的结果，看看从2017年到2023年间使用AI构建的公司数量。自2021年以来，使用AI构建的公司数量大幅增加，然后在2022年推出ChatGPT后迅速增加。

这表明未来会有越来越多的公司使用AI，这将导致对AI工程师的需求增加。

而且，对于任何程序员来说，这是开始构建和学习的最佳时机。

为什么是现在？

AI开发领域已经有了足够的发展，有了开源的LLM、框架和现成的API，可以快速启动，社区也已经发展到足以获得所需的支持。

AI初创公司、AI加速器计划、开源存储库、SDK、软件包、云平台——一个共同的主题——尽可能快地构建、解决和交付。

曾经需要专门的研究团队和多年的密集工作，现在可以通过API文档和几天的专注工作即可有效地管理。

那么，如今的建造者（喜欢建造产品的人）或工程师该如何深入研究AI领域呢？

要回答这个问题，你首先应该了解该领域的情况。

AI开发层

我将当今AI发展的主要领域分为三个不同的层次。

1、应用程序开发——这一层包括使用一些AI工程框架（如Langchain, LlamaIndex, Autogen等）在现成的LLM API之上开发应用程序(接口)，然后监控和评估你的应用程序。

这是最活跃和最热闹的层。这就是赚钱的地方。用例越真实，价值就越大。要开发这些AI应用程序，你需要掌握一组特殊的工程技能，我将在本文后面解释这些技能。

2、模型开发——深入一层，我们在这里工作，以交付更优化的模型。数据集工程、分布式训练、评估和基准测试，以及使用各种工具进行推理服务。

这一层需要深度学习、分布式系统、数据集管理和工程方面的深厚专业知识。

3、基础设施——支撑一切的是基础设施层，包括硬件、云服务提供商和GPU，这些大型模型就是在这里训练的。

这一层需要在计算（操作系统、网络、安全）、分布式系统，当然还有AI模型开发方面拥有深厚的专业知识。

除此之外，还有另一个层次是关于AI风险和安全一致性的研究，以防范流氓AI。这是OpenAI今年早些时候推出的一个价值1000万美元的Superalignment拨款计划（https://openai.com/index/superalignment-fast-grants/）。

由于应用层最受关注，因此对一类懂得如何在AI基础上进行构建的特殊工程师的需求日益增加。虽然没有标准术语来称呼这些工程师，但大多数公司称他们为AI工程师。

在我写这篇文章时，Chip Huyen发布了一篇详细介绍900种最流行的开源AI工具的文章（https://huyenchip.com/2024/03/14/ai-oss.html），进一步证明了我对AI工程师需求增加的观察和发现：

有了现成的模型，任何人都可以在其上开发应用程序。这一层在过去两年中发生了最多的行动，并且仍在迅速发展。这一层也被称为AI工程。

——Chip Huyen

那么，我们如何定义AI工程师的角色呢？他们需要成为AI或深度学习方面的专家吗？

AI工程师是一名专业的程序员，擅长利用AI技术开发全面的与形式无关的应用程序。

“形式无关”指的是应用程序类型的多功能性，从简单的聊天界面到复杂的全栈应用程序、Chrome扩展程序、Python包或SDK。

与深入研究算法基础的AI研究人员不同，AI工程师专注于应用现有的AI模型来创建以用户为中心的产品。

但问题又来了，成为AI工程师不需要成为AI专家吗？

简短的回答是，不需要。

这个角色不需要详尽的AI原理专业知识，比如理解Transformer模型的内部工作原理，就像学习游泳不需要深入了解浮力的物理原理一样。

虽然对深度学习和机器学习的深入了解可能是有利的，提供了明显的优势，但目前的行业需求更倾向于实际应用而不是理论研究。

那么，我们如何区分AI工程师和AI研究员呢？

AI工程师与AI研究员

下图将工程技能（如使用API）与AI研究技能（如设计模型架构或了解Transformer的工作原理）进行对比。

AI工程师擅长创建AI驱动的应用程序，专注于最大化模型功能和优化大型语言模型（LLM）的工作流程。

AI工程师与AI研究员

根据这张图，我还认为工程背景更强的个人在这个角色中会表现得更好，而不是ML背景的个人，但请在评论中分享你的想法。

你可能会想，如果AI研究人员擅长工程并且在AI方面有深厚专业知识，为什么公司不雇佣他们而是雇佣AI工程师呢？

简短的回答是资源稀缺，这反过来又导致了成本的增加。

下一个大热门技术角色——AI工程师？

这里有一些有趣的见解，可以说明这个生态系统是如何随着“模型即服务”快速发展的：

1. 供需动态：所有顶尖的LLM研究人员已经被Google、OpenAI、Microsoft和Meta等巨头挖走，LLM研究人员的稀缺表明对AI工程师的迫切需求。这类专业人员是前沿研究和实际应用之间的桥梁，确保AI技术的更广泛可及性和实施。
2. 快速原型和敏捷性：与传统的机器学习方法不同，传统的机器学习方法需要大量研究我们是否需要机器学习来解决问题，AI工程师可以使用现成的模型API快速原型化和迭代AI产品。
3. 创新变得更容易和更快：基础模型以最少的输入在各种任务中表现出显著的适应性，这对于利用这些功能来创建超出研究人员最初设想范围的创新解决方案的AI工程师来说非常宝贵。
4. 推理优化以应对计算限制：对GPU需求的不断增加和专用计算集群的形成，凸显了AI工程师的重要性，他们在这些限制内优化模型性能和创新。
5. 虽然传统的机器学习问题，如推荐系统、欺诈检测和异常检测将继续改进，但我们有一系列全新的AI应用需要满足。

HuggingFace的联合创始人Clem Delangue表示：AI是构建所有技术的新范式。因此，我们需要越来越多的AI工程师！

看看Sequoia的这张Gen AI市场图。应用层几乎涵盖了各种领域的用例和公司：

结论

综上所述，我们有：

来自行业领袖和AI领域的资深专家，如Andrej Karpathy、Chip Huyen和Clem等。

像YCombinator这样的大型孵化器、风投公司和投资者已经在投资AI公司，并且他们在AI领域进行了长期投资，证明这是构建所有技术的下一个大范式。

AI研究与工程之间的差距需要由AI工程师来弥合。

快速增长的AI应用生态系统——每周都会推出新的和改进的开发人员工具、现成的API、库和云平台。最重要的是，我们有一个不断壮大的社区来提供所需的支持。

因此，现在是时候开始使用AI，学习这些技能，为下一个大热门技术角色做好准备。

感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/

原文作者：Harshit Tyagi
翻译作者：文玲
美工编辑：过儿
校对审稿：Jason
原文链接：https://dswharshit.medium.com/ai-engineer-the-next-big-tech-role-d86c159e98ca