Meta的FAIR团队：为全球免费开放人工智能

Meta又做到了，就在令人惊叹的Llama3发布几个月后，我们又迎来了新的突破。

6月18日，Meta的AI团队正式宣布AI社区发布了新的公开版本：

今天是开放科学的好日子。作为我们对开放生态系统成长和发展的持续承诺的一部分，今天我们在 Meta FAIR上宣布了四个新的公开 AI模型和其他研究成果，以激发社区创新并以负责任的方式推动AI发展。

• Meta Chameleon 7B和34B语言模型，支持混合模式输入和纯文本输出。
• Meta多标记预测预训练语言模型，使用多标记预测完成代码。
• Meta JASCO生成文本到音乐模型，能够接受各种条件输入，以实现更高的可控性。论文现已发布，预训练模型即将推出。
• Meta AudioSeal我们认为这是第一个专门为AI生成的语音的局部检测而设计的音频水印模型，可在商业许可下使用。
• 其他RAI成果 包括研究、数据和代码，用于衡量和改进AI系统中地理和文化偏好与多样性的表示。

总有一个动机……

十多年来，Meta 的基础人工智能研究 (FAIR) 团队一直是通过开放研究推动人工智能发展的重要力量。他们致力于开放、协作、卓越和规模，并因此在该领域取得了重大突破，他们最新的成果展示了他们对开放人工智能生态系统持续增长和发展的奉献精神。

那么，为什么几天前 Meta AI 公开分享了他们的研究模型和数据集呢？

原因，除了常见的动机外，其实很简单：FAIR 希望激励全球 AI 社区探索和发现以大规模应用 AI 的新方法。

AI 末日论者和企业怀疑论者

你可能就是其中之一，理由有很多。我的意思是，像Facebook/Meta这样的公司为什么要免费发布股东资金的成果？

那么，从这一点来看，我们可以说马克·扎克伯格一直是个叛逆者！

在多次采访中，他预示着分享Meta AI实验室的成果至关重要：我们正处于AI革命的开端，研究需要资金、基础设施、工具和灵感。

Meta会从中受益吗？

也许在投资回报率方面不会……但肯定有我们看不到的企业动机和利润。老实说……谁在乎呢？

我本来更担心OpenAI，因为在 GPT2之后，它从未发布任何权重或训练规范。最糟糕的是GPT3和现在的GPT4被用作几乎所有性能基准的参考点，包括合成数据集和训练数据集。

拥有 Llama2 和现在的Llama3要好上1000倍，它们就像一座灯塔：每个人都可以使用护栏、偏见和训练数据。

Meta为什么能做到这一点？

拥有像 Meta这样的私营公司共享其研究模型的主要好处之一是其规模和资源。凭借庞大的员工队伍和基础设施,Meta能够取得大学和研究实验室可能无法匹敌的成果。

Meta拥有独特的优势，能够解决 AI 面临的最大问题 — — 很少有公司拥有像我们一样的资源或能力，在软件、硬件和基础设施方面进行投资，将我们的研究成果融入数十亿人可以受益的产品中。FAIR是Meta成功的关键，也是世界上仅有的几个具备实现真正突破的所有先决条件的团体之一：行业内最聪明的人才、开放的文化，最重要的是：进行探索性研究的自由。这种自由帮助我们保持敏捷，并为构建未来的社交联系做出贡献。

— —Joelle Pineau — — AI研究副总裁

虽然学术机构可以提供宝贵的见解和专业知识，但它们往往缺乏开展大规模研究项目所需的资源。Meta 在人工智能研究和开发方面投入巨资的能力使他们能够突破可能的界限，并为该领域做出重大贡献。

此外，共享研究模型和数据集可以促进协作和创新。当像 Meta这样的公司向更广泛的AI社区提供他们的工作时，它会鼓励其他人在他们的研究成果的基础上继续探索新的研究途径。这不仅加快了创新的步伐，而且还确保了每个人都能享受到AI的好处。通过推广开放的AI生态系统，FAIR正在帮助实现 AI 民主化，并为世界各地的个人和组织创造机会。

Meta的基础 AI 研究（FAIR）是什么？

Meta的基础人工智能研究(FAIR)团队成立于 2013 年，过去十年在人工智能领域取得了重大进步。

FAIR最初由马克·扎克伯格和Yann LeCun组建，吸引了顶级研究人员致力于解决人工智能领域的挑战，并在物体检测和机器翻译等领域取得了突破。

该团队率先采用了无监督机器翻译技术，推出了不依赖英语的100种语言翻译模型，并将文本转语音和语音转文本技术扩展到1,000多种语言。

FAIR 与更广泛的研究社区、Meta的产品团队以及外部合作伙伴合作，共享数据集、任务和竞赛。

2023 年是FAIR研究成果卓著的一年，他们发布了开放式预训练大型语言模型 Llama和其他最先进的模型。他们的工作在主要AI会议上获得了最佳论文奖，并在媒体上得到广泛报道。

2024年4月18日，Meta AI推出了Meta Llama 3，宣称它是迄今为止最先进的开源大型语言模型（LLM）。Llama 3是 Llama 2的后继者。其初始发布推出了两个模型，分别具有8B和70B个参数，展示了在各种基准测试中的最新技术表现和增强的推理能力。Meta AI 的目标是使 Llama 3 实现多语言、多模态，并改善其上下文窗口和整体性能。

Meta AI团队在Llama 3的开发过程中发现了扩展行为方面的突破。例如：

…虽然 8B 参数模型的Chinchilla最优训练计算量对应约 200B个token，但我们发现，即使在使用两个数量级以上的数据对模型进行训练后，模型性能仍在持续提高。（链接：https://ai.meta.com/blog/meta-llama-3/）

对于 Llama3，在对多达 15T 的 token 进行训练后8B和70B参数模型都继续呈对数线性改进。较大的模型可以用较少的训练计算来匹配这些较小模型的性能，但较小的模型通常是首选，因为它们在推理过程中效率更高。

推动 AI 的负责任发展

Meta AI致力于负责任的开发，提供Llama Guard 2、Code Shield和CyberSec Eval 2等工具以促进安全使用。

我们也应该关注这一点。

通用人工智能（AGI）近在眼前，这一点是显而易见的……但不清楚的是我们将如何使用它！

即使我们成功赋予我们的AI超认知能力，它将基于什么样的数据工作？

有哪些保障措施？我们是否需要将著名的机器人三定律应用到其中？

展望未来，FAIR预计未来人工智能将通过整合各种能力而进步，以具有通用能力的基础模型和用于推理和规划的世界模型为特色。

FAIR致力于负责任的人工智能开发，旨在通过开放科学设立高质量和责任标准，为更安全、更稳健、更公平、更透明的人工智能解决方案做出贡献。

Meta FAIR最近发布的成果凸显了其研究工作的广度和深度。从可以为图像生成创意字幕的Meta Chameleon模型到可以提高语言模型能力和训练效率的多标记预测模型，这些成果展示了人工智能改变各种行业和应用的潜力。

“AI 代理工作流将在今年推动巨大的AI进步” 

— Andrew Ng

代理人的展望

展望未来，FAIR 预计未来人工智能将通过整合各种能力而发展，包括具有通用能力的基础模型和用于推理和规划的世界模型。FAIR 致力于负责任的人工智能开发，旨在通过开放科学设定高质量和责任标准，为更安全、更强大、更公平、更透明的人工智能解决方案做出贡献。

Llama3–8B从一开始就被设计为可用于代理。事实上，虽然较大的模型可以与训练计算较少的模型相媲美，但较小的模型（如 Llama3–8B）通常更受青睐，因为它们在推理过程中效率更高。

Meta AI、Allen AI和华盛顿大学最近的一项新研究解决了LLM推理中最重要的问题之一。

这篇论文介绍了HUSKY，一个全面的开源语言代理系统，它学习在统一的动作空间上进行推理，以解决涉及数值、表格和基于知识的推理的多样复杂任务。HUSKY 在两个阶段之间迭代：

1. 生成下一个行动，以解决给定任务；
2. 使用专家模型执行行动，并更新当前解决方案状态。

这种方法使得HUSKY能够像现代化的经典规划系统一样运行，利用大型语言模型（LLMs）来优化性能。

结论

FAIR希望通过在仅限研究的许可下提供这些模型，使研究界能够进一步独立研究其方法和行为。

我个人认为Meta对负责任的AI的承诺在其分享研究成果的方式中得到了充分体现。他们承认生成式AI模型存在风险，并正在采取措施降低这些风险。

在推特和其他社交媒体平台上，你可能会看到负面评论、怀疑意见和直白的批评。这可能是因为使用开源、开放权重等词语和其他误导性 AI 属性而产生的矛盾。

例如，由于担心负责任的使用，他们目前不会发布 Chameleon 图像生成模型。相反，他们鼓励研究界设计新的检测和缓解策略，以负责任的方式帮助扩大生成模型研究的规模。

而且，Meta AI希望向公众提供强大的工具，以激发创新：他们知道聪明的头脑已经在工作了，现在他们可以增加新的资源来推动他们的努力。

像Meta的FAIR团队这样的私营公司分享研究模型和数据集对于推动人工智能的进步至关重要。他们的规模和资源使他们能够取得不同寻常的成果，这是较小机构难以做到的。

通过支持协作和创新，FAIR正在帮助创建一个使每个人受益的开放人工智能生态系统。通过他们最近的发布，他们展示了人工智能在革新各个领域的潜力，同时也优先考虑负责任的研究实践。

感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/

原文作者：Fabio Matricardi
翻译作者：诗彤
美工编辑：过儿
校对审稿：Jason
原文链接：https://blog.stackademic.com/meta-is-fair-a-free-boost-to-give-an-ai-to-the-world-4921ca3ffca7