据报道，苹果公司已经开发了一项类似ChatGPT的内部服务，旨在帮助员工测试新功能，总结文本，并根据积累的知识回答问题。
今年7月，Mark Gurman表示，苹果正在创建自己的人工智能模型，重点放在一个名为Ajax的新框架上。该框架有潜力提供各种功能，一个类似chatgpt的应用程序，非正式地称为“Apple GPT”，只是众多可能性之一。苹果公司最近的一份研究报告表明，大型语言模型(llm)可能会在苹果设备上运行，包括iphone和ipad。
这篇研究论文最初是由VentureBeat发现的，标题为“flash中的LLM:有限内存下的高效大型语言模型推理”。它解决了与大型语言模型(llm)的设备上部署相关的一个关键问题，特别是在DRAM容量受限的设备上。
llm的特点是具有数十亿个参数，在DRAM有限的设备上运行它们是一个重大挑战。据报道，本文提出的解决方案涉及在设备上执行llm，将模型参数存储在闪存中，并根据需要将其检索到DRAM中。
苹果机器学习工程师、该论文的主要作者Keivan Alizadeh解释说:“我们的方法需要开发一个与闪存特性相一致的推理成本模型，指导我们在两个关键方面加强优化:最大限度地减少从闪存传输的数据量，以及在更大、更有凝聚力的片段中读取数据。”
该团队采用了两种主要策略:“窗口”和“行-列捆绑”。窗口化涉及重用先前激活的神经元以最小化数据传输，而行-列捆绑则需要扩大从闪存读取的数据块的大小。实现这些技术导致Apple M1 Max系统芯片(SoC)显着提高了4-5倍。
理论上，这种基于上下文的自适应加载可以在内存受限的设备(如iphone和ipad)上执行大型语言模型(llm)。
你可能会感兴趣
