国庆的第二天，处于stealth mode 的 Lepton AI宣布了Open Beta，小编忍不住上上手。

在今年3月英伟达的GTC大会上，英伟达CEO黄仁勋借助chatGPT的成功，向大家展示了AI应用在未来的美好愿景。“AI的iphone时刻”一时之间成为众人讨论的热点，有人乐观的认为大模型时代距我们只有“一步之遥”，人人有大模型，人人用大模型的时代将马上到来；但也有人认为“这一步”可望不可及——并不是所有人都拥有配备了CUDA的设备，也不是所有人都具备部署与调试大模型过程中的知识，就像初代pc上配备的dos操作系统一样，较高的学习门槛延缓了它的普及，“人人都有大模型”的时代似乎仍需假以时日。

不可否认的是，现有的大模型商业模式在运行过程中确实暴露出些许问题：如信息安全与隐私问题和大模型特化问题。今年4月，韩媒报道称三星因使用chatgpt导致数据泄露。而大模型特化问题则是因为现有大模型多为通用大模型，使用数据集涉及内容较为广泛，很难针对用户某一领域特定需求进行特化。现在不少大型互联网公司纷纷构建自己的大模型，想来可能也有这两方面考虑。随着Llama2等开源大模型的发布，不少小公司乃至个人用户都在思考将其部署在自己的服务器或者主机上，这样便可以拥有一个属于自己的大模型。但是，正如上文所言——现有的大模型在部署方面门槛并不低。

就小编JCJ自身的体验来看，多模态输入和大模型部署的简易性一定程度上成反比，因为模型一旦需要支持多模态输入，那势必会增加各种依赖项，从而使得部署难度增大。我们以github上的项目举例：privateGPT虽部署步骤繁琐，但其支持多模态输入；gpt_academic的部署要比privateGPT简单些，但是其支持的多模态输入非常有限——通过加载插件的方式，支持pdf文件等几种文件类型的输入；gpt4all的部署非常便捷，只需要下载打包好的安装程序然后无脑点点点就可以了，但是其目前只能说是一个“聊天客户端”，并不具备多模态输入的能力。因此，想要在自己的电脑上拥有一位全能个人助理，难度还是有的。

大模型部署和使用步骤复杂到在大模型风靡全球，所有人都跃跃欲试时，做一个简单的图形化UI套壳便可以赚的盆满钵满。Github上有众多将大模型部署到本地的项目，这些项目所做的主要是提供了图形化UI、集成众多模型以及多模态输入步骤。我们以上文提到的privateGPT为例，将其部署到本地大概需要以下步骤：

• 在py中安装需要的各类包以及依赖的其他相关相关组件（如poetry）；
• 下载大模型并将其放到指定文件夹中；
• 配置.env文件；

• 将想要大模型读取的文件放到指定文件夹中（多模态输入）并使用命令读取。

整个说明文档大概有140行左右，其中有不少都在讲依赖项（如C++ Compiler）。当然，有些项目会使用docker，但是部署起来仍旧不简单。小编JCJ曾尝试在自己windows11的电脑上部署diffusion，从开始安装到出图大概花了小编4-5个小时——期待windows用户拥有纯净的系统环境似乎是种奢望。而且在使用几次后diffusion便报错不能使用了，而privateGPT更是到最后都没有部署到小编的电脑上——github上issues里众多无法运行的反馈则证明我的遭遇并非特例。

privateGPT说明文档中关于环境配置的部分

用户提交的issues

怎样跳出繁琐的操作？Lepton给我们提供了一套“AI一揽子解决方案”：其结果便是——大模型的部署与调用就像使用pip指令一样简单，这可谓是极大的降低了大模型部署的门槛。小编JCJ之前部署privateGPT失败的windows11电脑在lepton的帮助下成功部署了gpt2模型，并进行了试用。

仅用三行代码便可将gpt2部署到本地。

pip install -U leptonailep photon create --name mygpt2 --model hf:gpt2lep photon run --name mygpt2 --local

利用python询问gpt2

gpt2的回复

当然，除此之外，Lepton还提供了在云服务器部署大模型的功能，这一功能目前仍处于测试阶段，但其和以往的云服务器厂商不同的是，用户可以利用Lepton的API去调用一些没有提供API的大模型。Lepton目前提供了一些样例供用户测试。

利用Lepton提供的大模型样例生成二维码

Lepton这座桥梁目前解决了以下问题：

• 大模型部署与调用过程中的繁琐
• 公共大模型可能造成的信息泄露

• 部分大模型没有API接口

顺带一提，今年3月阿里副总裁贾扬清从阿里离职后，各方都在猜测其下一步动向，而Lepton正是其离职阿里后创建的新公司，其创始人团队囊括了分布式系统研发平台etcd的创始人李响（曾就职于阿里，获2020中国开源杰出贡献人物奖）等业界技术专家，并于今年5月拿到了天使轮融资，Lepton总部位于美国加利福尼亚州帕洛阿托。

大多数人对枯燥的命令行和繁杂的步骤并不感兴趣，Lepton大幅降低的的门槛，能让更多的创意涌入并和大模型结合起来——或许就像当初图形化界面降低的计算机操作门槛一样，如今计算机已经渗透进我们生活的方方面面。未来也许真的有一天，在Lepton的帮助下，我们真的可以走到“人人有大模型，人人用大模型”这一步。如果说“AI的iPhone时刻”已经到来，那么Lepton更像是iPhone3Gs上推出的appstore——appsore的出现给iPhone带来了无尽的拓展性，而Lepton的出现亦能给大模型带来无尽的可能。

离题一句。Lepton AI 的团队是典型的代表年轻华人扎根硅谷，面向全球的技术公司。其成员代表新一代在中国大陆获得基础教育，拥有美国研究生背景，拥有多年多元化工业界经验（Google, Meta, Alibaba)。之后，back to the fundamental，下场搬砖(https://github.com/leptonai)，活力满满的典型高科技创业模式。也是中国背景公司走向世界的一个参考系。