技术文摘-d.i68.ltd

概要

  • 个人文章
  • 资料整理
  • 文章转载

目录

AI

部署工具

ollama:https://ollama.ai/

AI基础设施

juicefs

AI工具

说明

  • 适配各类notebook,如colab
  • 一键调优测试运行,一键部署环境
  • 提供终端助手,反弹web shell
  • 提供穿透服务,将notebook中侦听端口转发出来访问
  • 产品化,优先适配流行llm
  • 安全私密性
  • 数据存储使用个人oss
  • 用完一键请理环境,删除所有资料
  • 监听网络通讯和文件读取,防范偷数据

智能体

AutoGen

简介

主要特点

  • AutoGen 能够以最小的工作量构建基于多智能体对话的下一代 LLM 应用程序。它简化了复杂 LLM 工作流的编排、自动化和优化。它最大限度地提高了LLM模型的性能并克服了它们的弱点。
  • 它支持复杂工作流程的多种对话模式。借助可自定义和可对话的智能体,开发人员可以使用 AutoGen 构建有关对话自治的各种对话模式, 代理数和智能体会话拓扑。 它提供了具有不同复杂性的工作系统的集合。这些系统涵盖了来自各个领域和复杂性的广泛应用。这演示了 AutoGen 如何轻松支持各种对话模式。
  • AutoGen 提供增强的 LLM 推理。它提供了 API 统一和缓存等实用程序,以及错误处理、多配置推理、上下文编程等高级使用模式。

crewAI

crewAI简介

TaskWeaver

TaskWeaver简介

XAgent

XAgent简介

特点

  • 自主性:XAgent可以在没有人类参与的情况下自动解决各种任务。
  • 安全性:XAgent被设计为安全运行。所有的行为都被限制在一个docker容器内。不用担心你的主机环境受到影响
  • 可扩展性:XAgent被设计为可扩展的。您可以轻松地添加新的工具来增强智能体的能力,甚至是新的智能体!
  • GUI:XAgent为用户提供了友好的GUI来与智能体交互。您也可以使用命令行界面与智能体交互。
  • 与人类的合作:XAgent可以与您合作解决任务。它不仅有能力在行进中遵循您的指导来解决复杂的任务,而且在遇到挑战时还可以寻求您的帮助。

MetaGPT

MetaGPT简介

AI软件工程师

SWE-agent

简介

MetaGPT

数据解释器

作用

  • 能够应对数据实时变化、任务之间复杂的依赖关系、流程优化需求以及执行结果反馈的逻辑一致性等挑战
  • 相关文章:开源版“Devin”AI程序员炸场:自己分析股票、做报表、建模型https://mp.weixin.qq.com/s/sxgfJf4vxvaxhO5L7-Npwg

三个关键技术:

1)基于分层图结构的动态计划,基于分层的图结构进行任务和代码规划,有效管理任务间的复杂依赖,灵活应对数据科学任务的实时数据变化;

2)工具集成与进化,通过在代码生成过程中自动集成代码片段作为工具,动态嵌入了数据科学领域所需的领域知识;

3)基于验证与经验驱动的推理,自动在反馈中增强逻辑一致性检测,通过基于置信度的验证提升执行代码的逻辑合理性,并借助经验库增强推理能力。

项目链接:

Devika

简介

  • 项目仓库:https://github.com/stitionai/devika Star:13.3K

  • Devika是一个开源的AI软件工程师,它能够理解高层次的人类指令,将这些指令分解成具体的步骤,并通过研究相关信息来编写代码,实现既定目标

主要特征

1.强大的语言模型支持:Devika能够利用Claude 3、GPT-4等先进的语言模型,为你的编程项目提供强大的自然语言理解和生成能力。

2.智能规划与推理:Devika能够将复杂的编程目标分解成一步步的行动计划,并做出基于当前上下文的最佳决策。

3.精准的关键词提取:通过上下文关键词提取,Devika能够聚焦研究,快速找到你需要的信息。

4.无缝的网络浏览:Devika能够自动浏览互联网,搜集信息,与网页元素交互,就像一个真人用户一样。

5.多语言代码编写:无论你需要Python、JavaScript还是其他语言的代码,Devika都能帮你搞定。

6.动态状态追踪:Devika能够实时追踪并可视化代理的状态,让你对项目进展了如指掌。

7.自然语言交互:通过聊天界面,你可以像和朋友聊天一样与Devika交流,简单又自然。

8.项目管理:Devika提供了基于项目的组织和管理功能,让你的代码和资料井井有条。

9.可扩展架构:Devika的架构设计允许你根据需要添加新功能和集成,让AI编程的可能性无限扩展。

系统架构

1.用户界面:一个基于Web的聊天界面,让你可以轻松与Devika互动,查看项目文件,监控代理状态。

2.代理核心:Devika的大脑,协调AI规划、推理和执行过程,与其他子代理和模块通信,完成任务。

3.大型语言模型:Devika使用最新的语言模型来理解、生成和推理自然语言。

4.规划与推理引擎:负责将高层次目标分解成可执行的步骤,并根据当前上下文做出决策。

5.研究模块:利用关键词提取和网络浏览能力,为手头的任务收集相关信息。

6.代码编写模块:根据计划、研究发现和用户需求生成代码,支持多种编程语言。

7.浏览器交互模块:使Devika能够根据需要浏览网站、提取信息和与网页元素交互。

8.知识库:存储和检索项目特定的信息、代码片段和学习到的知识,以便高效访问。

9.数据库:持久化项目数据、代理状态和配置设置。

Devin

简介

  • Devin - 世界第一个全栈AI程序员https://mp.weixin.qq.com/s/MHaxWumWDG9NtBR0RakNGg
  • 官网:https://preview.devin.ai/
  • Devin在SWE-bench上的测评表现卓越。它不仅能够自动完成任务,甚至在几分钟内就能自行编写整个应用程序,自动正确解决问题的比例高达13.86%,远超Claude 2(4.80%)、Llama以及GPT-4(1.74%,3.5测试结果为0%)

OpenDevin

gpt-pilot开源AI程序员,可独立完成95%的开发任务

简介

使用场景

  • 快速原型开发:您可以使用GPT Pilot快速创建应用程序的原型,以便在不浪费太多时间的情况下验证概念。
  • 自动代码生成:GPT Pilot可以生成应用程序的大部分代码,从设置路由和数据库连接到编写用户界面。
  • 技术建议:它还可以为应用程序选择合适的技术栈和工具,以满足特定需求。
  • 教育和学习:开发人员可以使用GPT Pilot来了解如何构建不同类型的应用程序,学习最佳实践,并查看实际代码示例。

Plandex-AI编程引擎,助力复杂任务处理

Plandex简介

核心特点

1.受保护的沙盒环境:变更在沙盒中累积,开发者可以在应用到项目文件前进行审查。 2.内置版本控制:允许开发者轻松回退和尝试不同的方法。 3.高效的上下文管理:在终端中轻松添加文件或目录到上下文,并自动保持更新。 4.多平台支持:支持Mac、Linux、FreeBSD和Windows操作系统,无需依赖即可运行。

优势

  • 超越自动完成,用人工智能构建复杂的功能。
  • 停止以鼠标为中心,复制粘贴疯狂的ChatGPT编码。
  • 在终端中有效地管理上下文。
  • 确保人工智能模型在上下文中始终具有最新版本的文件。
  • 对上下文中的内容以及您正在使用的令牌数量保持细粒度控制。
  • 在应用更改之前,在受保护的沙盒中进行实验、修改和审查。
  • 根据需要回放并重试。
  • 探索分支机构的多种方法。
  • 在后台运行任务或并行处理多个任务。
  • 尝试不同的模型和模型设置,然后比较结果。

ToolLLM

参考文章

ToolLLM model 主打Function Call

NexusRaven

Gorilla

ToolBench

Agent调用外部Tools

Xagent

  • 项目仓库:https://github.com/OpenBMB/XAgent
  • 为调用外部工具进行了专门的优化,加上Toolbench感觉有点像微软的Gorilla(一种大模型,ToolLLM)和AutoGPT的合体。

AI搜索引擎

AI搜索引擎盘点

perplexity.ai

简介

Perplexity优点

  • 快速计算:Perplexity的计算速度快,因为它基于数据集的平均对数似然,这可以通过单次数据遍历来近似计算,特别适用于大型数据集和NLP模型的超参数调整。

  • 估计语言模型的不确定性:Perplexity还是一个估计语言模型不确定性的有用指标,可以帮助识别模型是过拟合还是欠拟合数据。

  • 统计上的稳健性:Perplexity具有统计上的稳健性,不易受数据中异常值的影响。

  • 免费使用:Perplexity AI有一个免费版本,允许用户免费使用其功能和优势。

  • 精确的回应:Perplexity AI能够提供对复杂查询的全面回应,其信息来源丰富多样。

Perplexity 缺点

  • 不适用于最终评估:Perplexity不适合作为最终评估指标,因为它不衡量准确性。模型可能拥有低Perplexity但高错误率。

  • 跨数据集比较困难:跨不同数据集进行比较时,Perplexity可能会遇到困难,因为每个数据集和每个模型都有其自身的参数。

  • 可能偏好基于过时数据集训练的模型:如果新数据集包含训练数据中未出现的词汇,基于该数据训练的模型的Perplexity可能会人为地膨胀。

Phind为开发人员而生的 AI 搜索引擎

Phind简介

  • 官网地址:https://phind.com
  • Perplexity和Phind的优缺点https://zhuanlan.zhihu.com/p/688225119
    • Perplexity适合于需要快速、准确回答和对大量数据进行处理的场景,而Phind则更适合于开发者和技术爱好者,特别是在寻找编程和技术相关信息时。

Phind优点

  • 大型社区和多样化视角:Phind拥有一个大型社区,可以提供多样化的视角。

  • 定制化搜索:Phind允许用户定制化搜索,提供相关主题和“惊喜我”选项,使搜索过程更有趣和吸引人。

  • 针对开发者的专业搜索:Phind是专为开发者设计的免费AI搜索引擎,提供准确可靠的信息,使用AI驱动的算法提供建议和相关主题。

Phind缺点

  • 答案可能不可靠或不准确:Phind提供的答案可能需要进行额外的研究,因为答案可能不可靠或不准确。

  • 有限的范围:Phind专为开发者设计,因此其搜索能力可能限于编程和技术相关的主题。

  • 缺乏用户基础:作为一个相对较新的搜索引擎,Phind可能缺乏其他搜索引擎的广泛用户基础,这可能导致反馈有限和改进速度较慢。

Devv.ai-面向开发者的AI搜索引擎

  • 官方主站:<devv.ai>
  • 一款专为程序员设计的新一代AI搜索引擎,旨在解决开发者在寻找编程解决方案时遇到的各种痛点。
  • 用户体验非常好。仅需在搜索框输入查询内容,便可获得包含详细文字解释和代码块的回答,这些回答不仅可一键复制,还附有来源链接,保证信息的可靠性。
  • 支持多种编程语言,如Python、Java、JavaScript等
  • Devv.ai的准确性和中文支持度令人印象深刻。它不仅提供了清晰的中文UI和回答,还保证了与英文场景相当的准确度。
  • 参考文章:https://zhuanlan.zhihu.com/p/686761174

FreeAskInternet免费开源 perplexity AI 平替

FreeAskInternet简介

主要特点

  • 完全免费(不需要任何API密钥)
  • 完全本地化(无需GPU,任何计算机都可以运行)
  • 完全私有(所有东西都在本地运行)
  • 无需 LLM 硬件即可运行(无需 GPU!)
  • 使用免费的 ChatGPT3.5 API(无需 API 密钥!感谢 OpenAI)
  • 使用 Docker Compose 快速轻松地部署
  • Web 和移动设备友好界面,允许从任何设备轻松访问(Thx ChatGPT-Next-Web)

相关资源

LLocalSearch-LLM agent的本地搜索聚合器

search4all-基于搜索的AI问答系统

ThinkAny

Perplexica-AI驱动的问答搜索引擎

llm-answer-engine :完成度最高的 AI 搜索引擎

LLocalSearch:LLM agent的本地搜索聚合器

LLocalSearch简介

特性如下

  • 完全本地化(无需API密钥)
  • 可在"低端"LLM硬件上运行(演示视频使用7b模型)
  • 进度日志,有助于更好地了解搜索过程
  • 支持后续提问
  • 移动设备友好的界面
  • 通过Docker Compose可快速便捷部署
  • Web界面,可从任何设备轻松访问
  • 手工打造的UI,支持明暗两种模式

search4all-开源智能搜索引擎

search4all简介

主要特点

  • 对 LLM 的集成支持,例如 OpenAI、Groq 和 Claude。
  • 原生搜索引擎集成,包括 Google、Bing 和 DuckDuckGo。
  • 可定制的、具有视觉吸引力的用户界面。
  • 可共享和缓存的搜索结果,以提高效率。

大语言模型

大语言模型快讯

一句话快讯

生成式AI趋势

企业构建和购买生成式AI方式的16个变化

概要

  • 企业构建和购买生成式AI方式的16个变化

  • 生成式AI在 2023 年席卷了消费者领域,消费者支出超过10亿美元。到2024年,我们相信企业支出将增加数倍。

  • 尽管企业领导者仍然对部署生成式AI持保留态度,但也将预算增加了近两倍,扩大了部署在较小开源模型上的应用的数量,并将更多工作从早期实验转移到生产中。

  • 我们相信,如果为企业以生成式AI为中心的战略计划构建工具,同时预测他们的痛点,以及 从以服务为主的方法转向构建可扩展的产品,人工智能初创公司将抓住新一轮投资浪潮并开拓可观的市场份额。

主要内容

企业预算正在急剧增长

  • 生成式AI的企业预算正在飙升

  • 企业领导者开始将人工智能投资重新分配给经常性的软件预算项目。

  • 衡量投资回报率仍然是一门艺术和一门科学。

  • 实施和扩展生成式AI需要合适的技术人才,而目前许多企业内部并不具备这些人才。

    • 由于在企业中很难找到合适的生成式AI人才,因此提供工具以帮助企业更轻松地将生成式AI开发引入内部开发的初创公司市场机会可能更大。

企业正朝着多模型、开源的方向发展

  • 多模型的未来

    • 根据性能、规模和成本选择模型,开发应用
    • 避免锁定单一模型
    • 快速利用飞速发展的模型领域的进步
    • 因为模型排行榜是动态的,公司很高兴能够同时结合当前最先进的模型和开源模型以获得最佳结果,所以不会将应用锁定到单一商业模型上。
  • 开源正在蓬勃发展

    • 46%的受访者提到:更喜欢或非常喜欢在2024年采用开源模型
  • 虽然成本因素影响了开源的吸引力,但它作为关键的选择标准排在控制和定制之下

    • 控制(专有数据的安全性和理解模型产生某些输出的原因)和定制(针对给定用例进行有效微调的能力)远远超过成本,这是采用开源的主要原因
  • 对控制的渴望源于敏感的用例和企业数据安全问题。

    • 出于监管或数据安全方面的考虑,企业仍然不愿意与闭源模型提供商共享其专有数据
  • 领导者通常通过微调来定制模型,而不是从头开始构建模型

  • 云在模型购买决策中仍然具有很大影响力。

  • 客户仍然关心早期上市的模型的功能

    • 虽然领导者将推理能力、可靠性和易用性(例如,在他们的 CSP 上)作为采用模型的主要原因,但领导者也倾向于具有其他差异化特征的模型。例如,多位领导者将之前的 200K 上下文窗口作为采用 Anthropic 的关键原因,而其他人则采用 Cohere,因为Cohere是上市较早的且易于使用的微调产品。
  • 大多数企业认为模型性能正在趋同。

    • 尽管闭源模型通常在外部基准测试中表现更好,但企业领导者仍然为开源模型提供了相对较高的 NPS(在某些情况下甚至更高),因为它们更容易针对特定用例进行微调。一家公司发现,“经过微调,Mistral 和 Llama 的性能几乎与 OpenAI 一样好,但成本要低得多。

针对可选性进行优化

  • 云时代吸取的惨痛教训:要减少对单一供应商的依赖,市场发展如此之快,采用单一供应商是不明智的。

更多生成式AI应用迁移到生产环境

  • 目前,企业正在构建自己的生成式AI应用程序,而不是直接购买第三方生成式AI应用程序。

  • 企业对自己构建生成式AI应用感到兴奋,但对第三方的应用程序仍然更加谨慎。

    • 提供帮助企业构建生成式AI应用的工具的初创公司机会更大。
  • 总机会规模:庞大且快速增长

    • 预计到2024年底,模型API和微调的总支出将增长到50亿美元以上,而企业支出将成为其重要组成部分。

总结

1.生成式AI的总支出会大幅增长,企业支出会成为重要组成部分。 2.提供构建生成式AI应用的工具前景比较好。 3.开源模型机会比较多。

从AI独角兽竹间停工--看LLM在B端落地5大殇和潜在解决方案

概述

大模型2B应用落地难的5大原因

  • 数据安全之殇-企业数据安全需求,要求本地和私有化
  • 算力成本之殇-大模型要本地化和私有化,基础算力成本极高
  • 数据质量之殇-训练or微调大模型对知识和语料质量要求极高
  • 应用成本之殇-大模型应用成本高,不适合在低价值场景中使用
  • 反馈准确之殇-大模型幻觉不符合企业对准确度的要求

思考和可能的落地方案:最最核心:大模型还没有找到最有价值的应用场景出现。AI原生应用还没有真的爆发

  • 大模型应用在企业中,还是一个没有需求爆发的产品。

    • 技术迭代太快,所以里面根本没有商业价值。技术还不成熟,场景还没有找到。
  • ToB 你要比客户慢, ToC 你要比用户快。

    • 客户的核心需求还是要真的有价值和效果。现阶段要满足客户的需求,还是基于成熟产品创造确定性价值,大模型做10%-20%的探索场景,去解决小模型无法解决的问题。
  • 大模型现在到底能不能代替代码?我觉得还完全不到时候,现在大模型的代码能力就跟知识能力一样,很难直接融入到应用场景中。

    • 现在大语言模型可以做很多不需要再用代码做的事情。未来代码量会越来越少,模型数会越来越多,「模型就是代码」。
  • 这个阶段,大模型最佳的落地场景的条件

    • 数据安全要求不高的行业或者一些数据安全要求不高的场景。
    • 准确度要求不高的场景。
    • 价值更高的场景。
  • 不合适的场景:

    • 直接代表企业对外服务客户或者承诺客户的场景,回复不当就是客户和直接的损失。
    • 严肃咨询场景,比如企业内部财务咨询,如果回答错了,涉及钱,会增加内部的沟通解释成本。
  • 有几个方向可以思考:

    • 面向2C,那些有趣>有用的场景,比如游戏、写作草稿等方向。
    • 如果是2B,就要是那些价值创造更为直接的场景,比如营销、销售方向上。
  • 最容易落地且立竿见影容易有收益的方式,还是直接做现有产品的升级。

优秀开源模型

文本转SQL

sqlcoder

  • 项目仓库:https://github.com/defog-ai/sqlcoder
  • SQLCoder-7B-2:引领自然语言至SQL转换的新浪潮,性能显著提升。作为最新升级版本,SQLCoder-7B-2在多项评估中展现出卓越的效能,尤其在连接操作方面表现突出。SQLCoder-7B-2为非技术用户提供了深入数据库数据理解的新途径,既增强了分析工具的功能,也保持了对商用友好的开放态度。
  • 性能对比
  • 现在模型搞text2sql普遍拉胯,sqlcoder-34b勉强可用。

Qwen1.5

英文模型

  • Mixtral 8x7B MoE

  • ph-2

qwen-moe

简介

缺点

  • 总体显存占用比7B模型要大

phi

phi-3

简介

  • 仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B,体积小,可以量化为4位,仅占用约1.8GB的内存,能够在iPhone 14上每秒生成超过12个令牌,对中文支持不太好

  • Phi-3-medium 14B,多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。

  • Phi-3 on Azure AI Studio

参考文章

phi-2

简介

特点

  • 衡算方面:基础模型参数量约为27亿;
  • 移动端要求:量化后的内存需求仅为约1GB;
  • 处理范围:上下文长度可达2048个令牌;
  • 性能比较:表现优于谷歌Nano Gemini(32亿参数量)模型;
  • 适用场景:擅长编程任务,尤其适合Python;
  • 使用许可:遵循MIT协议

相关文章

Nexusflow

NexusRaven-V2

简介

要点

  • Nexusflow发布13亿参数的开源生成AI模型NexusRaven-V2,具备功能调用能力,能理解人类指令并转化为精确的软件工具功能/API调用。
  • NexusRaven-V2在人工策划的通用软件工具使用基准上,比最新的OpenAI GPT-4模型实现了高达7%的更高工具使用成功率。
  • Nexusflow致力于构建高效、可靠的生成AI解决方案,鼓励企业完全拥有模型和数据控制,推动开源模型在企业中的应用。

相关文章

coder代码模型

CodeQwen1.5

CodeFuse

deepseek-coder

RAG

Cohere推出Rerank 3模型,助力企业搜索与RAG升级

Command-R

简介

描述

  • Command-R优化了信息检索和增强生成的流程,提高了在企业级应用中的准确性和效率。检索:Cohere 的嵌入模型通过提高在搜索数百万甚至数十亿个文档时的上下文和语义理解,显著提高了检索步骤的有用性和准确性。同时,Cohere的Rerank模型进一步帮助提高检索到的信息的价值,优化自定义指标(如相关性和个性化)的结果。增强生成:在确定最相关的信息后,Command-R 可以总结、分析、打包这些信息,并通常将这些信息用于工作,以帮助员工提高工作效率或创造神奇的新产品体验。Command-R 独有的,该模型的输出带有清晰的引文,可降低幻觉的风险,并能够从源材料中显示其他上下文。

QAynthing

QAynthing简介

特点

  • 数据安全,支持全程拔网线安装使用。
  • 支持跨语种问答,中英文问答随意切换,无所谓文件是什么语种。
  • 支持海量数据问答,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好。
  • 高性能生产级系统,可直接部署企业应用。
  • 易用性,无需繁琐的配置,一键安装部署,拿来就用。
  • 支持选择多知识库问答。

RAGFlow

RAGFlow简介

RAGFlow特点

  • "Quality in, quality out"
    • 基于深度文档理解,能够从各类复杂格式的非结构化数据中提取真知灼见。
    • 真正在无限上下文(token)的场景下快速完成大海捞针测试。
  • 基于模板的文本切片
    • 不仅仅是智能,更重要的是可控可解释。
    • 多种文本模板可供选择
  • 有理有据、最大程度降低幻觉(hallucination)
    • 文本切片过程可视化,支持手动调整。
    • 有理有据:答案提供关键引用的快照并支持追根溯源。
  • 兼容各类异构数据源
    • 支持丰富的文件类型,包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。
  • 全程无忧、自动化的 RAG 工作流
    • 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
    • 大语言模型 LLM 以及向量模型均支持配置。
    • 基于多路召回、融合重排序。
    • 提供易用的 API,可以轻松集成到各类企业系统。

RQ-RAG

RQ-RAG简介

聊天框架

LobeChat-大模型聊天框架

LobeChat介绍

ChatGPTNextWeb-一键拥有自己跨平台的ChatGPT/Gemini 应用

ChatGPTNextWeb简介

主要功能

  • 在 1 分钟内使用 Vercel 免费一键部署
  • 提供体积极小(~5MB)的跨平台客户端(Linux/Windows/MacOS)
  • 完整的 Markdown 支持:LaTex 公式、Mermaid 流程图、代码高亮等等
  • 精心设计的 UI,响应式设计,支持深色模式,支持 PWA
  • 极快的首屏加载速度(~100kb),支持流式响应
  • 隐私安全,所有数据保存在用户浏览器本地
  • 预制角色功能(面具),方便地创建、分享和调试你的个性化对话
  • 海量的内置 prompt 列表,来自中文和英文
  • 自动压缩上下文聊天记录,在节省 Token 的同时支持超长对话
  • 多国语言支持:English, 简体中文, 繁体中文, 日本語, Español, Italiano, Türkçe, Deutsch, Tiếng Việt, Русский, Čeština, 한국어, Indonesia
  • 拥有自己的域名?好上加好,绑定后即可在任何地方无障碍快速访问

mergekit

简介

参考文章

摘要

  • 模型合并提高了最终模型的质量
  • 有许多合并算法,其中大多数使用加权平均值
  • 可以将模型与混合架构合并

GRIFFIN:无需训练MoE,提高效率

简介

llamafile-单个文件分发和运行LLM

简介

Xorbits Inference性能强大且功能全面的分布式推理框架

Xorbits Inference简介

主要特点

  • 轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
  • 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等。
  • 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐!
  • 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。
  • 集群计算,分布协同: 支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。
  • 开放生态,无缝对接: 与流行的三方库无缝对接,包括 LangChain,LlamaIndex,Dify,以及 Chatbox。
  • 支持多引擎部署:Transformers 引擎、vLLM 引擎、GGML 引擎。

模型量化

概述

GPTQ

  • GPTQ:Post-Training Quantization for GPT Models
  • GPTQ是一种4位量化的训练后量化(PTQ)方法,主要关注GPU推理和性能。
  • 尝试通过最小化该权重的均方误差将所有权重压缩到4位。在推理过程中,它将动态地将其权重去量化为float16,以提高性能,同时保持低内存。

GGUF

  • GGUF:GPT-Generated Unified Format
  • 允许用户使用CPU来运行LLM,但也可以将其某些层加载到GPU以提高速度。

AWQ

  • AWQ:Activation-aware Weight Quantization 激活感知权重量化
  • 类似于GPTQ,最重要的区别是AWQ假设并非所有权重对LLM的性能都同等重要。
  • 对于AWQ,可以使用vLLM包

BitNet 1.58

AQLM 2-bit量化Mixtral-8x7B

AQLM技术简介

  • 加性量化(AQLM,Additive Quantization for Language Models)是一种针对语言模型设计的技术,旨在优化模型的存储和计算效率。
  • AQLM是一层一层量化,所以量化速度较慢。量化后的模型可用,但看在测试复杂prompt时效果不如HQQ混合精度和BitsAndBytesConfig NF4量化后的效果

微软SAMMO:结构化感知的多目标Prompt优化框架,大幅提升效果

项目简要

主要特点

  1. 结构感知:SAMMO能够识别和操作提示的内部结构,将其视为由多个组件构成的程序。这种方法使得SAMMO可以对提示的不同部分进行细粒度的调整。
  2. 多目标优化:SAMMO不仅关注单一的性能指标,如准确性,还能够同时考虑多个优化目标,例如减少提示的长度、提高响应速度或降低计算成本。
  3. 丰富的变异操作:SAMMO提供了一系列变异操作符,这些操作符可以对提示的结构和内容进行各种修改,如改写文本、调整格式、增减示例等。
  4. 灵活的搜索算法:根据所使用的变异操作符的不同,SAMMO可以采用不同的搜索策略,例如穷举搜索(如网格搜索)和迭代搜索(如束搜索、随机搜索等)。
  5. 编译时优化:SAMMO专注于在提示部署之前的编译时阶段进行优化,这意味着通过一次性的优化过程,可以生成适用于多次调用的高效提示。
  6. 黑盒优化:SAMMO设计为在黑盒设置中工作,其中用户只能从LLMs的输出中采样,这反映了当前API能力的常见情况。

效果:指令调整、RAG调整和提示压缩方面提高了10-200%、133%和超过40%的性能

  • 指令微调评测:SAMMO始终优于所有其他指令调整方法,Llama-2-70B观察到相对性能提升最大(大约2倍),Mixtral 7x8B提升适中,而GPT-3.5的提升最小(与基线指令相比约为10%)。
  • RAG优化评测:SAMMO在仅有24个候选评估的情况下,有效地提高了所有语义解析数据集和后端大型语言模型(LLMs)的基线提示准确性。Llama-2的平均提升率为133**%,Mixtral为44%。即使是GPT-4也能从SAMMO探索的变化中受益,平均相对提升率为30%。

文生音视频

文生音

生成背景音乐

生成真人语音

生成真人演讲

生成真人演唱

文生视频

生成背景视频

生成讲解视频

实现

结构化提示词

分类生成再合成

  • 背景音乐
  • 真人语音
  • 背景视频
  • 讲解视频

生成多段短视频

开源项目

Mora

Open-Sora

Mira

  • 项目仓库
  • 腾讯PCG ARC实验室推出Mira:类似 Sora 的长视频生成
  • Mira(Mini-Sora),是一个尝试生成高质量、长时视频的初步探索项目,以Sora风格进行长视频生成。

Open-Sora-Plan

字节发布视觉基础模型ViTamin,多项任务实现SOTA

Boximator字节跳动视频生成大模型

AniPortrait:腾讯最新开源音频合成逼真人脸动画项目

Sora的开源替代者:MagicTime,免费的、高质量的文本生成视频大模型

SVGDreamer:一键生成专业级SVG

用so-vits-svc克隆自己声音并翻唱歌曲

GPT-SoVITS用一分钟语音完美克隆自己的声音

LLM应用

coze

简介

  • AI智能体开发平台,字节跳动提供,可以免费使用。海外版免费接入chatgpt4.0
  • 提供了一站式 AI 开发平台,无需编程,你的创新理念都能迅速化身为下一代的 AI 应用
  • 海外版:https://www.coze.com/
  • 国内版:https://www.coze.cn/

相关文章

豆包

Vercel V0

简介

  • 官方网站:https://v0.dev
  • 目前最好的 UI 生成模型,且可控性远强于其他模态的生成模型
  • 支持免费用户,200 Credits/month

相关文章

ButternutAI助力20秒打造梦幻网站

简介

  • 官方网站:https://v2.butternut.ai/
  • 重点
    • AI技术助力,快速构建个性化网站
    • 20秒完成从零到一的网站搭建
    • 丰富的模板和设计元素,满足不同用户需求

工具软件

笔记软件-个人知识管理

AFFiNE

简介

  • 官网:https://affine.pro
  • 项目仓库:https://github.com/toeverything/AFFiNE
  • Notion 和 Miro 的下一代知识库 - AFFiNE
  • 支持看板、表格和富文本段落作为构建块来形成页面或白板,可以在这里进行文档编辑、数据处理或头脑风暴等综合处理。

特性

  • 重塑页面

  • 计划任务

  • 知识整理

亮点

  • 跨平台支持
  • 在文本模式下添加待办事项,并转换为 board 模式
  • 能够自行托管或将其安装在你的计算机上
  • 可定制性
  • 数据隐私(重中之重)
  • 用于更好维护的单一代码库
  • 社区驱动的可扩展性
  • 多列视图和高级格式支持
  • 单击任意位置支持 MarkDown 输入
  • 用于编辑单元格/网格的键盘快捷键

Joplin

Joplin简介

主要特点

  • 离线访问: Joplin 采用“离线优先”策略,使用户在本地设备上即使没有互联网连接也可以访问其数据。这确保了无论连接状态如何,所有笔记都可以随时得到访问。

  • 同步: Joplin 提供与各种云服务的安全同步功能,包括 Nextcloud、Dropbox、OneDrive 以及其专有的 Joplin Cloud。端对端加密用于保护同步数据的完整性和机密性。

  • 搜索功能: 应用程序在所有平台上都具有强大的全文搜索功能,使用户能够快速从笔记中检索相关信息。

  • 自定义: 用户可以使用插件和主题增强他们的 Joplin 体验。这种灵活性赋予用户定制界面以适应其偏好和工作流程的能力。

Obsidian

Obsidian简介

特点

  • 第二大脑
  • 支持本地文件管理
  • 支持 Markdown 格式

配套工具

Lattics

Lattics简介

核心功能

  • Tag 标签:允许用户为文章和卡片打上标记,实现跨项目的知识关联。
  • 内容引用:类似于 Wiki 百科中的词条链接,它让用户能够在文章和卡片之间建立相互连接。
  • 后向链接与待链接:共同提高了建立和管理网状知识库的效率,帮助用户追踪知识的流向和相互关系。
  • 知识图谱:提供了三种图谱视图——思维导图、情节视图和鸟瞰视图——以可视化的方式展示知识之间的复杂联系。
  • 智能联想:能根据用户的输入自动检测并显示相关的词条列表,使用户能够快速建立引用关系。
  • 信息整合:用户可以通过拖拽导入多种格式的文件,如 PDF、DOCX、XLSX、PPTX、MP4、MP3 等,轻松构建复杂的内容关系,并灵活动态地管理知识和信息。
  • Zotero 链接与 Markdown 支持:Lattics 不仅支持与 Zotero 的无缝链接,可以轻松拖拽和复制笔记及其引用和 PDF 链接,还支持 Markdown 语法的自动解析,实现了所见即所得的文本编辑体验。

Memos

Archivy

Archivy简介

Archivy特点

  • 灵活的笔记和标签管理
  • 强大的智能搜索
  • 多种导入和导出方式
  • 定制化和扩展性

个人知识管理平台SilverBullet

AppFlowy

AppFlowy简介

  • AppFlowy 将自己定位为Notion的开源替代,它采用Flutter和Rust构建,旨在提供个性化的数据管理和定制功能。它包含文档、笔记、维基、任务和项目数据库、待办事项看板,以及日历功能。更为引人注目的是,AppFlowy支持OpenAI GPT的强大写作功能,为用户提供全面而灵活的体验。
  • 项目仓库:https://github.com/AppFlowy-IO/AppFlowy
  • 官方网站:https://appflowy.io/
  • 42K+ star!开源Notion 平替笔记推荐https://zhuanlan.zhihu.com/p/671774632

anytype

简介

恢复短语recovery phrase

  • 相关文档 meat buddy search water congress domain right fog snap tiny fee develop

问题

  • 无法定位程序输入点 DiscardVirtualMemory 于动态链接库 KERNEL32.dll 上
---------------------------
Anytype.exe - 无法找到入口
---------------------------
无法定位程序输入点 DiscardVirtualMemory 于动态链接库 KERNEL32.dll 上。 
---------------------------
确定   
---------------------------
  • 分析:electron版本过高,无法在windows7下运行,需要使用windows8或以上版本
  • 将eclectron降到21.4.4或升级操作系统

低代码表格

nocodb

项目简介

主要特点

  • 提供了丰富的电子表格界面,包括基本操作、字段操作、多种视图类型和权限类型等。
  • 为工作流自动化提供应用商店,涵盖聊天、邮件和存储等不同类别的集成。
  • 提供 REST API 和 NocoDB SDK 以及其他编程访问方式,并支持通过令牌进行授权验证。
  • 允许在 GUI 之外进行架构更改并同步这些更改;同时记录所有用户操作日志。

Teable-基于PostgreSQL的无代码数据库

简介

  • 官方网站:https://teable.io
  • Teable 是一个基于 Postgres 构建的超快速、实时、专业、开发人员友好的无代码数据库。它使用简单的、类似电子表格的界面来创建复杂的企业级数据库应用程序。通过无代码解锁高效的应用程序开发,摆脱数据安全性和可扩展性的障碍。
  • 项目仓库:https://github.com/teableio/teable

基础设施

云原生

dbos

简介

  • 官网 https://www.dbos.dev/

  • 云原生操作系统

  • 事务性无服务计算

  • 一种更简单、更安全的构建容错云应用程序的方法,由革命性的云原生DBOS操作系统提供支持。

  • 使灵魂(OS)不再受到单一肉体(服务器)的限制,让操作系统成为分布式架构。

  • 操作系统内部自动集成一个(分布式)数据库,系统的一切状态和数据都通过DBMS事务进行存储、计算

  • 将一切皆文件的linux时代,推向了一切皆数据库事务

特性

  • 系统安全:利用数据库本身的数据权限和ACID事务强一致性的特点,操作系统可以从根本上识别、拒绝风险操作。

  • 系统闪回:即便某一时刻系统真的发生无法逆转的错误,依然可以利用数据库“闪回”的功能,将整个系统恢复到任意历史健康的时刻

  • 数据防篡改:实现任意数据全生命周期行为跟踪与溯源

  • 扩展和高可用:通过底层分布式数据库的并行计算架构,操作系统也能轻易实现资源和性能的弹性扩展;在任意设备故障时,系统状态和用户数据都能在其他健康设备中正确保存,并使业务立刻恢复。

  • serverless无服务器:DBOS推出了dbos cloud服务,是具备serverless能力的无服务器操作系统。

架构

  • 使用TypeScript实现事务性无服务器计算

    • 减少并简化您的代码库,故障处理和恢复是自动化的

    • 保证一次且仅一次执行

    • 在几分钟内将应用程序部署到云中

    • 通过时间旅行调试快速排除故障

    • 快速检测网络攻击并从中恢复

  • DBOS彻底改变了云原生架构

    • 在分布式DBMS之上实现的操作系统服务,内置事务性、容错状态管理

    • 简化堆栈:无需容器、集群管理、工作流编排

    • 无缝扩展、高性能和高可用性

    • 存储在SQL可访问表中的度量、日志和跟踪

    • 更小的网络攻击面、网络攻击自我检测和网络弹性

    • 架构图:架构图

Higress-云原生API网关

Higress简介

  • 官方网站:https://higress.io
  • 项目仓库:https://github.com/alibaba/higress
  • 一个遵循开源Ingress/Gateway API标准,提供流量调度、服务治理、安全防护三合一的高集成、易使用、易扩展、热更新的下一代云原生网关。

主要特点

  • 易于使用

    • 提供流量调度、服务治理、安全防护一站式网关解决方案,支持Console与K8s Ingress、Gateway API配置方式,也支持HTTP到Dubbo协议转换,一键轻松完成协议映射配置。
  • 生产等级

    • 脱胎于阿里巴巴生产验证的内部产品,经历双十一洪峰锤炼,企业级的开源产品
  • 便于扩展

    • 提供Wasm、Lua、进程外三种插件扩展机制,让多语言编写插件不再成为障碍,插件生效粒度既支持全局级、域名级,也支持细粒度的路由级
  • 动态热更新

    • 彻底摆脱reload引起的流量抖动,配置变更毫秒级生效且业务无感,Wasm插件热更新且流量无损
  • 平滑升级

    • 兼容Nginx Ingress Annotation 80%+ 的使用场景,且提供功能更丰富的注解,简单一步轻松搞定Nginx Ingress迁移
  • 安全防护

    • 提供JWT、OIDC、自定义认证鉴权,深度集成开源Web应用防火墙,让安全防护成为标配

相关文章

安全访问

堡垒机

JumpServer

JumpServer简介

优点

  • JumpServer是全球首款完全开源的堡垒机,使用GNU GPL v2.0开源协议,是符合4A的专业运维审计系统。

  • JumpServer使用Python\Django开发,遵循Web 2.0规范,配备了业界领先的web Terminal(web终端,即网页终端)解决方案。

  • JumpServer采用分布式结构,支持多机房跨区域部署,中心节点提供API(接口),各机房部署登录节点,可以横向扩展,并且没有并发限制。

  • JumpServer为互联网企业提供了认证、授权、审计、自动化运维等功能。

  • JumpServer通过调用各种应用程序的模块来实现各种功能。

Next Terminal

Next Terminal简介

Next Terminal优点

  • 轻量,简单,容易上手,对被管理资产透明,非常适合个人使用。

功能特色

  • 免费开源:免费开源的项目,开源项目在 GitHub 目前已收获4.1K +Star,可以自由使用和修改

  • 多协议支持: 支持 RDP、SSH、VNC、TELNET 等多种协议,无需额外插件,即可在一个浏览器中管理所有资产。

  • 实时监控: 实时监控所有活跃会话,并提供以下功能:查看会话信息、监控会话内容、断恶意会话,防止安全风险

  • 事后审计: 记录所有环境中的每个在线资源、连接、交互会话和其他安全事件,并生成结构化的审计日志。通过审计日志快速定位安全问题,追溯责任人。

在线体验

  • web https://next.typesafe.cn/ 账号: test 密码: test
  • ssh server 主机: next.typesafe.cn 端口: 2022 账号: test 密码: test

OneTerm

OneTerm简介

OneTerm优点

  • 简洁且完善,专注堡垒机,堡垒机该有的都有,例如终端登陆,会话录像、实时监控、强制断开、网关、危险命令阻断等都是堡垒机必要等核心功能,没有其他乱七八糟跟堡垒机无关的功能,小巧易用

  • GO语言开发,代码简单易懂,项目初期的代码是宝藏,功能不是很复杂,代码编写也都按照规范严格执行,结构和质量都比较高,没有太多的技术债,比较适合想要学习GO或者是想要了解堡垒机是如何实现的伙伴去读源码

  • 社区比较活跃,尤其是微信群几乎是有问必答,项目发版节奏也比较固定,几乎每周都有优化更新或新功能上线,注重用户体验,微信群里大伙提到的问题官方基本都有安排实现

  • 与CMDB数据互通,统一平台,打破数据孤岛,一份数据多个系统使用,确保CMDB数据的权威,同时也简化了堡垒机的配置和应用。项目维护主题为公司,相对来说比个人开发者更可靠和稳定

  • 开源,这个无需多说,向开源致敬

Teleport

简介

特点

  • 极易部署:简洁设计,小巧灵活,无额外依赖,确保您可以在5分钟内完成安装部署,开始使用。

  • 安全增强:配置远程主机为仅被您的teleport服务器连接,可有效降低嗅探、扫描、暴力破解等攻击风险。

  • 单点登录:只需登录您的teleport服务器,即可一键连接您的任意远程主机,无需记忆每台远程主机的密码了。

  • 按需授权:可以随时授权指定运维人员访问指定的远程主机,也可随时回收授权。仅仅需要几次点击!

  • 运维审计:对远程主机的操作均有详细记录,支持操作记录录像、回放,审计工作无负担。

网络组织工具

虚拟组网vpn

headscale

  • 简介
    • 开源仓库:https://github.com/juanfont/headscale
    • An open source, self-hosted implementation of the Tailscale control server
    • Headscale 旨在实现一个自托管、开源的Tailscale控制服务器替代方案,可以实现较小范围内和实现单个Tailnet的功能,通常可用于设置为单个组织、家庭或个人使用。

Tailscale

p2p穿透

v2ray

frp

  • 源码仓库:https://github.com/fatedier/frp

  • 文档资料:https://gofrp.org/

  • 特点

    • 能将内网侦听服务穿透到外网访问
    • 支持p2p,也支持服务转发
    • 使用udp或tcp通讯
    • 支持socks5代理访问frp服务
    • 支持ipv4和ipv6组合在一起

http隧道穿透

Suo5

  • 简介

    • 官网仓库:https://github.com/zema1/suo5
    • Suo5 是一款高性能的 HTTP 代理隧道工具,基于 HTTP/1.1 的 Chunked-Encoding 构建,性能可以达到传统隧道工具的数十倍
  • 特点

    • 通过socks5服务接受客户端访问
    • 通过http代理隧道穿透网络
  • 优点

    • 同时支持全双工与半双工模式,传输性能接近 FRP
  • 缺点

    • 没有伪装,容易被安全软件拦截

Neo-reGeorg

  • 简介

  • 优点

    • 提高可用性,避免特征检测
    • 提高 tunnel 连接安全性
    • 提高传输内容保密性
    • 应对更多的网络环境场景下使用
  • 缺点

    • 性能较差

clickhouse

clickhouse简介

国产改进

ByConity

简介

核心优势

  • 高性能低成本

    • 支持在海量数据规模下,通过向量化执行引擎、列式存储和CBO+RBO优化器达成亚秒级查询响应能力。同时超高压缩比率帮助用户节省大量存储空间,降低磁盘成本。
  • 多种场景统一支持

    • 支持实时数据流和离线批数据写入,具有交互式事物能力和多表关联查询能力,既可以满足线上系统的交互式查询需求,也可以满足后台实时监控、报表大屏等。
  • 生态友好

    • 兼容ClickHouse大多数接口和工具,支持Kafka、Spark、Flink等多种数据导入,也支持Superset,Tableau等数据可视化工具。

相对clickhouse的改进点

  • 架构全新升级

    • 1个管理组件
    • 3个计算组件
      • worker read 读数据
      • worker write 写数据
      • daemon manager负责后台任务
    • 2个存储组件
      • hdfs-datanode用来存储数据
      • foundationdb用来存储元数据,满足ACID事务型要求
  • 存算分离

  • 多表join,分布式join相对clickhouse有5倍提升

  • 多副本管理

对比文章

myscaledb

myscaledb简介

  • 官方网站:<myscale.com>
  • 项目仓库:https://github.com/myscale/MyScaleDB
  • 增强文本搜索的SQL向量数据库
  • 针对向量搜索进行了 优化 的 ClickHouse 开源分支,并集成了 Tantivy,支持bm25全文搜索

myscaledb核心优势

  • 为AI应用而建立: 在单一平台上管理和支持结构化和向量化数据的分析处理。
  • 为性能而建立: 先进的OLAP数据库架构,以惊人的速度对向量化数据进行操作。
  • 为普遍可访问性而建立: SQL是与MyScale交互所需的唯一编程语言
  • MyScale的专有MSTG向量引擎利用NVMe SSD将数据密度提高了10倍
  • MyScale在性能和成本效益方面均能超越最专业的向量数据库4到10倍
  • 无缝集成了高性能文本搜索功能,使MyScale成为ElasticSearch的高效升级

Databend-新一代云数据+AI分析,Snowflake开源替代

数据集成

简介

  • 项目仓库:https://github.com/apache/flink-cdc
  • 文档:https://nightlies.apache.org/flink/flink-cdc-docs-stable/
  • Flink CDC 是一个基于流的数据集成工具,旨在为用户提供一套功能更加全面的编程接口(API)。 该工具使得用户能够以 YAML 配置文件的形式,优雅地定义其 ETL(Extract, Transform, Load)流程,并协助用户自动化生成定制化的 Flink 算子并且提交 Flink 作业。 Flink CDC 在任务提交过程中进行了优化,并且增加了一些高级特性,如表结构变更自动同步(Schema Evolution)、数据转换(Data Transformation)、整库同步(Full Database Synchronization)以及 精确一次(Exactly-once)语义。
  • 相关文档:https://developer.aliyun.com/article/1092103

oracle支持

应龙apache inlong

简介

  • 项目仓库:https://github.com/apache/inlong
  • 官方网址:https://inlong.apache.org/
  • Apache InLong(应龙)是一个一站式、全场景海量数据集成框架,同时支持数据接入、数据同步和数据订阅,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。

核心功能

  • 端到端的数据集成框架
  • 为数据集成的用户提供了易于构建作业的 API
  • 支持在 Source 和 Sink 中处理多个表
  • 整库同步
  • 具备表结构变更自动同步的能力(Schema Evolution)

产品优势

  • 简单易用

    • 基于SaaS模式对外服务,用户只需要按主题发布和订阅数据即可完成数据的上报,传输和分发工作
  • 稳定可靠

    • 系统源于实际的线上系统,服务上十万亿级的高性能及上千亿级的高可靠数据数据流量,系统稳定可靠
  • 功能完善

    • 支持各种类型的数据接入方式,多种不同类型的MQ集成,以及基于配置规则的实时数据ETL和数据分拣落地,并支持以可插拔方式扩展系统能力
  • 服务集成

    • 支持统一的系统监控、告警,以及细粒度的数据指标呈现,对于管道的运行情况,以数据主题为核心的数据运营情况,汇总在统一的数据指标平台,并支持通过业务设置的告警信息进行异常告警提醒
  • 灵活扩展

    • 全链条上的各个模块基于协议以可插拔方式组成服务,业务可根据自身需要进行组件替换和功能扩展

开发环境管理

云开发环境

  • 能本地部署的云ide推荐
    1. Eclipse Che:Eclipse Che是一个云端的开发环境,支持多用户协作。它允许创建和共享工作区,以及在团队成员之间共享代码。它还提供了与LDAP和OAuth集成的权限管理功能,这有助于团队管理。

    2. Codiad:Codiad是一个轻量级的Web IDE,支持多用户访问。然而,它的团队管理功能相对较弱。你可以创建多个用户帐户并分配权限,但缺乏更高级的团队管理功能。

    3. Theia:Theia是一个可扩展的云端IDE,支持多用户协作。然而,它主要关注提供一个可定制的IDE框架,而不是专注于团队管理功能。你需要自己实现团队管理相关的功能,或者将其与其他团队管理工具集成。

    4. Code-Server:Code-Server允许你在远程服务器上运行Visual Studio Code,从而实现多用户访问。然而,它本身并不提供任何团队管理功能。要实现团队管理,你需要将其与其他团队协作和权限管理工具集成。

    5. Gitpod:Gitpod是一个基于Theia的云端IDE,它与Git仓库(如GitHub和GitLab)集成,支持多用户协作。通过与Git仓库的集成,Gitpod能够利用Git仓库的团队管理和权限功能。此外,Gitpod提供了共享运行环境的功能,这有助于团队成员在相同的环境中协作。

Code-Server-基于浏览器的远程开发环境

Gitpod-基于浏览器的在线IDE

  • 项目仓库:https://github.com/gitpod-io/gitpod
  • 官网:https://www.gitpod.io/
  • 开源,基于浏览器的在线IDE,支持多种编程语言,支持GitHub、GitLab、Bitbucket等代码托管平台,支持自定义Dockerfile,支持远程开发,支持SSH,支持自定义域名,支持插件扩展,支持多人协作,支持私有仓库。

devbox-快速生成干净且隔离的开发环境

Daytona

hocus.dev

  • 官网:https://hocus.dev/
  • 项目仓库:https://github.com/hocus-dev/hocus
  • Hocus是一个自托管的应用程序,它可以在几秒钟内在您自己的服务器上启动可编写代码的一次性开发环境。您将开发环境定义为代码,并立即从浏览器启动它们。它是Gitpod和GitHub代码空间的自托管替代方案。

instantbox—1分钟就可以拥有一个轻量的linux

instantbox简介

主要特点

  • 快速启动:项目利用虚拟化技术,使我们能够在几分钟内启动一个全新的 Linux 环境。无需担心繁琐的安装和配置过程,就可以立即开始演示。
  • 灵感激发:在这个干净的环境中,我们可以充分发挥创造力和灵感,展示 Linux 的强大功能和无限可能性。
  • 跨设备管理服务器:利用这个项目,我们可以从任何设备轻松管理服务器。无论是在我们的个人电脑、笔记本电脑还是移动设备上,都可以随时访问和管理服务器。
  • 尝试开源项目:在这个干净的 Linux 环境中,我们可以尝试使用各种开源项目。学生们可以探索不同的应用程序、工具和开发框架,深入了解开源技术的魅力。
  • 测试软件性能:通过我们提供的资源限制功能,您可以在不同的资源限制下测试软件的性能。这有助于了解软件在不同环境下的表现,并进行性能优化。