技术文摘-d.i68.ltd
概要
- 个人文章
- 资料整理
- 文章转载
目录
AI
部署工具
ollama:https://ollama.ai/
AI基础设施
juicefs
-
在 Google Colab 中使用 JuiceFS https://zhuanlan.zhihu.com/p/688506200
-
BentoML:如何使用 JuiceFS 加速大模型加载 https://zhuanlan.zhihu.com/p/683183509
-
构建易于运维的 AI 训练平台:存储选型与最佳实践 https://zhuanlan.zhihu.com/p/648485572
-
云知声: 基于 JuiceFS 的超算平台存储实践 https://zhuanlan.zhihu.com/p/593582557
AI工具
说明
- 适配各类notebook,如colab
- 一键调优测试运行,一键部署环境
- 提供终端助手,反弹web shell
- 提供穿透服务,将notebook中侦听端口转发出来访问
- 产品化,优先适配流行llm
- 安全私密性
- 数据存储使用个人oss
- 用完一键请理环境,删除所有资料
- 监听网络通讯和文件读取,防范偷数据
智能体
AutoGen
简介
- 项目仓库:https://github.com/microsoft/autogen
- AutoGen 是一个框架,它支持使用多个智能体开发 LLM 应用程序,这些智能体可以相互交谈以解决任务
- 文档:https://microsoft.github.io/autogen/
- 相关文章:https://zhuanlan.zhihu.com/p/680200687
主要特点
- AutoGen 能够以最小的工作量构建基于多智能体对话的下一代 LLM 应用程序。它简化了复杂 LLM 工作流的编排、自动化和优化。它最大限度地提高了LLM模型的性能并克服了它们的弱点。
- 它支持复杂工作流程的多种对话模式。借助可自定义和可对话的智能体,开发人员可以使用 AutoGen 构建有关对话自治的各种对话模式, 代理数和智能体会话拓扑。 它提供了具有不同复杂性的工作系统的集合。这些系统涵盖了来自各个领域和复杂性的广泛应用。这演示了 AutoGen 如何轻松支持各种对话模式。
- AutoGen 提供增强的 LLM 推理。它提供了 API 统一和缓存等实用程序,以及错误处理、多配置推理、上下文编程等高级使用模式。
crewAI
crewAI简介
- 项目仓库:https://github.com/joaomdmoura/crewAI
- 官方网站:https://crewai.com
- 多智能体框架 - CrewAI
- 利用CrewAI框架打造高效自动化周报系统:告别手动报告,迎接智能协作
TaskWeaver
TaskWeaver简介
-
是一款代码优先的 Agent 框架。TaskWeaver 能够将用户的自然语言请求巧妙地转化为可执行代码,并支持丰富的数据结构、动态插件选择以及专业领域适应的规划过程
XAgent
XAgent简介
- 项目仓库:https://github.com/OpenBMB/XAgent
- 博客:https://blog.x-agent.net/blog/xagent/
- XAgent是一个开源的基于大型语言模型(LLM)的自主智能体,可以自动解决各种任务。
- 相关文档:https://mp.weixin.qq.com/s/xrjijef85z8h0A_TUPJrNQ
特点
- 自主性:XAgent可以在没有人类参与的情况下自动解决各种任务。
- 安全性:XAgent被设计为安全运行。所有的行为都被限制在一个docker容器内。不用担心你的主机环境受到影响
- 可扩展性:XAgent被设计为可扩展的。您可以轻松地添加新的工具来增强智能体的能力,甚至是新的智能体!
- GUI:XAgent为用户提供了友好的GUI来与智能体交互。您也可以使用命令行界面与智能体交互。
- 与人类的合作:XAgent可以与您合作解决任务。它不仅有能力在行进中遵循您的指导来解决复杂的任务,而且在遇到挑战时还可以寻求您的帮助。
MetaGPT
MetaGPT简介
- 项目仓库:https://github.com/geekan/MetaGPT
- 官方网站:https://www.deepwisdom.ai/
- 使 GPTs 组成软件公司,协作处理更复杂的任务
AI软件工程师
SWE-agent
简介
- 项目仓库:https://github.com/princeton-nlp/SWE-agent
- 官方网站:https://swe-agent.com/
- demo:https://swe-agent.com/demo
- SWE-agent能够让大语言模型(比如GPT-4)变身为软件工程AI智能体,并在真实的GitHub仓库里自己修bug。
- 在SWE-bench测试集上,SWE-agent成功解决了12.29%的问题,平均耗时只有93秒,准确率堪比Devin。
- 介绍文章:https://zhuanlan.zhihu.com/p/690562277
MetaGPT
数据解释器
作用
- 能够应对数据实时变化、任务之间复杂的依赖关系、流程优化需求以及执行结果反馈的逻辑一致性等挑战
- 相关文章:开源版“Devin”AI程序员炸场:自己分析股票、做报表、建模型https://mp.weixin.qq.com/s/sxgfJf4vxvaxhO5L7-Npwg
三个关键技术:
1)基于分层图结构的动态计划,基于分层的图结构进行任务和代码规划,有效管理任务间的复杂依赖,灵活应对数据科学任务的实时数据变化;
2)工具集成与进化,通过在代码生成过程中自动集成代码片段作为工具,动态嵌入了数据科学领域所需的领域知识;
3)基于验证与经验驱动的推理,自动在反馈中增强逻辑一致性检测,通过基于置信度的验证提升执行代码的逻辑合理性,并借助经验库增强推理能力。
项目链接:
- https://docs.deepwisdom.ai/main/en/DataInterpreter/
- https://github.com/geekan/MetaGPT/tree/main/examples/di
Devika
简介
-
项目仓库:https://github.com/stitionai/devika Star:13.3K
-
Devika是一个开源的AI软件工程师,它能够理解高层次的人类指令,将这些指令分解成具体的步骤,并通过研究相关信息来编写代码,实现既定目标
主要特征
1.强大的语言模型支持:Devika能够利用Claude 3、GPT-4等先进的语言模型,为你的编程项目提供强大的自然语言理解和生成能力。
2.智能规划与推理:Devika能够将复杂的编程目标分解成一步步的行动计划,并做出基于当前上下文的最佳决策。
3.精准的关键词提取:通过上下文关键词提取,Devika能够聚焦研究,快速找到你需要的信息。
4.无缝的网络浏览:Devika能够自动浏览互联网,搜集信息,与网页元素交互,就像一个真人用户一样。
5.多语言代码编写:无论你需要Python、JavaScript还是其他语言的代码,Devika都能帮你搞定。
6.动态状态追踪:Devika能够实时追踪并可视化代理的状态,让你对项目进展了如指掌。
7.自然语言交互:通过聊天界面,你可以像和朋友聊天一样与Devika交流,简单又自然。
8.项目管理:Devika提供了基于项目的组织和管理功能,让你的代码和资料井井有条。
9.可扩展架构:Devika的架构设计允许你根据需要添加新功能和集成,让AI编程的可能性无限扩展。
系统架构
1.用户界面:一个基于Web的聊天界面,让你可以轻松与Devika互动,查看项目文件,监控代理状态。
2.代理核心:Devika的大脑,协调AI规划、推理和执行过程,与其他子代理和模块通信,完成任务。
3.大型语言模型:Devika使用最新的语言模型来理解、生成和推理自然语言。
4.规划与推理引擎:负责将高层次目标分解成可执行的步骤,并根据当前上下文做出决策。
5.研究模块:利用关键词提取和网络浏览能力,为手头的任务收集相关信息。
6.代码编写模块:根据计划、研究发现和用户需求生成代码,支持多种编程语言。
7.浏览器交互模块:使Devika能够根据需要浏览网站、提取信息和与网页元素交互。
8.知识库:存储和检索项目特定的信息、代码片段和学习到的知识,以便高效访问。
9.数据库:持久化项目数据、代理状态和配置设置。
Devin
简介
- Devin - 世界第一个全栈AI程序员https://mp.weixin.qq.com/s/MHaxWumWDG9NtBR0RakNGg
- 官网:https://preview.devin.ai/
- Devin在SWE-bench上的测评表现卓越。它不仅能够自动完成任务,甚至在几分钟内就能自行编写整个应用程序,自动正确解决问题的比例高达13.86%,远超Claude 2(4.80%)、Llama以及GPT-4(1.74%,3.5测试结果为0%)
OpenDevin
- 项目仓库:https://github.com/OpenDevin/OpenDevin
- Devin的开源翻版——OpenDevin
gpt-pilot开源AI程序员,可独立完成95%的开发任务
简介
- 项目仓库:https://github.com/Pythagora-io/gpt-pilot
- 提供第一个真正的 AI 开发伙伴
- GPT Pilot 是 Pythagora 的核心技术,而 Pythagora 是一款VS Code插件
- 27K star!开源AI程序员,可独立完成95%的开发任务
使用场景
- 快速原型开发:您可以使用GPT Pilot快速创建应用程序的原型,以便在不浪费太多时间的情况下验证概念。
- 自动代码生成:GPT Pilot可以生成应用程序的大部分代码,从设置路由和数据库连接到编写用户界面。
- 技术建议:它还可以为应用程序选择合适的技术栈和工具,以满足特定需求。
- 教育和学习:开发人员可以使用GPT Pilot来了解如何构建不同类型的应用程序,学习最佳实践,并查看实际代码示例。
Plandex-AI编程引擎,助力复杂任务处理
Plandex简介
核心特点
1.受保护的沙盒环境:变更在沙盒中累积,开发者可以在应用到项目文件前进行审查。 2.内置版本控制:允许开发者轻松回退和尝试不同的方法。 3.高效的上下文管理:在终端中轻松添加文件或目录到上下文,并自动保持更新。 4.多平台支持:支持Mac、Linux、FreeBSD和Windows操作系统,无需依赖即可运行。
优势
- 超越自动完成,用人工智能构建复杂的功能。
- 停止以鼠标为中心,复制粘贴疯狂的ChatGPT编码。
- 在终端中有效地管理上下文。
- 确保人工智能模型在上下文中始终具有最新版本的文件。
- 对上下文中的内容以及您正在使用的令牌数量保持细粒度控制。
- 在应用更改之前,在受保护的沙盒中进行实验、修改和审查。
- 根据需要回放并重试。
- 探索分支机构的多种方法。
- 在后台运行任务或并行处理多个任务。
- 尝试不同的模型和模型设置,然后比较结果。
ToolLLM
参考文章
ToolLLM model 主打Function Call
NexusRaven
- 开源,可商用
- 比gpt4.0要好
- NexusRaven-V2:https://github.com/nexusflowai/NexusRaven-V2
- NexusRaven-V2: Surpassing GPT-4 for Zero-shot Function Calling
Gorilla
- 项目仓库:https://github.com/ShishirPatil/gorilla
- 主站:https://gorilla.cs.berkeley.edu/
- 效果超越GPT4.0
- 模型下载:https://huggingface.co/gorilla-llm
ToolBench
- 项目仓库:https://github.com/OpenBMB/ToolBench
- 赋予开源 LLMs 掌握成千上万多样的真实世界API能力
- ToolLLaMA-2-7b-v2模型下载: https://huggingface.co/ToolBench/ToolLLaMA-2-7b-v2
Agent调用外部Tools
Xagent
- 项目仓库:https://github.com/OpenBMB/XAgent
- 为调用外部工具进行了专门的优化,加上Toolbench感觉有点像微软的Gorilla(一种大模型,ToolLLM)和AutoGPT的合体。
AI搜索引擎
AI搜索引擎盘点
perplexity.ai
简介
- 官网地址:https://perplexity.ai
- 套壳之王:Perplexity
- 免费版只能使用Perplexity自己的AI模型。
Perplexity优点
-
快速计算:Perplexity的计算速度快,因为它基于数据集的平均对数似然,这可以通过单次数据遍历来近似计算,特别适用于大型数据集和NLP模型的超参数调整。
-
估计语言模型的不确定性:Perplexity还是一个估计语言模型不确定性的有用指标,可以帮助识别模型是过拟合还是欠拟合数据。
-
统计上的稳健性:Perplexity具有统计上的稳健性,不易受数据中异常值的影响。
-
免费使用:Perplexity AI有一个免费版本,允许用户免费使用其功能和优势。
-
精确的回应:Perplexity AI能够提供对复杂查询的全面回应,其信息来源丰富多样。
Perplexity 缺点
-
不适用于最终评估:Perplexity不适合作为最终评估指标,因为它不衡量准确性。模型可能拥有低Perplexity但高错误率。
-
跨数据集比较困难:跨不同数据集进行比较时,Perplexity可能会遇到困难,因为每个数据集和每个模型都有其自身的参数。
-
可能偏好基于过时数据集训练的模型:如果新数据集包含训练数据中未出现的词汇,基于该数据训练的模型的Perplexity可能会人为地膨胀。
Phind为开发人员而生的 AI 搜索引擎
Phind简介
- 官网地址:https://phind.com
- Perplexity和Phind的优缺点https://zhuanlan.zhihu.com/p/688225119
- Perplexity适合于需要快速、准确回答和对大量数据进行处理的场景,而Phind则更适合于开发者和技术爱好者,特别是在寻找编程和技术相关信息时。
Phind优点
-
大型社区和多样化视角:Phind拥有一个大型社区,可以提供多样化的视角。
-
定制化搜索:Phind允许用户定制化搜索,提供相关主题和“惊喜我”选项,使搜索过程更有趣和吸引人。
-
针对开发者的专业搜索:Phind是专为开发者设计的免费AI搜索引擎,提供准确可靠的信息,使用AI驱动的算法提供建议和相关主题。
Phind缺点
-
答案可能不可靠或不准确:Phind提供的答案可能需要进行额外的研究,因为答案可能不可靠或不准确。
-
有限的范围:Phind专为开发者设计,因此其搜索能力可能限于编程和技术相关的主题。
-
缺乏用户基础:作为一个相对较新的搜索引擎,Phind可能缺乏其他搜索引擎的广泛用户基础,这可能导致反馈有限和改进速度较慢。
Devv.ai-面向开发者的AI搜索引擎
- 官方主站:<devv.ai>
- 一款专为程序员设计的新一代AI搜索引擎,旨在解决开发者在寻找编程解决方案时遇到的各种痛点。
- 用户体验非常好。仅需在搜索框输入查询内容,便可获得包含详细文字解释和代码块的回答,这些回答不仅可一键复制,还附有来源链接,保证信息的可靠性。
- 支持多种编程语言,如Python、Java、JavaScript等
- Devv.ai的准确性和中文支持度令人印象深刻。它不仅提供了清晰的中文UI和回答,还保证了与英文场景相当的准确度。
- 参考文章:https://zhuanlan.zhihu.com/p/686761174
FreeAskInternet免费开源 perplexity AI 平替
FreeAskInternet简介
- 项目仓库:https://github.com/nashsu/FreeAskInternet Star 7.5k
- 免费开源 perplexity AI 平替:FreeAskInternet 免费基于搜索的AI问答系统
- FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器,并使用 LLM 生成答案,无需 GPU。用户可以提出问题,系统将使用searxng进行多引擎搜索,并将搜索结果合并到ChatGPT3.5 LLM中,并根据搜索结果生成答案。所有进程都在本地运行,不需要 GPU 或 OpenAI 或 Google API 密钥。
主要特点
- 完全免费(不需要任何API密钥)
- 完全本地化(无需GPU,任何计算机都可以运行)
- 完全私有(所有东西都在本地运行)
- 无需 LLM 硬件即可运行(无需 GPU!)
- 使用免费的 ChatGPT3.5 API(无需 API 密钥!感谢 OpenAI)
- 使用 Docker Compose 快速轻松地部署
- Web 和移动设备友好界面,允许从任何设备轻松访问(Thx ChatGPT-Next-Web)
相关资源
- FreeGPT35 https://github.com/missuo/FreeGPT35
- SearXNG https://github.com/searxng/searxng
LLocalSearch-LLM agent的本地搜索聚合器
search4all-基于搜索的AI问答系统
ThinkAny
Perplexica-AI驱动的问答搜索引擎
- 项目仓库:https://github.com/ItzCrazyKns/Perplexica Star 2.7k
- 变革!Perplexica:AI驱动的问答搜索引擎
- 不仅可以搜索网络,还能理解您的问题。它使用先进的机器学习算法,如相似性搜索和嵌入式技术,以精细化结果,并提供附有来源的清晰答案
llm-answer-engine :完成度最高的 AI 搜索引擎
- 项目仓库:https://github.com/developersdigest/llm-answer-engine Star 3.8k
- llm-answer-engine :完成度最高的 AI 搜索引擎
LLocalSearch:LLM agent的本地搜索聚合器
LLocalSearch简介
特性如下
- 完全本地化(无需API密钥)
- 可在"低端"LLM硬件上运行(演示视频使用7b模型)
- 进度日志,有助于更好地了解搜索过程
- 支持后续提问
- 移动设备友好的界面
- 通过Docker Compose可快速便捷部署
- Web界面,可从任何设备轻松访问
- 手工打造的UI,支持明暗两种模式
search4all-开源智能搜索引擎
search4all简介
- 项目仓库:https://github.com/fatwang2/search4all
- Demo地址:https://search2ai.one
- search4all作为Perplexity的开源版本,提供了灵活的搜索服务和可定制的用户界面。
- 支持多种搜索服务,包括Google、Bing和DuckDuckGo,并提供了详细的部署方法。
主要特点
- 对 LLM 的集成支持,例如 OpenAI、Groq 和 Claude。
- 原生搜索引擎集成,包括 Google、Bing 和 DuckDuckGo。
- 可定制的、具有视觉吸引力的用户界面。
- 可共享和缓存的搜索结果,以提高效率。
大语言模型
大语言模型快讯
一句话快讯
- 仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
- 微软发布了开源大模型WizardLM-2 8X22B,目前开源模型性能最佳,吊打一众开源和闭源大模型
- 最新开源模型Command R+在大模型匿名投票得分上已经超过GPT-4-Turbo!
- Octopus v2:基于Gemma-2B端侧语言模型超级智能体,性能超越GPT-4
- 国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑
- APUS-xDAN-4.0(MoE)参数规模1360亿,可在消费级显卡4090上运行
- 开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有
生成式AI趋势
企业构建和购买生成式AI方式的16个变化
概要
-
生成式AI在 2023 年席卷了消费者领域,消费者支出超过10亿美元。到2024年,我们相信企业支出将增加数倍。
-
尽管企业领导者仍然对部署生成式AI持保留态度,但也将预算增加了近两倍,扩大了部署在较小开源模型上的应用的数量,并将更多工作从早期实验转移到生产中。
-
我们相信,如果为企业以生成式AI为中心的战略计划构建工具,同时预测他们的痛点,以及 从以服务为主的方法转向构建可扩展的产品,人工智能初创公司将抓住新一轮投资浪潮并开拓可观的市场份额。
主要内容
企业预算正在急剧增长
-
生成式AI的企业预算正在飙升
-
企业领导者开始将人工智能投资重新分配给经常性的软件预算项目。
-
衡量投资回报率仍然是一门艺术和一门科学。
-
实施和扩展生成式AI需要合适的技术人才,而目前许多企业内部并不具备这些人才。
- 由于在企业中很难找到合适的生成式AI人才,因此提供工具以帮助企业更轻松地将生成式AI开发引入内部开发的初创公司市场机会可能更大。
企业正朝着多模型、开源的方向发展
-
多模型的未来
- 根据性能、规模和成本选择模型,开发应用
- 避免锁定单一模型
- 快速利用飞速发展的模型领域的进步
- 因为模型排行榜是动态的,公司很高兴能够同时结合当前最先进的模型和开源模型以获得最佳结果,所以不会将应用锁定到单一商业模型上。
-
开源正在蓬勃发展
- 46%的受访者提到:更喜欢或非常喜欢在2024年采用开源模型
-
虽然成本因素影响了开源的吸引力,但它作为关键的选择标准排在控制和定制之下
- 控制(专有数据的安全性和理解模型产生某些输出的原因)和定制(针对给定用例进行有效微调的能力)远远超过成本,这是采用开源的主要原因
-
对控制的渴望源于敏感的用例和企业数据安全问题。
- 出于监管或数据安全方面的考虑,企业仍然不愿意与闭源模型提供商共享其专有数据
-
领导者通常通过微调来定制模型,而不是从头开始构建模型
-
云在模型购买决策中仍然具有很大影响力。
-
客户仍然关心早期上市的模型的功能
- 虽然领导者将推理能力、可靠性和易用性(例如,在他们的 CSP 上)作为采用模型的主要原因,但领导者也倾向于具有其他差异化特征的模型。例如,多位领导者将之前的 200K 上下文窗口作为采用 Anthropic 的关键原因,而其他人则采用 Cohere,因为Cohere是上市较早的且易于使用的微调产品。
-
大多数企业认为模型性能正在趋同。
- 尽管闭源模型通常在外部基准测试中表现更好,但企业领导者仍然为开源模型提供了相对较高的 NPS(在某些情况下甚至更高),因为它们更容易针对特定用例进行微调。一家公司发现,“经过微调,Mistral 和 Llama 的性能几乎与 OpenAI 一样好,但成本要低得多。
针对可选性进行优化
- 云时代吸取的惨痛教训:要减少对单一供应商的依赖,市场发展如此之快,采用单一供应商是不明智的。
更多生成式AI应用迁移到生产环境
-
目前,企业正在构建自己的生成式AI应用程序,而不是直接购买第三方生成式AI应用程序。
-
企业对自己构建生成式AI应用感到兴奋,但对第三方的应用程序仍然更加谨慎。
- 提供帮助企业构建生成式AI应用的工具的初创公司机会更大。
-
总机会规模:庞大且快速增长
- 预计到2024年底,模型API和微调的总支出将增长到50亿美元以上,而企业支出将成为其重要组成部分。
总结
1.生成式AI的总支出会大幅增长,企业支出会成为重要组成部分。 2.提供构建生成式AI应用的工具前景比较好。 3.开源模型机会比较多。
从AI独角兽竹间停工--看LLM在B端落地5大殇和潜在解决方案
概述
大模型2B应用落地难的5大原因
- 数据安全之殇-企业数据安全需求,要求本地和私有化
- 算力成本之殇-大模型要本地化和私有化,基础算力成本极高
- 数据质量之殇-训练or微调大模型对知识和语料质量要求极高
- 应用成本之殇-大模型应用成本高,不适合在低价值场景中使用
- 反馈准确之殇-大模型幻觉不符合企业对准确度的要求
思考和可能的落地方案:最最核心:大模型还没有找到最有价值的应用场景出现。AI原生应用还没有真的爆发
-
大模型应用在企业中,还是一个没有需求爆发的产品。
- 技术迭代太快,所以里面根本没有商业价值。技术还不成熟,场景还没有找到。
-
ToB 你要比客户慢, ToC 你要比用户快。
- 客户的核心需求还是要真的有价值和效果。现阶段要满足客户的需求,还是基于成熟产品创造确定性价值,大模型做10%-20%的探索场景,去解决小模型无法解决的问题。
-
大模型现在到底能不能代替代码?我觉得还完全不到时候,现在大模型的代码能力就跟知识能力一样,很难直接融入到应用场景中。
- 现在大语言模型可以做很多不需要再用代码做的事情。未来代码量会越来越少,模型数会越来越多,「模型就是代码」。
-
这个阶段,大模型最佳的落地场景的条件
- 数据安全要求不高的行业或者一些数据安全要求不高的场景。
- 准确度要求不高的场景。
- 价值更高的场景。
-
不合适的场景:
- 直接代表企业对外服务客户或者承诺客户的场景,回复不当就是客户和直接的损失。
- 严肃咨询场景,比如企业内部财务咨询,如果回答错了,涉及钱,会增加内部的沟通解释成本。
-
有几个方向可以思考:
- 面向2C,那些有趣>有用的场景,比如游戏、写作草稿等方向。
- 如果是2B,就要是那些价值创造更为直接的场景,比如营销、销售方向上。
-
最容易落地且立竿见影容易有收益的方式,还是直接做现有产品的升级。
优秀开源模型
文本转SQL
sqlcoder
- 项目仓库:https://github.com/defog-ai/sqlcoder
- SQLCoder-7B-2:引领自然语言至SQL转换的新浪潮,性能显著提升。作为最新升级版本,SQLCoder-7B-2在多项评估中展现出卓越的效能,尤其在连接操作方面表现突出。SQLCoder-7B-2为非技术用户提供了深入数据库数据理解的新途径,既增强了分析工具的功能,也保持了对商用友好的开放态度。
- 现在模型搞text2sql普遍拉胯,sqlcoder-34b勉强可用。
Qwen1.5
- 最强大中文开源大语言模型:Qwen1.5-72B
- 项目仓库:https://github.com/QwenLM/Qwen1.5
- 模型下载:https://modelscope.cn/models/qwen/Qwen1.5-72B/summary
英文模型
-
Mixtral 8x7B MoE
-
ph-2
qwen-moe
简介
- 1/3的激活参数量达到7B模型的性能
- 相比Qwen1.5-7B,Qwen1.5-MoE-A2.7B的训练成本降低了75%,推理速度则提升了1.74倍
- 项目仓库https://github.com/QwenLM/Qwen1.5
- 英文博文https://qwenlm.github.io/blog/qwen-moe/
- 中文博文https://qwenlm.github.io/zh/blog/qwen-moe/
- 模型下载https://www.modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat/summary
缺点
- 总体显存占用比7B模型要大
phi
phi-3
简介
-
仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B,体积小,可以量化为4位,仅占用约1.8GB的内存,能够在iPhone 14上每秒生成超过12个令牌,对中文支持不太好
-
Phi-3-medium 14B,多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。
参考文章
phi-2
简介
- 模型下载:https://hf-mirror.com/microsoft/phi-2
- modelscope:https://www.modelscope.cn/models/AI-ModelScope/phi-2/summary
特点
- 衡算方面:基础模型参数量约为27亿;
- 移动端要求:量化后的内存需求仅为约1GB;
- 处理范围:上下文长度可达2048个令牌;
- 性能比较:表现优于谷歌Nano Gemini(32亿参数量)模型;
- 适用场景:擅长编程任务,尤其适合Python;
- 使用许可:遵循MIT协议
相关文章
- 以小博大,微软开源27亿参数模型Phi-2,魔搭最佳实践来啦https://zhuanlan.zhihu.com/p/673209546
- 微软真正开源其顶级语言模型 phi-2,可用于商业用途!https://zhuanlan.zhihu.com/p/676484982
- 多模态小模型:LLaVA-Phi:高效的多模态助手,参数小威力大https://zhuanlan.zhihu.com/p/690081716
Nexusflow
NexusRaven-V2
简介
- 项目仓库:https://github.com/nexusflowai/NexusRaven-V2
- 官方博客:https://nexusflow.ai/blogs/ravenv2
- demo:https://huggingface.co/spaces/Nexusflow/NexusRaven-V2-Demo
- NexusRaven-V2完全基于开放数据集打造,并在CodeLlama-13B-instruct上进行了指令微调。
- 主要功能就是将人类给出的自然语言指令转换为可执行代码,然后利用代码来自动使用工具完成任务。
要点
- Nexusflow发布13亿参数的开源生成AI模型NexusRaven-V2,具备功能调用能力,能理解人类指令并转化为精确的软件工具功能/API调用。
- NexusRaven-V2在人工策划的通用软件工具使用基准上,比最新的OpenAI GPT-4模型实现了高达7%的更高工具使用成功率。
- Nexusflow致力于构建高效、可靠的生成AI解决方案,鼓励企业完全拥有模型和数据控制,推动开源模型在企业中的应用。
相关文章
- 清华特奖焦剑涛大模型创业:突破GPT-4工具使用能力,搞开源种子轮融资七千万https://zhuanlan.zhihu.com/p/673778039
- Nexusflow发布开源生成式AI模型NexusRaven-V2 处理软件工具方面超越 GPT-4https://accesspath.com/ai/5889360/
coder代码模型
CodeQwen1.5
- 项目仓库:https://github.com/QwenLM/CodeQwen1.5
- demo地址
- 快来与 CodeQwen1.5 结对编程
- 代码生成能力超过GPT-3.5-Turbo,接近GPT-4-Turbo
CodeFuse
- 项目仓库:https://github.com/codefuse-ai
- 代码仓库 https://github.com/codefuse-ai/MFTCoder
- 模型链接 https://huggingface.co/codefuse-ai/CodeFuse-DeepSeek-33B
- 🔥🔥🔥 2024-01-12 CodeFuse-DeepSeek-33B-4bits模型发布。量化后模型在HumanEval pass@1仍取得78.05% (贪婪解码)。
- 🔥🔥🔥 2024-01-12 CodeFuse-DeepSeek-33B模型发布,模型在HumanEval pass@1指标为78.65% (贪婪解码)
deepseek-coder
- 官方网站:https://coder.deepseek.com/
- 项目仓库:https://github.com/deepseek-ai/deepseek-coder
- deepseek-coder-33b由0.75变为0.92,生成的代码几乎不用修改
- codegeex3号称编程语言转译最强模型,但写代码/注释代码的能力真的不敢恭维
RAG
Cohere推出Rerank 3模型,助力企业搜索与RAG升级
-
重点
- Cohere发布Rerank3模型
- 专为企业搜索和RAG系统优化
- 兼容性强,提升性能降低成本
-
该模型兼容任何数据库或搜索索引,并且可以轻松插入到任何具有原生搜索功能的旧版应用程序中。仅需一行代码,Rerank3便能显著提升搜索性能或降低运行RAG应用的成本,同时对延迟的影响微乎其微。
-
Introducing Rerank 3: A New Foundation Model for Efficient Enterprise Search & Retrieval
Command-R
简介
- 官方网址:https://cohere.for.ai/ https://cohere.com/
- Cohere发布大模型Command-R:35B参数,128K上下文,高性能 RAG 功能,支持中文
- 35B参数,128K上下文,高性能 RAG 功能,支持中文
- Huggingface模型下载:https://huggingface.co/CohereForAI https://huggingface.co/Cohere
- AI快站模型免费加速下载:https://aifasthub.com/models/CohereForAI
描述
- Command-R优化了信息检索和增强生成的流程,提高了在企业级应用中的准确性和效率。检索:Cohere 的嵌入模型通过提高在搜索数百万甚至数十亿个文档时的上下文和语义理解,显著提高了检索步骤的有用性和准确性。同时,Cohere的Rerank模型进一步帮助提高检索到的信息的价值,优化自定义指标(如相关性和个性化)的结果。增强生成:在确定最相关的信息后,Command-R 可以总结、分析、打包这些信息,并通常将这些信息用于工作,以帮助员工提高工作效率或创造神奇的新产品体验。Command-R 独有的,该模型的输出带有清晰的引文,可降低幻觉的风险,并能够从源材料中显示其他上下文。
QAynthing
QAynthing简介
- 项目仓库:https://github.com/netease-youdao/QAnything
- 官方网址:https://qanything.ai/
- QAnything-1.3.0,支持纯python笔记本运行,支持混合检索
特点
- 数据安全,支持全程拔网线安装使用。
- 支持跨语种问答,中英文问答随意切换,无所谓文件是什么语种。
- 支持海量数据问答,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好。
- 高性能生产级系统,可直接部署企业应用。
- 易用性,无需繁琐的配置,一键安装部署,拿来就用。
- 支持选择多知识库问答。
RAGFlow
RAGFlow简介
- 项目仓库:https://github.com/infiniflow/ragflow star:1.1K
- 项目官网:https://ragflow.io
- 在线Demo:https://demo.ragflow.io
- 端到端 RAG 解决方案 RAGFlow:https://zhuanlan.zhihu.com/p/690164140
- RAGFlow 是一款基于深度文档理解构建的开源 RAG(Retrieval-Augmented Generation)引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程,结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
- 用ragflow做了一款初中历史辅导助手
RAGFlow特点
- "Quality in, quality out"
- 基于深度文档理解,能够从各类复杂格式的非结构化数据中提取真知灼见。
- 真正在无限上下文(token)的场景下快速完成大海捞针测试。
- 基于模板的文本切片
- 不仅仅是智能,更重要的是可控可解释。
- 多种文本模板可供选择
- 有理有据、最大程度降低幻觉(hallucination)
- 文本切片过程可视化,支持手动调整。
- 有理有据:答案提供关键引用的快照并支持追根溯源。
- 兼容各类异构数据源
- 支持丰富的文件类型,包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。
- 全程无忧、自动化的 RAG 工作流
- 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
- 大语言模型 LLM 以及向量模型均支持配置。
- 基于多路召回、融合重排序。
- 提供易用的 API,可以轻松集成到各类企业系统。
RQ-RAG
RQ-RAG简介
- 项目仓库:https://github.com/chanchimin/RQ-RAG
- RQ-RAG:准确率优于GPT3.5的小模型RAG策略,性能比Self-RAG还要好https://mp.weixin.qq.com/s/4__mcjxBRanzijIaQh3DfQ
- 查询精炼学习检索增强(RQ-RAG: Refine Queries for Retrieval Augmented Generation)
- 通过端到端训练了一个7B参数的Llama 2模型,能够动态地优化搜索查询,包括重写、分解和消除歧义
聊天框架
LobeChat-大模型聊天框架
LobeChat介绍
- LobeChat是一个开源框架,目前24.5k star。支持chatgpt LLM UI,支持语音合成、多模态,一键免费部署私人openAI ChatGpt Claude Gemini Ollama等聊天应用,多模态方面还支持OpenAI的gpt4-vision模型。
- 项目仓库:https://github.com/lobehub/lobe-chat
- 智能AI聚合神器 大模型 ChatGpt聊天框架 LobeChat,支持Claude3 LLama2 Gemini
- 21k star! 开源 ChatGPT 客户端 - Lobe Chat 自部署教程
ChatGPTNextWeb-一键拥有自己跨平台的ChatGPT/Gemini 应用
ChatGPTNextWeb简介
- 项目仓库:https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web Star 677.7k
- 一键免费部署你的跨平台私人 ChatGPT 应用, 支持 GPT3, GPT4 & Gemini Pro 模型。
- 演示站点:https://app.nextchat.dev
- 开发:后端rust tauri ,前端typescript react18+next13
主要功能
- 在 1 分钟内使用 Vercel 免费一键部署
- 提供体积极小(~5MB)的跨平台客户端(Linux/Windows/MacOS)
- 完整的 Markdown 支持:LaTex 公式、Mermaid 流程图、代码高亮等等
- 精心设计的 UI,响应式设计,支持深色模式,支持 PWA
- 极快的首屏加载速度(~100kb),支持流式响应
- 隐私安全,所有数据保存在用户浏览器本地
- 预制角色功能(面具),方便地创建、分享和调试你的个性化对话
- 海量的内置 prompt 列表,来自中文和英文
- 自动压缩上下文聊天记录,在节省 Token 的同时支持超长对话
- 多国语言支持:English, 简体中文, 繁体中文, 日本語, Español, Italiano, Türkçe, Deutsch, Tiếng Việt, Русский, Čeština, 한국어, Indonesia
- 拥有自己的域名?好上加好,绑定后即可在任何地方无障碍快速访问
mergekit
简介
- 项目仓库:https://github.com/arcee-ai/mergekit
- 无需预训练和预训练,合并多个模型并能提升最终模型的质量
参考文章
- 手撕大模型案例:将 Mistral、WizardMath 和 CodeLlama 结合在一个模型中
- Mergekit - 大模型邪派速成武功
- MergeKit:无需预训练和预训练,即可产生性能不错的大模型
- 使用MergeKit创建自己的专家混合模型:将多个模型组合成单个MoE
- 大模型合并重组工具(mergekit)、资料整理,及优化想法:将AutoML思路用到大模型合并中
摘要
- 模型合并提高了最终模型的质量
- 有许多合并算法,其中大多数使用加权平均值
- 可以将模型与混合架构合并
GRIFFIN:无需训练MoE,提高效率
简介
llamafile-单个文件分发和运行LLM
简介
- 单个文件分发和运行LLM
- 项目仓库:https://github.com/Mozilla-Ocho/llamafile
- 参考文档:https://mp.weixin.qq.com/s/S6EhFPiC5xsApiolZvia2A
- llamafile项目将llama.cpp与Cosmopolitan Libc结合到一个框架中,将 LLM 的所有复杂性压缩为一个可在大多数计算机上(同时支持 macOS, Windows, Linux, FreeBSD, OpenBSD, NetBSD系统)本地运行的可执行文件(称为“llamafile”),无需安装。
- 模型合集链接:https://modelscope.cn/models/bingal/llamafile-models
Xorbits Inference性能强大且功能全面的分布式推理框架
Xorbits Inference简介
- 项目仓库:https://github.com/xorbitsai/inference
- 项目文档:https://inference.readthedocs.io/zh-cn/latest/index.html
- Xorbits Inference比Ollama更强大的模型部署与推理框架
主要特点
- 轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
- 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等。
- 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐!
- 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。
- 集群计算,分布协同: 支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。
- 开放生态,无缝对接: 与流行的三方库无缝对接,包括 LangChain,LlamaIndex,Dify,以及 Chatbox。
- 支持多引擎部署:Transformers 引擎、vLLM 引擎、GGML 引擎。
模型量化
概述
- 量化效果:同级别时awq>>>qptq>>>>>gguf
- 大语言模型量化方法对比:GPTQ、GGUF、AWQ
GPTQ
- GPTQ:Post-Training Quantization for GPT Models
- GPTQ是一种4位量化的训练后量化(PTQ)方法,主要关注GPU推理和性能。
- 尝试通过最小化该权重的均方误差将所有权重压缩到4位。在推理过程中,它将动态地将其权重去量化为float16,以提高性能,同时保持低内存。
GGUF
- GGUF:GPT-Generated Unified Format
- 允许用户使用CPU来运行LLM,但也可以将其某些层加载到GPU以提高速度。
AWQ
- AWQ:Activation-aware Weight Quantization 激活感知权重量化
- 类似于GPTQ,最重要的区别是AWQ假设并非所有权重对LLM的性能都同等重要。
- 对于AWQ,可以使用vLLM包
BitNet 1.58
- 微软提出BitNet 1.58
- 项目主站:https://thegenerality.com/agi/
- 项目仓库:https://github.com/microsoft/unilm
- Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch
AQLM 2-bit量化Mixtral-8x7B
AQLM技术简介
- 加性量化(AQLM,Additive Quantization for Language Models)是一种针对语言模型设计的技术,旨在优化模型的存储和计算效率。
- AQLM是一层一层量化,所以量化速度较慢。量化后的模型可用,但看在测试复杂prompt时效果不如HQQ混合精度和BitsAndBytesConfig NF4量化后的效果
微软SAMMO:结构化感知的多目标Prompt优化框架,大幅提升效果
项目简要
- 项目仓库:https://github.com/microsoft/sammo
- 用户指南:https://microsoft.github.io/sammo
- 微软SAMMO:结构化感知的多目标Prompt优化框架,大幅提升指令微调与RAG优化效果
主要特点
- 结构感知:SAMMO能够识别和操作提示的内部结构,将其视为由多个组件构成的程序。这种方法使得SAMMO可以对提示的不同部分进行细粒度的调整。
- 多目标优化:SAMMO不仅关注单一的性能指标,如准确性,还能够同时考虑多个优化目标,例如减少提示的长度、提高响应速度或降低计算成本。
- 丰富的变异操作:SAMMO提供了一系列变异操作符,这些操作符可以对提示的结构和内容进行各种修改,如改写文本、调整格式、增减示例等。
- 灵活的搜索算法:根据所使用的变异操作符的不同,SAMMO可以采用不同的搜索策略,例如穷举搜索(如网格搜索)和迭代搜索(如束搜索、随机搜索等)。
- 编译时优化:SAMMO专注于在提示部署之前的编译时阶段进行优化,这意味着通过一次性的优化过程,可以生成适用于多次调用的高效提示。
- 黑盒优化:SAMMO设计为在黑盒设置中工作,其中用户只能从LLMs的输出中采样,这反映了当前API能力的常见情况。
效果:指令调整、RAG调整和提示压缩方面提高了10-200%、133%和超过40%的性能
- 指令微调评测:SAMMO始终优于所有其他指令调整方法,Llama-2-70B观察到相对性能提升最大(大约2倍),Mixtral 7x8B提升适中,而GPT-3.5的提升最小(与基线指令相比约为10%)。
- RAG优化评测:SAMMO在仅有24个候选评估的情况下,有效地提高了所有语义解析数据集和后端大型语言模型(LLMs)的基线提示准确性。Llama-2的平均提升率为133**%,Mixtral为44%。即使是GPT-4也能从SAMMO探索的变化中受益,平均相对提升率为30%。
文生音视频
文生音
生成背景音乐
生成真人语音
生成真人演讲
生成真人演唱
文生视频
生成背景视频
生成讲解视频
实现
结构化提示词
分类生成再合成
- 背景音乐
- 真人语音
- 背景视频
- 讲解视频
生成多段短视频
开源项目
Mora
Open-Sora
- 全球首个类Sora开源复现方案来了!全面公开所有训练细节和模型权重
- Open-Sora 开源地址:https://github.com/hpcaitech/Open-Sora
- Open-Sora全面开源
Mira
- 项目仓库
- 腾讯PCG ARC实验室推出Mira:类似 Sora 的长视频生成
- Mira(Mini-Sora),是一个尝试生成高质量、长时视频的初步探索项目,以Sora风格进行长视频生成。
Open-Sora-Plan
字节发布视觉基础模型ViTamin,多项任务实现SOTA
- 官方主站:https://beckschen.github.io/vitamin
- 项目仓库:https://github.com/Beckschen/ViTamin
- 字节发布视觉基础模型ViTamin,多项任务实现SOTA,入选CVPR2024
Boximator字节跳动视频生成大模型
AniPortrait:腾讯最新开源音频合成逼真人脸动画项目
- 项目链接:https://github.com/Zejun-Yang/AniPortrait
- 腾讯最新开源音频合成逼真人脸动画项目
- 通过音频驱动技术合成逼真的人像动画。使得根据音频输入,可以生成高度真实的人脸表情和动作,为多种应用场景提供了新的可能性,包括但不限于虚拟现实、游戏、在线会议等
Sora的开源替代者:MagicTime,免费的、高质量的文本生成视频大模型
- 项目链接:https://github.com/PKU-YuanGroup/MagicTime
- Sora的开源替代者:MagicTime,免费的、高质量的文本生成视频大模型
- MagicTime专注于捕捉和复现物体变形过程中的物理知识,从而生成更加真实和动态的视频内容。
- AI模型——MagicTime:输入文本即可生成延时视频
SVGDreamer:一键生成专业级SVG
- 项目链接:https://github.com/ximinng/SVGDreamer
- SVGDreamer:一键生成专业级SVG
- SVGDreamer利用先进的人工智能算法,将简单的文本描述转化为复杂而精美的矢量图形,为设计师和艺术家们提供了无限的可能性
用so-vits-svc克隆自己声音并翻唱歌曲
GPT-SoVITS用一分钟语音完美克隆自己的声音
- 项目地址:https://github.com/RVC-Boss/GPT-SoVITS
- GPT-SoVITS是一个开源的TTS项目,只需要1分钟的音频文件就可以克隆声音,支持将汉语、英语、日语三种语言的文本转为克隆声音
- 号称开源“最强”声音克隆软件GPT-SOVITS的评测效果
- SoVITS为你赋能,实现声音克隆,为你的创作提供帮助
- AI声音克隆 | 最全最简教程(权威版)
LLM应用
coze
简介
- AI智能体开发平台,字节跳动提供,可以免费使用。海外版免费接入chatgpt4.0
- 提供了一站式 AI 开发平台,无需编程,你的创新理念都能迅速化身为下一代的 AI 应用
- 海外版:https://www.coze.com/
- 国内版:https://www.coze.cn/
相关文章
- 字节的扣子炸裂更新,模型支持月之暗面,插件 IDE 已经上线https://mp.weixin.qq.com/s/rwFFZdbxiGGVSTE80HpLMQ
- Coze + 爬虫 = 周末去哪不用愁https://mp.weixin.qq.com/s/OfN3ndVfye9p_0wIeuQWng
- 在国内如何用Coze加Slack使用GPT4https://zhuanlan.zhihu.com/p/687301564
- [COZE/扣子调研和思考]https://zhuanlan.zhihu.com/p/689814797
- 有来源、有引用,10分钟自建新闻版perplexity
- 用Coze手搓了一个极简版Perplexity
- 用Coze打造一个全是AI的企业微信
- 详测字节的“扣子”Coze :快速搭建对接企业私有知识与CRM系统的AI助手机器人
豆包
- 字节豆包 AI 智能体创建https://zhuanlan.zhihu.com/p/670791880
Vercel V0
简介
- 官方网站:https://v0.dev
- 目前最好的 UI 生成模型,且可控性远强于其他模态的生成模型
- 支持免费用户,200 Credits/month
相关文章
- Vercel用生成式UI重塑前端开发https://mp.weixin.qq.com/s/7UBlsoP8mjfcwtZaAFVSow
- 我一步步逆向了 vercel 的 AI 代码生成功能https://segmentfault.com/a/1190000044507024
- 实例,用 AI 搭建博客网站——GPTs、Tldraw、v0.dev 的综合运用https://zhuanlan.zhihu.com/p/667256707
ButternutAI助力20秒打造梦幻网站
简介
- 官方网站:https://v2.butternut.ai/
- 重点
- AI技术助力,快速构建个性化网站
- 20秒完成从零到一的网站搭建
- 丰富的模板和设计元素,满足不同用户需求
工具软件
笔记软件-个人知识管理
AFFiNE
简介
- 官网:https://affine.pro
- 项目仓库:https://github.com/toeverything/AFFiNE
- Notion 和 Miro 的下一代知识库 - AFFiNE
- 支持看板、表格和富文本段落作为构建块来形成页面或白板,可以在这里进行文档编辑、数据处理或头脑风暴等综合处理。
特性
-
重塑页面
-
计划任务
-
知识整理
亮点
- 跨平台支持
- 在文本模式下添加待办事项,并转换为 board 模式
- 能够自行托管或将其安装在你的计算机上
- 可定制性
- 数据隐私(重中之重)
- 用于更好维护的单一代码库
- 社区驱动的可扩展性
- 多列视图和高级格式支持
- 单击任意位置支持 MarkDown 输入
- 用于编辑单元格/网格的键盘快捷键
Joplin
Joplin简介
-
Joplin 是一个多功能且安全的笔记和待办事项应用程序,支持在 Windows、macOS、Linux、Android 和 iOS 等多个平台上进行同步。
主要特点
-
离线访问: Joplin 采用“离线优先”策略,使用户在本地设备上即使没有互联网连接也可以访问其数据。这确保了无论连接状态如何,所有笔记都可以随时得到访问。
-
同步: Joplin 提供与各种云服务的安全同步功能,包括 Nextcloud、Dropbox、OneDrive 以及其专有的 Joplin Cloud。端对端加密用于保护同步数据的完整性和机密性。
-
搜索功能: 应用程序在所有平台上都具有强大的全文搜索功能,使用户能够快速从笔记中检索相关信息。
-
自定义: 用户可以使用插件和主题增强他们的 Joplin 体验。这种灵活性赋予用户定制界面以适应其偏好和工作流程的能力。
Obsidian
Obsidian简介
- 官方网站:https://obsidian.md
- 中文论坛:https://forum-zh.obsidian.md
- Obsidian 是一款支持 Zettelkasten 笔记法的笔记管理软件,它同时支持 Windows、Mac 和 Linux 三大平台
- 玩转 Obsidian 01:打造知识循环利器
- 能免费使用
特点
- 第二大脑
- 支持本地文件管理
- 支持 Markdown 格式
配套工具
Lattics
Lattics简介
-
通过其独特的“类脑式”知识管理系统,提升个人和团队的知识创造效率。
核心功能
- Tag 标签:允许用户为文章和卡片打上标记,实现跨项目的知识关联。
- 内容引用:类似于 Wiki 百科中的词条链接,它让用户能够在文章和卡片之间建立相互连接。
- 后向链接与待链接:共同提高了建立和管理网状知识库的效率,帮助用户追踪知识的流向和相互关系。
- 知识图谱:提供了三种图谱视图——思维导图、情节视图和鸟瞰视图——以可视化的方式展示知识之间的复杂联系。
- 智能联想:能根据用户的输入自动检测并显示相关的词条列表,使用户能够快速建立引用关系。
- 信息整合:用户可以通过拖拽导入多种格式的文件,如 PDF、DOCX、XLSX、PPTX、MP4、MP3 等,轻松构建复杂的内容关系,并灵活动态地管理知识和信息。
- Zotero 链接与 Markdown 支持:Lattics 不仅支持与 Zotero 的无缝链接,可以轻松拖拽和复制笔记及其引用和 PDF 链接,还支持 Markdown 语法的自动解析,实现了所见即所得的文本编辑体验。
Memos
- 官方网站:https://www.usememos.com
- 项目仓库:https://github.com/usememos/memos
- 17.8k Star!开源且支持私有化部署的碎片化知识卡片管理工具-Memos
- 私有、轻量、开源、自托管的备忘录
Archivy
Archivy简介
Archivy特点
- 灵活的笔记和标签管理
- 强大的智能搜索
- 多种导入和导出方式
- 定制化和扩展性
个人知识管理平台SilverBullet
AppFlowy
AppFlowy简介
- AppFlowy 将自己定位为Notion的开源替代,它采用Flutter和Rust构建,旨在提供个性化的数据管理和定制功能。它包含文档、笔记、维基、任务和项目数据库、待办事项看板,以及日历功能。更为引人注目的是,AppFlowy支持OpenAI GPT的强大写作功能,为用户提供全面而灵活的体验。
- 项目仓库:https://github.com/AppFlowy-IO/AppFlowy
- 官方网站:https://appflowy.io/
- 42K+ star!开源Notion 平替笔记推荐https://zhuanlan.zhihu.com/p/671774632
anytype
简介
- 官网:https://anytype.io
- 项目仓库:https://github.com/anyproto
- Anytype 是一个本地优先、点对点(P2P)的开源工具,可用于各种任务,例如项目管理、存储文档、每日笔记、管理任务、书籍/文章/网站收藏以及甚至作为个人 CRM 软件。
- 官方文档:https://doc.anytype.io/anytype-docs/v/documentation_cn
- Anytype:一款用于工作和生产力的一体化安全开源应用
恢复短语recovery phrase
- 相关文档 meat buddy search water congress domain right fog snap tiny fee develop
问题
- 无法定位程序输入点 DiscardVirtualMemory 于动态链接库 KERNEL32.dll 上
---------------------------
Anytype.exe - 无法找到入口
---------------------------
无法定位程序输入点 DiscardVirtualMemory 于动态链接库 KERNEL32.dll 上。
---------------------------
确定
---------------------------
- 分析:electron版本过高,无法在windows7下运行,需要使用windows8或以上版本
- 将eclectron降到21.4.4或升级操作系统
低代码表格
nocodb
项目简介
- 官方网址:https://nocodb.com
- 项目地址:https://github.com/nocodb/nocodb
- 将 MySQL、PostgreSQL、SQL Server、SQLite 或 MariaDB 转换为智能电子表格
- nocodb,零代码数据分析平台 表格界的瑞士军刀
- 一键将各种数据库转换为智能表格
主要特点
- 提供了丰富的电子表格界面,包括基本操作、字段操作、多种视图类型和权限类型等。
- 为工作流自动化提供应用商店,涵盖聊天、邮件和存储等不同类别的集成。
- 提供 REST API 和 NocoDB SDK 以及其他编程访问方式,并支持通过令牌进行授权验证。
- 允许在 GUI 之外进行架构更改并同步这些更改;同时记录所有用户操作日志。
Teable-基于PostgreSQL的无代码数据库
简介
- 官方网站:https://teable.io
- Teable 是一个基于 Postgres 构建的超快速、实时、专业、开发人员友好的无代码数据库。它使用简单的、类似电子表格的界面来创建复杂的企业级数据库应用程序。通过无代码解锁高效的应用程序开发,摆脱数据安全性和可扩展性的障碍。
- 项目仓库:https://github.com/teableio/teable
基础设施
云原生
dbos
简介
-
云原生操作系统
-
事务性无服务计算
-
一种更简单、更安全的构建容错云应用程序的方法,由革命性的云原生DBOS操作系统提供支持。
-
使灵魂(OS)不再受到单一肉体(服务器)的限制,让操作系统成为分布式架构。
-
操作系统内部自动集成一个(分布式)数据库,系统的一切状态和数据都通过DBMS事务进行存储、计算
-
将一切皆文件的linux时代,推向了一切皆数据库事务
特性
-
系统安全:利用数据库本身的数据权限和ACID事务强一致性的特点,操作系统可以从根本上识别、拒绝风险操作。
-
系统闪回:即便某一时刻系统真的发生无法逆转的错误,依然可以利用数据库“闪回”的功能,将整个系统恢复到任意历史健康的时刻
-
数据防篡改:实现任意数据全生命周期行为跟踪与溯源
-
扩展和高可用:通过底层分布式数据库的并行计算架构,操作系统也能轻易实现资源和性能的弹性扩展;在任意设备故障时,系统状态和用户数据都能在其他健康设备中正确保存,并使业务立刻恢复。
-
serverless无服务器:DBOS推出了dbos cloud服务,是具备serverless能力的无服务器操作系统。
架构
-
使用TypeScript实现事务性无服务器计算
-
减少并简化您的代码库,故障处理和恢复是自动化的
-
保证一次且仅一次执行
-
在几分钟内将应用程序部署到云中
-
通过时间旅行调试快速排除故障
-
快速检测网络攻击并从中恢复
-
-
DBOS彻底改变了云原生架构
-
在分布式DBMS之上实现的操作系统服务,内置事务性、容错状态管理
-
简化堆栈:无需容器、集群管理、工作流编排
-
无缝扩展、高性能和高可用性
-
存储在SQL可访问表中的度量、日志和跟踪
-
更小的网络攻击面、网络攻击自我检测和网络弹性
-
架构图:
-
Higress-云原生API网关
Higress简介
- 官方网站:https://higress.io
- 项目仓库:https://github.com/alibaba/higress
- 一个遵循开源Ingress/Gateway API标准,提供流量调度、服务治理、安全防护三合一的高集成、易使用、易扩展、热更新的下一代云原生网关。
主要特点
-
易于使用
- 提供流量调度、服务治理、安全防护一站式网关解决方案,支持Console与K8s Ingress、Gateway API配置方式,也支持HTTP到Dubbo协议转换,一键轻松完成协议映射配置。
-
生产等级
- 脱胎于阿里巴巴生产验证的内部产品,经历双十一洪峰锤炼,企业级的开源产品
-
便于扩展
- 提供Wasm、Lua、进程外三种插件扩展机制,让多语言编写插件不再成为障碍,插件生效粒度既支持全局级、域名级,也支持细粒度的路由级
-
动态热更新
- 彻底摆脱reload引起的流量抖动,配置变更毫秒级生效且业务无感,Wasm插件热更新且流量无损
-
平滑升级
- 兼容Nginx Ingress Annotation 80%+ 的使用场景,且提供功能更丰富的注解,简单一步轻松搞定Nginx Ingress迁移
-
安全防护
- 提供JWT、OIDC、自定义认证鉴权,深度集成开源Web应用防火墙,让安全防护成为标配
相关文章
安全访问
堡垒机
JumpServer
JumpServer简介
- 官方网址:https://jumpserver.org/
- 项目仓库:https://github.com/jumpserver/jumpserver/
- Jumpserver 是一款由python编写开源的跳板机(堡垒机)系统,实现了跳板机应有的功能。基于ssh协议来管理,客户端无需安装agent。
- 参考文章:https://mp.weixin.qq.com/s/Tst86En_-1WTivZF1DCC2w
优点
-
JumpServer是全球首款完全开源的堡垒机,使用GNU GPL v2.0开源协议,是符合4A的专业运维审计系统。
-
JumpServer使用Python\Django开发,遵循Web 2.0规范,配备了业界领先的web Terminal(web终端,即网页终端)解决方案。
-
JumpServer采用分布式结构,支持多机房跨区域部署,中心节点提供API(接口),各机房部署登录节点,可以横向扩展,并且没有并发限制。
-
JumpServer为互联网企业提供了认证、授权、审计、自动化运维等功能。
-
JumpServer通过调用各种应用程序的模块来实现各种功能。
Next Terminal
Next Terminal简介
- 主站网址:https://next-terminal.typesafe.cn/
- 项目地址:https://github.com/dushixiang/next-terminal
- 一个简单易用、安全可靠的开源交互审计系统,支持RDP、SSH、VNC、Telnet、Kubernetes协议。
- 基于Apache Guacamole开发,依赖guacd服务,具有小巧、易安装、易操作、资源占用低等特点。
- 参考文章:https://mp.weixin.qq.com/s/XnmWw2hP7RC1CBl-iTvNyA
Next Terminal优点
- 轻量,简单,容易上手,对被管理资产透明,非常适合个人使用。
功能特色
-
免费开源:免费开源的项目,开源项目在 GitHub 目前已收获4.1K +Star,可以自由使用和修改
-
多协议支持: 支持 RDP、SSH、VNC、TELNET 等多种协议,无需额外插件,即可在一个浏览器中管理所有资产。
-
实时监控: 实时监控所有活跃会话,并提供以下功能:查看会话信息、监控会话内容、断恶意会话,防止安全风险
-
事后审计: 记录所有环境中的每个在线资源、连接、交互会话和其他安全事件,并生成结构化的审计日志。通过审计日志快速定位安全问题,追溯责任人。
在线体验
- web https://next.typesafe.cn/ 账号: test 密码: test
- ssh server 主机: next.typesafe.cn 端口: 2022 账号: test 密码: test
OneTerm
OneTerm简介
- 项目Github地址:https://github.com/veops/oneterm
- 基于4A理念,即认证(Authen)、授权(Authorize)、账号(Account)、审计(Audit)设计开发。
- 参考文章:https://mp.weixin.qq.com/s/Fgu5RoH8Th54dIUGJZCTCg
OneTerm优点
-
简洁且完善,专注堡垒机,堡垒机该有的都有,例如终端登陆,会话录像、实时监控、强制断开、网关、危险命令阻断等都是堡垒机必要等核心功能,没有其他乱七八糟跟堡垒机无关的功能,小巧易用
-
GO语言开发,代码简单易懂,项目初期的代码是宝藏,功能不是很复杂,代码编写也都按照规范严格执行,结构和质量都比较高,没有太多的技术债,比较适合想要学习GO或者是想要了解堡垒机是如何实现的伙伴去读源码
-
社区比较活跃,尤其是微信群几乎是有问必答,项目发版节奏也比较固定,几乎每周都有优化更新或新功能上线,注重用户体验,微信群里大伙提到的问题官方基本都有安排实现
-
与CMDB数据互通,统一平台,打破数据孤岛,一份数据多个系统使用,确保CMDB数据的权威,同时也简化了堡垒机的配置和应用。项目维护主题为公司,相对来说比个人开发者更可靠和稳定
-
开源,这个无需多说,向开源致敬
Teleport
简介
-
官方网址:https://tp4a.com/
-
Teleport是一款简单易用的堡垒机系统,具有小巧、易用的特点,支持 RDP/SSH/SFTP/Telnet 协议的远程连接和审计管理。
特点
-
极易部署:简洁设计,小巧灵活,无额外依赖,确保您可以在5分钟内完成安装部署,开始使用。
-
安全增强:配置远程主机为仅被您的teleport服务器连接,可有效降低嗅探、扫描、暴力破解等攻击风险。
-
单点登录:只需登录您的teleport服务器,即可一键连接您的任意远程主机,无需记忆每台远程主机的密码了。
-
按需授权:可以随时授权指定运维人员访问指定的远程主机,也可随时回收授权。仅仅需要几次点击!
-
运维审计:对远程主机的操作均有详细记录,支持操作记录录像、回放,审计工作无负担。
网络组织工具
虚拟组网vpn
headscale
- 简介
- 开源仓库:https://github.com/juanfont/headscale
- An open source, self-hosted implementation of the Tailscale control server
- Headscale 旨在实现一个自托管、开源的Tailscale控制服务器替代方案,可以实现较小范围内和实现单个Tailnet的功能,通常可用于设置为单个组织、家庭或个人使用。
Tailscale
-
简介
- 官网:https://tailscale.com/
- 源码仓库:https://github.com/tailscale/tailscale/
- 基于WireGuard虚拟组网vpn工具
-
优势
- 不论从易用性还是连接质量,tailscale全方面吊打zerotier
- P2P通信
p2p穿透
v2ray
-
简介
-
资料
- HTTP 伪装:https://toutyrater.github.io/advanced/httpfake.html
- 利用反向代理访问不具备公网 IP 的内网服务:https://toutyrater.github.io/app/reverse2.html
frp
-
文档资料:https://gofrp.org/
-
特点
- 能将内网侦听服务穿透到外网访问
- 支持p2p,也支持服务转发
- 使用udp或tcp通讯
- 支持socks5代理访问frp服务
- 支持ipv4和ipv6组合在一起
http隧道穿透
Suo5
-
简介
- 官网仓库:https://github.com/zema1/suo5
- Suo5 是一款高性能的 HTTP 代理隧道工具,基于 HTTP/1.1 的 Chunked-Encoding 构建,性能可以达到传统隧道工具的数十倍
-
特点
- 通过socks5服务接受客户端访问
- 通过http代理隧道穿透网络
-
优点
- 同时支持全双工与半双工模式,传输性能接近 FRP
-
缺点
- 没有伪装,容易被安全软件拦截
Neo-reGeorg
-
简介
- 官网仓库:https://github.com/L-codes/Neo-reGeorg
- 通过http通道,提供socks5代理服务
-
优点
- 提高可用性,避免特征检测
- 提高 tunnel 连接安全性
- 提高传输内容保密性
- 应对更多的网络环境场景下使用
-
缺点
- 性能较差
clickhouse
clickhouse简介
国产改进
ByConity
简介
- 项目仓库:https://github.com/ByConity/ByConity
- 项目文档:https://byconity.github.io/zh-cn/
- 参考文章:https://zhuanlan.zhihu.com/p/632076596
- 商业版:https://www.volcengine.com/product/bytehouse
- ByConity 是分布式的云原生SQL数仓引擎,擅长交互式查询和即席查询,具有支持多表关联复杂查询、集群扩容无感、离线批数据和实时数据流统一汇总等特点。
核心优势
-
高性能低成本
- 支持在海量数据规模下,通过向量化执行引擎、列式存储和CBO+RBO优化器达成亚秒级查询响应能力。同时超高压缩比率帮助用户节省大量存储空间,降低磁盘成本。
-
多种场景统一支持
- 支持实时数据流和离线批数据写入,具有交互式事物能力和多表关联查询能力,既可以满足线上系统的交互式查询需求,也可以满足后台实时监控、报表大屏等。
-
生态友好
- 兼容ClickHouse大多数接口和工具,支持Kafka、Spark、Flink等多种数据导入,也支持Superset,Tableau等数据可视化工具。
相对clickhouse的改进点
-
架构全新升级
- 1个管理组件
- 3个计算组件
- worker read 读数据
- worker write 写数据
- daemon manager负责后台任务
- 2个存储组件
- hdfs-datanode用来存储数据
- foundationdb用来存储元数据,满足ACID事务型要求
-
存算分离
-
多表join,分布式join相对clickhouse有5倍提升
-
多副本管理
对比文章
- 从使用的角度看 ByConity 和 ClickHouse 的差异:https://zhuanlan.zhihu.com/p/665244505
- ByConity与主流开源OLAP引擎(ClickHouse、Doris、Presto)性能对比分析:https://zhuanlan.zhihu.com/p/633176865
myscaledb
myscaledb简介
- 官方网站:<myscale.com>
- 项目仓库:https://github.com/myscale/MyScaleDB
- 增强文本搜索的SQL向量数据库
- 针对向量搜索进行了 优化 的 ClickHouse 开源分支,并集成了 Tantivy,支持bm25全文搜索
myscaledb核心优势
- 为AI应用而建立: 在单一平台上管理和支持结构化和向量化数据的分析处理。
- 为性能而建立: 先进的OLAP数据库架构,以惊人的速度对向量化数据进行操作。
- 为普遍可访问性而建立: SQL是与MyScale交互所需的唯一编程语言
- MyScale的专有MSTG向量引擎利用NVMe SSD将数据密度提高了10倍
- MyScale在性能和成本效益方面均能超越最专业的向量数据库4到10倍
- 无缝集成了高性能文本搜索功能,使MyScale成为ElasticSearch的高效升级
Databend-新一代云数据+AI分析,Snowflake开源替代
- 项目仓库:https://github.com/datafuselabs/databend
- 仅企业版支持全文检索,集成Tantivy实现
- 支持向量检索
数据集成
Flink CDC
简介
- 项目仓库:https://github.com/apache/flink-cdc
- 文档:https://nightlies.apache.org/flink/flink-cdc-docs-stable/
- Flink CDC 是一个基于流的数据集成工具,旨在为用户提供一套功能更加全面的编程接口(API)。 该工具使得用户能够以 YAML 配置文件的形式,优雅地定义其 ETL(Extract, Transform, Load)流程,并协助用户自动化生成定制化的 Flink 算子并且提交 Flink 作业。 Flink CDC 在任务提交过程中进行了优化,并且增加了一些高级特性,如表结构变更自动同步(Schema Evolution)、数据转换(Data Transformation)、整库同步(Full Database Synchronization)以及 精确一次(Exactly-once)语义。
- 相关文档:https://developer.aliyun.com/article/1092103
oracle支持
- 完美支持Oracle增量同步https://developer.aliyun.com/article/947185
应龙apache inlong
简介
- 项目仓库:https://github.com/apache/inlong
- 官方网址:https://inlong.apache.org/
- Apache InLong(应龙)是一个一站式、全场景海量数据集成框架,同时支持数据接入、数据同步和数据订阅,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。
核心功能
- 端到端的数据集成框架
- 为数据集成的用户提供了易于构建作业的 API
- 支持在 Source 和 Sink 中处理多个表
- 整库同步
- 具备表结构变更自动同步的能力(Schema Evolution)
产品优势
-
简单易用
- 基于SaaS模式对外服务,用户只需要按主题发布和订阅数据即可完成数据的上报,传输和分发工作
-
稳定可靠
- 系统源于实际的线上系统,服务上十万亿级的高性能及上千亿级的高可靠数据数据流量,系统稳定可靠
-
功能完善
- 支持各种类型的数据接入方式,多种不同类型的MQ集成,以及基于配置规则的实时数据ETL和数据分拣落地,并支持以可插拔方式扩展系统能力
-
服务集成
- 支持统一的系统监控、告警,以及细粒度的数据指标呈现,对于管道的运行情况,以数据主题为核心的数据运营情况,汇总在统一的数据指标平台,并支持通过业务设置的告警信息进行异常告警提醒
-
灵活扩展
- 全链条上的各个模块基于协议以可插拔方式组成服务,业务可根据自身需要进行组件替换和功能扩展
开发环境管理
云开发环境
- 能本地部署的云ide推荐
-
Eclipse Che:Eclipse Che是一个云端的开发环境,支持多用户协作。它允许创建和共享工作区,以及在团队成员之间共享代码。它还提供了与LDAP和OAuth集成的权限管理功能,这有助于团队管理。
-
Codiad:Codiad是一个轻量级的Web IDE,支持多用户访问。然而,它的团队管理功能相对较弱。你可以创建多个用户帐户并分配权限,但缺乏更高级的团队管理功能。
-
Theia:Theia是一个可扩展的云端IDE,支持多用户协作。然而,它主要关注提供一个可定制的IDE框架,而不是专注于团队管理功能。你需要自己实现团队管理相关的功能,或者将其与其他团队管理工具集成。
-
Code-Server:Code-Server允许你在远程服务器上运行Visual Studio Code,从而实现多用户访问。然而,它本身并不提供任何团队管理功能。要实现团队管理,你需要将其与其他团队协作和权限管理工具集成。
-
Gitpod:Gitpod是一个基于Theia的云端IDE,它与Git仓库(如GitHub和GitLab)集成,支持多用户协作。通过与Git仓库的集成,Gitpod能够利用Git仓库的团队管理和权限功能。此外,Gitpod提供了共享运行环境的功能,这有助于团队成员在相同的环境中协作。
-
Code-Server-基于浏览器的远程开发环境
Gitpod-基于浏览器的在线IDE
- 项目仓库:https://github.com/gitpod-io/gitpod
- 官网:https://www.gitpod.io/
- 开源,基于浏览器的在线IDE,支持多种编程语言,支持GitHub、GitLab、Bitbucket等代码托管平台,支持自定义Dockerfile,支持远程开发,支持SSH,支持自定义域名,支持插件扩展,支持多人协作,支持私有仓库。
devbox-快速生成干净且隔离的开发环境
Daytona
- 项目仓库:https://github.com/daytonaio/daytona
- 官网:https://daytona.io/
- 开源,实现一键启动开发环境https://mp.weixin.qq.com/s/TqkqVAsGwlEJTyV8dq__Cg
- 企业级 Codespaces 的替代方案
hocus.dev
- 官网:https://hocus.dev/
- 项目仓库:https://github.com/hocus-dev/hocus
- Hocus是一个自托管的应用程序,它可以在几秒钟内在您自己的服务器上启动可编写代码的一次性开发环境。您将开发环境定义为代码,并立即从浏览器启动它们。它是Gitpod和GitHub代码空间的自托管替代方案。
instantbox—1分钟就可以拥有一个轻量的linux
instantbox简介
- 项目地址:https://github.com/instantbox/instantbox
- 以让我们在几秒钟时间获得一个干净可用的 linux 环境
- 目前支持的 linux 型号有:Ubuntu,centos,arch linux,debian,fedora,alpine
- 可以通过 webshell,也就是说可以通过浏览器页面来操作 linux 系统
- instantbox —1分钟就可以拥有一个轻量的linux
- 在几秒钟内获得一个干净、随时Web访问的Linux系统
主要特点
- 快速启动:项目利用虚拟化技术,使我们能够在几分钟内启动一个全新的 Linux 环境。无需担心繁琐的安装和配置过程,就可以立即开始演示。
- 灵感激发:在这个干净的环境中,我们可以充分发挥创造力和灵感,展示 Linux 的强大功能和无限可能性。
- 跨设备管理服务器:利用这个项目,我们可以从任何设备轻松管理服务器。无论是在我们的个人电脑、笔记本电脑还是移动设备上,都可以随时访问和管理服务器。
- 尝试开源项目:在这个干净的 Linux 环境中,我们可以尝试使用各种开源项目。学生们可以探索不同的应用程序、工具和开发框架,深入了解开源技术的魅力。
- 测试软件性能:通过我们提供的资源限制功能,您可以在不同的资源限制下测试软件的性能。这有助于了解软件在不同环境下的表现,并进行性能优化。