使用LangChain来实现大模型agent

agent介绍

Published: 08 Apr 2024

如何根据LLM的参数估算内存(显存)使用量

简介

Published: 01 Apr 2024

什么是1-bit LLM

Published: 29 Mar 2024

Agent是如何工作的:概念及LangChain实现

LLM在自主agent领域的应用

Published: 26 Mar 2024

双显卡运行Qwen1.5-72B-int4量化版本

我本机配置是4090,3090分别一张,共48G显存。

Published: 23 Mar 2024

深入学习机器学习中module 'd2l.torch' has no attribute 'train_ch3'报错的问题

网上搜了下,主要是最新版本和书里的版本不一致的问题,可以到https://github.com/d2l-ai/d2l-zh/blob/master/d2l/torch.py把这个torch.py文件下载下来,到指定的python的库下面把对应文件替换掉就好。

Published: 20 Mar 2024

cuda及pytorch对应版本安装

由于单机两张卡,4090+2080Ti,在跑qwen1.5-14B模型的时候用到了两张卡,其中提示到flash-attn2只支持ampere或更新的GPU,查了下发现它暂时还不支持2080,搜了下网上说可以降到flash-attn1.x。于是尝试了pip install flash-attn=1.0.9.

Published: 11 Mar 2024

Java IO类型

介绍

Published: 24 Jan 2022

容易混淆的CAP及ACID定义

容易混淆的CAP和ACID概念

Published: 23 Jan 2022

GraalVM:在容器内部署Java本地镜像

GraalVM是一款可以运行不同语言程序的高性能虚拟机。目前它能运行包括Java, Scala, Kotlin以及Groovy在内的JVM语言。它还支持JavaScript,Node.js, Ruby, R, Python以及LLVM能支持的原生语言。GraalVM有许多用途,对于云部署及容器领域,其中的一项特性可能最让人兴奋不已。它可以将JVM字节码提前编译成本地可执行文件或共享库,而生成的二进制文件并不依赖JVM来执行。

Published: 04 Sep 2019