0%

2024年是幸福的一年,因为每天有可爱女儿的陪伴,正如此刻,她在旁边吃着山楂棒,看着我打下这行字。

父母回老家了,大家庭变成了小家庭,我们也在3月份搬进了自己的房子,老婆在家全职带娃,我上班离公司更近了,骑电瓶车15分钟到公司,大家都皆大欢喜。

工作内容也从纯视觉算法变化到了多模态算法,语音文本图像,都需要考虑。这种任务其实很有意思,更接近真人处理问题的情况。但难度也不小,未来继续加油吧。

平时上班,周末大部分时间都在陪娃,自己可支配的时间大大减少,因此写博客和开源项目上没太多产出,总共写了个8篇知乎文章,2个开源项目,一个是关于实时图片驱动人头项目,基于快手LivePortrait坐了一个实时版本的封装,另一个是基于LLM给代码仓库打分网站,可以在这里访问

第二个项目其实是一个基于AI驱动的产品尝试。由于AI能力的不断提升,写代码或者说技术壁垒成为一个门槛很低的事情,许多以前没法做的东西,现在在AI的帮助下可以很快地实现,例如那个项目中的Vue代码,完全是大模型不断地根据我的要求生成的,工作的很好。所以我觉得未来成功的产品是体现在创意上,目前来看似乎还没有那个AI产品有很好的创意而引爆C端市场。希望未来有更多的创客借助AI创造出精彩的产品。

这一年也是不断思考人和AI关系的一年,从实际问题到哲学命题,AI与人类的关系,我觉得在未来几年也会一直被讨论。但无法忽视的事实是,AI的能力提升飞快,已经在很多方面超过了顶尖的人类了。从Assistants,到Copilots,再到Colleagues,再到Critics,再到Twins,这种快速的关系变化可能从根本上改变人类对自己的认知。相信在2025年,还会有更多精彩被创造,希望在这个exciting的时代,能做出自己的一点贡献。

阅读全文 »

这里是一篇1bit 量化embedding模型的介绍,相似度计算要快不少,以32倍的压缩率,25倍的检索速度,得到95%的检索准确率,very impressive!

同时也提到了 Sentence Transformers这个专门做embedding的库,支持1万多个embedding模型,有点厉害了!

1. 功能说明

GitHub在2024年8月10号左右的时候推出了GitHub Models新功能,提供运行大模型的Playground和免费API服务,用于进行AI大模型的实验和AI应用的原型验证。目前已经支持的模型包括GPT-4o系列,phi-3系列,Llama-3系列,以及一些Embedding模型等(OpenAI o1-mini和o1-preview虽然列出来了,但需要登陆Azure来使用)。

阅读全文 »

国内下载 GitHub 上代码一直是一件让人很头疼的事情,相信大家都深有体会。

最近偶然发现一个比较好用的解决方案,是采用http://gitclone.com的加速,这里记录一下。

具体来说,在仓库url中增加gitclone.com的前缀,别的地方不变,即https://github.com/修改为https://gitclone.com/github.com/,例如原始的clone命令是:

1
git clone https://github.com/huggingface/transformers

替换成下面的命令即可:

1
git clone https://gitclone.com/github.com/huggingface/transformers

实测基本上能做到1M/s的下载速度。

这种加速目前只支持git clone 和git pull 命令,所以适用于拉取别人代码进行本地查看的应用场景。

另外发现这种加速方式下载的仓库,有一些只有最新的一次提交,有一些则包含完整提交,原因未知。

此外,请确认克隆的代码是否与GitHub上一致,我们无法保证拉取的代码是否被修改过。

0. 概述

最近qwen2发布了多模态系列模型Qwen2-VL,查看blog发现,72B的模型在很多benchmark上都超过了GPT-4o,而根据之前的经验,标准测试集上的效果与实际使用体验并不总是一致的。之前在某个多模态模型出来的时候,随手拍了一张地铁线路图做测试,发现效果不尽如人意。这两天花时间将这张地铁线路截图中的问题进行了标准化,构建了一个简单的图片理解测试集,让我们看看Qwen2-VL到底行不行。

阅读全文 »

1. 说明

Google 发布了Python 包google-generativeai,可以方便地调用Gemini和Gemma 系列的模型,免费模型只需要申请一个Key,无需任何费用。

而且Gemini 1.5 Pro模型还支持一些多模态任务,例如检测bbox,实际测试下来效果还不错。
这里简单写一个流程,体验效果。

阅读全文 »

今天发现GPT-4o对于GitHub Readme文档的润色还是很不错的,很自动添加一些花里胡哨的功能,看起来很fancy。

阅读全文 »

1. uv是什么

uv是开发ruff的公司 Astral 前一段时间发布的高性能Python工具,用途是安装python包,以及解析包版本之间的依赖。它的最大特点是快,相比现有的的工具都能够快一大截(如下图),
![[Pasted image 20240329074004.png]]

发布uv的愿景,是希望构造类似Rust的cargo,快速、可依赖,易用的包管理工具。

通过在不同的系统进行几个常见包的测试,uv相比pip,加速比在1~13之间,因此是一个值得一试的工具。

下面我先介绍一下uv的安装和使用,然后从一个普通用户使用pip的标准流程,尝试用uv替代pip,进行Windows, Linux 和macOS上实测速度对比,最后对uv发展的现状做一个说明,以及我的一些看法。

阅读全文 »

2023年对我来说是一个惊喜的年份,因为可爱的女儿降生了。也是一个难言的年份,在零基础学带娃+长途通勤+家庭矛盾+工作压力的组合作用下,时常burnout,切身体会到人到中年的不容易。好在娃娃的每一个笑容都如此治愈,陪我度过艰难的2023。

阅读全文 »