0%

系列教程列表:

这篇文章中,我们暂时忽略网络训练和推理,详细展开Libtorch中Tensor对象的使用,看看将Libtorch当作一个纯粹的Tensor库来使用时,有哪些注意事项。如有未涉及的内容,请访问Libtorch官方文档,通过搜索框获取更多的信息。Libtorch的环境搭建参考上一篇文章

阅读全文 »

系列教程列表:

1. 概述

Libtorch是Pytorch的C++接口,实现了在C++中进行网络训练、网络推理的功能。

除此之外,由于Libtorch中的大部份接口都是与Pytorch一致的,所以Libtorch还是一个很强大的张量库,有着类似Pytorch的清晰接口,这在C++中很难得的。如果你用过C++ Tensor库,就会发现写法比较复杂,学习成本。因为强类型的限制和通用容器类型的缺失,C++相比Python天然更复杂,库设计者因为语言使用习惯,以及为了性能等因素,设计的接口一般都是高效但难用的。而Libtorch采用了与Pytorch类似的函数接口,如果你使用过Pytorch的话,使用Libtorch学习成本很低,后面会看到具体的例子。

另一个问题是,很多Python库中基础的操作,例如numpy.einsum函数,在C++中没有合适的替代,看看这些搜索你就知道了。Libtorch解决了这个问题,Pytorch中有的它都有,所以在C++中可以简单地用torch::einsum来使用einsum函数,简直是C++开发者的福音。

此外Libtorch 是支持GPU的,主要用于模型的推理过程,但我猜测使用GPU的话,Libtorch的Tensor操作在速度上相比别的C++ Tensor 库可能有优势,具体速度需要测试对比。当然使用C++代码的话速度不是瓶颈,本身CPU代码就够快了。

Libtorch另一个优势是编译简单,只要你安装了Pytorch,Libtorch就可以直接使用,省去了复杂的安装和配置,一分钟内就能跑起来一个简单的的示例程序。

总结来说,Libtorch有以下很吸引人的特性:

  • 强大如Numpy和Pytorch的C++ Tensor库,写法优雅丝滑,并且是支持GPU的。
  • 可以训练神经网络
  • 可以推理神经网络模型,用在C++环境的模型部署场景
  • 编译简单

由于Pytorch开发团队是以Python优先的思路来进行Pytorch的开发的,因此我感觉Libtorch的重视程度不是很高,文档和教程也比较少,官网的示例也几乎没有,因此写一个比较完善的教程是比较有意义的。

这个系列文章中,我会对Libtorch 的Tensor库和推理神经网络过程进行介绍,因为这些内容在实际对于用Libtorch来进行网络训练的部分进行跳过,因为这部分使用的场景不是很多(用Python训练网络比C++香多了)。

本篇以Mac下的操作为例,对Libtorch的安装和简单使用进行介绍,后续内容近期会更新,敬请关注。

阅读全文 »

1. 起因

今晚看到了Simon Willison 的只使用自己的博客内容来训练nanoGPT的实验,觉得挺有意思,突发奇想,能不能在鲁迅的文集上训练一个nanoGPT,然后生成很具辨识度的鲁迅风格的文字呢?由于nanoGPT结构简单,鲁迅的文集在GitHub上可以下载到,因此通过简单的代码修改加实验,就得到一个在鲁迅作品上训练的GPT2模型(无别的语料库的预训练),简单测试下,以“故乡”开头,让模型生成鲁迅风格的文字:

1
2
3
4
故乡,债是佩服的。
我一向对于新青年的态度,先来说话,谢容易做的,然而伏园已经见过几样,感觉的是另外捧之数,以为先前的例子。今但近来做了做事,自己也还不做,不能先行通,所以生在冷静和“人生”,三妇一苦闷,觉得大约是如此隔膜
和曹操,于是非意模茶炛,可以说是太高了,所以现在便能教育,竟�如此。
但汝实在有给法历代的,不久就在绝末年间,我想显出向大家饮一趟,而汉子大毒是怀旧的,就要贫足有打劫,可以永掠的。这种事情,中国有一个大官左翼阿,(陀思妥习),有敢请佛喜,总要适说一点�

还算有鲁迅文字的风格,但逻辑一窍不通,整体还是难让人满意,不知道是GPT2能力的问题还是我实验设置的问题。 Anyway,这里共享一下我实验的流程,有兴趣的朋友可以参考,进行改进。本文涉及的代码修改代码已经提交到这个仓库了,可以参考,文末会附上更多例子。

阅读全文 »

1. 概述

在Numpy 1.24版本中,删除了像np.floatnp.int 这样的 Python 内置类型的 alias,因此以后在代码中使用这些类型会报错AttributeError: module 'numpy' has no attribute 'float', 涉及的类型包括:

  • numpy.bool
  • numpy.int
  • numpy.float
  • numpy.complex
  • numpy.object
  • numpy.str
  • numpy.long
  • numpy.unicode

那该怎么解决这个错误呢?

TL;DR

  • 对于在标量上的操作,直接使用Python内置类型替换
    1
    2
    3
    4
    5
    foo = np.random.rand(10)
    # 原先用法,注意foo[0]是一个标量
    bar = np.float(foo[0])
    # 新用法
    bar = float(foo[0])
  • 对于在np.ndarray 上的操作,使用np.float64np.float32 来替代,具体选择哪个需要自己根据情况来确定,不同类型精度会有不同,下面举两个例子:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    # 原先用法
    foo = np.random.rand(10, dtype=np.float)
    # 新用法
    foo = np.random.rand(10, dtype=np.float32)

    # 原先用法
    foo = np.random.rand(10).astype(np.float)
    # 新用法
    foo = np.random.rand(10).astype(np.float32)

这里列出来了删除类型在标量和np.ndarray 上的替代,方便查找

原先类型 标量替换类型 np.ndarray替换类型
np.int int np.int32/np.int64
np.float float np.float32/np.float64
np.bool bool np.bool_
np.complex complex np.complex128
np.object object -
np.str str np.str_
np.long int np.int32/np.int64
np.unicode str np.str_

详细说明参考NumPy 1.20.0 Release Notes

下面详细说说事情的来龙去脉。

阅读全文 »

有时候想要在手机上访问Arxiv上的论文,打开arxiv.com,发现体验比较差,没有响应式设计,需要不断移动页面才能读完一行文字,影响阅读。偶然发现了arxiv-vanity这个网站,发现能很好的满足手机上看arxiv论文的需求,收藏了。

阅读全文 »

在某个目录下有很多代码创建的空文件,分布在不同层级的子目录中,我们有没有办法可以快速地全部把它们删掉呢?

find是Linux系统中的一个强大的命令,通过它我们可以找到空文件,然后将它们进行删除。

TL;DR
最终命令如下:

1
find . -type f -size 0 -print -delete

几个参数详细的说明见下。

阅读全文 »

在读《流畅的Python》时,偶然看到下面的语句:

1
2
with urlopen(URL) as remote, open(JSON, 'wb') as local:
local.write(remote.read())

突然才发现,原来多个with语句可以写到一起!

阅读全文 »

使用ffmpeg可以方便地从视频中抽取图像帧:

1
ffmpeg -i /path/to/video.mp4 image-folder/%06d.jpg

但实际测试发现,抽取的图像帧比较模糊,有明显的块效应。

搜索时有人说可以加-q:v 1 -qmin 1 -qmax 1来提高图像质量

1
ffmpeg -i /path/to/video.mp4 -q:v 1 -qmin 1 -qmax 1 image-folder/%06d.jpg

测试发现确实有一些提升,但还是能看到明显的模糊。

最后发现,把抽取的图像格式从.jpg修改为.png,结果就是高清且无块效应的了:

1
ffmpeg -i /path/to/video.mp4 image-folder/%06d.png

另外PNG格式的图像存储大小要大一些,但不会太大,还是能接受的。

概述

前段时间突然发现,我之前对git stash的使用都是错误的。

具体说来,我是这么使用的:在远端有新的提交,需要git pull来拉取合并时,发现本地有一些未提交的修改,功能也没实现,不适合做一次commit。这时候我执行git stash隐藏本地的修改,然后执行git pull来拉取远端的更新,在最新代码基础上重新实现stash的那些代码中的功能。

这里的问题是,重新实现stash代码中的那一步,其实完全可以用git stash pop来替代,执行这个命令会在最新代码基础上作用stash的代码,不用再重新实现一遍了(不过这时可能会有代码冲突需要解决)。所以我之前是把git stashgit checkout -- .来用了,也就是抛弃了本地的代码更新,显然是有问题的。

正确流程基本上是这样:

1
2
3
git stash # 或者 git stash push,效果一样
git pull # 可能有冲突需要手动合并
git stash pop # 可能有冲突需要手动合并

下面记录一下 git stash 提供的功能和一些参数。

阅读全文 »

多年以后,想起2022,我会回忆起哪个画面?为了解答这个问题,我回想过去的这些年份,2021,2020,……2005,看能想到什么。除了有些年份里,我结婚,毕业,所以有记忆深刻的事件,大部分年份我甚至想不起任何事情。对于一个模糊的数字,在多年以后,我们确实难以将它和自己一天天度过的日常事情关联起来。虽然2022年发生了很多事情,但大部分还是会被遗忘,但我还是尽量想用详细的文字记录下来,这样当以后想会看那年我身上发生了什么的时候,我知道只要在浏览器里面输入vra.github.io/2022/12/31/summary-2022,这些时刻都会清晰地浮现在我眼前。

阅读全文 »