Yunfeng's Simple Blog

概述

这篇文章是我通过学习了Spark官网上的一些内容，参考了许多博客和文章，也尝试进行了一些初级的Spark编程后写的关于Spark的简要的说明，希望能讲明白Spark这个框架的一些原理，提供一个基础的入门教程。

Issue 1

When I compile caffe toolkit(actually, a caffe fork: lisa-caffe-public), I always encounter some errors like:

1
2
3

Tab found; better use space
Line should be <= 80 characters
Missing space before ( in if( 

GNU Make is a tool which controls the generation of executables and other non-source files of a program from the program’s source files.
Make gets its knowledge of how to build your program from a file called the makefile, which lists each of the non-source files and how to compute it from other files. When you write a program, you should write a makefile for it, so that it is possible to use Make to build and install the program.
I will introduce some basic skills about using make.

前几天同学发过来一张无人机驾驶证的照片，瞬间觉得很高大上，仔细一询问，原来是用软件生成的图片，网址是：http://wx.znl.cn/app/index.php?i=120&c=entry&id=1&do=index&m=bi_pic。 当访问该网站的时候，用户输入用户名，然后就生成包含用户名的驾照照片。我接着想能不能自己做一个类似这样的东西呢，经过思考发现，其实操作比较简单，即将用户姓名写入到图像上的合适位置即可。因为我之前已经有一些用Python 的Django框架做小的网站的经验，而且Python PIL模块可以完成这个任务，所以我立即想到， 能不能结合两者，建立一个网站，让用户输入姓名，然后将用户姓名传入到后台，后台调用PIL函数，将名字写到图片的相应位置上，然后返回给用户呢？经过思考我发现这种思路是可行的，而且工作量貌似也不是很大，所以今天早上开始做了做，在无人机驾照的基础上又增加了2个有趣的证件：潜水证和超级帅哥证，今晚终于作出了一个粗糙的结果（网站页面使用了原始和简单的HTML标签），可以在这里访问。代码已经上传到github上了。下面记下来实现过程中的一些思考。

markdown 是一种标记语言，我这个博客就是用markdown格式写好后，由hexo框架将markdown格式转换为静态的HTML文件，再上传到网站服务器上。在使用markdown的时候，有的时候在使用有序列表的时候，总会出现一些与预期效果不符的情况。因此今天我查看了markdown的文档，发现有一些规则我之前没注意到，导致出错，所以写下来，避免再犯错了。

C3D is a deep learning tool which is modified version of BVLC caffe to support 3D convolution and pooling. it was released by Facebook. In the field of human action recognition, C3D feature of video clip is the state-of-the-art feature. In this blog, I write some notes for using this tool in practice.

缘起

今早在美国的本科室友问了我下面的C++代码是什么意思：

1
2
3
4
5
6
7
8
9
10

#ifdef  _CV_H
#define _CV_H
class cv{
	cv(const cv&) = delete;
	cv& operator=(const cv&) = delete;

	cv(cv&&);
	cv& operator=(cv&&);
};
#endif

什么，delete居然还有这种神奇的用法？我确实以前没看过。所以我跑到实验室，自己查了些资料，大概明白这些代码是个什么意思了，所以记录下来。

机器学习笔记是我这学期在上”统计学习”这门课时学习到的内容的一个总结.因为过往很多学过的知识,现在大多都已经忘掉了,而统计机器学习的内容则很重要,我可不能再上过就忘掉,所以在复习的时候把这些内容都记录下来,以便以后查阅.

实际项目中，会遇到这样的问题：没有使用任何服务器端框架的前端代码，即包含html网页文件，也包含js和css的代码，如何将这些现有的项目做最少的修改而引入到Django框架中呢？Django官网上给出了解决方法，使用static目录来存放css和js代码（虽然js是动态代码，但Django将其与css等同为静态代码，因为在后端看来，前端代码是静态的），然后在html文件里面，将原先的href引用改为通过static目录来引用。可以看这里，但里面讲的不是很清楚，我在查了一些资料后才搞定这个问题，所以这里写个总结来总结总结。

并行计算

并行计算的定义： 应用多个计算资源来解决同一个计算问题

一些名词

1. Flynn矩阵：
   SISD(Single Instruction Single Data),
   SIMD(Single Instruction Multiple Data),
   MISD(Multiple Instruction Single Data),
   MIMD(Multiple Instruction Multiple Data),
   由 SISD,SIMD，MISD，MIMD组成的矩阵就是Flynn矩阵。从前往后，4种结构越来越复杂。
2. 共享存储和分布式存储
3. 通信和同步
4. 加速比，并行开销，拓展性