Linux

Vagrantfile

Submitted by Lizhe on Mon, 02/22/2021 - 08:44

# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.configure("2") do |config|
  config.vm.box = "ubuntu18"
  config.vm.network "forwarded_port", guest: 9200, host: 9200
  config.vm.network "forwarded_port", guest: 9300, host: 9300
  config.vm.provider "virtualbox" do |v|
    v.memory = 4096
    v.cpus = 4
  end
end

# -*- mode: ruby -*-
# vi: set ft=ruby :

3080 装 cuda 的坑

Submitted by Lizhe on Sun, 01/03/2021 - 16:01

1 你要用 TensorFlow2.4 的 gpu 版本

2 cuda10.1 3080不认,会出现不报错也不训练的情况

3 cuda要用 11.0 ,cudnn是 8.0.5

4 numpy报错的话

pip install numpy==1.19.3

5 然后cudnn目前还无法通过 conda、pip之类的安装,下载之后copy文件

lib文件

G:\迅雷下载\cudnn-11.0-windows-x64-v8.0.5.39\cuda\lib\x64

D:\ProgramWorks\Miniconda3\envs\tf24\Library\lib

 

include文件

G:\迅雷下载\cudnn-11.0-windows-x64-v8.0.5.39\cuda\include

D:\ProgramWorks\Miniconda3\envs\tf24\Library\include

bin文件

helm3 install

Submitted by Lizhe on Wed, 12/23/2020 - 05:05

curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 > get_helm.sh

chmod 700 get_helm.sh

./get_helm.sh

 

ssh-keygen -t dsa

sudo apt-get install openssh-server

ssh-copy-id -i ~/.ssh/id_rsa.pub lizhe@k8s.me

 

 

Elasticsearch 1

Submitted by Lizhe on Thu, 12/03/2020 - 08:26

 Lucene 索引

document 数据载体,通常是被记录的 原文章

field 一个文档片段,包含名称和内容

term 搜索时的一个单位,文本中的一个词

token 是 term 在 document 中的一次出现,包含 文本,开始和结束的偏移量

 

举个例子

我是托尼老师,分词后是 

我,是,托尼,老师

我,是,拖地,老师

然后

我是托尼老师是 document,托尼是一个term,它的token是  托尼,1:3

 

以上结构实际上就是 倒排索引 inverted index

倒排索引源于实际应用中需要根据属性的值来查找记录,这种索引表中的每一项都包括一个属性值(term)和具有该属性值的各记录(document)的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件(inverted file)。

docker ubuntu python3.7

Submitted by Lizhe on Fri, 08/07/2020 - 16:22

FROM ubuntu:18.04

# Set temp work directory

# for package configuration

WORKDIR /usr/src/cache

# Update apt packages RUN apt update RUN apt upgrade -y

# Install vim

RUN apt install vim -y

# Install python 3.7

RUN apt install software-properties-common -y

RUN add-apt-repository ppa:deadsnakes/ppa

RUN apt install python3.7 -y # Make python 3.7 the default

ubuntu18 nvidia cuda tensorflow2.1 driver install

Submitted by Lizhe on Fri, 06/05/2020 - 10:16

conda

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh

chmod 777 Miniconda3-4.7.10-Linux-x86_64.sh 

./Miniconda3-4.7.10-Linux-x86_64.sh 

conda create -n tf21 python=3.7

 

driver

sudo ubuntu-drivers devices

sudo apt install nvidia-driver-430

 

conda activate tf21

conda install cudatoolkit=10.1

conda install cudnn=7.6

rasa install

Submitted by Lizhe on Mon, 04/27/2020 - 09:45

 

pip install --upgrade pip -i https://pypi.douban.com/simple

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple/

 

$ pip install rasa

$ rasa init