生成github PAT的流程

客户端GUI较为清晰版的视频。

过一阵发现想要新建一个帖子的时候，已经把命令忘记了，所以记录一下。

vscode的一个插件，每次我的代码有更新的时候，就需要重写scp，但是使用这个插件之后就不需要我自己手动的去scp了，每当我修改的时候就自动上传过去。

Markov Decision Process (MDP)

1. 马尔可夫过程

通常用元组 \(⟨S,P⟩\) 描述一个马尔可夫过程，其中 \(S\) 为有限数量的状态集合，\(P\) 是状态转移矩阵：

\[ P = \begin{bmatrix} P(s_1|s_1) & \cdots & P(s_n|s_1) \\ \vdots & \ddots & \vdots \\ P(s_1|s_n) & \cdots & P(s_n|s_n) \end{bmatrix} \]

对于状态转移矩阵，每一行的和都是 1。直观地理解，每个状态一定会到下一个状态，那么把所有可能到达的状态的概率求和，就为 1。

三类不同的Transformer模型：

• GPT-like(自回归)
• BERT-like（自动编码）
• BART/T5-like（seq2seq）

要执行微调需要获取一个经过预训练的预言模型，然后使用特定于任务的数据集执行额外的训练，之所以不在最后的任务训练是因为：

• 利用模型在预训练期间获得的知识

• 避免过拟合

  Read more »

记录了常见的一些命令，包括docker,git,ssh,proxy,scp等。

docker

基础命令

1
2
3
4
5

docker run --gpus all --name LM -it --security-opt seccomp=unconfined -v /home/sunyuanxu/code:/workspace/code -v /raid/sunyuanxu:/workspace/raid nvcr.io/nvidia/pytorch:24.05-py3

docker start <container_id_or_name>

docker exec -it <container_id_or_name> /bin/bash

此文章是暑陪的时候写的，但是实际上就是参考官网的教程copy了一份。

此文章是暑陪的时候写的，但是实际上就是参考官网的教程copy了一份。

此文章是暑培的时候写的，但是实际上就是参考官网的教程copy了一份。