微调实践笔记
Qwen3 微调实践笔记一、模型微调的意义为什么要微调1. 降低训练成本与门槛 大模型参数量巨大，从头训练成本极高，对企业而言性价比低。 微调预训练模型是更经济高效的解决方案。 2. 突破 Prompt Engineering 的限制 Prompt Engineering 虽易于上手，但存在明显缺点： 长度限制：输入序列长度受限，长 Prompt 会被截断，影响输出质量。 推理成本高：推理成本与 Prompt 长度的平方正相关。 3. 提升特定领域性能 当企业拥有高质量的自有领域数据，且 Prompt Engineering 效果不达预期时，微调能显著提升模型在特定领域的专业能力。 4. 实现个性化服务 针对不同用户的数据，训练轻量级的微调模型，是实现个性化服务的有效方案。 5. 保障数据安全 当数据因安全或合规要求不能传递给第三方服务时，必须搭建自有模型。 开源大模型通常需要结合自有数据进行微调，才能满足具体业务需求。 微调 vs. 检索增强生成 (RAG)与纯RAG系统相比，微调具备以下优势： 能力范围：微调几乎可以实现 RAG 的所有功能，但反之不成立...
python调用系统摄像头拍照
为了方便准备审校数据集，开发拍照工具，将之前手写修改的审校内容拍摄成图片，提供给后续流程来产生数据集。 # coding:utf-8 import cv2 import time import os # 打开摄像头，参数为0时调用本地摄像头，参数为1时调用外接摄像头 cap = cv2.VideoCapture(0, cv2.CAP_DSHOW) # 设置保存的分辨率 save_width = 2480 # 3508 # 宽度 save_height = 3508 # 2480 # 高度 cap.set(cv2.CAP_PROP_FRAME_WIDTH, save_width) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, save_height) # 设置显示的分辨率 display_width = 1000 # 宽度 display_height = 600 # 高度 # 创建保存目录 save_dir = "D:/yiyu/photo/" if not os.path.exists(save_dir): os.m...
图片审校区域标记工具
为了方便准备审校数据集，开发标记工具，将存在审校修改的图片区域单独保存，提供给后续流程来产生数据集。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139from nicegui import uiimport osimport globimport timefrom PIL import Image# 自动管理图片路径和保存目录INPUT_DIR = 'static/input'DONE_DIR = &...
工作站与博客环境
本文由 AI 根据我在服务器上的实际操作记录和三份自动化脚本整理生成，主要用于之后再次部署时参考。请务必在使用前自行检查命令、版本号和配置是否符合当前环境，避免因系统更新或个人环境差异导致问题。 一、整体目标与脚本概览在一台 Ubuntu 24.04.3 LTS 服务器上，我为自己常用的几个场景写了三份自动化脚本，用来快速完成以下工作： GPU 环境： 禁用 nouveau 安装并锁定 Nvidia 驱动 安装 CUDA / nvidia-cuda-toolkit 安装并配置 nvidia-container-toolkit，让 Docker 能使用 GPU AI 服务： 使用 Docker 运行 GPU 版 Ollama，可选自动拉取 Qwen3 系列模型 博客环境： 安装 nvm 和 Node LTS 安装 Hexo 初始化和部署 Hexo 博客 对应的三个脚本分别是： install_nvidia_cuda_container.sh禁用 nouveau、锁定当前内核、自动安装推荐的 Nvidia 驱动、安装 CUDA 工具链和 nvidia-...