LLM 量化部署, AWQ GPTQ GGUF FP8 INT8 INT4, GGUF Q K IQ UD, Unsloth Dynamic Quantization

标签 - LLM 量化部署, AWQ GPTQ GGUF FP8 INT8 INT4, GGUF Q K IQ UD, Unsloth Dynamic Quantization
2026
LLM Quantization Deployment
avatar
Lux
笔记
文章
75
标签
103
分类
9
GitHub
分类
标签
MQA Low-Rank Adaptation Iteration-level Scheduling hx_llm infra, inference, training, serving PD 分离之后 KV Cache 怎么传输 AI Infrastructure rag, agent, application AI办公 vLLM 推理引擎 奖励模型 Proximal Policy Optimization PD Disaggregation LLM 面试准备 Training Parameter-Efficient Fine-Tuning, 参数高效微调 inference, serving, infra 商业分析 推测解码 推理引擎选型, vLLM SGLang TensorRT-LLM LMDeploy 选型 agent, training 键值缓存 解码阶段 training, transformer training 连续批处理 AI Infra 七层技术栈 分页注意力 RAG 端到端优化地图 推理强化学习, Reasoning Reinforcement Learning inference 未解决问题 大模型训练生命周期 多头注意力 AI 系统性能瓶颈 training, agent Agents infra, inference, training Quantized LoRA 飞书