首页 / AI Trending / p-e-w/heretic

heretic 是什么？

Heretic 是面向 Transformer 语言模型的自动 directional ablation 工具。它用 Optuna 的 TPE 搜索抑制拒绝相关方向的参数，同时以拒绝数和相对原模型的 KL 散度作为目标。

⭐ 25,286 Stars 🍴 2,720 Forks Python AGPL-3.0 作者: p-e-w
来源：github.com/p-e-w/heretic 查看 GitHub 仓库 → 📘 使用教程 →

为什么值得关注

对 attention out-projection 和 MLP down-projection 矩阵做与拒绝方向正交化的修改。Optuna 同时优化有害提示拒绝数和无害提示相对原模型的 KL 散度。

来源：github.com/p-e-w/heretic

核心功能

自动方向消融

对 attention out-projection 和 MLP down-projection 矩阵做与拒绝方向正交化的修改。

来源：github.com/p-e-w/heretic
TPE 参数搜索

Optuna 同时优化有害提示拒绝数和无害提示相对原模型的 KL 散度。

来源：github.com/p-e-w/heretic
多架构支持

支持多数 dense、多模态、部分 MoE 和 Qwen3.5 等混合模型；纯 state-space 架构不在开箱支持范围。

来源：github.com/p-e-w/heretic
评估与研究扩展

可评估已有模型；research extra 还提供残差向量投影、几何指标与图像输出。

来源：github.com/p-e-w/heretic/blob/master/README.md

技术架构

Heretic 从有害与无害示例提示的首 token 残差计算每层方向，再修改支持组件的权重矩阵。Optuna 搜索各组件和层的消融权重，候选以拒绝数和 KL 散度评估。运行结束后可保存到本地、测试、跑 benchmark，或由用户选择上传 Hugging Face。

来源：github.com/p-e-w/heretic

项目知识图谱

知识图谱：项目核心节点（中心）+ 核心功能（内环六边形）+ 关键技术依赖（外环 chip） PyTorch 2.2+，部分模型要求 2.6+PyTorch 2.2+，… Transformers 5.6 系列Transformers 5… accelerate、bitsandbytes、datasets、lm-eval、peftaccelerate、bi… 可选 research 依赖 PaCMAP、scikit-learn、matplotlib可选 research… 自动方向消融 TPE 参数搜索 多架构支持 评估与研究扩展 heretic 项目本体 核心功能 关键依赖

技术栈

语言Python 3.10+框架PyTorch、Transformers、Optuna 与 Hugging Face
关键依赖
PyTorch 2.2+，部分模型要求 2.6+Transformers 5.6 系列accelerate、bitsandbytes、datasets、lm-…可选 research 依赖 PaCMAP、scikit-learn、m…
基础设施 / 部署
本地 GPU/CPU、模型与数据集磁盘；首次下载和可选上传需要连接 Hugging Face
来源：github.com/p-e-w/heretic/blob/master/pyproject.toml

快速上手

在隔离环境安装与硬件匹配的 PyTorch 2.2+，再安装 pip install -U heretic-llm。先用小型、许可允许的研究模型读取 heretic --help 和默认配置；把输出留在本地，记录原模型 hash、Heretic 版本、数据集、GPU、拒绝指标和 KL。不要把修改后的模型直接接入公开服务。
来源：github.com/p-e-w/heretic

使用场景

适合受控的模型行为、可解释性和安全稳健性研究。输出模型降低了拒绝行为，有限的拒绝率或 KL 指标不能代表安全，也不适合作为公开部署的唯一验收依据。

来源：github.com/p-e-w/heretic

优势与局限

优势

  • 把方向消融与自动参数搜索合并成 CLI
  • 同时记录拒绝和 KL 两类指标
  • 支持本地保存、复现实验与内置评估
  • AGPL-3.0-or-later，配置和实现可审查

局限

  • 修改目标就是降低拒绝，输出会失去原模型部分安全行为
  • 支持范围不含纯 state-space 等架构
  • 显存、耗时和指标会随模型、硬件与平台变化
  • 运行会下载权重和数据集，可选上传会向 Hugging Face 写入
  • main 已是 2.0.0.dev0，不能与正式 v1.4.0 混写
来源：github.com/p-e-w/heretic

最新版本

最新正式 release 为 v1.4.0，发布于 2026-06-14，加入 reproduce.json 复现、纯文本提示数据集、LoRA 导出修复与更多模型支持。当前 master 已进入 2.0.0.dev0。

来源：github.com/p-e-w/heretic/releases/tag/v1.4.0

实测与证据

status: docs-only  |  checked_at: 2026-09-23  |  environment: 核对官方 README、pyproject.toml、AGPL-3.0 LICENSE、v1.4.0 release 与官方列出的对比项目  |  limitations: 未安装 PyTorch 或 Heretic，未下载模型和数据集，未运行消融、评估、保存、上传或聊天功能，未复现拒绝率、KL、显存和耗时  |  observed_output: 最新正式 release 为 v1.4.0，发布于 2026-06-14；当前 master 的 pyproject.toml 标记 2.0.0.dev0，并要求 Python 3.10+

来源：github.com/p-e-w/heretic/releases/tag/v1.4.0

同类项目对比

ErisForge 让研究者用 Python API 选择层、方向和 ablation/addition 变换，也提供拒绝表达评分；Heretic 则把方向构造、TPE 搜索、双目标评估和 CLI 流程自动化。需要手工控制变换层与行为方向时看 ErisForge；需要自动搜索并保留可复现实验记录时看 Heretic。

来源：github.com/Tsadoq/ErisForge

总结评价

保留为研究工具页面。仓库没有订阅、充值或项目方 API 转售，但用途本身会削弱模型拒绝行为。内容应突出受控研究、版本固定、网络写入选择和人工安全评估。

来源：github.com/p-e-w/heretic

常见问题

Heretic 当前版本是 v1.4.0 还是 2.0.0.dev0？

v1.4.0 是 2026-06-14 发布的最新正式版；master 的 pyproject.toml 已标为 2.0.0.dev0。生产复现应固定正式 tag，研究开发分支则固定具体 commit。

Heretic 只要 Python 3.10 就能运行吗？

还不够。官方要求先安装适合硬件的 PyTorch 2.2+；部分模型功能需要更高版本，例如 MXFP4 模型用到的 torch.accelerator 要求 PyTorch 2.6+。

Heretic 会自动把模型上传到 Hugging Face 吗？

不会。运行结束后上传只是用户可选动作；模型和数据集下载仍需要网络，选择上传时还会需要 Hugging Face 凭据与写权限。

拒绝率下降且 KL 更低，能证明模型安全吗？

不能。官方也说明数学指标和自动 benchmark 不能替代人工评估；这些指标只描述有限提示集上的拒绝与分布变化。

Heretic 适合直接用于公开聊天服务吗？

不适合直接上线。它的目标就是降低模型拒绝行为，公开部署前必须重新做滥用、安全、许可和人工评估；本教程只覆盖受控研究边界。

资料与核验范围
本文依据项目公开资料整理。版本、安装命令和功能边界可能随上游更新，请以所列来源和项目当前版本为准。 资料核对时间: 2026-09-23 13:55.

参考材料：README、GitHub API、依赖文件