InstructDiff: Domain-Adaptive Data Selection via Contrastive Entropy for Efficient LLM Fine-Tuning
ACL 2026
计算语言学协会年会(ACL)主会
- 提出 Warmup 校准 + 分布感知过滤的统一范式:用对比熵信号识别最具可学习性的样本,不再依赖人工的领域启发式规则。
- 仅用 10% 数据即超过全量训练:数学推理相对提升 17%,通用指令相对提升 52%,并在医疗问答与代码任务上复现。
北京大学 学术型硕士在读·字节跳动 Seed(Foundation Model)实习生
中国深圳
以数据为中心的大模型训练 —— 数据合成、数据筛选、稳定对齐。
我是北京大学深圳研究生院学术型硕士生,导师为张文佳教授,目前在字节跳动 Seed 的 Seed Speech 团队实习,负责语音基座模型(speech foundation model)相关的数据工作。
我的研究以数据为中心:训练数据的筛选、合成与加权如何决定大模型在后训练后的能力上限。近期工作包括数据筛选(InstructDiff,ACL 2026)、稳定对齐(ASFT,ICLR 2026,已合入 LLaMA-Factory)与指令数据合成(TAG-INSTRUCT,ACL 2025 Findings)。
同时我也在做 PlanGPT 系列:面向规划领域的大模型,从最初的 PlanGPT 到视觉语言版 PlanGPT-VL,后续工作仍在进行。另外,我作为技术负责人为三家规划院所交付了 RAG 系统。
研究兴趣数据筛选与合成·大模型后训练与对齐·领域大模型与多模态·时空智能
ACL 2026
计算语言学协会年会(ACL)主会
ICLR 2026
国际表征学习大会(ICLR)·已合入 LLaMA-Factory。
EMNLP 2025
自然语言处理经验方法会议(EMNLP)Industry Track
ACL 2025 Findings
计算语言学协会年会(ACL)Findings
在审
* 共同一作(贡献相同)。
arXiv:2408.01323
arXiv:2402.19273
2026.02 – 至今
Seed Speech 团队 · 中国
2024.07 – 2026.01
负责人:柴崎亮介 教授、范子沛 博士 · 日本东京 / 远程
2025.03 – 2025.06
北京市城市规划设计研究院 · 技术负责人
2024.09 – 2024.12
中国城市规划设计研究院(深圳) · 技术负责人