Search results

请问，全量微调多卡训练要出问题，单卡训练却没有问题，是怎么回事？（预训练多卡没有问题）

Status: Open.

#462 In jingyaogong/minimind;

· cqcracked opened on Jul 25, 2025

jsonl文件image

Status: Open.

#461 In jingyaogong/minimind;

· jole878788 opened on Jul 24, 2025

对于moe代码中的一个疑问

Status: Open.

#460 In jingyaogong/minimind;

· xiaomayi-ant opened on Jul 24, 2025

求问pretraining时，是否需要进行input token的packing对应的attention mask的处理

Status: Open.

#459 In jingyaogong/minimind;

· molinzhang opened on Jul 23, 2025

大佬好，运行了30M的模型，发现效果很好，模型知识储备也不错，看到预训练数据只有1.6G，请问这是如何做到的呢，如何判断数据集质量呢

Status: Open.

#458 In jingyaogong/minimind;

· XuanY14 opened on Jul 23, 2025

大佬们想咨询一下，为什么我用huggingface的Trainer来重写minimind，为什么效果很差呢？

Status: Open.

#457 In jingyaogong/minimind;

· lwdnxu opened on Jul 23, 2025

不支持调用工具

Status: Open.

#456 In jingyaogong/minimind;

· lijianxin520 opened on Jul 22, 2025

进行full SFT时loss的波动问题

Status: Open.

#455 In jingyaogong/minimind;

· chivychao opened on Jul 20, 2025

没有deepspeed配置文件，deepspeed指令是怎么起作用的？

Status: Open.

#454 In jingyaogong/minimind;

· 136823xuewei opened on Jul 16, 2025

RuntimeError: _scaled_dot_product_attention: Explicit attn_mask should not be set when is_causal=True

Status: Open.

#453 In jingyaogong/minimind;

· magengyu123 opened on Jul 15, 2025

dpo_loss中提取chosen和reject的logit的疑问

Status: Open.

#451 In jingyaogong/minimind;

· googlehjx opened on Jul 9, 2025

预训练时loss为nan

Status: Open.

#450 In jingyaogong/minimind;

· iDecisionTree opened on Jul 8, 2025