🚀 [2025/09/25] Recent Updates Summary for ROLL Project

[PanAndy]

llo everyone!
Thank you for your interest in ROLL.
We continue to iterate and improve the ROLL project. Below is a summary of recent updates, categorized for your reference.

Highlights:

• ROLL aligned with the GEM environment definition and adds out-of-the-box, extensible Agentic Tool Use training.
• Support for Qwen3-Next model training.
• vLLM dynamic FP8 rollout support and remove_padding to improve training efficiency.
• Support for SFT (Supervised Fine-Tuning) pipeline.
• Added support for the Wan2_2 Reward FL pipeline and RL training for raw-image diffusion models.

New features in PR #172

• Agent / GEM / Tool Use

  • Aligned with the GEM environment definition and adjusted the env manager (gEm) to better support environment and tool interactions, improving customization flexibility.
  • Added Agentic Tool Use training examples and integrated ToolUse documentation.
  • Added step-wise reinforcement support (step reinforce) to enable new stepwise training capabilities.
  • Redundant environment capability: supports two-dimensional redundancy via num_env_groups and group_size to increase tolerance to environment failures.

• Models & backends

  • Added Qwen3-Next model implementation and training support (including fixes for checkpoint saving).
  • Support vLLM 0.10.2 and added dynamic FP8 rollout for vLLM.
  • Added support for multiple sglang versions (including sglang 0.5.2, 0.4.10.post2).
  • Provided a Dockerfile example for Torch 2.8 and updated mcore to 0.13.

• Pipelines & training algorithms

  • Added SFT pipeline support.
  • Added Wan2_2 reward FL pipeline support.
  • Support use_remove_padding in Megatron strategy for tail trimming optimization to improve performance.

Other features, bug fixes, and refinements

• Improved remove_padding support to reduce padding overhead.
• Added a roll debug flag to improve metric recording.
• Default strategy for llm judge reward worker switched from HF to vLLM to improve efficiency.
• Adjusted entropy loss computation to avoid unnecessary calculations.
• Changed default loss aggregation mode to seq-mean-token-mean (loss_agg_mode).
• Support passing is_lora when broadcasting parameters.
• Added include_stop_str_in_output, stop_strings and other stop-handling configuration options.
• Exposed environment metrics with aggregate_metrics control.
• Restructured agentic directories: merged roll/agentic into roll/pipeline/agentic to avoid split logic.
• Fixed webshop env state handling bug.
• Fixed vLLM version comparison logic, isolated cache roots for multiple vLLM actor_workers, and resolved vLLM compile conflicts.
• Fixed dataset load lock errors, math_env exceptions, and various other stability issues.
• Fixed ROLL hang in colocate mode on XPU.
• Fixed potential loss of environment variables when forwarding vLLM env vars to RayWorkerWrapper.
• Fixed convert script and qwen3next checkpoint saving.
• Fixed potential gradient loss caused by mask_mean/mask_sum handling dim=None.
• Deprecated: torch251 / vllm0.7.3 / sglang0.4.3 have been removed from the repository.

[PanAndy]

大家好！感谢大家对ROLL的关注。
ROLL近期更新了大量新功能，以下是近期更新的一些梳理，我们将持续对ROLL进行迭代更新，欢迎加入ROLL的社区。

亮点:

• ROLL 对齐GEM环境定义，新增 Agentic Tool Use 训练能力，开箱即用，并可灵活扩展
• 支持Qwen3-Next 模型训练
• 支持 vLLM 的动态 FP8 rollout，并支持remove_padding 以提升训练效率
• 支持 SFT（Supervised Fine-Tuning）pipeline
• 新增对 Wan2_2 Reward FL pipeline 的支持，支持生图diffusion模型RL训练

🚀主要新特性

• Agent / GEM / Tool Use

  • 对齐 GEM 环境定义，调整 env manager（gEm）以更好的支持环境与工具化交互，提高自定义灵活性
  • 增加Agentic Tool Use 训练示例，接入ToolUse文档
  • 新增 step reinforce 支持，提供新的stepwise训练能力
  • 冗余env能力，支持num_env_groups/group_size双维度冗余，提高对环境故障的容忍能力

• 模型与后端

  • 新增 Qwen3-Next 模型实现与训练支持（包括保存 checkpoint 的修复）
  • 支持 vLLM 0.10.2，并新增 vLLM 动态 FP8 rollout 支持
  • 新增对多版 sglang 的支持（包含 sglang 0.5.2、0.4.10.post2 等）
  • 提供 Dockerfile（Torch 2.8 的镜像示例）并更新 mcore 到 0.13

• pipeline与训练算法

  • 新增 SFT pipeline 支持
  • 新境 wan2_2 reward fl pipeline 支持
  • 支持 use_remove_padding, 提升训练效率

• 其他功能, bug fix, refine

  • 增强对 remove_padding 的支持，减少padding带来的开销
  • 增加 roll debug flag 优化metric记录
  • llm judge reward worker 的strategy默认从HF切换到vLLM以提升效率
  • 调整entropy loss的计算，非不要不计算
  • 调整默认loss聚合模式为 seq-mean-token-mean（loss_agg_mode）
  • 支持 is_lora 参数在广播参数时的传递
  • 增加include_stop_str_in_output、stop_strings等stop handling配置
  • 为env透出metrics增加aggregate_metrics控制能力
  • 调整agentic部分目录结构，将roll/agentic 合并到roll/pipeline/agentic，避免逻辑割裂
  • 修复webshop env 状态处理的bug
  • 修复 vllm 版本比较逻辑, 隔离多个vllm actor_worker的 cache root，修复vllm compile conflict
  • 修复 dataset load lock 锁错误、math_env 异常等多处稳定性问题
  • 修复在 XPU 上 colocate 模式下可能导致 ROLL hang的问题
  • 修复环境变量透传vllm RayWorkerWrapper 可能出现的丢失问题
  • 修复 convert 脚本、qwen3next checkpoint 保存、
  • 修复mask_mean/mask_sum dim=None 实现可能导致的梯度丢失
  • 弃用：torch251 / vllm0.7.3 / sglang0.4.3 已从仓库移除

[PanAndy]

train curve

agentic

• sokoban/frozenlake + traj/gigpo + async

examples/qwen2.5-0.5B-agentic/agent_val_frozen_lake.yaml
examples/qwen2.5-0.5B-agentic/agent_val_frozen_lake_gigpo.yaml
examples/qwen2.5-0.5B-agentic/agent_val_frozen_lake_async.yaml
examples/qwen2.5-0.5B-agentic/agentic_val_sokoban_gigpo.yaml
examples/qwen2.5-0.5B-agentic/agentic_val_sokoban.yaml

• vl agentic:

examples/qwen2.5-vl-3B-agentic/agentic_val_sokoban.yaml

• webshop

examples/qwen2.5-7B-agentic_megatron/agentic_val_webshop.yaml

• math vs math + python_code_tool

examples/qwen3_agentic_gem/gem_math_dapo_python_code.yaml
examples/qwen3_agentic_gem/gem_math_dapo.yaml

• qa vs qa + search_tool

examples/qwen3_agentic_gem/gem_math_hotpotqa.yaml
examples/qwen3_agentic_gem/gem_math_hotpotqa_search.yaml

• gem env: guess_the_number + letter_counting

examples/qwen3_agentic_gem/gem_game_guess_the_number.yaml
examples/qwen3_agentic_gem/gem_rg_letter_counting.yaml

wan2.2-14-reward_fl

examples/wan2.2-14B-reward_fl_ds/reward_fl_config.yaml

sft

examples/qwen2.5-7B-sft_megatron/sft_config.yaml

[chrisnano27]

hi, does it available to add some SFT example for the MoE model with your repo?

[xuehuanran]

hi, does it available to add some SFT example for the MoE model with your repo?

Hi, Thanks for the interesting of ROLL.
This is a reference demo config for MoE SFT, with 8 nodes(64 GPUs ) and 80GB per card, the model is Qwen3-Next-80BA3B. You can tune these hyper-parameters according to your environments. The formal config will be released soon.

hydra:
  run:
    dir: .
  output_subdir: null

exp_name: "Qwen3-Next-80B-A3B-SFT-CONFIG"
seed: 42
logging_dir: ./output/logs
output_dir: ./output_sft
system_envs:
  USE_MODELSCOPE: '1'

#track_with: wandb
#tracker_kwargs:
#  api_key:
#  project: roll_examples
#  notes: roll_examples
#  tags:
#    - sft
#    - baseline

track_with: tensorboard
tracker_kwargs:
  log_dir: ./rl_examples/llm/tensorboard/roll_exp/rlvr

num_gpus_per_node: 8

max_steps: 500
save_steps: 100
logging_steps: 1
eval_steps: 10
resume_from_checkpoint: false

sequence_length: 8192

pretrain: Qwen/Qwen3-Next-80B-A3B-Instruct

# sft related 
# system_key: system_prompt # use the default system prompt in the tokenizer tmplate if not provided
prompt_key: instruction
query_key: input
response_key: output

validation:
  data_args:
    file_name: data/code_alpaca_20k.json
    template: qwen2_5

sft_train:
  model_args:
    dtype: bf16
  training_args:
    num_train_epochs: 1
    per_device_train_batch_size: 1
    gradient_accumulation_steps: 16
    learning_rate: 5.0e-6
  data_args:
    file_name: data/code_alpaca_20k.json # https://huggingface.co/datasets/sahil2801/CodeAlpaca-20k
    template: qwen2_5
    preprocessing_num_workers: 4
  strategy_args:
    strategy_name: megatron_train
    strategy_config:
      pipeline_model_parallel_size: 8
      context_parallel_size: 1 # turn `context_parallel` on with long context length
      use_distributed_optimizer: true
      recompute_granularity: full
      optimizer_cpu_offload: true
      optimizer_offload_fraction: 1.0
      # moe related params
      expert_model_parallel_size: 8
      moe_token_dispatcher_type: "alltoall"
      moe_grouped_gemm: true
      # moe_layer_recompute: true
      # recompute_modules: "moe"
      bias_activation_fusion: true
      moe_shared_expert_overlap: true
      additional_configs:
        moe_permute_fusion: true  
  device_mapping: list(range(0,64))
  infer_batch_size: 1

[Meta-YZ]

请问有安装好ROLL的开源镜像吗？

[qinkevin]

你好，我们最近在基于roll框架实现一个gui agent 的多轮rl ，使用了step reinforce 能力，然后遇到了格式崩溃的问题。我们的reward 是使用了format reward 和answer reward 两种，answer reward 是对最终结果是否完成任务做打分，完全为1，没完成为0。format reward 是对每一步是否遵循格式打分。每一步都遵循格式为1，否则为0。具体现象如下：

请问这里可能是什么原因呢？

[PanAndy]

你好，我们最近在基于roll框架实现一个gui agent 的多轮rl ，使用了step reinforce 能力，然后遇到了格式崩溃的问题。我们的reward 是使用了format reward 和answer reward 两种，answer reward 是对最终结果是否完成任务做打分，完全为1，没完成为0。format reward 是对每一步是否遵循格式打分。每一步都遵循格式为1，否则为0。具体现象如下：

请问这里可能是什么原因呢？

调整过reward的设计了吗？ 比如只给answer reward。
看你提供的曲线，critic/score完全没有上涨，比较异常。

我之前step_reinforce学习验证，critic/score是能稳定上涨的（可能场景不同？）

[qinkevin]

我们因为基础模型是做了sft的，所以模型开始训练的时候格式遵循是没有问题的，也就是format score 为1，answer score初始为0.5左右，但随着模型的训练，格式开始崩溃，出现乱码等情况。 我们的场景是gui agent ，也就是每个任务需要多个步骤才能完成，无法做中间过程的监督，目前使用的是orm，对任务最终完成情况进行判断，完成为1，没有完成为0。critic/score 没有上涨是因为格式崩溃了，所以format score 会低于1。

[PanAndy]

我们因为基础模型是做了sft的，所以模型开始训练的时候格式遵循是没有问题的，也就是format score 为1，answer score初始为0.5左右，但随着模型的训练，格式开始崩溃，出现乱码等情况。 我们的场景是gui agent ，也就是每个任务需要多个步骤才能完成，无法做中间过程的监督，目前使用的是orm，对任务最终完成情况进行判断，完成为1，没有完成为0。critic/score 没有上涨是因为格式崩溃了，所以format score 会低于1。

我之前训练sokoban/frozen_lake的时候(traj wise)，有遇到过 给的format_penalty过大，训练一段时间以后就没法正常输出格式了。调整format_penalty可以解决。
你可以直接使用orm 作为episode reward，然后加额外的metric，监控一下answer_score和format_score的变化。
step reinforce可以这样做，可以根据episode reward 计算discount reward。