关于多Wroker下测试

[boyanitawang]

我根据官方指导文档，在dynamo+vllm+flexkv测试，遇到一个问题，https://github.com/taco-project/FlexKV/blob/main/docs/dynamo_integration/README_zh.md
我开启SSD缓存后(910GB, Qwen3-1.7B block-size=64， isl=1100, osl=1)， 预估可以缓存7830个样本。
启动测试，6K个样本， 进行2遍压测, 第一遍灌入数据至SSD， 第二遍压测，结果全从SSD读取(理论命中率100%)。

NUM_WORKERS = 1 ， 第二遍压测命中率符合预期(99.81%, token不足1个阶段)

NUM_WORKERS=8，启动多worker ， 第二遍压测命中率差，远不足预期的99.81%，
想问下具体什么原因，我应该如何调整

dynamo脚本是采样官方配置

[boyanitawang]

补充，使用的flexkv tag = v1.2.0

[linhu-nv]

你好，看你的启动命令里好像禁用了vllm原生的prefixcache？现在flexKV是借助vllm跟dynamo进行kvcache注册的，也就是说，vllm会把kvevent发送给dynamo router，然后它才能根据kvevent去把不同的request发送给不同的worker，禁用了vllm prefixcache，router就相当于完全随机分发request，8个worker下，命中率可能只有1/8左右是正常的。

当前这种情况，建议开启vllm prefixcache，哪怕它实际可用的空间很小，也能发挥注册kvevent的作用。我们正在做完善的dynamo集成，到时候可以不依赖vllm自身的prefixcache。另外我们发现了一个多worker的小问题，是关于ssd文件创建的，现在已经fix了，你可以pull一下main分支更新一下再使用。

再有一个信息是，flexKV是支持多dp的，也就是一个节点上的多个worker（vllm instance)，共享同一个flexKV instance。这样就可以避开router分发，天然实现worker的kv共享。当前功能是完备的，但是启动的方式略有不同，我们还没来得及准备一个完备的脚本上去，我们会近期做一下这个。如果你对这个功能感兴趣，也欢迎联系我们提前使用

[boyanitawang]

你好，感谢解答， 这里主要想测试极端场景下的耗时&吞吐情况，
我按照你的方式， 将prefix caceh 已打开，flexkv在第二次压测时，命中率仍未提升

另外指导文档中提到CPU Offloading的修改，我根据指导进行了删除，修改是否正确

[maureen1111]

hi @boyanitawang 你最新的测试脚本和硬件信息方便分享一下嘛，我们复现一下问题

[zhuofan1123]

@boyanitawang 您好，Flexkv已经支持多个vllm实例之间共享kvcache（PR: Support Multi Instance），通过多实例共享能够完全解决您提到的问题，第二轮预计可以达到接近100%的命中率。相关的代码已经合入main分支，可以参考最新main分支下的docs/multi_instance/README_zh.md文档启用该功能，如有任何问题随时交流，谢谢。