Plugin directory / Vision / dsh-plugin-multimodal
dsh-plugin-multimodal
Verified · install-tested on dsh shinjiyu
What it does
Vision sidecar for DeepSeek Harness: accept pasted images on text-only models.
Works — verified, early-stage project
Vision sidecar for DeepSeek Harness: accept pasted images on text-only models. It installs cleanly and boots without issues in our testing. It's early-stage but functional.
“Verified” means our automated CI actually ran dsh plugin add in a clean profile and it booted — nothing more. Feature descriptions and version compatibility are the author’s claims. This is not a security audit and not an endorsement of third-party code.
README
dsh-plugin-multimodal
DeepSeek Harness 官方线路是纯文本。Web 里贴图会被拒：当前模型不支持图片。
这个插件补的是贴图准入，不是视觉工具箱。
- 主模型本身收图（Claude / GPT / 自建视觉网关）→ 原样把图交给模型，不转文字
- 主模型是纯文本（官方 DeepSeek）→ GUI 先收下图，sidecar 转成文字再发给主模型
see_image给磁盘上的截图用
官方 PI adapter 已经会做第 1 步，不会做第 2 步：不支持就 UNSUPPORTED_CONTENT。Anionex 的 dsh-vision-toolkit 是另一条路：给 agent 一堆 vision_* 工具，要模型自己去调。本插件让粘贴不被拒。
对应需求：Discussions #588 · 介绍帖：Show and tell #1709
安装
dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal
本地路径：
dsh plugin --profile web add D:\tempWorkspace\dsh-plugin-multimodal
然后重启 dsh web。旧会话的工具表不会更新。
GitHub topic：dsh-plugin
配置
环境变量（不要把 key 写进仓库）：
| 变量 | 作用 |
|---|---|
DSH_VISION_BASE_URL |
视觉接口，例如 https://api.example/v1 |
DSH_VISION_API_KEY |
该接口的 key |
DSH_VISION_MODEL |
必须是真能看图的模型，例如 glm-4.5v |
DSH_VISION_PROMPT |
可选。默认 OCR + 描述界面 |
没设 DSH_VISION_* 时回退 OPENAI_BASE_URL / OPENAI_API_KEY。GLM-5.2-FP8 这类文本模型不能当 sidecar。
也可以在 profile 的 cordis.patch.yml 里写：
- id: dsh-plugin-multimodal
name: dsh-plugin-multimodal
inject: [llm, tools, attachments, systemPrompt]
config:
model: glm-4.5v
apiKeyEnv: DSH_VISION_API_KEY
30 秒验收
- 主模型仍用官方纯文本（或 PocketCity 文本模型）
- 配好一个真能看图的 sidecar
- 在 Web 里粘贴一张报错截图，问「红字说了什么」
- 过关：不再弹「当前模型不支持图片」，主模型能引用图上的字
磁盘文件：让它调 see_image。
不要做
- 不要改
runtime/或官方 DeepSeek adapter - 不要把 sidecar 指到
deepseek-v4-flash/ 其它纯文本模型 - 不要把它宣传成「视觉工具箱」——那是 toolkit 的词
社区
微信群：deepseek harness 讨论群（2群）
扫码进群，用来分享和讨论插件。不是官方群。
微信群码大约 7 天过期（本张到 2026-08-23）。过期后把新码覆盖 docs/community/wechat-group-2.jpg 即可。
宣发稿（Discussions / V2EX / 群公告）在 docs/PROMO.md。
License
MIT
Install
Install the catalog once, then DeepSeek Harness can find and install any plugin from this site automatically:
dsh plugin add dshbase-catalogThen say "install dsh-plugin-multimodal for me" — your agent finds it in the directory and installs it. Docs: dshbase-catalog · verified packs.
This plugin is GitHub source (not published to npm) — install it straight from the repo:
Web profile:
dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodalHeadless (CLI) profile:
dsh plugin --profile headless add github:shinjiyu/dsh-plugin-multimodalTest report
Verified: L1 install + L2 load + L3 runtime from GitHub source on dsh 0.1.0-rc.6.
When to use it
Give the model eyes — image understanding, OCR, or screen grounding — so it reads visuals instead of guessing.
Who it's for
Users who hand the model screenshots, diagrams, or photos and want them understood natively.
For developers — extending it
Vision backends and preprocessing are the seams — add OCR, region cropping, or tune resolution and model routing.
Share this badge
Drop this badge into your README — it links back here and updates automatically when our test status changes:
[](https://dshbase.com/plugins/dsh-plugin-multimodal/)<a href="https://dshbase.com/plugins/dsh-plugin-multimodal/"><img src="https://dshbase.com/badges/dsh-plugin-multimodal.svg" alt="dshbase install-tested"></a>