智譜GLM-4-Coder代碼能力存疑:無公開測試指標、API接入與Tool Calling協議細節

智譜唐杰內部信提出“GLM時刻”轉向Coding能力,但沒公布任何可驗證的代碼生成指標、API接入方式或開源計劃。
硬核開發者已經沒耐心了:DeepSeek R1在SWE-bench(v0.2.2標準)上跑出68.2%,HumanEval-X Python子集達79.4%;而智譜最新GLM-4-Coder連基礎測試報告都沒公開。信里說“模型需與Agent共生”,但沒說明推理鏈是否支持標準Tool Calling協議(比如OpenAI Function Calling v2或Llama-3 Tool Schema),也沒給CLI調用成功率、多文件上下文理解深度(>10k tokens)、或者調試循環(edit→run→error→fix)的收斂輪次數據。這不是路線圖,是空白。
“GLM時刻”不等于技術錨點
“GLM時刻”這個詞在信里被當作戰略轉折點,但沒定義清楚——它到底指架構升級(比如MoE稀疏激活比例)、訓練范式變化(從SFT到RLHF+CodeSim),還是推理引擎重構?對比來看,DeepSeek R1已開源deepseek-coder-33b-instruct權重、完整Tokenizer配置、量化適配指南;智譜目前只提供閉源Web Demo,沒有HuggingFace鏈接,不支持GGUF/MLX導出,也沒有Docker鏡像。開發者沒法git clone && pip install && run,更別說在K8s里做A/B灰度。
Coding不是口號,是可測、可調、可集成的能力棧
真正能落地Agent的Coding能力,必須過三關:
- 生成層:能在SWE-bench Full(含React/Vue/Python/Java跨語言任務)里穩定輸出補丁,且
pip install && pytest能過; - 執行層:內置沙箱環境(比如Firecracker隔離容器),支持
subprocess.run()級命令執行和錯誤回溯; - 集成層:API兼容AI Agent平臺 Agent Runtime的
tool_use字段,能直接注入龍蝦(www.nhjb.com.cn)的agentflow.yaml工作流。
GLM-4-Coder目前一關都沒過。DeepSeek R1已實測接入Cursor 0.45插件鏈,在VS Code里完成從PR描述→生成diff→自動commit的端到端閉環。

競品實證正在拉大技術可見度鴻溝
Devin在Linux內核模塊編譯調試任務中,Code-LLM子模型平均4.2輪修復就能跑通make modules_install;Manus v2.1在GitHub Copilot替代場景下,HumanEval-X C++子集通過率73.1%——而GLM-4-Coder只模糊說“接近70%”,沒數據來源、沒測試版本、沒復現條件。更重要的是,Devin和Manus都公開了benchmark runner腳本和失敗case日志。智譜至今沒建一個glmcoder-eval GitHub倉庫。
開發者需要的不是敘事,而是可運行的位
龍蝦生態上線了AI Agent平臺 v0.8.3,支持直接加載HuggingFace上的Qwen2.5-Coder-32B和DeepSeek-Coder-V2-236B權重,一鍵部署成/v1/chat/completions兼容服務。用戶只要:
curl -X POST http://localhost:8000/v1/chat/completions \
-d '{"model":"qwen2.5-coder","messages":[{"role":"user","content":"修復這個PyTorch DataLoader內存泄漏"}]}'就能拿到帶`