UI-TARS是字节跳动推出的新一代原生图形用户界面(GUI)代理模型,通过自然语言实现对桌面、移动设备和网页界面的自动化交互。具备强大的感知、推理、行动和记忆能力,能实时理解动态界面,通过多模态输入(如文本、图像)执行复杂的任务。 UI-TARS 的核心优势在于跨平台的标准化行动定义,支持桌面、移动和网页等多种环境。结合了快速直观反应和复杂任务规划的能力,支持多步推理、反思和错误纠正。还具备短期和长期记忆功能,能更好地适应动态任务需求。

UI-baidu09TARS – 字节跳动推出的开源原生 GUI 代理模型  第1张
(图片来源网络,侵删)
UI-baidu09TARS – 字节跳动推出的开源原生 GUI 代理模型  第2张
(图片来源网络,侵删)