随着大语言模型（LLM）技术的突破，人工智能正从“语言专家”演变为具备行动能力的智能体。大语言模型驱动的图形用户界面（GUI）智能体革新了传统GUI的自动化方式，不再依赖脚本或规则，而是通过自然语言理解、屏幕解析和自主决策，高效、灵活地执行任务。本书系统介绍这一新兴领域的发展背景、核心技术与应用场景，涵盖GUI智能体的架构设计、数据采集，以及大行动模型（LAM）的构建、关键评估指标和应用，帮助读者掌握GUI智能体的完整方法论，并深入探讨GUI智能体当前面临的挑战与未来的发展趋势。 全书配有丰富的图示与实践案例，涵盖多种真实场景下的GUI智能体自动化方案，帮助读者轻松上手。针对研究人员与开发者，本书提供了示例代码与实践指南，从系统搭建到核心算法调参，都配有注释。对于希望提高企业自动化能力的工程师，也可借鉴书中切实可行的落地经验。针对复杂的跨平台操作或大规模界面测试，本书给出了行之有效的思路与实现路径，使GUI智能体自动化不再是遥不可及的概念。

第1部分：基础理论与背景
第1章 大语言模型驱动下的人机交互革命
1.1 人机交互演进简史
1.1.1 从CLI到GUI：易用性与效率的折中
1.1.2 GUI的优势与局限
1.2 大语言模型的发展与影响
1.2.1 大语言模型的关键特征
1.2.2 大语言模型驱动智能体的诞生
1.3 大语言模型驱动的GUI智能体的兴起
1.3.1 GUI智能体的定义和意义
1.3.2 关键技术和形成动因
1.3.3 研究现状和初步应用概览
1.4 与API-Only智能体的比较与互补
1.4.1 API-Only智能体：成熟度与早期优势
1.4.2 GUI智能体：多模态下的交互变革
1.4.3 关键差异与适用场景
1.4.4 融合趋势：混合式智能体的未来
1.5 本章小结
第2章 GUI自动化的发展之路
2.1 早期GUI自动化
2.1.1 传统GUI自动化方法概览
2.1.2 典型工具与软件
2.2 GUI自动化的智能之路
2.2.1 机器学习在GUI自动化中的作用
2.2.2 计算机视觉在GUI自动化中的作用
2.2.3 自然语言处理在GUI自动化中的作用
2.2.4 强化学习在GUI自动化中的独特优势
2.3 本章小结
第3章 大语言模型与通用智能体
3.1 大语言模型基础
3.1.1 预训练
3.1.2 微调
3.1.3 后训练
3.1.4 视觉与文本的融合
……
第2部分：核心技术与方法
第3部分：实践案例与应用
第4部分：未来展望与挑战
参考文献