Midscene.js是什么

Midscene.js是基于AI技术的自动化SDK，通过用大型语言模型（LLM）简化UI自动化测试中的命令。用户用自然语言描述交互步骤或预期数据格式，Midscene.js将执行相应的操作。Midscene.js支持执行动作、查询数据和页面断言，减少脚本维护成本，提供可视化报告。Midscene.js是一个开源项目，能在用户自己的环境下运行，确保数据安全。

Midscene.js的主要功能

自然语言交互：用户基于描述步骤执行一系列动作，如输入文本、点击按钮等。自定义数据查询：用户描述所需的JSON格式，Midscene.js将基于页面内容提取相应的数据。直观推断：用户对页面状态进行断言，确保UI符合预期。Chrome扩展：支持用户在任何网页上使用自然语言执行动作、查询和断言，无需编写代码。代码项目集成：与YAML脚本、Puppeteer和Playwright等工具集成，实现自动化测试。可视化报告：每次运行后提供可视化报告，包括动画回放和步骤详情，及一个测试环境供用户调整提示而无需重新运行脚本。

Midscene.js的技术原理

自然语言处理（NLP）：接收用户的自然语言输入，基于NLP技术解析指令。界面理解：模型分析网页内容，理解用户描述的界面元素和动作。执行动作：根据理解的结果，模型将执行相应的浏览器自动化操作，如模拟用户输入、点击等。数据提取：模型根据用户的查询请求，从网页中提取特定格式的数据。断言验证：模型检查页面状态是否符合用户的断言条件。

Midscene.js的项目地址

项目官网：midscenejs.comGitHub仓库：https://github.com/web-infra-dev/midscene

Midscene.js的应用场景

自动化测试场景：自动化执行测试用例，确保网站或应用的各个功能按预期工作。数据抓取场景：从网页中提取结构化数据，如商品信息，用在市场分析或库存管理。性能监控场景：模拟用户行为，监控网站性能，及时发现并解决性能瓶颈。界面一致性检查场景：证网站在不同设备和浏览器上的显示是否一致，保证用户体验。价格监控场景：定期检查商品价格，并在检测到价格变动时自动通知用户或系统。