Python实现macOS中简单的自动操作

工作中有套系统有一项操作要进行反复的简单操作，基本就是按钮点击。最近在学习 python，就想着能不能写个脚本做这件事情。

基本思路就是利用 pyautogui 库识别屏幕中的按钮并进行一系列点击操作，因为个人知识薄弱，前前后后折腾好久，踩了好多坑，故特此记录。

其中最麻烦的就是关于要操作的应用窗口的激活。如果要操作的窗口没有获得焦点，则脚本无法进行点击操作。激活应用获得窗口焦点这些操作只能通过操作系统完成。对于 macOS，如下的代码可以实现：

from Cocoa import NSRunningApplication, NSApplicationActivateIgnoringOtherApps
#激活应用获取焦点,pid 为应用的进程编号
pid = 12505
app = NSRunningApplication.runningApplicationWithProcessIdentifier_(pid)
app.activateWithOptions_(NSApplicationActivateIgnoringOtherApps)

Cocoa 安装 pyobjc-framework-cocoa 包后可导入。pyobjc 是一个实现通过 python 调用 macOS API 的库。因为我对 macOS 下的开发完全不了解，所以看见这个库的时候基本是一头雾水。pyobjc 中的 API 和 macOS 中 Objective- C 的 API 基本一一对应。

解决了窗口焦点获得的问题，接下来另一个坑就是按钮查找定位的问题。

我有一个按钮，通过 pyautogui.locateCenterOnScreen(‘btn.png’)获得的结果是 (x=1947, y=1405)，然后我用该位置调用 pyautogui.click(x=1947, y=1405) 进行点击，发现鼠标已经超出了屏幕。

我的屏幕的分辨率是 2560 x 1600，但通过 pyautogui.size()获得的屏幕大小是 1440 x 900，通过 pyautogui.screenshot()截图整个屏幕获得的图像大小是 2880 x 1800。

结合按钮在屏幕中的大致位置，我发现 pyautogui.locateCenterOnScreen 调用时使用的屏幕大小是 2880 x 1800，而 pyautogui.click 调用时使用的屏幕大小是 1440 x 900。所以，要正确的点击按钮，就要对位置坐标进行换算：

location = pyautogui.locateCenterOnScreen('btn.png')
screen = pyautogui.size()
x = int(location.x * screen.width / 2880)
y = int(location.y * screen.height / 1800)
pyautogui.click(x=x, y=y)

这样就能点击按钮正确的位置了，剩下的就是用 pyautogui 库进行的常规的操作。

使用 pyautogui 的麻烦的一点就是每个按钮要单独截图，而且还要保证应用窗口和截图时的大小一致，从而可以识别出按钮的位置。尝试过使用 ocr 技术直接通过按钮的文本信息识别按钮位置后进行操作，通过几天的尝试，始终没有找到有效的方法。如果有对这方面了解的朋友，请不吝赐教。

以上就是我学习 python 中的一次应用记录。