让你的程序使用gui

Question

我想写一个程序，通过控制鼠标/键盘，能够“看到”屏幕上的内容，从而“使用”其他程序。在

我用AutoIt来做类似的事情，但有时我不得不作弊，因为语言没有那么强大，或者可能只是我很烂，我不能用它做那么多：p

所以。。。我需要：

• 截图，然后我会比较它们，使程序“明白”，但它需要“看”
• 使用鼠标：移动，点击和释放，很简单，不是吗？在
• 使用键盘：按一些键或组合键，包括特殊键，如Alt，Ctrl等。。。在

我如何在python中做到这一点呢？
它在linux和windows下都能工作吗？（这可能真的很酷，但没必要）

Answer 1

我在使用PyWinAuto完成类似任务时有一些运气。在

pywinauto is a set of python modules to automate the Microsoft Windows GUI. At it's simplest it allows you to send mouse and keyboard actions to windows dialogs and controls.

它还支持使用Python图像库PIL捕捉对话框的图像。在