Вобщем, появилась идея создать простого бота..
Бот представляет собой скрипт.. должен делать:
запуск нужной программы (проблем нет)
перевод мыши в нужные координаты и кликание.. - Xdotool может и то и другое. только нюансы есть, он не может послать клавишу в окно находящееся на другом рабстоле и являющееся неактивным. А так же передвигает мышь не в том окне а вообще, благо клик происходит там где необходимо.
Делать скрин либо окна приложения - в том же фоне, или фрагмент зданый координатами того же окна (лучший вариант)
visgrep анализирует скрин и выдает мне координаты нужных элементов для дальнейших манипуляций.

на сегодня я застраял в реализации передачи нажатий клавиатуры приложению, в неактивное окно. скриншот того самого окна (развернуто на весь экран на втором рабстоле). и какбы передвигать мышь в той же проге не трогая мышь реальную.

благодарю.

ЗЫ плохо пока знаю линух.. недавно я тут