# 步驟一：導入必要函式庫

import mediapipe as mp

from mediapipe.tasks import python

from mediapipe.tasks.python import vision

# 步驟二：建立手部特徵點物件

# 載入手部特徵點偵測模型

base_options = python.BaseOptions(model_asset_path=’hand_landmarker.task’)

# 建立手部特徵點偵測基本參數

options = vision.HandLandmarkerOptions(base_options=base_options, num_hands=2)

# 建立手部特徵點偵測器

detector = vision.HandLandmarker.create_from_options(options)

# 步驟三：載入測試影像（可自行修改成待測試影像名稱）

image = mp.Image.create_from_file(“image.jpg”)

# 步驟四：偵測手部特徵點

detection_result = detector.detect(image)

# 步驟五：產生結果影像並顯示

# 將偵測到的結果（特徵點及連結線）繪製到新影像上

annotated_image = draw_landmarks_on_image(image.numpy_view(), detection_result)

# 顯示時需將色彩格式RGB轉回BGR才能正確顯示。

cv2_imshow(cv2.cvtColor(annotated_image, cv2.COLOR_RGB2BGR))

import pyautogui as ag

ag.PAUSE=3 # 延遲3秒，方便切換工作視窗

ag.position() # 讀取目前滑鼠游標位置並輸出

ag.moveTo(x,y,n) # 用n秒把滑鼠座標移到(x,y)位置

ag.click() # 模擬滑鼠點擊

# 按住滑鼠 key 再拖曳到座標 x,y 位置，key 可為滑鼠三個按鍵 ‘left’, ‘middle’, ‘right’

ag.dragTo(x, y, button=’key’)

# 模擬按下 key 鍵，如’1′, ‘k’, ‘f1’, ‘shift’ 等

# 更多按鍵（key）的名稱可參考 https://pyautogui.readthedocs.io/en/latest/keyboard.html#keyboard-keys

ag.keyDown(‘key’) # 按下 key

ag.keyUp(‘key’) # 放開 key

ag.press(‘key’) # 點擊 key, 包括 keyDown, keyUp

ag.press(‘key’, presses=n) # 按下 key n秒後再放開

# 同時按下 ctrl, shift, esc ，相當於執行下面六個動作

# ag.keyDown(‘ctrl’)

# ag.keyDown(‘shift’)

# ag.keyDown(‘esc’)

# ag.keyUp(‘esc’)

# ag.keyUp(‘shift’)

# ag.keyUp(‘ctrl’)

ag.hotkey(‘ctrl’, ‘shift’, ‘esc’)

1. 進入命令列模式 cmd，注意不要讓視窗最大化，可調整到畫面2/3大小大約置於螢幕中間即可。

2. 切換到想要工作的磁碟 x （依安裝磁碟決定）

x:

3. 啟動 Python 虛擬環境

mediapipe_env\Scripts\activate

4. 下載本範例並進入範例路徑

git clone –depth=1 https://github.com/OmniXRI/PPT_Gesture_Demo.git

cd PPT_Gesture_Demo

5. 開啟 PowerPoint 簡報並最大化

6. 執行範例程式，執行後游標會移到視窗最上方並點擊 PowerPoint 檔案並進入播放模式。而範例程式及視窗會自動移到背景執行（不可視）。

python ppt_gesture_demo.py

7. 當偵測到「打開手掌」動作就能自動播放下一頁。

8. 當欲結束控制時，點擊網路攝影機視窗後，再按「q」或「ESC」鍵即可離開程式

# ppt_gesture_demo.py

#

# 利用網路攝影機作為影像輸入裝置，並採用 MediaPipe 的手勢辨識套件來偵測控制播放的手勢，最後使用 PyAutoGUI 來控制滑鼠、鍵盤，取代簡報遙控器播放簡報。

# 作者：Jack OmniXRI, 2023/05/15

# 引入必要函式庫

import mediapipe as mp

from mediapipe.tasks import python

from mediapipe.tasks.python import vision

from mediapipe.framework.formats import landmark_pb2

from matplotlib import pyplot as plt

import cv2 # 引入 OpenCV 函式庫

import numpy # 引入numpy函式庫

import pyautogui as ag # 引入PyAutoGui函式庫

# 宣告繪製手勢相關物件

mp_hands = mp.solutions.hands

mp_drawing = mp.solutions.drawing_utils

mp_drawing_styles = mp.solutions.drawing_styles

# 定義顯示手勢及手部特徵點函式 display_gesture_and_hand_landmarks

# 輸入原始影像、手勢及手部特徵點資料

# 輸出繪製好手部特徵點及連結之影像及手勢名稱

def display_gesture_and_hand_landmarks(images, gestures, hand_landmarks):

image = images.numpy_view() # 將numpy格式影像轉回opencv格式影像

top_gestures = [gestures for gestures in gestures] # 取得手勢資料陣列

hand_landmarks_list = [hand_landmarks for hand_landmarks in hand_landmarks] # 取得手部21個特徵點資料

title = ” # 存放手勢名稱及置信度字串

gesture_name = ” #存放手勢名稱

# 若手勢內容不空則產生「手勢名稱加置信度」字串

if numpy.size(top_gestures) != 0:

gesture_name = top_gestures[0][0].category_name

gesture_score = top_gestures[0][0].score

title = f”{gesture_name}({gesture_score:.2f})”

annotated_image = image.copy() # 複製一份影像再開始繪製內容

# 若手部特徵點座標不空則繪製點及線於影像上

if numpy.size(hand_landmarks_list) != 0:

# 逐點繪製手部特徵點及連結線段

for hand_landmarks in hand_landmarks_list:

hand_landmarks_proto = landmark_pb2.NormalizedLandmarkList()

hand_landmarks_proto.landmark.extend([

landmark_pb2.NormalizedLandmark(x=landmark.x, y=landmark.y, z=landmark.z) for landmark in hand_landmarks

])

mp_drawing.draw_landmarks(

annotated_image,

hand_landmarks_proto,

mp_hands.HAND_CONNECTIONS,

mp_drawing_styles.get_default_hand_landmarks_style(),

mp_drawing_styles.get_default_hand_connections_style())

# 繪製手勢名稱及置信度字串到影像左上角

cv2.putText(annotated_image, f”{title}”,

(20, 30), cv2.FONT_HERSHEY_DUPLEX,

1, (0, 0, 255), 1, cv2.LINE_AA)

# 回傳結果影像及手勢名稱

return annotated_image, gesture_name

# 先開啟PowerPoint 並最大化等待啟動（F5鍵）及操作命令

# 令滑鼠移到PowerPoint視窗位置並點擊

ag.moveTo(960, 10, 1)

ag.click()

ag.press(‘f5′)

# 宣告手勢辨識器及初使化相關參數

base_options = python.BaseOptions(model_asset_path=’gesture_recognizer.task’)

options = vision.GestureRecognizerOptions(base_options=base_options)

recognizer = vision.GestureRecognizer.create_from_options(options)

# 開啟網路攝影機擷取影像

cap = cv2.VideoCapture(0)

# 開始連續取像並推論及控制簡報播放

while(True):

# 從網路攝影機擷取一張影像

ret, frame = cap.read()

# 轉換影像格式以滿足 MediaPipe

mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=frame)

# 進行手勢辨識並取得手勢及手部特徵資料

recognition_result = recognizer.recognize(mp_image)

top_gesture = recognition_result.gestures

hand_landmarks = recognition_result.hand_landmarks

# 呼叫顯示手勢及手部特徵點函式並取得結果影像及手勢名稱

annotated_image, gesture_name = display_gesture_and_hand_landmarks(mp_image, top_gesture, hand_landmarks)

cv2.imshow(‘frame’, annotated_image)

# 若偵測到「打開手掌」手勢則模擬「Page Down」按鍵按下，令簡報往下一頁播放。

# 模擬按鍵按下後，等待1秒，再繼續偵測手勢，以免重覆觸發。

# 這裡的手勢可換成其它手勢，如 “Closed_Fist”, “Open_Palm”, “Pointing_Up”, “Thumb_Down”, “Thumb_Up”, “Victory”等。

if gesture_name == “Open_Palm”:

ag.press(‘pagedown’)

ag.PAUSE = 1

# 當按下 q 或 ESC 鍵則離開迴圈

key = cv2.waitKey(1)

if key == ord(‘q’) or key == 27:

break

# 釋放網路攝影機

cap.release()

# 關閉所有 OpenCV 視窗

cv2.destroyAllWindows()