【导读】跟着人工智能技能的快速成长，视觉检测技能于医疗康健范畴的运用愈来愈广泛。传统的目力检测需要专业医护职员操作，检测效率较低，且难以实现主动化。本项目基在米尔RK3576开发板，设计并实现了一套智能目力检测体系，旨于提供一种便捷、高效的目力检测方案。RK3576是一款高机能ARM架构的开发板，搭载瑞芯微处置惩罚器，具有强盛的AI推理能力，合适运行手势辨认、图象处置惩罚等AI使命。
1、项目配景与方针
实现主动目力检测：用户经由过程简朴的手势便可完成摆布眼的目力检测
AI手势辨认：使用MediaPipe实现精准的OK手势检测，作为启动测试的交互方式
智能化流程节制：主动辨认E字标的目的、判定测试成果、主动切换测试眼别
语音交互：集针言音播报功效，提供清楚的测试指引及成果反馈
2、体系功效设计
2.1 功效架构
体系架构图申明：
架构申明：
RK3576开发板: 焦点节制器，运行所有营业逻辑
视频播放模块: 利用GStreamer举行硬件解码播放指导视频
手势辨认模块: MediaPipe Hands检测OK手势作为启动旌旗灯号
间隔检测模块: 串口读取TOF传感器数据，检测用户间隔
语音播报模块: ES8388音频编解码，播报接待词及检测成果
UI显示模块: PySide6 Qt开发，HDMI输出到显示屏
数据流向：
摄像头收罗图象 → MediaPipe手势辨认 → 判定OK手势
TOF传感器检测间隔 → 串口通讯 → 判定间隔是否适合
随机天生E字标的目的 → 显示于屏幕上
用户手势 → 摄像头收罗 → 手势辨认 → 对于比判定
测试成果 → 语音播报 + 屏幕显示
2.2 焦点功效模块
2.3 测试流程
流程申明：
体系初始化 - 启动摄像头、手势辨认、间隔传感器、音频体系
播放指导视频 - 开机主动播放intro_guide.mp4先容利用要领
等候OK手势 - 视频竣事后显示提醒，用户做OK手势启动测试
右眼测试 - 随机显示E字标的目的，用户用手势回覆，3次测试后判定成果
左眼测试 - 主动切换到左手，反复右眼测试流程
显示成果 - 播报两侧目力成果，显示于屏幕上
等候从头测试 - 用户可再次做OK手势从头最先测试
3、硬件与电路申明
3.1 硬件清单
Intel RealSense D435 深度摄像头特色
本项目选用Intel RealSense D435深度摄像头作为视觉收罗装备，用在手势图象收罗。比拟平凡USB摄像头具备如下上风：
双流输出
同时撑持RGB彩色流及深度流
本项目利用RGB流(640x480)举行手势辨认
深度流可用在将来扩大（如手势支解）
高质量图象
RGB分辩率：1920x1080 @ 30fps
收罗分辩率：640x480 @ 15fps（用在手势辨认）
内置主动白均衡、主动暴光功效
合用在各类光照前提
即插即用
经由过程USB 3.0接口毗连
提供跨平台的librealsense SDK (pyrealsense2)
撑持Linux、Windows等操作体系
不变性强
工业级品质，不变性好
主动暴光及对于焦，顺应能力强
于繁杂情况下仍能正确辨认手势
易在集成
Python绑定撑持，易在开发
帧同步机制，确保数据一致性
及时性好，满意手势辨认需求
TOF激光测距模块特色
本项目选用TOF（Time of Flight）激光测距模块作为间隔检测装备，具备如下上风：
超宽测距规模
测距规模：2cm ~ 10m
笼罩从近到远的各类利用场景
高精度丈量
丈量精度：±1cm
分辩率高，可检测微小间隔变化
快速相应
相应时间： 100ms
及时检测用户间隔，合用在动态场景
抗滋扰能力强
不受光照变化影响
不受被测物体颜色及材质影响
低功耗
功耗低，发烧小
合适永劫间运行
3.2 硬件接线
RK3576开发板
│
├── USB3.0接口 ──── Intel RealSense D435 深度摄像头
│ │
├── 串口(UART) ───── TOF激光测距模块
│ │
├── I2S/PCM ──────── 音频编解码 (ES8388) ── 喇叭
│ │
└── HDMI ────────── 显示器 (HDMI OUT)
3.3 体系情况
操作体系: Buildroot Linux (ARM64)
Python版本: 3.10+
AI框架: MediaPipe (Google)
视觉库: Intel RealSense SDK (librealsense)
GUI框架: PySide6
多媒体: GStreamer + ALSA
音频格局: WAV (44.1kHz, 16bit, stereo)
4、要害技能申明
4.1 AI手势辨认
利用Google的MediaPipe框架举行手势辨认，重要特色：
模子: MediaPipe Hands (预练习模子)
输入: RGB图象 (640x480)
输出: 21个要害点坐标、手势分类
机能: 及时推理 (30fps)
4.1.1 MediaPipe Hands 21个要害点
MediaPipe Hands 模子输出21个手部要害点，编号从0到20：
8 12 16 20
│ │ │ │
▼ ▼ ▼ ▼
○───────────○───────────○───────────○ ← 食指、中指、无名指、小指
│ │ │ │
7 11 15 19
│ │ │ │
○───────────○───────────○───────────○
│ │ │ │
6 10 14 18
│ │ │ │
○───────────○───────────○───────────○
│ │ │ │
5 9 13 17
│ │
○───────────────────────○
│ │
4 13
│ │
○────┴───────────────────────┴────○
│ │
0 9
│ │
└────────────────────────────────┘
(手段)
要害点索引申明：
0: 手段
1-4: 拇指 (掌骨→近节指骨→远节指骨→指尖)
5-8: 食指
9-12: 中指
13-16: 无名指
17-20: 小指
