Portrait

李梓铭

美国罗切斯特理工学院（Rochester Institute of Technology，RIT）计算与信息科学博士生，主攻 VR 与 AI 相关的人机交互和无障碍技术研究。 导师是 Dr. Roshan L. Peiris。RIT CAIR 实验室与 AIR 实验室成员。 现居美国纽约州罗切斯特市。

邮件联系 GitHub 学术主页（英文）

最后更新 2025-12-29

研究方向
VR 虚拟现实人机交互，AI 大语言模型虚拟角色，VR 与 AI 无障碍技术
技术栈
Unity，C#，JavaScript，Node.js
求职意向
游戏设计、用户体验研究、VR 开发

参与项目

在杂货店场景中，具备环境感知的 AI 虚拟角色交互

具备虚拟环境与用户交互感知的生成式 AI 虚拟角色

科研项目。利用 AI 大语言模型虚拟角色感知场景布局，理解用户的交互与语音，生成与语境一致的实时对话与动作。用于 VR 虚拟现实中的角色模拟与训练。

主要贡献者VR大语言模型
使用 LLM 顾客虚拟角色在 VR 咖啡馆进行训练

面向工作沟通训练的 VR 虚拟现实生成式 AI 虚拟角色

科研项目。在 VR 虚拟现实中与 AI 大语言模型虚拟顾客进行角色扮演对话，同时提供网页端 CMS，便于职业教练通过文本提示编写训练情景。

主要贡献者VR大语言模型无障碍
Unity 中的声音可视化指示器

SoundVizVR：面向 VR 虚拟现实的可视化声音显示

科研项目。在 VR 虚拟现实中渲染声音指示器，帮助开发者设计开发对听障玩家友好的游戏。

主要贡献者Unity无障碍

RotateEntry：面向 3DoF VR 设备的控制器滚动文本输入方式

科研项目。通过控制器滚转来导航虚拟 QWERTY 键盘的文本输入方式，面向动作受限的 VR 虚拟现实使用场景。

主要贡献者VR交互技术

使用生成式 AI 进行无障碍颜色描述

个人项目。捕获屏幕颜色，并通过可配置的 AI 大语言模型生成自然语言描述。

主要贡献者ElectronJavaScript大语言模型
用于 VR 的头部触觉装置

SoundHapticVR：基于头部的触觉音频提示

科研项目。将虚拟现实空间音频转换为触觉震动，通过多通道转换器支持对空间音频的方向与环境感知。

VR触觉技术无障碍
手机与手表的 Haptic2FA 概念示意

盲人及低视力用户的双因素认证无障碍体验技术

科研项目。用独特的振动模式替代视觉验证码，使 2FA 在屏幕阅读器环境下依然私密且可用。

触觉技术无障碍
Haptic-Captioning 手腕设备与组件

通过振动反馈提供实时无障碍音频体验

科研项目。通过手腕上的振动反馈补全字幕/音频信息，在多人对话场景中提示说话者。

触觉技术无障碍
虚拟角色问答练习截图

用于公众演讲问答的 VR AI 智能体

科研项目。AI 大语言模型聊天机器人模拟公众演讲下的即兴问答，帮助降低焦虑并建立自信。

VR大语言模型
驾驶场景下单手手语输入的搭建

面向听障驾驶员的非接触式车机无障碍沟通

科研项目。探索非接触式车机交互中听障驾驶员使用单手手语与指拼的可行性。

无障碍驾驶模拟

游戏项目

牙刷转转

个人独立开发的休闲小游戏。

  • 职责 单人设计与开发
  • 规则 来回滑动用鼠标滚轮或触控板滚动牙刷，在牙膏掉落前获得更多分数。
  • 游玩 WebGL 版本

Pave the Way

类俄罗斯方块无尽跑酷策略游戏，填充道路让小机器人保持前进。

  • 职责 游戏主设计，关卡设计，视觉设计
  • 规则 填充器每次射击增加一个地面方块，消除器每次射击移除一个方块，机器人停止超过五秒则游戏结束。填充器无法在红色方块上添加方块。消除器无法移除红/蓝色方块。
  • 下载 Windows 版本
  • 设计文档 查看PDF
  • 页面 项目页面（英文）

Crazy Pete’s Space Deals

商业模拟游戏，扮演二手宇宙飞船经销商，理解顾客的喜好并最大化利润。

  • 职责 UI 与 UX 设计，游戏美术，Unity UI 实现
  • 规则 向虚拟角色强调卖点，用零食维持他们的耐心值，每次成交后学习更优定价
  • 下载 Windows 版本
  • 页面 项目页面（英文）

Paint War

2D 大乱斗多人对战，像素风与 8 bit 音乐。通过角色技能与道具喷涂领地。

Fix the Game

Global Game Jam 2020 作品。多人派对小游戏。在怪物攻击下修复被破坏的场景。

学术论文（精选）

  • 面向自闭症个体的虚拟现实生成式角色扮演沟通训练：职业培训项目中工作教练体验研究
    Generative Role-Play Communication Training in Virtual Reality for Autistic Individuals: A Study on Job Coach Experiences in Vocational Training Programs
    （第一作者）CHI 2025. 详情
  • 探索大语言模型驱动的智能体在虚拟现实角色扮演场景中的环境感知空间交互与对话
    Exploring Large Language Model-Driven Agents for Environment-Aware Spatial Interactions and Conversations in Virtual Reality Role-Play Scenarios
    （第一作者）IEEE VR 2025. 详情
  • 探索 SoundVizVR 插件开发无障碍声音的虚拟现实游戏：来自开发者与玩家的洞见
    Exploring the SoundVizVR Plugin in the Development of Sound-Accessible Virtual Reality Games: Insights from Game Developers and Players
    （第一作者）ACM TACCESS 2024. 详情 · 代码
  • SoundHapticVR：面向听障用户的虚拟现实无障碍声音头部空间触觉反馈
    SoundHapticVR: Head-Based Spatial Haptic Feedback for Accessible Sounds in Virtual Reality for Deaf and Hard of Hearing Users
    ASSETS 2024. 详情
  • Haptic2FA：基于触觉的盲人及低视力人群无障碍双因素认证
    Haptic2FA: Haptics-Based Accessible Two-Factor Authentication for Blind and Low Vision People
    PACMHCI. 详情
  • 探索在虚拟现实中使用大语言模型驱动的聊天机器人训练自闭症个体的工作沟通技能
    Exploring the Use of Large Language Model-Driven Chatbots in Virtual Reality to Train Autistic Individuals in Job Communication Skills
    （第一作者）CHI EA 2024. 详情
  • Haptic-Captioning：使用音频触觉接口增强实时字幕中的说话者提示
    Haptic-Captioning: Using Audio-Haptic Interfaces to Enhance Speaker Indication in Real-Time Captions for Deaf and Hard-of-Hearing Viewers
    CHI 2023. 详情
  • SoundVizVR：面向听障用户的虚拟现实无障碍声音指示器
    SoundVizVR: Sound Indicators for Accessible Sounds in Virtual Reality for Deaf or Hard-of-Hearing Users
    （第一作者）ASSETS 2022. 详情

更完整的作者与会议期刊列表请见 我的学术网站（英文）。

联系我

邮箱 zimingleee[at]gmail.com，学术主页（英文） liziming.com，GitHub Reedo0910，领英（英文） Ziming Li's LinkedIn