Back to Projects
Unity XR Developer • Commercial Prototype
VR Language Café
VRVR: Meta Quest 3, Meta Quest 2PrototypePersonal
About the Project
Prototipo de práctica de idiomas VR para Meta Quest donde hablas con NPCs impulsados por IA en inglés y español usando Gemini y Google STT/TTS.
Key Contributions & Engineering Responsibilities
- Diseñé e implementé tubería completa de interacción: Voz a LLM a Habla.
- Me enfoqué en el flujo de interacción y robustez para conversaciones naturales.
- Ajusté el rendimiento para operación fluida en dispositivos Quest.
Engineering Impact & Measurable Outcomes
- Social VR language conversation prototype
- Spatial audio & voice prompt interaction
- Meta Quest VR hardware deployment
Género y jugabilidad: VR Language Café es una experiencia educativa experimental donde los jugadores entran a un café virtual y tienen conversaciones habladas con NPCs impulsados por IA para practicar inglés y español. Cada personaje reacciona a la entrada del jugador, creando un ambiente de baja presión para practicar hablar y escuchar.
Mis contribuciones: Diseñé e implementé la tubería completa de interacción en Meta Quest, integrando Gemini con servicios de voz-a-texto y texto-a-voz de Google. Enruté entrada de voz a texto, la envié al LLM, y reproduje respuestas con sincronización labial básica de avatar. Me enfoqué en flujo de interacción, UX y robustez del bucle de IA para que los usuarios pudieran mantener conversaciones naturales dentro de VR. Ajusté el prototipo para rendimiento fluido en Quest 2 y 3.
Technologies
UnityC#VRMeta QuestGoogle GeminiSpeech-to-Text
Categories
XRVREducationTraining