SpatialGuide

O problema

Um projeto de curso (Projeto em Engenharia Informática, DETI-UA) com um objetivo ambicioso: um guia turístico que não se limitasse a mostrar texto num mapa, mas desse ao utilizador uma experiência imersiva de som — informação sobre pontos de interesse ouvida como se viesse mesmo do sítio onde está, guiando o turista pelo som e não só pelo ecrã.

A solução

Uma app Android que segue a localização do turista por GPS e reproduz áudio espacializado sobre cada ponto de interesse, usando a rotação da cabeça (auscultadores) para dar a ilusão de que o som vem da direção real do local. Um backend em Django gere rotas, pontos de interesse, imagens e ficheiros de áudio. Liderei o projeto e fui autor da aplicação Android, com uma equipa de 5 pessoas (Miguel Brás, Nuno Barbosa, Ricardo Pombeiro e Daniel Carvalho).

Stack e decisões

Google Resonance Audio para o motor de espacialização 3D do som — a peça técnica mais desafiante do projeto. Backend em Django + Django REST Framework para gerir rotas/pontos/media através de um admin simples que qualquer membro da equipa conseguia operar sem tocar em código.

Resultado

O trabalho foi convidado a ser apresentado no Encontro da Associação Portuguesa de Engenharia de Áudio (APEA, filial portuguesa da AES) em novembro de 2018 no Porto — validação externa de um projeto que começou como trabalho de curso.