Um misto de game, documentário audiovisual e aplicação web que acaba de ser lançado na internet, Pregoneros de Medellín permite que façamos passeios em estilo street view/POV pela segunda maior cidade da Colômbia, descobrindo pregões de rua tão numerosos quanto diversos – o que faz jus à musicalidade do povo que botou a cúmbia no mundo. Descobri esse projeto seguindo os passos de Thibault Durand, engenheiro egresso do Instituto Nacional de Ciências Aplicadas de Lion (INSA) que antes andou por Fortaleza, onde deixou como legado um sistema de mapa de ônibus que é uma verdadeira mão na roda.

Em Medelim, ele se uniu à jovem e premiada fotógrafa e realizadora audiovisual Ángela Carabalí para dirigir esse trabalho sobre vendedores ambulantes que usam a própria voz para anunciar coisas de comer pelas ruas da cidade. A tela inicial apresenta “um percurso virtual pelo universo laboral e pessoal daqueles que entenderam que o amor e os clientes são seduzidos pelo ouvido.” Bastante a ver com nossa pesquisa sobre o chegadinho, né?

Os pontos altos dessa realização são desenvolver um aplicativo de nova mídia orientado para a experiência acústica e mergulhar no social a partir do sonoro. Ela abre pelo menos dois níveis para o mundo particular dos apregoadores. O primeiro é o ponto de escuta/vista das ruas, uma animação que utiliza foto stitching e um desenho de som estereofônico que vai nos dando a impressão de nos aproximarmos ou nos distanciarmos das fontes sonoras, durante o percurso controlado pelo mouse. (Essa parte mais técnica será bem detalhada adiante.)

Indo da experiência mais interativa para a mídia mais tradicional, passamos do centro à periferia urbana.

Este slideshow necessita de JavaScript.

Para compor o resultado final, foram usados um Jeckling Disk entre dois microfones e uma câmera GroPro. Ao todo, foram 329 gravações diferentes, entre áudio e vídeo. A equipe levou cinco dias para cobrir mais de 80 trechos de rua da região nas imediações da Plaza Botero, Parque de las Luces e Parque Bolivar. No centro dessa área está a estação Parque Berrío, que recebe o maior número de usuários de todo o sistema do Metrô de Medellín.

A parte “game” é ter que achar nas ruas as aparições de cinco figuras ambulantes. Esse encontro destrava a exibição de documentários que nos levam ao segundo nível. A partir daí, esses vendedores se destacam do emaranhado polifônico do centro urbano e ouvimos um pouco mais da sua voz. Além de apregoar, também vão nos contar mais sobre o que os levou até ali: suas vidas, seu cotidiano, sua família.

Nessa mudança de uma experiência mais interativa para um formato de mídia mais tradicional, acabamos tendo acesso a outros espaços da cidade. É acompanhando os apregoadores até suas casas que passamos a ver a cidade a partir de suas margens, as partes altas de Medelim, para onde a cidade cresceu. Essa vista do alto e a partir da periferia é recorrente nos web-docs que encontramos pelo caminho, nos percursos centrais. A experiência se completa quando acaba a busca por cada parte das cinco mini-trilogias, uma para cada personagem ambulante.

Entre as iguarias que os protagonistas – La Jale, Pajarito, Gaucho, Líder e os garotos do grupo Papá Venegas – vendem pelas ruas da cidade, estão algumas curiosidades como a gelatina de pata, a mazamorra e o doce gaucho argentino, talvez mais comuns em países da América hispânica. Ainda comuns, há sempre o risco de algumas dessas comidas estarem em vias de desaparecer. Mais um ponto para Pregoneros de Medellín: o registro dessas práticas, importante até para entender alguns laços com outros espaços-tempos.

“Desde os primeiros dias em que estávamos pensando o web-doc Pregoneros de Medellín, queríamos realizar uma caminhada de rua virtual por causa do valor narrativo disso, não por extravagância”, explica Durant. “Nunca pensamos tanto em: ‘Como vai ser a experiência do usuário? Que tipo de interatividade podemos oferecer a eles?’ Nossa história era a experiência, e a experiência era a história. E a história de Pregoneros de Medellín é: passeie pela rua, curta a paisagem sonora urbana, seja surpreendido pelos apregoadores e conheça esses caras.”

“Queríamos realizar uma caminhada de rua virtual por causa do valor narrativo disso, não por extravagância.”

Thibault é um entusiasta de compartilhar como se faz as coisas: “sharing rocks!” Por isso ele deixou o código do trabalho à disposição e escreveu um post detalhando todo o processo criativo. Nele, comenta como, ao longo de dois anos, o projeto foi passando por pesquisas, experimentações, erros e acertos, até chegar ao modo como finalmente foi realizado.

Dá muita dica de aplicativos, explica por que web-documentário não pode ficar só na mão dos profissionais do audiovisual (a experiência do usuário fica capenga, por exemplo) e como fizeram para alcançar um vídeo linear, em que o espectador controla a velocidade da caminhada sem que a ideia de continuidade se perdesse.

Como é o que mais nos interessa, aí vai traduzida a parte em que o desenvolvedor fala especificamente do desenho de som!

Sound design

[por Thibault Durand]

O desenho de som é uma parte crucial do web-documentário. De fato, uma parte da promessa da experiência é: “curta a paisagem sonora urbana, seja surpreendido pelos vendedores”. Investimos muito tempo de pesquisa nisso.

Queríamos estar imersos nas ruas ao replicar, o melhor que podíamos, toda a diversidade de sons que existe no centro de Medelim. Outra parte fundamental do desenho de som é que ele dá a completa continuidade quando você troca de rua. Quando você está carregando uma rua nova, os sons se mantêm.

Tecnicamente, temos que confessar que não tínhamos a menor ideia de como fazer isso. Mal conhecíamos Web Audio API, estávamos apenas mexendo com uns protótipos. Rapidamente fizemos alguns, com dois ou três sons tocando em volumes diferentes, ajustando esses níveis dependendo da posição do scroll do usuário. Mas era coisa básica, e não sabíamos como dimensionar aquilo com mais sons e mais ruas (mais de 80).

Foi com esse princípio básico em mente que descobrimos esse projeto fantástico: Sounds of Street View. Os caras da Amplifon realmente fizeram um trabalho impressionante criando uma interface onde você pode adicionar som a uma caminhada em Google Street View. Vocês têm que dar uma olhada nesse projeto.

E o melhor é que é opensource, então escavamos o código e descobrimos que esses caras estavam usando as coordenadas de GPS para geoespacializar os sons e calcular a distância entre eles e a posição do usuário. Parece óbvio mas, até que tenha a ideia, você fica completamente no escuro.

Com esse conceito fundamental e mais uns outros vindo do Sounds of Street View, começamos a construir nosso próprio mecanismo para os sons e a pensar em como capturá-los nas ruas.

Depois de muita tentativa e erro, chegamos à conclusão de que haveria dois tipos de sons:

• Sons ambientais como no projeto Sounds of Street View, que entrariam em fade in/out, respeitando um fator 1 / distância;
• Sons pontuais que povoariam a cena e a tornariam mais real, entrando em fade in/out, respeitando um fator 1 / distância*distância.

Os sons ambientais nos dão a ambiência de background das ruas. Duram entre 1–2 min antes de entrar em loop. Exemplo:

Os sons pontuais nos dão detalhes: os pregões dos vendedores ambulantes, um músico tocando, o som de uma loja. São mais curtos (5–20 seg). Exemplo:

Gravando

A gravação sonora foi feita ao mesmo tempo que a do vídeo para garantir que o som ambiente se corresponderia com o que você vê na imagem. (Em alguns dias, poderia ter um monte de gente, carros, lojas abertas… e no dia seguinte, não.) Estávamos gravando primeiro com a GoPro e imediatamente depois capturando os sons das ruas. Para os sons ambientais, usamos um Jecklin Disk para gravar em estéreo. Gravávamos sons ambientais a cada meia hora, mais ou menos.

Os sons pontuais foram gravados em mono e, como veremos adiante, integrados ao ambiente por nosso programa de áudio.

Editor de áudio UI

Agora que tínhamos nossa metodologia, precisávamos construir um fluxo de trabalho para ser eficiente. Criamos uma interface por cima do web-documentário para que fôssemos capazes de desenhar facilmente o ambiente sonoro:

Por meio do editor de áudio você pode adicionar sons, arrastá-los e colá-los (drag&drop) para ajustar a posição deles, definir o nível de decibéis (DB), especificar um volume máximo, deixar um som solo, ou colocar todos os outros sons em mudo, além de escolher se esse é um som ambiente ou um som pontual – o que vai afetar a maneira como o volume será calculado de acordo com a distância do usuário até som.

Você pode ver esse editor em ação nesse screencast:

(TECH) Você pode olhar os arquivos Sound.js e Sounds.js no GitHub se quiser escavar o código. O algoritmo é bem simples:

• quando o usuário se move, chamamos a função updateSounds, que faz todos os sons das ruas entrarem em loop, e chama para cada som ativo a função updateSound;
• a função updateSound cuida de ajustar o volume, dependendo da posição do usuário na rua, e para os sons pontuais chamará o updatePan, que usa o método Web Audio API pos() para localizar o som à esquerda ou à direita na mixagem em estéreo.

No web-documentário todo, tivemos 329 gravações diferentes. Fizemos 5 dias de gravações no centro de Medellín para gravar tanto vídeo quanto áudio.

Para concluir essa parte do artigo, precisamos dizer que fizemos uma escolha de realização no desenho de som: nós enfatizamos os pregões dos vendedores no processo de sound design, para podermos focar a atenção do usuário neles. Mesmo que tenha contaminado um pouco todo o ambiente, queríamos cumprir com a promessa de primeiro encontrar os ambulantes por meio dos sons.

—

Leia o post completo.

Conheça o projeto Pregoneros de Medellín.

[Fotos: Henry Jimenez e Andrés Zea]