7th International Conference on

Digital Arts

Jos Bidarra, Teresa Ea, Mrian Tavares, Rosangella Leote,

Lucia Pimentel, Elizabeth Carvalho, Mauro Figueiredo (Eds.)

March 1920, 2015

bidos, Portugal

c
Copyrigth 2015
by Artech-International

All rigths reserved. No part of this book may be reproduced or transmitted in any means, electronic or mechanical, including photocopying, recording or by any information storage and retrieval system, without permission in writing from the publisher.

Published by Artech-International.

Proceedings of 7th International Conference on Digital Arts

Editors: Jos Bidarra, Teresa Ea, Mrian Tavares, Rosangella Leote, Lucia Pimentel, Elizabeth
Carvalho, Mauro Figueiredo

ISBN: 978-989-99370-0-0

Composition, pagination and graphical organization: Jos Incio Rodrigues, Mauro Figueiredo

Cover design by Flatland

7th International Conference on

Digital Arts
March 1920, 2015
bidos, Portugal

International Scientific and Art Committee Chairs

Jos Bidarra, DCeT, Univ. Aberta, Co-President (PT)
Teresa Ea, I2ADS, Univ. do Porto, Co-president (PT)
Mrian Tavares, FCHS, Univ. Algarve, Vice-president (PT)
Rosangella Leote, UNESP, Vice-president (BR)
Lucia Pimentel, UFMG, Vice-president (BR)

Steering Committee
Adrito Marcos, Chairman, DCeT-Univ. Aberta (PT)
lvaro Barbosa, EA-UCP (PT)
Christa Sommerer, K.U. Linz (AT)
Henrique Silva, Bienal de Cerveira (PT)
Lola Dopico, FBA-Univ. Vigo (ES)
Nuno Correia, DIFCT-UNL (PT)
Seamus Ross, Univ. Toronto (CA)

Organizing Committee Chairs

Elizabeth Carvalho, Chairman, Univ. Aberta (PT)
Mauro Figueiredo, Co-chairman, Univ. Algarve (PT)

Local Organizing Committee

Jos Coelho, Univ. Aberta (PT)
Amlcar Martins, Univ. Aberta (PT)

Secretariat
Isa Mestre, Univ. Algarve (PT)

International Program Committee Members

Adrito Marcos, Univ. Aberta (PT)
Alexandre Barata, Univ. Algarve (PT)
lvaro Barbosa, Univ. Saint Joseph, Macau (CN)
Amlcar Cardoso, Univ. Coimbra (PT)
Amlcar Martins, Univ. Aberta (PT)
Ana Amlia Carvalho, Univ. Coimbra (PT)
Ana Paula Cludio, Univ. Lisboa (PT)
Antnio Sousa Dias, CICM Paris 8 (FR)
Beatriz Carmo, Univ. Lisboa (PT)
Bruno Silva, Univ. Algarve (PT)
Christina Rizzi, USP (BR)
Donizetti Louro, IMA S. Paulo (BR)
Elizabeth Carvalho, Univ. Aberta (PT)
Gavin Perrin, Univ. Technology, Sydney (AU)
Gilbertto Prado, Univ. S. Paulo (BR)
Heitor Alvelos, FBA-UP (PT)
Henrique Silva, Escola Superior Gallaecia (PT)
Ido Iurgel, Univ. of Applied Sciences Rhine-Waal (DE)
James Faure-Walker, Univ. of Arts Camberwell (UK)
Jon McCormack, Univ. Monash (AU)
Jos Bidarra, Univ. Aberta (PT)
Jos Coelho, Univ. Aberta (PT)
Karla Schuch Brunet, UFBA (BR)
Leonel Morgado, UTAD (PT)
Licnio Roque, Univ. Coimbra (PT)
Lucia Pimentel, UFMG (BR)
Ludmila Pimentel, Univ. Federal da Bahia (BR)
Lus Carlos Petry, PUC-SP (BR)
Mauro Figueiredo, UAlg-ISE (PT)
N Barros, Balleteatro, Grupo Aesthetics, Politics & Arts /IF/ULP (PT)
Nelson Zagalo, ICS-Univ. Minho (PT)
Nuno Correia, DI-FCT-Univ. Nova Lisboa (PT)
Nuno Escudeiro, ISEP (PT)
Patrcia Gouveia, NUC (PT)
Paula Escudeiro, ISEP (PT)
Paulo Bernardino Bastos, DCA-Univ. Aveiro (PT)
Paulo Urbano, Univ. Lisboa (PT)
Pavel Smetana, CIANT (CZ)
Pedro Faria Lopes, ISCTE (PT)
Penousal Machado, DEI-Univ. Coimbra (PT)
Perla Innocenti, HATII-Univ. Glasgow, (UK)
Rosangella Leote, IA/UNESP (BR)
Sol Alonso Romera, Univ. Vigo (ES)
Teresa Chambel, FC Univ. Lisboa (PT)
Teresa Ea, I2ADS, Univ. Porto (PT)
Teresa Romo, UNL (PT)
Valentina Nisi, Univ. Madeira (PT)
Vitor Cardoso, Univ. Aberta (PT)
Vitor-Reia Baptista, Univ. Algarve (PT)
Organized by
Artech-International
Universidade Aberta
Centro de Investigao em Artes e Comunicao - Universidade do Algarve
Cmara Municipal de bidos
Main sponsorship by
Artech-International

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

Preface

Welcome to ARTECH 2015 - the Seventh International Conference on Digital Arts - this time
hosted by Universidade Aberta in the ancient village of bidos, Portugal.
The main goal of the conference is to promote the interest in the current digital culture and its
intersection with art and technology as an important research field, and also to create a common
space for discussion and exchange of new experiences. Seeking to foster greater understanding
about digital arts and culture across a wide spectrum of cultural, disciplinary, and professional
practices, To this end, many scholars, teachers, researchers, artists, computer professionals, and
others who are working within the broadly defined areas of digital arts, culture and education
across the world, submitted their innovative work to the conference.
This edition of the ARTECH conference series is dedicated to the "creation of digital e-motions",
considering this one of the greatest technological challenges that faces digital artists. How to
make people smile? How to trigger positive thought? What artefacts bring about strong emotions? But the theme also brings with it the idea of "motion", as in movement and mobility
enabled by digital technology, something that now becomes a paramount concept for engineers,
scientists, philosophers and artists. So this conference is a meeting point for new ideas and will
point to a future of new prospects and new interpretations in the arts. For example, this edition
of the conference also includes generative art, data visualization, digital preservation, sound and
immersive art, urban spaces, tangible and gesture interfaces, the latter accommodating mobile
technologies such as smartphones and tablets that have become widespread creation instruments. What techniques will dominate the future digital arts? What happens when anyone in
the street has access to the tools of creation? How will digital art be preserved and shared in the
future? These are questions that still puzzle us...
Being part of a Conference like this is both a great honour and an enormous responsibility for us.
We want to at least match the success of previous editions of ARTECH. And we can express nothing more than gratitude for the high quality of the work submitted and the interest that the call
for contributions has produced in the community. We have received submissions from 13 countries that were peer reviewed by the Scientific and Art Committee, and which resulted in high
quality contributions presented at the conference, showing the great interest of the community
in the ARTECH Conference Series. Authors contributions also include many art installations
showing in bidos, a key component in ARTECH Conferences, fostering interaction with digital art technology and among participants. Moreover, we have invited three highly remarkable
invited keynote speakers from academia. The conference also features tutorials and workshops,
in a pre-conference day, contributing to provide more opportunities for sharing knowledge and
experiences in the field.
The ARTECH 2015 book of proceedings is a comprehensive collection of papers that present
current research and perspectives, and future trends, in digital arts, encompassing the foundations, technologies, applications, and emerging elements of this exciting field, from researchers
and experts in the field, corresponding to the authors? contributions to the conference. These
are organized in the categories of: invited keynote talks, full papers, short papers, posters, art
installations, and tutorials. Papers cover a wide range of topics reflected in the sessions they
7th International Conference on Digital Arts ARTECH 2015

are presented at the conference: Art and Science Theory, Audio-Visual and Multimedia Design,
Creativity Theory, Design and Visualization, Digital Storytelling, Digital Technologies and Making, e-Learning in Art and Media Studies, Electronic Music, Generative and Algorithmic Art &
Design, Immersive Art, Interactive Systems for Artistic Applications, Media Art History, Mobile
Multimedia, Web Art and Digital Culture, Digital Media, Apps and eBooks, Digital Preservation, Parametric Design, Tangible and Gesture Interfaces Technology in Art Education, Virtual
Reality and Augmented Reality, 3D Environments.
The organization of ARTECH 2015 is a team effort. We are very grateful to the members of the
organization and secretariat for all the help in managing the different aspects of the conference.
We would like to thank the authors for their individual contributions, and the members of the
International Scientific and Art Committee for their help in the review process, keynote speakers and Steering Committee of ARTECH, all helping to make the conference a credible success.
We are also thankful to the sponsors of the conference for their kind support, and to all other
supporting and endorsing institutions. The municipality of bidos, the CIAC and CIMA research
centres, the University of Algarve, So Jos University, and ARTECH International, all deserve
our sincere recognition for their support throughout this long venture.
We are sure ARTECH 2015 will be an excellent occasion for artists and researchers from around
the world to come together and share their work. So we wish you a great time and a very satisfying experience.

International Scientific and Art Committee Chairs

Jos Bidarra
Teresa Ea
Mrian Tavares
Rosangella Leote
Lucia Pimentel

Organizing Committee Chairs

Elizabeth Carvalho
Mauro Figueiredo

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

Acknowledgements

We would like to thank our sponsors for their invaluable support.

7th International Conference on Digital Arts ARTECH 2015

vii

Contents

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix

Full papers
A instalao sonora como espao de arte plural: a eletrnica ao servio da
determinao das obras Tonnetz 09-B (2010) e A Dama e o Unicrnio (2013) de
Antnio de Sousa Dias
H. Santana and M. Santana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Abordagens da neurocincia sobre a percepo da obra de arte

R. Leote, H. Oliveira and D. Barana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Aesthetic Composition Indicator based-on Image Complexity
A. Carballal, L. Castro, J. Romero and R. Prez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History
J. Gomes, M. Figueiredo, L. Amante and C. Gomes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Augmented Reality Sculpture Bases for Public Space
P. Campos, M. Gaspar, and A. Mateus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
"Deliberator": reflexes poticas sobre o universo da impresso 3D
S. Nunes and F. Nunes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Design of a Transmedia Project Targeted to Language Learning
P. Rodrigues and J. Bidarra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Digital Art - Themes and Principles for Engagement
J. Knight . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Drawing Out Movement
G. Perin and C. Bowman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
eExperimentar: uma aplicao web de suporte experimentao artstica visual
baseada na estilizao de imagens
R. Quintas, M. Teixeira and A. Marcos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
Experimentando a criao de videoarte fractal
A. Domingos and A. Marcos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Generative Design and Information Visualization
A. Curralo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

Contents

How to do it? Desafios para a crtica de arte on-line

M. Bulhes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y
dispositivos en el arte y la cartografa.
M. Zerbarini, C. Ferrari, D. Olmedo and C. Tejada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Media Art in the Age of Digital Production: Digital Identities
S. Nam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Meio Expositivo: Espao em construo pela Realidade Aumentada
G. Casimiro and L. Neto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
Narcisos Digitais, um potencial no contexto da inteligncia coletiva
R. Eler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
O Jogo do Espectacular
T. Assis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Projeto "Flappy Crab": um jogo educacional para o ensino da Msica
C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
Serious gaming: how gamers are solving real world problems
P. Gouveia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Sistemas de Realidade Aumentada como Ambientes para a Dana: Anlise de dois
Experimentos
M. Misi and C. Heijens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Subverso e Falsa Interface como Potica na Arte Interativa
M. Sogabe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Transforming pixel hierarchies: the new materiality of the city image
L. Matthews and G. Perin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle
Choinire
L. Pimentel and I. Rgo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Vdeo-instalao para a Interpretao de Tradies Regionais
A. Brito, R. Leito, J. Rodrigues and A. Marcos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

Short papers
A Kinect Game in the VirtualSign Project: Training and Learning with Gestures
P. Escudeiro, N. Escudeiro, R. Reis, A. Baltazar, P. Rodrigues, J. Lopes, M.
Norberto, M. Barbosa and J. Bidarra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
A Narrativa Transmedia em Contexto Extracurricular
A. Marques and N. Zagalo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

7th International Conference on Digital Arts ARTECH 2015

Contents

xi

Considerando o docu-game como modelo de representao do patrimnio cultural

imaterial
M. Dominguez, F. Paulino and B. Silva . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
Cubesic: um controlador para iTunes baseado no cubo de Rubick
R. Gradim and J. Cardoso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Curating Digital Media: PRESENSE
V. Metello and R. Quintas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Early prototyping for prospective memory, behavior change and self-biography
S. Torsi and F. Giunchiglia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Guidelines for Best Practice of Augmented Reality in Websites Emphasizing
Usability
A. Souza, J. Marar and L. Paschoarelli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
New Sensual Experiences of Embodiment in Dance: An Interface between
Merleau-Ponty and Gretchen Schiller concepts
L. Pimentel and M. Misi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Proyeccin multimedia mural en el espacio pblico: la difusin y formacin a partir
de la urbe
H. Urrutia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Realidade Aumentada e Transmedia Storytelling em Museus e Patrimnio Cultural:
Artefacto Digital I-Lugar
F. Guimares, M. Figueiredo and J. Rodrigues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
Sentience and Information Encountering in the Digital Medium
R. Melo and M. Carvalhais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
ZatLab: Gesture Recognition Framework for Artistic Performance Interaction Overview
A. Baltazar and L. Martins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

Art Installations Proposals

As guas o mar e o oceano
L. Salles, A. Burlamaqui and G. Gagliano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
As Entrelinhas Poticas em bidos
E. Lago . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
ComPassos com histrias
I. Carvalho, J. Bidarra and M. Figueiredo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
Demora-te: Instalao sobre os txteis tradicionais
S. Pereira . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
Entrapment plasticity of the infinity sea
K. Brunet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
7th International Conference on Digital Arts ARTECH 2015

xii

Contents

PRSENCE n.1 - Escultura Sonora Interativa

R. Quintas, A. Marcos and M. Tavares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi
A. Capssa and G. Casimiro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
Selfie Museum
S. Eliseu and P. Bastos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
Sopro
F. Fogliano, M. Sogabe, F. Nunes, A. Valente, A. Saggese, S. Braz, C. Peres, C.
Gazana and L. Costa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
Tempus: Interface dinmica em corpo Biociberntico
T. Barradas, J. Coelho and M. Tavares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
uTurn
A. Carvalho, I. Carvalho and J. Pinheiro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

7th International Conference on Digital Arts ARTECH 2015

Full Papers

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

A instalao sonora como espao de arte plural: a eletrnica

ao servio da determinao das obras Tonnetz 09-B (2010) e A
Dama e o Unicrnio (2013) de Antnio de Sousa Dias
Helena Maria da Silva Santana e Maria do Rosrio da Silva Santana
Universidade de Aveiro, Campus Universitrio de Santiago, 3810-193 Aveiro; Portugal
Instituto Politcnico da Guarda, Av. Francisco S Carneiro n 50, 6300-559 Guarda; Portugal
Abstract because it has been fruitful the
interaction that occurs between Antnio de Sousa Dias and
many other artists, we decide to dedicate our attention to
two musical works of this composer. We note that his uses
predominantly sounds and processes of electronic and
electroacoustic music. This kind of sounds occurs also in
the case of interactive multimedia installations, a new kind
of artistic project that Sousa Dias creates in recent years.
Thus we analyse the works Tonnetz 09-B (2010) and The
Lady and the Unicorn (2013). Through them, we want to
see how the content manifests in these two art spaces are
mutually manipulated, featuring technical and stylistically
the work of the composer.
Index Terms - Antnio de Sousa Dias, Electronic and
electroacoustic music, Interactive multimedia installation
The Lady and the Unicorn, Tonnetz 09-B.

I. INTRODUO
A coexistncia em palco de diferentes formas de
expresso artstica alarga os horizontes da criao
levando vrios autores a realizar e conceber espetculos
multimdia e interativos onde se congregam e interagem
vrios elementos provenientes de mundos heterogneos
e aparentemente incoerentes. O desenvolvimento do
Happening, no incio dos anos 60, anuncia uma arte.
Vanguardistas com uma enorme vontade de provocar e
de transformar radicalmente a sociedade, reduzem a
separao existente entre a arte e a vida, mostrando que
da vida se faz arte. Inventado por Allan Kaprow no final
dos anos 50, o Happening favorece a criatividade,
privilegiando o gesto num esquema elementar que
regula a sucesso dos diferentes elementos que o
constituem e lhe do forma. O gesto e a gestualidade
performativos determinando-se essenciais na definio
dos contedos materiais e imateriais da arte,
nomeadamente a musical, ao longo do sculo XX e
incio do XXI. Resultando numa forma subversiva de
teatro, o Happening e mais tarde a Performance,
revelam-se uma forma de expresso que apresenta
inmeros pontos de contacto com a vida, centrando a
sua ateno no indivduo. Neles, as diferentes artes,
meios de produo artstica, criadores e objetos
artsticos, interagem de forma a conceber um produto
artstico diverso do usual. Vrios autores, entre os quais
Marcel Duchamp provam, utilizando o Happening e
7th International Conference on Digital Arts ARTECH 2015

elementos do quotidiano, que a arte um fenmeno de

linguagem e a esttica, a moralidade dessa linguagem.
As consequncias do seu gesto, do seu pensamento
foram enormes devido dimenso moral da ruptura
proposta. Pondo em questo os meios e os fins de uma
linguagem, o destino do artista e do criador e o seu
papel na sociedade e no mundo, Duchamp define um
percurso e um sentido novo para a arte [1].
Simultaneamente, podemos afirmar que o homem,
enquanto criador, representa um mundo interno produto
de uma educao e interao com o meio. Assim sendo
no fica indiferente s evolues cientficas e
tecnolgicas que se processo tendendo a integra-las no
processo de criao quer ao nvel da composio como
da interpretao e fruio da sua obra. Fruto de uma
sociedade em transformao, o homem representa essa
mesma sociedade atravs da obra feita, uma obra
representativa e reflexo da sua viso e vivncia nesse
mesmo mundo. Essa representao, mais ou menos
ousada, revela-se um reflexo tambm de quem cria. A
obra de arte adquire assim diferentes rostos, evoluindo
numa multiplicidade de formas e conceitos, muitos
deles, ainda hoje, por explorar. A diversidade de
caminhos propostos no sculo XX e incio do sculo
XXI refletem a diversidade cultural e racial de uma
sociedade que tenta responder a questes fundamentais
que se poem ao ser humano desde todo o sempre. O
criador, um investigador, tenta atravs da procura
incessante de novos caminhos, conduzir o homem e a
criao para outros nveis de entendimento,
conhecimento e existncia. A ns, cabe-nos a misso, se
assim o entendermos, de entrar nesses mundos, seguir,
explorar e investigar os novos universos de som,
deixando-nos invadir por realidades sonoras e artsticas
que nos transformam, de forma mais ou menos marcada,
depois de imergirmos e emergirmos desse oceano de
sons [1].
A obra, vivendo ainda do, e para o espao, potencia
novas formas de vivificar a Arte. A instalao,
integrando por vezes o espectador enquanto elemento
definidor das suas estruturas discursivas e conceptuais,
diversifica a aproximao e a integrao de um
patrimnio cultural e artstico diverso e pluridisciplinar,
um patrimnio que, potenciando a arte, dignifica uma

H. Santana and M. Santana / A instalao sonora como espao de arte plural

ao que se revela no s performativa, como

igualmente educativa. Assim, um novo patrimnio
artstico e cultural se desenvolve, sendo que, na sua
forma e contedo, surge como paradigma de novos
ideais de arte e criao.
Interagindo de forma direta com o meio, a arte,
atravs da instalao (sonora e visual; interativa, ou
no), diversifica-se nesse mesmo meio adquirindo e
redimensionando as suas inmeras valncias. O homem,
potenciando a estrutura fsica das salas e dos espaos de
fruio da arte, faz, obrigatoriamente, uma nova leitura
e utilizao dos espaos envolventes e, tambm,
emergentes1. A componente sonora e visual presente em
muitos espaos de arte, nomeadamente em Tonnetz 09-B
(2010) e A Dama e o Unicrnio (2013) do compositor
portugus Antnio de Sousa Dias, redimensiona esse
mesmo espao atirando a ateno do espectador no s
para as estruturas discursivas do objeto de arte, como
para o espao envolvente. A forma fsica desse espao,
bem como a maneira como este apreendido aquando
da fruio do espao de arte, condiciona a forma de
propagao e percepo dos seus materiais e das suas
diferentes nuances a nvel tanto composicional, como
discursivo, criativo e artstico. Neste sentido, surgem
diversos graus de aproximao obra de arte,
consequncia no s do espao fsico onde se localiza a
obra de arte, mas tambm da capacidade de interao
dos seus interlocutores; a arte determinando objetos
sociais e de sociabilidade humana; o som determinandose imagem. O pblico, usufruindo da obra e do espao
de arte, reage aos diversos contedos de forma
sequencial ou simultnea integrando-se neles, e na obra,
que se desenvolve no espao e no tempo das suas
formas, dimenses e espaos de arte.
II. INSTALAO SONORA
Ao longo do sculo vinte reconhecemos trs grandes
eixos criativos que exploram diversas formas de fazer e
dimensionar o objeto de arte. Por um lado encontramos
aqueles autores que procuram conciliar a arte com a
1 Neste sentido gostaramos de referir o espao da cidade enquanto
elemento fsico e material, bem como elemento delineador e
constituinte da obra de arte. A cidade desconstri-se, construindo-se
outra no decorrer de uma ao performativa e artstica. A cidade
enquanto multido, transforma-se de ser passivo e aptico em ser
ativo, delineador e criador de novos smbolos, estabelecendo um
dilogo onde o espectador interage com a arte e os espaos de arte.
Esta interveno quer ateno, objectivo e sensibilidade voltados para
o que a cidade, o que esta representa, cria, desenvolve e dissolve
enquanto objecto material e sobretudo imaterial. Notamos que a
cidade enquanto tela se recria continuamente, sendo que A cidade,
com seus cartazes, placas de trnsito, fachadas de lojas e outdoors,
transforma-se e renova-se, ento, como lugar de troca simblica [2].
Nela surge a arte, refletindo-se espao de arte. Nela, a relao entre
espao e lugar ganha centralidade, na medida em que a cidade, no
exato momento dessas experincias fugazes, se constitui um lugar
atravessado por dois tipos de espao que so: o espao fsico e o
espao virtual. [3] No se determinar assim tambm um espao de
fruio de arte menor? No procedemos assim numa galeria, num
caf-concerto, num auditrio, etc?

tecnologia, a informtica e a vida. Por outro, aqueles

que exploram o universo resultante do uso de uma
tcnica e uma esttica que se desenvolve a partir da
corrente futurista de incio do sculo XX. Por ltimo,
encontramos um eixo produtor de estruturas em
movimento onde se procura a luz e a energia imaterial,
elementos difundidos e projetados por esses mesmos
espaos de arte. Representado pelos autores que
compem o Groupe de Recherche dArt Visuel
(Horacio Garcia Rossi, Julio Le Parc, Franois
Morellet, Francisco Sobrino, entre outros), concebem
em conjunto com a criao musical, a instalao
sonora. Assim, a instalao sonora, nomeadamente a
instalao sonora interativa, um espao ou um objecto
de arte que rene em si mesma diversas formas de arte.
Simultaneamente, a concepo de uma arquitetura, bem
como dos objetos de arte que potenciam o objecto
arquitetural, constitui um desafio maior para todo o
criador (A Dama e o Unicrnio). Enquanto
catalisadores dos elementos visuais e sonoros, a
arquitetura e os espaos fsicos, permitem o gozo
controlado do objecto de arte que, inserido, reavaliado
e redimensionado luz do espao arquitetural, reflete,
muitas vezes, o objeto que redimensiona 2.
Potenciando os espaos fsicos onde se inserem, as
instalaes sonoras (interativas ou no) sobrepem
vrias realidades sonoras e visuais. Diversos factores
interagem no momento da sua concepo e criao
englobando um conjunto de materiais, dados, conceitos
e funes que se caracterizam por uma
interdisciplinaridade e multiculturalidade assinaladas.
A comunicao e fruio da obra permitem a interao
com o pblico que existe nela, e para ela, agindo e
reagindo por ela. Por outro lado, a partir do momento
em que reconhecemos o espao atravs da audio,
compreendemos o grau de importncia que a acstica
tem nos espaos e de que forma podemos identificar
um lugar pelo seu som, ou seja, a forma e o volume de
um espao constitui uma fronteira para o som, e a
matria delimitando o espao, reflete-o ou absorve-o,
conduzindo a novas formas que proporcionam novas
audies e, no caso da componente visual, novas
imagens (Tonnetz 09-B).
Simultaneamente, o movimento e o corpo foram dos
primeiros factores a contribuir diretamente para a
instalao sonora. Em 1971, em Los Angeles, na
exposio Arte e Tecnologia, os artistas consumaram
uma viragem na arte mundial. O perodo do artista
engenheiro tinha chegado ao fim. Todavia, persistiam
alguns artistas que, embora influenciados pela
2
Uno, total e sublime, o objeto de arte, neste caso as obras
Tonnetz 09-B e A Dama e o Unicrnio de Antnio de Sousa Dias,
traduzem a grandiosidade de um pensamento formatado unicamente
pelos limites da imaginao. Determinando-se em diversas obras
chave de uma arte do espao e do tempo, onde o tempo rege e se
submete ao espao, onde o espao ordenado para revitalizar o
tempo, nestas obras, espao e tempo confrontam-se e unem-se numa
coreografia prpria.

7th International Conference on Digital Arts ARTECH 2015

H. Santana and M. Santana / A instalao sonora como espao de arte plural

para instrumentos tradicionais, msica eletrnica,

eletroacstica ou mista, bem como a msica para filme,
documentrio ou animao. A sua produo engloba
ainda a Performance e o Teatro Musical. Neste
contexto comps em 1989 Estilhaos, em 1996 Rumor
e mais recentemente, em 1998 h dois ou, um
espetculo imaginado e concebido por Antnio de
Sousa Dias para movimento, voz, piano, contrabaixo,
percusso e desenho de luzes. A obra, concebida sobre
textos e obras do compositor, de Constana Capdeville,
Antnio Lopes-Graa, Jorge Peixinho, Luciano Berio,
Antnio Macedo, Fernando Pessoa, Breyner Andresen,
Almada Negreiros, entre outros, pretende ser um
tributo aos oceanos e gua4. Como nos afirma o autor,
A gua como conceito uma, mas por vezes referimonos a diferentes guas. Esta apresenta-se em vrios
estados. Mesmo a sua condio de nica, torna-se dois
ao pensarmos que basicamente se constitui de
Hidrognio e Oxignio, mas estes elementos esto em
quantidade de trs. Do ponto de vista da criao,
tambm no me parece uma questo pacfica. Ao
transpormos a relao sujeito-objeto para o domnio
criador-obra, estes, em certo momento nos parecem
indissociveis mas, logo a seguir, e sobretudo no caso
de msica, surge um terceiro, o executante. Mesmo
pensando que aqui h dois (compositor e executante), o
circuito no se completaria sem o ouvinte... Esta
relao um para/de dois para/de vrios (ou mesmo
nenhum) encontramo-la tambm na ideia de
heternimos, ou na ideia de verso de obra: h duas
ou... Encontramo-la tambm nas ideias de espelho (h
dois ou...), proporo, ritmo, dia-a-dia, na tela ou
videoconferncia, na internet, nos canais de televiso, e
assim por diante. Assim se integra ...h dois ou...
nesta cultura do dois-em-um, de um permanente vai-evem entre global e local, uno e mltiplo, neste
permanente zapping. De uma forma divertida, um
convite a que tambm se coloque a questo: no fim de
contas quem telecomanda quem ou... o qu? Afinal...
h dois ou... [4] Esta interao constante entre as
diferentes reas do saber e do fazer artstico, bem como
a interao entre diversos atores e autores para produzir
obra ser constante ao longo da sua produo.

tecnologia, movimentos e novos materiais, no aderiram

diretamente ao vdeo criando esculturas que
contriburam muito para a criao da futura instalao.
Neste sentido, Jean Tinguely constri diversas obras
que, pela sua dimenso e interao com os espaos e o
pblico, so j uma instalao arquitectnica, onde o
visitante se funde com a prpria escultura e,
deambulando entre ela, se apercebe dos diferentes
recantos sensoriais, principalmente visuais e auditivos.
Iremos perceber que Antnio de Sousa Dias ir
dimensionar de uma outra forma, com consequncias
visuais e sonoras distintas, os seus espaos de fruio de
obra, tanto em A Dama e o Unicrnio, como em Tonnetz
09-B, sendo que, neste caso, os espaos de arte so fruto
de uma interao entre espectador e espao de arte.
III. ANTNIO DE SOUSA DIAS
Em Portugal, e ao longo do sculo XX, verificamos
que a arte e a msica se desenvolvem de forma diversa
e significativa. Vrios so os autores que utilizam as
mais diversas e atualizadas tcnicas de suporte
criao musical. O uso das novas tecnologias revela-se
igualmente um facto. Pertinente revela-se a sua
meno, constituindo, este estudo, uma referncia a
duas obras do compositor Antnio de Sousa Dias, bem
como o estudo das tcnicas utilizadas na sua concepo
e criao. O seu estudo, leva-nos a vastos domnios da
criao e interpretao musical. Desenvolvendo-se em
vastos e diversos campos do conhecimento, tanto
tcnico, como cientfico e artstico, a sua msica, e a
sua arte, utilizando e integrando processos de
formalizao provenientes de outros domnios do
conhecimento, permite-nos a abordagem de matrias e
materiais diversos, materiais esses usados na conceo
do universo sonoro, musical, visual e artstico do
compositor [1].
A produo musical de Antnio Sousa Dias 3 revelase bastante extensa e significativa comportando obras
3

Antnio de Sousa Dias nasceu em Lisboa em 1959. Enquanto

compositor, possui o diploma do Curso Superior de Composio
atribudo pela Escola de Msica do Conservatrio Nacional de
Lisboa. tendo sido aluno da classe da compositora Constana
Capdeville (1937-1992). Mais recentemente obteve o grau de doutor
em Musicologia na Universidade de Paris VIII, realizando um
trabalho de investigao sob a orientao de Horacio Vaggione. Para
a sua realizao obteve a ajuda financeira da Fundao para a Cincia
e Tecnologia/MCES. Encontra-se atualmente a desenvolver trabalho
de investigao no CICM - Universit Paris VIII / MSH Paris Nord,
na rea da criao musical e ambientes virtuais. Antes de iniciar a sua
atividade profissional no ensino superior, Antnio de Sousa Dias foi
professor no Conservatrio Nacional entre 1985 e 1987. Entre esta
data e o ano de 2001, exerceu atividade profissional na Escola
Superior de Msica de Lisboa onde exerceu igualmente funes de
subdiretor. Foi membro do grupo ColecViva, dirigido por Constana
Capdeville, do qual fez parte como assistente de direo, tcnico de
sntese de som e percussionista desde o ano de 1985. Desta
colaborao surge um considervel nmero de obras sendo clara a
influncia da compositora neste momento da sua produo enquanto
compositor. Colabora desde 1992 com o Grupo Msica Nova, grupo
este que se encontra sob a direo do compositor Cndido Lima [5].
7th International Conference on Digital Arts ARTECH 2015

Como exemplo mais recente, e revelador tambm da

presena constante de Constana Capedille junto do
autor, influenciando a sua atitude criativa, encontramos
a obra Ce dsert est faux de 2012. Esta obra, um
espetculo imaginado e dirigido por Antnio de Sousa
Atualmente coordena as Licenciaturas em Produo Multimdia
Interativa e em Design Sonoro no Instituto Superior Autnomo de
Estudos Politcnicos (IPA) e membro do CITAR (EA /
Universidade Catlica Portuguesa) dirigindo pesquisas no
doutoramento em Cincia e Tecnologia das Artes [5]. Na sua
produo musical, a composio de msica para cinema e televiso
possui particular importncia sendo que as suas obras tm sido
executadas de forma continuada em diversos pases (Portugal,
Frana, Espanha, Itlia, Rssia, Argentina, etc.).
4

No podemos esquecer que o ano de 1998 acolheu em Lisboa a Expo

98 cujo tema foi precisamente esse - os oceanos.

H. Santana and M. Santana / A instalao sonora como espao de arte plural

Dias a partir de obras de Constana Capdeville 5, surge

No ano em que Constana Capdeville comemoraria os
seus 75 anos, e em resposta ao desafio lanado pela
Miso Music Portugal, de realizar um evento com obras
de Capdeville. [neste contexto], pareceu-me importante
propor um espetculo que, sem pretender ser ao estilo
de, procurasse ser em tudo semelhante quele que
Capdeville criava para as suas obras: a integrao
destas num espetculo concebido como um todo,
acolhendo e convivendo com as obras e momentos que
o constituem. O ttulo, Ce dsert est faux, tirado de
um texto de Breton e Eluard e empregue num
espetculo de Capdeville, pode ser interpretado
livremente ou tomado letra: este lugar que nos
querem por vezes fazer crer de deserto, como deserto
falso, pois as sombras que escavo deixam transparecer
as cores como tantos segredos absurdos [6], dirige o
imaginrio do ouvinte de forma subtil mas eficaz, e o
imaginrio do autor de forma concreta e material.

Os elementos propostos pela, e na instalao,

aprofundam, segundo o autor, questes que se prendem
com o espao, o tempo e a narrativa, explorando ainda
outras formas de escrita musical [7]. No desenvolver de
uma produo, surgem diversas propostas de obra que
tentam, de forma continuada, responder a questes de
ordem tcnica, estilstica e esttica propostas,
refletidas, expressas e aprofundadas no fazer de obra.
Os espaos de arte, e da arte, revelam-se pela obra e
no sentir dessa mesma obra. O estudo das faculdades,
discriminativas, visuais e sonoras de um espao de arte,
e do seu fazer, leva o artista, o compositor, o criador, a
estabelecer relaes de reciprocidade entre diversas
reas do saber e do fazer propondo, as mais das vezes,
espaos de arte plurais. Estas relaes prprias ao fazer
da arte fundam-se e fundamentam-se em conhecimento
e em intuio, revelando, quantas vezes, faces de uma
mesma moeda, uma moeda de troca e de
reversibilidade entre o imaginrio e o potico, entre a
imagtica e a poitica da obra, e do seu feitor. Som e
cor, textura e luminncia, harmonia e equilbrio, forma
e contedo, som e palavra, msica e texto, narrao e
narrativa, todos concorrem para a concretizao de uma
ideia, para a definio de um organismo que traduz o
ser e o ter de quem faz, e se manifesta, arte. Nos
ltimos anos o interesse de Antnio de Sousa Dias pela
criao de diversas instalaes audiovisuais interativas
despertou em ns o interesse pelo estudo da sua obra
sendo que, e do seu conjunto de propostas visuais e
sonoras, destacamos as obras Tonnetz 09-B e A Dama e
o Unicrnio, esta ltima com textos da autoria da
poetisa Maria Teresa Horta.

Sendo profcua esta relao de produo que se

verifica entre o compositor Antnio de Sousa Dias e
diversos outros artistas, notamos que a mesma nunca se
esbate, sendo numeroso o conjunto de aes que se
manifestam de forma contnua e til. Deste conjunto
destacamos ainda aquelas produzidas utilizando sons
e/ou processos de produo e manipulao prprios da
msica electrnica e eletroacstica, bem como aquela
conducente realizao de projetos artsticos mais
vastos como o caso da instalao artstica interativa.
Neste sentido referimos por exemplo as obras Natureza
Morta Stilleben (2010-2011), obra onde sem recorrer
a um texto, o compositor cria, em colaborao com
diversos outros artistas, um universo imagtico
recorrendo a um conjunto de elementos visuais e
documentais selecionados de um conjunto mais vasto e
decorrente dos materiais de arquivo registados durante
quarenta e oito anos de ditadura fascista de Antnio de
Oliveira Salazar em Portugal6. A obra proposta por
Antnio de Sousa Dias surge como uma instalao que,
na sua essncia, procura ir mais longe que o filme que
se encontra na sua gnese, Natureza Morta da autoria
de Susana de Sousa Dias com msica do compositor.

A. Tonnetz 09-B
Tonnetz 09-B revela uma necessidade e inquirio
criativa manifesta pelo compositor ao longo dos
ltimos anos que se prende com a convergncia e
interao entre msica, som e imagem7. Esta obra, uma
instalao audiovisual interativa multicanal foi dada em
concerto no KINTOP / Museu Nacional de Arte
Contempornea Museu do Chiado. Como o prprio
autor afirma Tonnetz 09-B uma instalao
audiovisual interativa multicanal que nasce do [seu]
desejo de criar espaos musicais, sonoros e, mais
recentemente, audiovisuais, onde [prope] aquilo que
[designa] como um espao de liberdade. Lugares onde
o espectador possa, apenas, estar, divagar, encontrar-se,
projetar-se, pensar(-se) [8]. Em Tonnetz 09-B, imagem
e som criam um mundo onrico, abstrato e difuso,
atravs de uma constante influncia mtua. As relaes

Segundo informaes do autor as obras em uso so: Di lontan fa

specchio il mare (Joly Braga Santos, in Memoriam) (1989); Amen
para uma Ausncia (verso contrabaixo Solo) (1986); Momento I
(verso B) (1974); Border Line (1988); Valse, Valsa, Vals;
Keuschheits Waltz (1987); Um Quadrado em redor de Simbad (1988);
Vocem meam ("Quem o Terceiro que caminha sempre ao Teu
lado?") (1986) e um excerto do filme Rosa de Areia (1988) de
Margarida Cordeiro e Antnio Reis [6].
6
Esta obra tem a conceo e realizao de Susana de Sousa Dias; a
msica de Antnio de Sousa Dias; Imagem de Vasco Riobom;
Montagem de Susana de Sousa Dias; Mistura de som de Joo Ganho;
Programao de Antnio de Sousa Dias; Produo de Ansgar Schfer;
os meios tcnicos foram disponibilizados pelo Kintop, pelo Light Film
e O Ganho do Som. Para a produo da obra foi inquestionvel a
colaborao dos arquivos do Centro de Audiovisuais do Exrcito, da
Cinemateca Portuguesa - Museu do Cinema, do Instituto dos Arquivos
Nacionais / Torre do Tombo e da Radioteleviso Portuguesa. Para a
sua produo os autores obtiveram o apoio da Fundao Calouste
Gulbenkian, do CICM (Universidade Paris 8 - MSH Paris Nord),
tendo sido financiados pelo Ministrio da Cultura/ DGArtes [7].

Tonnetz 09 B uma obra que tem a conceo e programao de

Antnio de Sousa Dias; a programao adicional de Tifanie Bouchara;
a consultadoria cientfica de Christian Jacquemin; a produo de
Kintop (Ansgar Schaefer) e so MNAC Museu do Chiado (Emlia
Tavares); o apoio ao desenvolvimento do CICM (Universidade Paris 8
- MSH Paris Nord), do LIMSI (Universidade Paris 11), bem como o
apoio financeiro do Ministrio da Cultura/DGArtes.[8]
7th International Conference on Digital Arts ARTECH 2015

H. Santana and M. Santana / A instalao sonora como espao de arte plural

estabelecidas entre as diversas componentes da imagem

atuam sobre o resultado sonoro e, a anlise do som, que
se processa em tempo real, usada para modificar
parmetros da imagem, um elemento que se encontra a
ser difundido continuamente [8]. E, medida que se
navega neste espao fechado mas sempre renovado, as
formas que se vo apresentando apelam a que cada um
a projete as suas prprias sensaes, impresses
maneira de um teste de Rorschach ou, porque no, de
um dia passado a olhar e a ouvir as nuvens [8]. A
adopo por parte do compositor de uma esttica, que
nos permitimos considerar de obra aberta, conduz a
uma maior flexibilidade ao nvel da estruturao da
obra. O fruidor/intrprete surge como elemento fulcral
na interpretao e realizao das suas escolhas
materiais, formais e interpretativas. Segundo Umberto
Eco, uma Obra Aberta, resulta numa proposta de um
campo de possibilidades interpretativas, como
configurao de estmulos dotados de uma substancial
indeterminao, de modo que o fruidor seja levado a
uma srie de leituras sempre variveis; estrutura,
enfim, como constelao de elementos que se
prestam a diferentes relaes recprocas [9]. No
resulta assim Tonnetz 09-B ?

duas componentes, dois sistemas geradores de

contedos visuais e sonoros. O resultado proposto para
fruio permite o despoletar de um universo subjetivo
prprio, e detentor do que de cada um, e que se
constri, se o fruidor assim o entender, num trabalho
interativo entre este e o projeto proposto pelo autor. A
obra surge sempre diversa contendo um certo grau de
indeterminao fruto do tipo de interao proposta e
ativada aquando da realizao da mesma. Para Helena
Barranha, A improbabilidade da repetio dissipa,
assim, o fator de reconhecimento que T. Adorno
considerava fundamental na perceo musical e garante
a singularidade da cada experincia. Talvez por isso o
autor o designe como um espao de liberdade [8].
Musicalmente Tonnetez 09-B baseia-se num diagrama
(Tonnetz), que representa um espao sonoro a duas
dimenses inicialmente proposto por Lonard Euler
(1723) e desenvolvido mais tarde por Hugo Riemann
(1877) como j referido. O diagrama prope uma trama
sonora a cujos ns corresponde uma classe de sons,
encontrando-se o seu desenvolvimento realizado
segundo um processo prprio. Em Tonnetz 09-B as
classes de sons manifestam uma torso que se
desenvolve da classe <0, 3, 7> classe <0, 1, 4> como
nos afirma o seu autor [10].

Por outro lado, para Helena Barranha, Entre a ideia

de srie e a obra em construo, a instalao Tonnetz
09-B revela a pesquisa desenvolvida, ao longo dos
ltimos anos, por Antnio de Sousa Dias, na rea de
convergncia entre a msica e a imagem. Baseada no
conceito de rede tonal (em alemo, Tonnetz), a obra
reinterpreta alguns temas fundamentais na gnese da
arte contempornea, como a relao entre valores
sonoros (altura, direo, timbre) e valores visuais
(forma, textura, cor, luminosidade) ou a diluio dos
paradigmas harmnicos e tonais. Nesse sentido, para
alm da sua filiao terica em L. Euler e H. Riemann,
Tonnetz 09-B pode evocar a obra de compositores
como Scriabin e Schoenberg ou a pintura de
Kandinsky, associando a estas referncias histricas
uma reflexo atualizada sobre a dimenso sinestsica e
tecnolgica da obra de arte, em contextos interativos
[8]. Concebida como um espao musical navegvel, a
instalao configura um ambiente imersivo, estruturado
atravs de dois sistemas intercomunicantes - um motor
de gerao sonora e um motor de criao visual - em
contnua interferncia.
Estes dois processos
interdependentes delimitam um campo abstrato e
difuso, propcio a uma leitura subjetiva por parte do
espectador que, em limite, pode recusar a possibilidade
de interagir com a obra, optando por deixar-se conduzir
pelo ambiente programado, em vez de condicionar a
modelao musical e visual. Em qualquer situao,
aes idnticas podem desencadear efeitos distintos, o
que alia a ideia de imprevisibilidade contnua
mutao do espao [10].
A obra constri-se assim, desenvolvendo uma
instalao audiovisual interativa multicanal, recriando
um espao musical e visual avassalador que contm
7th International Conference on Digital Arts ARTECH 2015

A cada classe de sons, e ns, vimos associado um

ficheiro sonoro. Pese embora a diversidade de objetos
sonoros em uso, existem somente 12 ficheiros sonoros
de diferentes duraes que se encontram disseminados
em loop. Antnio de Sousa Dias apela, para formar os
acordes resultantes do uso das classes de sons <0, 3, 7>
e <0, 1, 4>, aos princpios tcnicos e cientficos
desenvolvidos e explorados por Jean-Claude Risset.
Segundo nos afirma ainda, desenvolve nesta obra 4
tipologias de som: 1 som sem oitava fixa; 2 som
obtido atravs de sntese granular (FOF); 3 som
obtido por filtragem de um som rudo (de forma a obter
um som granular); 4 som harmnico cuja envelope de
amplitude forma um trmulo de oitava no fixa [10]. A
economia de meios evidencia-se, repousando a obra
sobre um pequeno reservatrio de material base.
Empregue de forma diferenciada, no perde, no
entanto, as caractersticas estruturais que o regem, tanto
micra, como mdia ou macro estruturalmente, e que,
extrapoladas para nveis superiores de composio,
regem a forma e a estrutura global da obra. O resultado
final mostra-se sempre o obtido pela resultante da
execuo e interao com a instalao proposta.
B. A Dama e o Unicrnio
A Dama e o Unicrnio de Antnio de Sousa Dias,
obra criada em 2013 sobre textos de Maria Teresa
Horta, um projeto artstico multidisciplinar 8. Da
8

Este projeto surge sob a Direo artstica de Antnio de Sousa Dias;

Poema de Maria Teresa Horta; Interpretao de Ana Brando;
Conceo visual, sonora e programao de Antnio de Sousa Dias;
Design de Luzes de Daniel Worm dAssuno; Gesto administrativa

H. Santana and M. Santana / A instalao sonora como espao de arte plural

interao entre msica e literatura, artes digital, visual e

performativa, surge esta proposta criativa: uma
instalao audiovisual interativa multicanal, dada em
concerto pela primeira vez no Teatro So Luz em
Lisboa no espao do Jardim de Inverno, e integrada no
Festival Temps dImages.
Anterior a esta experincia, mais propriamente em
2009, tinha havido entre o compositor Antnio de
Sousa Dias e a poetisa Maria Teresa Horta, uma
colaborao da qual tinha surgido um livro de poemas e
uma criao sonora-musical gravada em Cd-udio9.
Antnio de Sousa Dias parte assim do poema de Maria
Teresa Horta, A Dama e o Unicrnio, para articular
num mesmo projeto uma performance para atriz e
eletrnica. A partir do universo das tapearias La
Dame la Licorne, patente no Muse National du
Moyen ge Museu de Cluny, em Paris, Antnio
Sousa Dias e Maria Teresa Horta colaboram
conjuntamente com a cantora Ana Brando, criando
uma Cantata Profana para voz e Eletrnica, num
espao de imagens sonoras e visuais que surgem da
interao entre poesia, msica, performance e artes
visuais. Estes elementos so transfigurados pelo uso de
meios tecnolgicos para transformao e desfigurao
dos contedos pr-propostos [11]. Sabemos ainda, e
segundo informao do compositor, que a inspirao
para o projeto A Dama e o Unicrnio, partiu da
visualizao e reflexo sobre o universo das
tapearias10. Estas tapearias, datadas de cerca de 1490,
e financeira de Antnio Cmara Manuel; Produo de Horta Seca
Associao Cultural; Co-produode DuplaCena, O Espao do
Tempo, Miso Music Portugal, Publicaes Dom Quixote, Kintop Lda.
e So Luiz Teatro Municipal. Segundo informao dos autores, este
projeto teve o apoio DGartes/Governo de Portugal. Horta Seca, uma
estrutura financiada pelo Governo de Portugal Secretaria de Estado
da Cultura e DGartes [11]
9
A colaborao da poetisa Maria Teresa Horta e diversos
compositores tem levado criao de diversas obras. Neste sentido, e
no ano de 2006, e sob o impulso de Roland Hayrabedian, teve incio a
estreia de Sept Contes de Musicatreize sete contos musicais sobre
libretos e composies originais. Oriundos de sete pases europeus, os
referidos contos foram concebidos tendo em conta os textos de sete
escritores e, a msica, de sete compositores de sete pases diferentes.
Reunindo cantores e instrumentistas, comediantes e bailarinos, as
narrativas foram encenadas tendo em conta a simplicidade de
contedos e linguagens prprios do livro de contos infantil. Cada
narrao prope uma viagem a um imaginrio exclusivo, que se
encontra dito no imaginrio do escritor, e redito no do compositor.
Antnio Chagas Rosa inaugurou o ciclo, estreando a 29 de Maro de
2006, no Thatre Des Bernardines, em Marselha, a sua verso musical
do poema dramtico, original, da poetisa Maria Teresa Horta
Feiticeiras. Trata-se de um texto inebriante, que ope magas a
inquisidores, numa luta de vida e de morte, e que termina por um
sacrifcio ritual de fogo. A obra, para 10 cantores e ensemble formado
por trompa, trombone, harpa e percusso diversa, encontra-se
articulada em quatro partes - I Prlogo; II Canto das Feiticeiras;
III Canto dos Inquisidores; IV O Sacrifcio -, tendo a durao de
50 minutos. Da colaborao de Maria Teresa Horta e Antnio de
Sousa Dias surge A Dama e o Unicrnio, um poema musical.
10
No conjunto das tapearias intituladas La Dame la Licorne,
sobressaem cinco, onde notamos que, e no conjunto das
representaes, estas formam uma alegoria aos cincos sentidos. Estes
sentidos - o tato, o gosto, o cheiro, o ouvido e a vista -, encontram-se
simbolizados por diversos quadros representativos da vivncia

representam um dama nobre, por vezes acompanhada

de uma aia, um leo e um unicrnio carregando as
armas do nobre que as patrocinou. Redescobertas em
1841, estas obras tm suscitado, tanto a admirao,
como a controvrsia, devido aos contedos que
expressam e ao seu significado. No entanto, a sua
inegvel qualidade artstica, no permite que sejam
manifestas quaisquer opinies negativas aos seus
contedos tcnicos, estilsticos, estticos e artsticos.
O projeto A Dama e o Unicrnio encontra-se,
segundo Antnio de Sousa Dias, estruturado de acordo
com trs estratos construtivos interdependentes. So
eles: 1 - uma instalao audiovisual interativa imersiva;
2 uma performance para atriz, com electrnica em
tempo real; 3 um livro de poemas acompanhado por
um CD-udio. [12] Segundo o compositor, A
necessidade de propor uma reflexo sobre o imaginrio
de referncia (as tapearias) levou ao alargamento do
conjunto de poemas e da correspondente obra musical.
A articulao com aspectos visuais, performativos e
tecnolgicos, entre outros, conduziu concepo de um
projeto articulando diferentes meios de expresso,
potenciando sinergias entre diferentes formas de
criao artstica, [facto preponderante na obra do autor.
Por outro lado,] A conceo dos diferentes
dispositivos toma como princpio uma interpretao
livre da juno de vrias componentes (o poema de
Maria Teresa Horta, a msica de Antnio de Sousa
Dias e as imagens das tapearias). []. O facto de os
poemas e a criao sonora e musical (fixa e em tempo
real) combinarem vrias tcnicas, desde a leitura
branca leitura interpretada coloca-nos perante uma
obra que, por um lado, se pode aproximar de concerto
para recitante e ensemble, por outro, o facto de o
poema ser dito (falado ou em sprechgesange) permite
aproximar o resultado do livro-falado. Esta arquitetura
permite assim, uma leitura/audio enquanto udiolivro, onde as vozes podem ser dramatizadas e
acompanhadas por efeitos sonoros, uma sonoplastia,
numa aproximao ao Hrspiel ou Radio drama [12].
A verso presente no Jardim de Inverno do Teatro
Municipal de So Luiz, constituiu-se numa proposta no
espao do bar do referido espao, e que pretendeu ser
no invasiva desse mesmo espao. Neste sentido, a
ambincia sonora constituda e construda pelo autor,
sobre poemas de Maria Teresa Horta, no interferiu
com o usufruto do espao do bar enquanto local de
lazer e convivncia social. Por outro lado, a
caracterstica provocatria, embora subtil, do espao de
arte proposto, viu-se, por vezes, e dependendo de uma
interatividade subtil, interrompida pelo aparecimento
de projees alusivas s tapearias e da escuta da
gravao de poemas de forma clara e audvel [12].
Com o espao de arte desenvolvido, Antnio de Sousa
Dias pretendeu que as mudanas concebidas nas
projees sonoras e visuais se tornassem agentes de
humana, no caso de uma Dama do sculo XV, alusivos aos contedos
expressos.
7th International Conference on Digital Arts ARTECH 2015

H. Santana and M. Santana / A instalao sonora como espao de arte plural

modificao do espao frudo bem como do detentor da

obra e, mesmo que de forma subtil, agir e interagir com
a maneira de perceber, entender e assimilar o espao do
Jardim de Inverno do Teatro de So Luiz em Lisboa,
concorrendo o som para criar uma situao de
intimismo, atravs da proximidade das fontes sonoras
donde, para alm da msica, se escuta o texto de forma
quase sussurrada [12].
Simultaneamente, A performance completa todos
os aspectos j mencionados, colocando a tnica na
interpretao ao vivo. Baseando-se na estruturao do
CD e em algumas componentes cnicas desenvolvidas
para a instalao, a performance possibilita outra forma
de fruio, pelo facto de se tratar de uma interpretao
ao vivo com dois intrpretes (uma atriz e um msico) e
onde a vertente performativa implicou a construo de
instrumentos digitais concebidos para o efeito,
contribuindo para a flexibilidade adequada a uma
performance [12]. A componente cnica da
performance apoia-se na ideia de uma aluso s
tapearias atravs de alguns elementos presentes mas
de forma sempre estilizada. Na sua conceo, a juno
das vrias componentes (poema, msica e imagens)
num mesmo meio (neste caso um multimeio),
constituem-no uma obra de arte hbrida no cruzamento
do livro, da iluminura, do livro falado, do udio-livro, e
do Hrspiel (udio drama ou udio theatre) [12].
Com esta proposta de alinhamento sonoro e musical
linear, Antnio de Sousa Dias representa, no nosso
entender, uma forma autnoma de memria da
experincia da instalao e da performance. Por outro
lado, ao encarar a recepo do som como uma
experincia sensorial em que cada som tem um
significado, uma identificao que remete as sensaes
guardadas no inconsciente ao visualizar, perceber,
refletir e compreender todo o universo imagtico
proposto, o compositor muda todo o paradigma da
criao musical. O conceito aqui apresentado
diferente do processo da msica composta nota a nota,
onde se expressa um sentimento do compositor. A
construo de uma paisagem sonora existe no ambiente
(meio), e para o ambiente (meio), podendo ser
manipulada ou modificada.
A Dama e o Unicrnio, na sua forma e contedo,
surge como paradigma de novos ideais de arte.
Interagindo de forma direta com o meio diversifica-se
nele. A sua forma espacial interage de forma direta com
os potenciais interlocutores trazendo e fazendo uma
nova leitura do espao envolvente. A componente
sonora redimensiona o espao atirando a ateno do
espectador para o envolvente. A componente visual
tambm. A sua forma fsica condiciona a forma de
propagao e percepo dos materiais e das diferentes
nuances composicionais e criativas. Os estratos que se
fruem adquirem dimenses diversas, consequncia
direta dos espaos onde se instalam e consequentemente
da forma como so desfrutados. Neste sentido, surgem
diversos graus de aproximao obra de arte,
7th International Conference on Digital Arts ARTECH 2015

consequncia no s do espao fsico onde se localiza a

obra de arte mas, e tambm, da capacidade de interao
manifestada pelos seus interlocutores. Neste sentido,
permitimo-nos afirmar que a arte determina objetos
sociais e de sociabilidade humana.

IV. CONSIDERAES FINAIS

A msica, a literatura, a encenao e a arte digital
revelam-se profcuas na descoberta de novos universos
imagticos, universos esses, que se constroem na
interao manifesta tanto a nvel individual, de si para
consigo, como, e paralelamente, entre si e o outro. A
obra constri-se individualmente fundando-se naquilo
que o artista nos apresenta, e naquilo que somos e nos
propomos ser atravs dela. Paralelamente, a
reciprocidade das artes permite a construo de objetos
multidisciplinares, e de universos artsticos mais ricos
do ponto de vista no s artstico como imagtico e
musical. A interao entre a msica, a literatura, a
encenao e a arte digital, bem como a interao com
outras formas de fazer e pensar a obra, permite refletir
sobre a arte de uma maneira nova, atravs de novos
prismas, prismas esses que se revelam portadores de
novas disposies sobre a arte e o fazer artstico; a
explorao de universos poticos e pictricos, poticos e
musicais, inspirando de forma direta e espontnea os
autores. ainda de considerar que o universo potico
expresso, a msica e a arte digital levaro o espectador a
confrontar-se consigo prprio, e com um mundo exterior
a si, levando-o a autodefinir-se atravs de uma constante
pesquisa das estruturas simblicas, discursivas e
estticas da obra. Essa aprendizagem pode tomar como
referncia vrios autores, correntes tcnicas e estticas,
com uma aplicao no quadro especfico da fruio de
obra. Funde-se, assim, a descoberta do interior de si,
utilizando um objeto exterior a si, com a descoberta do
outro, utilizando-se a si.
Neste sentido, surgem diversos graus de aproximao
obra, consequncia dos espaos emocionais e
vivenciais dos seus atores. Contribuindo para que o
objeto artstico adquira um novo rosto, os projetos em
anlise, Tonnetz 09-B e A Dama e o Unicrnio de
Antnio de Sousa Dias, evoluem numa multiplicidade
de formas e conceitos. A diversidade de caminhos
propostos, reflete a diversidade cultural e experiencial
dos seus autores e de uma sociedade que, tenta
responder a necessidades que se colocam ao ser humano
enquanto criador e fruidor do objeto arte. As tcnicas e
o desenvolvimento formal e discursivo proposto, uma
consequncia do objetivo dos objetos de arte e da Arte.
REFERNCIAS

[1] H. Santana, (In)EXISTNCIAS do SOM, Universidade

de Aveiro, Aveiro, 2005, ISBN: 972-789-161-6.

10

H. Santana and M. Santana / A instalao sonora como espao de arte plural

[2] H. M. Mazetti, Interveno urbana: representao e

subjetivao na cidade. In: Anais do Congresso Brasileiro de
Cincias da Comunicao. (So Paulo: Intercom, 2006)
[3] H. Santana, R. Santana, Flash Mob as a moment of
creation and human intervention on urban spaces, in: Lisbon
Street Art & Urban Creativity 2014 International Conference,
Editors: Pedro Soares Neves, Daniela V. de Freitas Simes,
Lisbon, November 2014, ISBN: 978-989-20-5138-3
[4]
A.
Sousa
Dias,

h
dois
ouhttp://sousa.dias.free.fr/index.php?option=com_content&
view=article&id=101%3Aha-dois-ou&catid=36%3Ateatromusica&Itemid=75&lang=pt (acedido em 16 de outubro de
2014)
[5] A. Sousa Dias, Biografia, http://sousa.dias.free.fr/
(acedido em 19 de outubro de 2014)
[6] A. Sousa Dias, Ce dsert est faux,
http://sousa.dias.free.fr/index.php?option=com_content&vie
w=article&id=175%3Aqce-desert-estfauxq&catid=36%3Ateatro-musica&Itemid=75&lang=pt
(acedido em 21 de outubro de 2014)

[7] A. Sousa Dias, Natureza Morta Stilleben,

http://sousa.dias.free.fr/index.php?option=com_content&vie
w=article&id=71%3Anatureza-mortastilleben&catid=39%3Ainstalacao&Itemid=78&lang=pt
(acedido em 20 de outubro de 2014)
[8]
A.
Sousa
Dias,
Tonnetz
09
B
http://sousa.dias.free.fr/index.php?option=com_content&vie
w=article&id=154%3Atonnetz09b&catid=39%3Ainstalacao
&Itemid=78&lang=pt (acedido em 21 de outubro de 2014)
[9] U. Eco, Obra Aberta, Difel, Lisboa, 1989, pp. 173-174.
[10] A. Sousa Dias, Tonnetz 09-B, Texto fornecido pelo
autor.
[11] A. Sousa Dias, A Dama e o Unicrnio,
http://www.tempsdimagesportugal.com/2013/projectos/05_td
i2013.html (acedido em 19 de outubro de 2014)
[12] A. Sousa Dias, A Dama e o Unicrnio, Texto
fornecido pelo autor.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

11

Abordagens da neurocincia sobre a percepo da obra de arte

Rosangella Leote, Hosana Celeste Oliveira e Danilo Barana

Instituto de Artes, UNESP, So Paulo, SP, 01140-070, Brasil; Escola de Comunicaes e Artes,
USP, So Paulo, SP, 05508-020, Brasil.
Resumo Neste trabalho apresentamos o
resultado de uma investigao que mostra como o
problema da percepo da obra de arte tratado pela
neurocincia. A fim de identificar e analisar os mais
relevantes trabalhos sobre o tema realizamos um
levantamento de diferentes abordagens neurocientficas
que lidam, especificamente, com a percepo da obra de
arte. Dentre o material pesquisado encontram-se modelos
tericos, assim como experimentos que investigam o nosso
envolvimento com obras de arte. Com isso, buscamos
conhecer as reais contribuies da neurocincia para o
estudo da percepo da obra de arte, tendo em vista
ampliar nossas referncias, para alm das abordagens
mais recorrentes, utilizadas por artistas e tericos da arte.
Palavras-chave arte e cincia, arte e
neurocincia, percepo visual e neurocincia.

I. INTRODUO
Como entender o problema da percepo da obra de
arte? Este tema tem sido investigado por diferentes
abordagens tericas em reas distintas, sem, entretanto,
haver uma concepo em proximidade de consenso
entre elas. Longe de supor o fechamento da questo,
nossos estudos tm se dirigido para um enfoque que tem
sido menos aplicado no campo da arte, se bem que em
crescente agregao de estudiosos. Trata-se de tentar
compreender o fenmeno da percepo no campo da
arte, a partir de um embasamento conceitual vindo da
neurocincia. Neste artigo, que mostra um estado inicial
de nossa pesquisa1, tratamos da percepo da obra de
arte de forma ampla, no sentido de apresentar pesquisas
que indiquem como so investigados pela neurocincia
os aspectos da primeira relao que o indivduo mantm
com o objeto artstico. Em um primeiro momento,
procuramos compreender este panorama e verificar a
existncia de contribuies da neurocincia para os
estudos da arte. Em seguida, buscamos estabelecer
relaes entre as abordagens mais recorrentes nestes
campos para, finalmente, avaliar mritos no uso das
mesmas no campo exclusivo da arte.
Atravs de uma reviso bibliogrfica realizada na fase
inicial de nossa pesquisa e apresentada em artigo
anterior2, buscamos identificar modelos tericos e
experimentos da neurocincia sobre a percepo da obra
de arte, mais particularmente a arte visual. Este
recurso nos permitiu reduzir as variveis para o exame
da questo. De modo a mantermo-nos coerentes com os
exemplos que trazemos da neurocincia, aceitamos, para
7th International Conference on Digital Arts ARTECH 2015

a finalidade deste artigo, a expresso arte visual

termo aplicado pelos neurocientistas como sendo
imagens da arte, de uma forma bem abrangente, e
acrescentamos tambm o cinema. Em um primeiro
levantamento, nos deparamos com autores como
Vilayanur S. Ramachandran, Eric Kandel, Margareth
Livingstone e Semir Zeki, que apresentam diferentes
modelos
tericos
neurocientficos
e
afins.
Complementamos nossa pesquisa consultando trs
repositrios
online3
que
hospedam
artigos
interdisciplinares que investigam o crebro 4. Para
realizar a busca, utilizamos as seguintes palavras-chave,
restritas ao idioma ingls: arte, artes visuais,
histria da arte, imagens da arte, arte e percepo
visual, cinema; no limitamos datas para levantar os
artigos. Como as bases sobre a Semitica, a Gestalt e as
Teorias dos Sistemas Complexos j havamos obtido em
nossos estudos anteriores, para a finalidade deste artigo
no adentraremos com nfase nestas teorias. Mas
reforamos que, at o momento, os autores que, com
mais clareza, nos trouxeram instrumentos para nossas
concluses
foram
Maturana
e
Varela
(neurofenomenologia e complexidade), Antnio
Damsio (neurocincia), Vilayanur Ramachandran
(neurocincia)
e
Lcia
Santella
(semitica).
Comentamos, criticamente, o material pesquisado,
tecendo comparativos e observaes entre o campo
pesquisado e o da arte. Com estes procedimentos
construmos uma hiptese adicional ao nosso projeto de
pesquisa. Ela aponta ser possvel propor uma
combinao de aplicao dos conceitos convencionais
da nossa rea com algumas contribuies da
neurocincia, tanto para o nosso entendimento da arte
quanto, na via inversa, contribuir com a cincia para
uma maior clareza sobre nosso campo.
O diferencial de nosso estudo com relao a outras
coletneas, inclusive encontradas em sites de
compartilhamento de informaes como o Wikipdia,
reside no fato de que, para alm de apresentar alguns
dos autores que tem tratado dessas questes, analisamos
criticamente essas teorias do ponto de vista de
profissionais das artes, de modo a indicar as possveis
relaes de complementaridade entre as teorias da
neurocincia e outras bases tericas nas quais nosso
grupo de pesquisa tem se debruado ao longo dos anos,
como a semitica e a teoria dos sistemas. Alm disso,

12

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

apresentamos e discutimos algumas experincias reais

de laboratrio que se prope a estudar a percepo da
obra de arte a partir da neurocincia, apontando algumas
das fragilidades que compem essas experincias e seus
modelos tericos com relao ao objeto artstico.
II. PERCEPO
A. A Percepo e a fruio da obra
Como resultados recentes de nossa pesquisa,
assumimos que o estudo da percepo da obra de arte
envolve, predominantemente, quatro sistemas: o objeto
artstico, o artista, o sujeito que frui a obra e a relao
entre estes.
Consideramos que perceber um fenmeno
composto de estados. Ao travar-se um estado inicial
(sensao) de relao com a coisa percebida, j estamos
experimentando este fenmeno. Os demais estados de
sentimento e conscientizao precedem o juzo sobre o
fenmeno. Todavia, o juzo, em si, se refere a um novo
fenmeno perceptivo sobre o acontecimento da
percepo recm ocorrida. Assim, pois, a infinita
semiose, a existente, se assenta, claramente, nos
processos biolgicos.
A lgica semitica, entretanto, deixa-nos com uma
lacuna para o entendimento do fenmeno perceptivo,
pois com ela, apenas, no conseguimos cercar a srie de
fenmenos subjacentes ao da percepo, desde que estes
so dirigidos, construdos e permitidos por processos
biolgicos pouco conhecidos e altamente complexos em
interao e transduo com os processos mentais ditos
cognitivos.
A situao similar quando verificamos os modelos
de estudo sobre a percepo efetuados pela psicologia
da Gestalt. Esta, predominantemente aplicada no campo
artstico alm de em vrios outros contempla o
exame sobre aquele que percebe sem, entretanto, ter
podido comprovar por instrumentos de aferio os
estados mentais do percebedor relativos a este tipo de
evento.
A neuropsicologia tem avanado nestes aspectos de
aferio de hipteses com instrumentos tecnolgicos.
Ela parece trazer um vislumbre de modificaes
contundentes no modo de entender a arte. De qualquer
forma, ainda no encontramos pesquisas desta rea
sobre a percepo na especificidade que viemos
estudando, onde a multisensorialidade e a
multimodalidade de estmulos residem em uma s obra,
como por exemplo, em uma instalao hipermiditica.
possvel dizer que o estudo da percepo pode ser
feito a partir de vrias interpretaes tericas, todas com
lgicas perfeitas no seu contexto. Por exemplo, tanto a
psicologia da Gestalt, quanto a semitica peirceana, so
eficientes para tratar o evento perceptivo do ponto de
vista da ocorrncia do fenmeno.

Quando fazemos estas observaes no estamos

descartando estas teorias. Pelo contrrio, as entendemos
numa organizao sistmica, onde executam papis
diferenciados, muitos em frico, com plenas
possibilidades de emergncia, para ambos os campos de
conhecimento. Assim que so as Teorias dos Sistemas
Complexos que tm nos auxiliado a compreender as
zonas de transduo nos campos que enfocamos.
Mas as perguntas que fazemos, e para as quais nem
estas teorias, nem as demais recorrentes no campo da
arte usadas tanto por tericos, quanto por artistas, tm
respostas, so a) como a percepo se d dentro da
mente e b) a neurocincia tem a resposta para isto?
B. A percepo e o realizador da obra
Preferimos no nomear como artista o autor da obra,
pelos inmeros enfoques e complicaes que o termo
acarreta na arte contempornea. Todavia, estamos
falando da mesma pessoa, ou pessoas, que executam a
obra artstica, de qualquer natureza, o que, para ns,
inclui a msica, as artes performticas e as
hipermiditicas. Tomamos como fato que a produo de
uma obra artstica (ou no) s se d pela existncia de
processos perceptivos antes, durante e aps a sua
execuo. Estes processos so ajustados em camadas
imbricadas, de forma no linear e sem controle total
daquele que executa a ao.
Instrudos pelos estudos que fazemos do campo sobre
a ao do fruidor/interator, como pela experincia do
nosso fazer artstico em obras instalativas, performticas
e videogrficas, sabemos que estes processos so
idnticos para as duas partes, em sua essncia
perceptiva. Buscamos as especificidades de cada uma.
Entendemos como certo que a memria fundamental
na resoluo da percepo. com ela que localizamos
os depsitos pulverizados de informao que
apreendemos com o nosso estar no mundo,
respeitando-se toda a influncia do inconsciente
genmico (instrues do DNA) e do inconsciente
cognitivo (ocorre abaixo da conscincia), como prope
Antnio Damsio [1]. Este conjunto, mas no apenas,
associado ao nosso estado bio/psico/fsico/qumico,
opera condies para que a percepo se d, de forma
irrepetvel, sobre cada micro/nano/pico instante
vivenciado.
Tambm estamos propondo aplicar uma expresso
no utilizada, at aqui, nestes campos de que tratamos
(arte e neurocincia) que processos perceptivos.
Convencionamos que percepo se aplicaria a um
evento que construdo a partir de processos
subjacentes, os quais so os processos perceptivos. A
cada gesto realizado, no sentido de desenvolver a obra,
h processos perceptivos que se concretam em variadas
nfases, e tipos. So eles que justificam e impulsionam
cada novo passo no sentido de materializar a obra, seja
ela plstica, sonora, performtica, hipermiditica etc.
Localizamos a existncia de diversos modelos de
7th International Conference on Digital Arts ARTECH 2015

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

processos perceptivos relacionados arte. Tais modelos

sero discutidos em etapa posterior de nosso trabalho de
pesquisa.
III. NEUROESTTICA OU NEUROCINCIA
COGNITIVA DA ARTE?
As descobertas da neurocincia das ltimas dcadas,
assim como as investigaes deste campo que envolvem
diretamente a obra de arte, tm se mostrado relevantes
ao estudo da mente, da linguagem e da prpria arte.
Dentro da neurocincia, a neuroesttica se destaca por
conta da relao direta que mantm com o campo da
arte, tendo sido adotada, inclusive por vrios artistas e
outros pesquisadores da arte, como diretriz para o
entendimento da percepo visual.
Contudo, vnhamos identificando uma incoerncia
importante sobre o uso do termo neuroesttica, criado
por Semir Zeki em 2002 [2]. Do nosso ponto de vista, o
termo tanto distorce, quanto se esquiva da neurocincia
como fundamento do modelo terico proposto por Zeki.
Em busca de subsdio para fundamentar nosso trabalho a
respeito desta incoerncia, deparamo-nos com William
P. Seeley [3].
Seeley observa o movimento crescente de estudos
filosficos que se baseiam em pesquisas da
neuropsicologia e da neurocincia cognitiva. Neste
movimento, se instaura um campo frtil que
denominado por ele como neurocincia cognitiva da
arte uma subdiviso da esttica emprica dedicada
aplicao de mtodos neurocientficos para estudar o
nosso envolvimento com obras de arte. Seeley faz uma
retrospectiva histrica que demonstra que estudos
semelhantes tm suas razes na esttica emprica da
psicologia experimental e j esto presentes no livro On
experimental aesthetics (1871), de Gustav Fechner, um
dos pioneiros da psicofsica. Ainda sob o ponto de vista
histrico, vale lembrar que, na dcada de setenta,
Alexander Luria tambm buscou identificar as bases
neurais da contemplao e da criao da obra de arte [2].
Seeley argumenta ser mais apropriado falarmos de
uma neurocincia cognitiva da arte, ao invs de
neuroesttica. Segundo ele, o termo neuroesttica reflete
uma viso ideolgica bastante delicada, uma vez que a
esttica no engloba questes ontolgicas e semnticas
sobre a natureza da arte, e to pouco nos instrumenta a
investigar nosso envolvimento com a obra. Ele entende
que a sua proposta mais abrangente sobre a
problemtica a envolvida. Para defender este ponto de
vista, Seeley destaca que os modelos de ateno seletiva
da neurocincia demonstram que existe uma conexo
muito estreita entre o significado, a identidade, a
projeo semntica, as caractersticas afetivas e
perceptivas que atribumos ao estmulo. Segundo ele,
para modelar os efeitos do estmulo, os cientistas
cognitivos usam redes atencionais que conectam reas
7th International Conference on Digital Arts ARTECH 2015

13

pr-frontais (associadas a identidade do objeto, a

memria de trabalho e a atribuio de projeo afetiva a
um estmulo) ao processamento sensorial dos sistemas
visual, auditivo e somatossensorial. Seeley diz que isto
sugere que as respostas a questes sobre a projeo
semntica da obra de arte tm um papel regulativo no
nvel neurolgico, ao determinar a qualidade esttica de
nosso envolvimento com a obra [3].
Outras observaes crticas sobre a neuroesttica so
feitas por Bevil R. Conway e Alexander Rehding [4].
Eles listam alguns pontos polmicos deste campo e
defendem que o envolvimento com obras de arte deve
ser investigado considerando-se a distino entre beleza,
arte e percepo, j que estes termos tm sido
frequentemente confundidos com esttica. Conway e
Rehding lembram que a prpria compreenso do que
quer que seja esttica tem um histrico complexo: os
gregos a relacionavam com a percepo, Kant a beleza e
a arte; no sculo XIX a esttica se transforma em
sinnimo de filosofia da arte estas trs conotaes,
segundo eles, so frequentemente confundidas nas
propostas neuroestticas.
Ao conhecer as ressalvas que os autores mencionados
anteriormente fazem a neuroesttica, fortalecemos a
nossa interpretao sobre as dificuldades acarretadas por
este campo. Sabemos que esta confuso permeia,
igualmente, os estudos da arte. Assim, um estudioso de
outra rea, que no a artstica, tambm teria dificuldades
em navegar neste mar de conceitos. Quando tratamos de
esttica, estamos falando de filosofia. A prpria
epistemologia da rea impede o uso de um termo
(neuroesttica) que desarma a sua base, pois a desloca
do seu campo. Neste sentido, sentimos contemplada a
nossa linha de raciocnio pela crtica que Conway e
Rehding fazem a Zeki, entre outros, dizendo que os
neuroestetas tm preferncia por Kant, pois este filsofo
oferece uma viso universal do belo (aquilo que
desperta uma atitude de contemplao desinteressada)
com muito apelo, uma vez que o belo parece conter uma
discreta base neural, segundo observam os dois autores.
Conway e Rehding ainda apontam dois outros
problemas: o belo de Kant muito criticado no campo
da arte, dado o pluralismo das experincias artsticas, e
tambm por no existir consenso na literatura sobre o
que ele seja. De fato, parece-nos que Zeki no adentra
estas questes. Esta diversidade de opinies sobre o
belo, para os autores, tem a ver com as diferentes
funes que ele ocupa dentro dos vrios sistemas
filosficos, estando por vezes relacionados com a
epistemologia ou a tica. A experincia do belo
frequentemente comovente, porm estar comovido nem
sempre significa uma instncia do belo; j as reaes
emocionais sim [4].
Postas estas questes, Conway e Rehding clamam que
a arte deve ser estudada no contexto da neurocincia,
pensando-se como sinais sensoriais so processados

14

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

pelo sistema nervoso para produzir comportamento, isto

, deve-se levar em conta os vrios estgios de
processamento. Destacam que a arte no a nica a
provocar respostas estticas e que outros experimentos,
que no aqueles realizados apenas com obras de arte,
mas que englobam manifestaes estticas, tambm
devem ser levados em conta. Ou seja, necessrio que
olhemos para outras pesquisas da neurocincia que
tambm poderiam informar a arte, como aquelas
relacionadas a ateno, recompensa, aprendizado,
memria, emoo e tomada de deciso, pois elas
parecem conter modelos mais completos que tambm
auxiliariam a entender as questes da arte.
Assim, novamente Conway e Rehding, contemplam
nossas observaes anteriores que levaram ao incio
desta parte de nossa pesquisa. De fato, antes de nos
deparar com o trabalho destes dois autores, criamos que
no havia entre os neurocientistas aqueles que
soubessem que h mais do que similaridades entre a arte
e outros aspectos do sensvel no mundo.
bem verdade que uma grande parte dos artistas
ainda v a arte como que habitando um lugar especial do
fazer humano. Ns, entretanto, vemos o fazer do artista
como qualquer outro fazer, guardando, como em todos
os fazeres, diferenas que lhes so prprias, mas no
destacveis em termos de valor; como qualquer
produo de conhecimento que o humano desenvolve,
assim a arte deve ser avaliada.
Alkim Salah e Albert Salah [5] tambm fazem
observaes a respeito da neuroesttica. Dizem que
importante lembrar que a avaliao dos juzos estticos,
atravs da neurocincia, est confinada s experincias
com estmulos visuais, e que se tem esquecido que esses
juzos existem em todos os domnios: a sensao
percebida por um pintor em frente a uma bela imagem
muito semelhante sensao percebida por um
matemtico ao ler uma equao elegante [5]. Esta
observao, porm, chama uma discusso: tanto o
matemtico, quanto o artista, estariam examinando
diferentes objetos sob o ponto de vista especializado de
cada um dentro de sua rea de conhecimento. Mas qual
seria a impresso do leigo acerca da mesma equao, ou
da mesma obra artstica? Ou, se pedssemos para que
estes mesmos especialistas examinassem um a obra do
outro, o que resultaria?
Como estamos executando a pesquisa por etapas, e
esta aquela onde examinamos, com maior ateno, o
fruidor da obra, embora venhamos nos dirigindo a
entender a percepo de uma forma que abranja tanto o
fazer, quanto o fruir a obra artstica, concordamos com
as observaes de Seeley [3], Conway e Rehding [4] e
Salah e Salah [5] sobre a neuroesttica, pois supomos
que elas servem de diretrizes para uma reviso no
programa de pesquisas neurocientficas sobre o nosso
envolvimento com a obra de arte e, igualmente,

permitem alicerar uma viso mais condizente com a

variedade de questes que emergem do estudo da arte.
As abordagens da neurocincia que apresentamos
adiante no sero discutidas sob o ponto de vista da
neuroesttica, embora algumas delas tenham sido
apresentadas por seus autores sob esta nomenclatura.
Assim como Seeley, preferimos pensar as abordagens
em suas relaes com uma possvel neurocincia
cognitiva da arte, cujo modelo geral considera a obra
de arte como uma classe de estmulos, que so
intencionalmente desenhados para induzir a uma
variedade de respostas afetivas, emocionais, perceptivas
e cognitivas no leitor, espectador, observador ou ouvinte
[3]. Como Seeley aponta, a obra de arte, estudada sob
esta perspectiva, sugere que podemos modelar o nosso
envolvimento com ela baseando-nos em um problema
de processamento de informao: como consumidores
adquirem, representam e manipulam a informao
contida na estrutura formal destes estmulos? A
neurocincia cognitiva torna-se, ento, uma ferramenta
que pode ser usada para modelar estes processos e
comportamentos; e seus modelos poderiam ser usados
para avaliar a natureza de nosso envolvimento com a
obra de arte em uma variedade de mdias.
VI. ABORDAGENS NEUROCIENTFICAS DA
PERCEPO DA OBRA DE ARTE
A partir daqui dispensamos o uso da expresso
neuroesttica pelas razes lanadas anteriormente.
Entretanto, aproveitamos dos resultados de algumas
pesquisas trazidas pelos neuroesttas, j que
encontramos em seus estudos sobre o sistema de
percepo visual dispositivos fundamentais para o
entendimento da percepo da obra de arte.
A maior parte das abordagens neurocientficas da
percepo da obra de arte se baseiam nos avanos
cientficos sobre o crebro visual, que tornam possvel
investigar as bases neurais da arte visual e da
experincia esttica [6] [7]. A maioria destas abordagens
constri modelos tericos fundamentados na observao
de indivduos experienciando obras de arte e na
inspeo do mecanismo da viso. Esta forma de
abordagem uma das mais populares. Acreditamos que
este recorte tem a ver com o fato de que no sistema
visual que estes tm o maior domnio, mas tambm,
possivelmente, tem relao com a qualidade da cultura
ocidental de ser fortemente organizada com ateno para
os estmulos visuais. Este aspecto nos interessa, pois
estamos realizando uma parte da pesquisa de nosso
grupo (GIIP), dirigida a entender como, ento, a
percepo se d em pessoas que possuem privao de
certos sentidos, como outras necessidades especiais5.
A seguir, destacamos os estudos oriundos da
neurocincia que foram levantados e que lidam com a
percepo da obra de arte.

7th International Conference on Digital Arts ARTECH 2015

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

A. Vilayanur S. Ramachandran
Ramachandran e Hirstein [8] iniciam com a hiptese
de que existem oito princpios6 que fundamentam o que
chamamos de arte, isto , leis que perpassam toda
experincia esttica e que tambm estariam presentes
nas obras de arte. A ideia de que a arte explora
princpios no algo novo, mas a novidade da proposta
de Ramachandran e Hirstein que eles no so
considerados ocorrncias expontneas, como na Gestalt,
mas baseados em um sinal, que enviado para o sistema
lmbico, que os reforam. Este sinal (a rasa) seria, para
os autores, a fonte da experincia esttica.
Um dos mais importantes princpios que compe o
modelo terico de Ramachandran e Hirstein o que
trata do conceito de rasa7, pois ele ajuda a esclarecer o
que poderia ser a essncia da arte. Ramachandran e
Hirstein destacam que o que os artistas fazem no
apenas capturar a essncia das coisas, mas tambm
ampli-las, com o objetivo de ativar, mais
poderosamente, os mesmos mecanismos neurais que
poderiam ser ativados pelo objeto original (aquele ao
qual se representa).
Ramachandran e Hirstein estudam os oito princpios
baseando-os no funcionamento do sistema visual, sob o
ponto de vista evolucionista. Estes princpios tanto
auxiliam o homem a classificar objetos em categorias
algo que seria vital para a sobrevivncia (por exemplo, a
classificao auxiliaria a discriminar predadores, plantas
etc.) quanto atuam como um conjunto de heursticas
que
os
artistas
empregam,
consciente
ou
inconscientemente, para ativar reas visuais do crebro.
Basicamente, os dois neurocientistas constroem uma
hiptese biolgica de como estes princpios so
experienciados pelo homem.
Embora vrias crticas tenham sido feitas ao trabalho
de Ramachandran e Hirstein, dentre elas as de
Wheelwell [9] que focalizam a confuso existente no
emprego dos termos excitao e beleza, entre
outros, os autores demonstram estar cientes das
limitaes de suas propostas e fazem algumas
observaes que reforam que ela um ponto de
partida, que no se trata de uma teoria completa da arte,
mas de uma teoria biolgica da esttica. Este o ponto
que mais respeitamos, pois antev a abrangncia de seus
estudos para outras experincias e produes artsticas,
para alm da visualidade.
De acordo com os prprios neurocientistas, os oito
princpios no falam de originalidade, que a essncia
da arte, mas dizem respeito a quando a originalidade
torna-se aparente, como ela emerge; os princpios
tambm no explicam a evocatividade, mas ajudam a
compreender aspectos da arte visual, da esttica e do
design. Ramachandran e Hirstein esto de acordo que a
arte idiossincrtica, inefvel e reforam que o modelo
que propem lana a hiptese de que a arte emerge de
pelo menos oito princpios, explorando-os de forma
ldica e deliberada, s vezes violando-os. Pelo modo
como o modelo dos autores apresentado, o que eles
7th International Conference on Digital Arts ARTECH 2015

15

propem parece ser vlido para um tipo especfico de

arte, aquele que baseado na contemplao, no prazer
visual (entretanto, esta questo ainda est em anlise por
ns). Por este motivo so muito criticados; os crticos
enfatizam que Ramachandran e Hirstein constroem uma
teoria puramente esttica, e no sobre arte. Porm, a
respeito disto, eles se defendem dizendo que as bordas
entre a esttica e a arte no so claramente definidas
[10].
Aqui ficamos confusos: o que seus crticos, e eles
mesmos, esto traduzindo por esttica? E, ainda,
perguntamos se no seria mais adequado, ao invs de
propor uma teoria biolgica da esttica, propor o estudo
da esttica atravs da biologia?
B. Eric Kandel
No livro The age of insight: the quest to understand
the unconscious in art, mind, and brain [11], Kandel
parte de retratos produzidos por Gustav Klimt, Oskar
Kokoschka e Egon Schiele pois, segundo ele, as obras
destes artistas foram muito influenciadas pela medicina,
biologia e psicanlise e seriam, portanto, fontes
especiais de pesquisa. Kandel identifica instintos
inconscientes no trabalho destes trs artistas, que seriam
representados nas expresses faciais e nos gestos
corporais dos retratos.
As bases cognitivas, psicolgicas e neurobiolgicas
da percepo, da memria, da emoo, da criatividade e
da empatia, so apresentadas por Kandel para mapear
como estes atributos so importantes para a descrio do
processo de percepo dos objetos artsticos. No modelo
de Kandel, o insight que acompanha o processo de
percepo visual, assim como as respostas emocionais,
seriam os maiores responsveis pela produo de novas
linguagens na arte e novas expresses da criatividade
artstica. Embora esta no seja uma novidade para os
artistas, trazemos como exemplo Kandel para mostrar
que h concepes aproximadas do nosso contexto
nestes estudos do autor.
C. Margareth Livingstone
No livro Vision and art: The biology of seeing [7],
Livingstone investiga, a partir da biologia celular, as
relaes entre a arte e o sistema visual. A autora explica
como o crebro opera para reconhecer e formar a
imagem, usando, para tanto, a hiptese dos fluxos
ventral e dorsal de processamento da informao visual
[12], responsveis pelo processamento da cor e do
movimento, respectivamente, no crebro. A autora
demonstra como alguns artistas exploraram, de
diferentes maneiras, esta capacidade de operao dual
do crebro e, tambm, apresenta como a base de
funcionamento de alguns dispositivos eletrnicos, como
a TV, se constri no sentido de atender maneira como
o sistema visual faz a leitura e o processamento das
cores.

16

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

D. Semir Zeki e colaboradores

Assim como para Livingstone [7], a arte visual
tambm para Zeki [13] e Kawabata e Zeki [15] uma
experincia esttica que obedece leis do sistema visual
que deve ser estudada no contexto do conhecimento.
Estes autores no consideram os processos cognitivos e
nem a imaginao que permeiam a experincia esttica,
porque ainda teramos poucos indcios neurocientficos
a respeito disto, mas levam em conta apenas aspectos
perceptivos da arte. Eles delineiam as fundaes
biolgicas da esttica a partir da premissa de que elas
obedecem a regras do crebro. Entretanto, como isto
ocorre, ainda no muito claro em suas pesquisas.
Zeki e seus colaboradores interligam achados
neurocientficos com Plato, Hegel, Kant e vrios
artistas, para delinear uma proposta que pode ser
aplicada tanto no mbito da execuo da obra de arte,
quanto no de sua apreciao.
Zeki e Lamb [14] tomam como referncia o
funcionamento do crtex cerebral, que chamado por
eles de crebro visual, e entendido como um sistema,
para explicar esta rea especfica do crtex cerebral,
conhecida por V1, que seria a responsvel pela
emergncia da experincia esttica, embora o resultado
desta experincia no se restrinja apenas a esta regio.
Estes autores observam que no vemos apenas com os
olhos, o olho somente um orgo de todo o sistema
visual; esta considerao importante porque nos leva a
uma possibilidade de discutir a experincia visual de
modo mais abrangente, se tomarmos por base que no
vemos exclusivamente com os olhos, mas sim com o
crtex cerebral, que o sistema envolvido no
processamento e interpretao da imagem. As muitas
evidncias, apontadas por Zeki [13], demonstram que a
retina do olho no difusamente conectada a todo o
crebro, ou a sua metade, e sim circunscrita ao crtex
cerebral (rea V1) o nico lugar de entrada de
radiao visual dentro do rgo que abriga a alma
humana.
Zeki e Lamb [14] elencam exemplos baseados em
sndromes de diferentes tipos de perdas visuais seletivas
que permitem dizer, em partes, como ocorre o
processamento visual. Sabe-se que existem sistemas
independentes, nos quais cor, forma, movimento e,
possivelmente,
profundidade,
so
processados
separadamente, inclusive percorrem o crebro com uma
pequena margem de diferena. Assim, o crebro visual,
alm de modular, tambm caracterizado por um
conjunto de sistemas de processamento paralelos e uma
hierarquia temporal. Estas concluses, como apontam os
autores, permitem supor que exista uma modularidade e
especializao funcional tambm na esttica visual, j
que a arte se realiza, quer seja no mbito da execuo,
quer seja no da apreciao, como produto do crebro
visual. Determinadas formas de arte permitiriam estudar
como os sistemas de processamento de informao

visual operam [13] [14], como por exemplo, a arte

cintica, pinturas que retratam o movimento ou
abstratas.
A proposta de Zeki e de seus colaboradores
construda considerando-se a conhecida hiptese dos
fluxos de processamento de informao visual que
ocorrem nas reas ventral e dorsal do crebro, tal como
a proposta por David Milner e Mervyn Goodale [12]. A
primeira rea (ventral) responsvel pelo
reconhecimento do objeto e mantm conexes com o
lobo temporal medial (responsvel pela memria de
longo prazo) e o sistema lmbico (encarregado das
emoes); esta rea ventral sofre, portanto, influncia de
fatores extraretinianos e comporia a base para as
operaes cognitivas. Com relao a segunda rea
(dorsal), ela responsvel pelo processamento da
localizao espacial do objeto e se baseia nos
comportamentos motores, tanto do corpo do sujeito,
quanto dos objetos no ambiente [12].
O modelo neuroesttico de Zeki e colaboradores [13]
[14] [15] lana a hiptese de que a estimulao
fisiolgica de reas visuais especficas, aquelas ligadas
ao processamento da cor, forma, movimento e
profundidade, poderiam desencadear a experincia
esttica; para eles, o artista possui a habilidade de criar
efeitos estticos capazes de estimular um nmero
limitado e especfico de reas no crtex cerebral.
Particularmente, a arte cintica seria um frtil terreno
para investigar a relao entre a fisiologia da percepo
visual, a atividade cerebral e a experincia esttica.
Porm, os autores problematizam a arte cintica apenas
no que diz respeito ao movimento e a fisiologia do
sistema visual responsvel por ele [14].
Em diferentes trabalhos os autores supracitados
analisam obras de arte que so classificadas por eles
como cinticas, embora muitas delas sejam pinturas.
Eles as estudam com nfase na visualidade, deixando
margem estmulos importantes como tatilidade,
sonoridade e dimenso. Eles consideram que a arte
cintica relevante para estudar o sistema visual porque
ela capaz de gerar movimento ilusionista, por meio de
estratgias de estimulao fisiolgicas mnimas do
crtex (formas dinmicas), que so capazes de ativar a
rea V5 do crebro (a do movimento).
O crebro visual para estes autores tem como
funo emergir a constncia8, com a finalidade de obter
conhecimento sobre o mundo. A funo geral da arte
teria a mesma funo do crebro visual e lidaria com
uma constncia duradoura, permamente, essencial,
presente nas caractersticas dos objetos e situaes, que
permitem adquirir conhecimento sobre ele e sobre o
mundo. Ela permite conhecer, no apenas uma coisa
particular, mas lig-la outros tantos objetos, e assim
fornecer conhecimento sobre a extensa categoria da qual
este objeto faz parte. Neste processo, o artista precisa ser
seletivo, assim como a viso, para produzir a obra, e
investir nos atributos essenciais das coisas, descartando
o que suprfluo. Portanto, para eles, uma das funes
7th International Conference on Digital Arts ARTECH 2015

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

da arte seria a de atuar como uma extenso da funo do

crebro visual [13].
No modelo de Zeki e colaboradores, ambos, o crebro
e seus produtos (arte), tm a tarefa de capturar os
objetos como eles so, sua essncia. Mas como filtrar
cada alterao de uma informao do mundo visual, que
importante para representar o permanente, as
caractersticas essenciais dos objetos? Neste ponto, Zeki
baseia-se na filosofia da esttica de Kant para refletir
sobre isto, e elege a noo de perfeio que implica em
imutabilidade [13].
Zeki [13] sustenta que artistas so tambm
neurologistas, pois eles utilizam tcnicas que so nicas
e que formalizam caractersticas do sistema de
processamento perceptivo do crebro. Segundo ele os
artistas, por vezes, restringem ou alargam um dos
sistemas (cor ou movimento), como na arte cintica, por
exemplo.
Em seus escritos sobre a teoria neuroesttica, Zeki
[13] se baseia em vrios artistas e faz correlaes entre o
funcionamento do sistema visual e algumas obras, que
segundo ele so capazes de ilustrar como o crebro
visual processa a informao. Neste ponto, porm,
embora no contextualize seu trabalho sob a perspectiva
da neuroesttica, e sim a partir da fisiologia do sistema
visual, nos parece que a pesquisa de Livingstone muito
mais ilustrativa ao explicar esta relao. Zeki cita o
poder psicolgico das pinturas de Vermeer e
Michelngelo, que do conta de captar o olhar de
dentro, e demonstra como estes artistas servem de
exemplo para o estudo da constncia situacional do
sistema visual. O registro da noo de movimento por
alguns artistas , para Zeki, realmente intrigante,
sobretudo os encontrados na arte cintica, pois ainda no
sabemos muito sobre como ocorre a percepo de linhas
e movimentos no crebro, mas os artistas, porm,
materializam estes atributos com maestria. Os mbiles
de Calder so considerados, por ele, grandes exemplos
de como o estmulo das clulas na regio V5 (regio do
crebro na qual as clulas so seletivamente responsivas
ao movimento e direo de movimento) do crebro
funcionam.
Kawabata e Zeki [15] tratam a viso como a mais
poderosa ferramenta de obteno de conhecimento,
porm alertam que ainda um enigma como o crebro
processa este conhecimento. Usando como referncia
Plato, e principalmente Kant, a neuroesttica de Zeki e
colaboradores tambm aborda as noes de beleza,
neutralidade e feiura, estudadas a partir de uma srie de
experimentos nos quais a atividade cerebral do sujeito
escaneada enquanto ele visualiza reprodues de
pinturas de diferentes categorias (abstrata, naturezamorta, paisagem ou retrato). J no nosso entendimento,
estes experimentos so restritos a demonstrar quais so
as reas ativadas do crebro quando se visualiza
diferentes categorias de imagens consideradas belas,
neutras ou feias. Sobre a atividade cerebral avaliada
7th International Conference on Digital Arts ARTECH 2015

17

durante os experimentos nas pesquisas neurocientficas,

de um modo geral, demonstrado que a visualizao de
diferentes categorias de pinturas produz atividades em
diferentes reas do crebro, independentemente se as
imagens forem belas ou feias. Em qualquer das
categorias da imagem, percebe-se um aumento de
atividades cerebrais perante aquelas classificadas como
belas, e uma diminuio das atividades perante as
consideradas feias.
Podemos dizer que o mtodo destes experimentos no
eficiente, pois se fizssemos testes idnticos,
enfocando
imagens
fotogrficas,
teatrais
ou
cinematogrficas, opondo, por exemplo, temas pacficos
ou violentos, teramos resultados muito aproximados. O
que diferenciaria os resultados da visualizao de obras
de arte e como este mtodo poderia dar conta de avaliar
as percepes de obras digitais ou hipermiditicas,
incluindo o cinema interativo?
Mas de acordo com Kawabata e Zeki [15] os
resultados obtidos com as medies de atividades do
crebro respondem se h ativaes em reas cerebrais
especficas no reconhecimento do belo e do feio: o
reconhecimento de pinturas belas no mobiliza o
crebro visual inteiro, mas apenas reas relacionadas a
percepo do estmulo especfico a determinada
categoria, o que demonstraria que a especializao
funcional est na base do julgamento esttico. Desse
modo, o julgamento do belo e do feio estaria
condicionado ao processamento da imagem na rea
especfica relacionada ao tipo de imagem visualizada.
Apesar de serem identificadas em diferentes reas
cerebrais, o reconhecimento do belo e do feio
tambm tem regies de atividade em comum como
mostram outros estudos [16] [17].
Os experimentos permitiram que Zeki e seus
colaboradores elencassem diferentes tipos de ativao
cerebral. Uma das ativaes refere-se ao cortex motor,
que sugere que a percepo visual de um estmulo,
sobretudo de um estmulo emocionalmente carregado,
mobiliza o sistema motor, conferindo algumas aes
corporais referentes ao reconhecimento do belo e do
feio, o que acontece com muito mais fora durante a
percepo do feio.
Kawabata e Zeki [15] reconhecem que a pesquisa
realizada no suficiente para comprovar as condies
de surgimento do reconhecimento do belo e do feio
e destacam que o prprio fMRI (functional magnetic
resonance imaging) mostra-se limitado, na medida em
que este apenas consegue mostrar as reas ativadas
durante o paradigma utilizado, o que no significa que
reas no detectadas durante o processo no possam
influenciar na experincia. Alm disso, ainda segundo
os autores, seriam necessrias experincias futuras, que
considerassem outros tipos de linguagem artstica, como
a msica, poesia, teatro, literatura. Os autores declaram
que no esto aptos a determinar o que constitui o
belo em termos neurais; a resposta pode estar
relacionada a ativao do sistema cerebral de

18

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

recompensas, o que abre espao para estudos voltados a

identificar a definio dessa atividade cerebral e as
estruturas que esto implicadas no julgamento esttico,
bem como a fora dessas atividades estruturais.
Os estudos de Zeki e colaboradores no se preocupam
em compreender o quanto as concepes de beleza so
condicionadas pelos contextos culturais e educacionais,
embora apontem para a existncia e importncia destes
fatores. Ainda que lancem a proposta inicial de
compreender se o belo, neutro e feio emergem do objeto
apreendido, ou do sujeito que percebe, a pesquisa destes
autores deixa muitas lacunas a respeito.
E. Abordagens Neurocientficas da percepo da obra
de arte na prtica de laboratrio.
Em um trabalho anterior [18] realizamos um
levantamento
de
pesquisas
da
neurocincia/
neuropsicologia que se apropriam de contedos
artsticos para fazer cincia; nele identificamos que a
arte aparece como tema central ou perifrico e, muitas
vezes, utilizada para estudar a percepo e a cognio
humanas de um modo geral. Tais pesquisas usam
eletroencefalografia9 (EEG), ou ressonncia magntica
funcional10 (fMRI), para avaliar a atividade cerebral,
lidam com tecnologias que rastreiam o olhar ou so
desenvolvidas no contexto da arte-terapia; alm de
imagens bidimensionais da arte, o cinema tambm
utilizado nos experimentos. O cinema pensado como
um espao de experimentao cientfica eficaz, para
pesquisas que estudam o crebro e a cognio, ou se
interessam pelos processos cerebrais que so evocados
por estmulos audiovisuais complexos [18]. A maioria
das pesquisas baseadas no cinema usam monitoramento
fisiolgico, e/ou fMRI, em tempo real, quando o
indivduo assiste a um filme.
Em um experimento que envolve o cinema, Boly et
al. [19] investigaram o processo de formao de
imagens mentais e o papel das conexes bottom-up e
top-down11 durante a percepo visual, a partir de uma
anlise de dados obtidos via eletroencefalograma de alta
densidade (hdEEG), usando o software NetStation12.
Foi lanada, por eles, a hiptese de que durante a
percepo visual as conexes de baixo para cima, de
reas visuais primrias, para crtices de ordem superior,
seriam predominantes. O experimento consistiu na
exposio de voluntrios monitorados pelo hdEEG s
seguintes situaes: a) a visualizao de 6 filmes, de
aproximadamente 1 minuto cada, retirados do jogo de
computador The Sims 3; b) foi solicitado que os
participantes, com os olhos fechados, reproduzissem,
verbalmente, com o mnimo de detalhes possveis,
informaes referentes a cor, textura e movimentos
percebidos no filme; c) em seguida, os participantes
tiveram que imaginar uma viagem, com uma bicicleta
mgica, para um destino a sua escolha, sob a instruo
de focar os detalhes da viagem e cenrios imaginados,
em dois momentos, um de de olho fechado, e outro de
olho aberto, com 5-6 minutos de durao cada; d) por

fim, um vdeo silencioso com cenas naturalsticas foi

exibido.
Os resultados mostraram um aumento nas correntes
de sinal top-down, no crtice parietal-ocipital, durante o
processo de imaginao e formao de imagens mentais
da viagem solicitada, o que torna este estudo pioneiro
em demonstrar como h uma inverso na direo
predominante, do fluxo do sinal cortical, durante a
formao da imagem mental, em comparao com a
percepo de contedos diversos.
Em The neural time course of art perception: An
ERP study on the processing of style versus content in
art [20], os autores usam imagens de pinturas de Paul
Czanne e Ernst Ludwig Kirchner (paisagens e pessoas)
para compreender qual a especificidade da percepo de
obras de arte, em relao percepo de objetos e cenas
convencionais. Os autores se perguntam como o estilo e
o contedo das obras de arte poderiam influenciar o
aspecto diferenciado dessa percepo isto posto no
caso especfico dos artistas escolhidos, como o estilo
caracteriza as obras Ps-Impressionista (Czanne) e
Expressionista (Kirchner), e como o contedo
caracteriza o motivo pintado? No experimento, as
imagens foram mostradas aos participantes que
deveriam identificar (por meio de respostas motoras das
mos) ora o estilo, ora o contedo, em instantes
especficos conforme a orientao dos avaliadores.
Usando vrias tcnicas de medio (ERP-Event-related
potential, LRP-Lateralised Readiness Potential, Effect
N20013), o estudo buscou identificar a diferena relativa
do tempo neural de percepo, processamento e
reconhecimento entre o estilo e o contedo das obras de
arte, a partir das reaes motoras dos indivduos e
chega a concluso de que o tempo de processamento e
reconhecimento do contedo precede o do estilo.
Para os estudiosos essa informao provavelmente
deve-se ao fato de que o contedo apresentado guarda
similaridades muito maiores com experincias visuais
cotidianas, enquanto que o estilo parece ser mais
abstrato. Portanto, esse dado, segundo os autores,
corrobora as teorias empricas a respeito da
diferenciao na percepo de obras de arte, j que as
questes de estilo, potencialmente presentes nesses
trabalhos, solicitam um tempo maior de processamento
e exerccio cerebral, por justamente no poderem ser
facilmente relacionadas s experincias cotidianas, e
trazerem tona no apenas um prazer esttico, mas
tambm um maior teor de demandas intelectuais.
Tikka et al. [21], em Enactive cinema paves way for
understanding complex real-time social interaction in
neuroimaging experiments, investigam novas formas
de fazer cinema, a partir das tcnicas presentes no
trabalho de Hasson et al. [apud 21] sobre
Neurocinematics que so uma srie de experincias
desenvolvidas por este pesquisador, que se baseia na
produo de imagens do crebro (fMRI14) enquanto se
assiste um filme, tendo como objetivo estudar o
comportamento do espectador conforme o contedo

7th International Conference on Digital Arts ARTECH 2015

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

daquilo que ele v. Tikka et al. [21] exploram as

tcnicas de Hasson et al [apud 21] e o cinema para
pensarem um sistema interativo, que usa o cinema como
estmulo, para promover mudanas fisiolgicas que
ocorrem no corpo do participante, que tambm podem
alterar o curso de um dado contedo cinematogfico do
sistema interativo.

V - DISCUSSES
Entender os modelos neurocientficos no tarefa
trivial, fazemos um trabalho de mediao, buscando
clarear uma questo que, do nosso ponto de vista,
ainda no foi respondida nem pelos estudos da arte,
nem pelos da neurocincia, embora aceitemos que
esta ltima tem nos feito vislumbrar respostas
competentes sobre como se d a percepo no nvel
mental.
Este trabalho oferece instrumentos cientficos para
analisar a obra de arte, trazendo aportes para os dois
campos principais do nosso enfoque: a arte e a
neurocincia. Entretanto, temos como definido que
ainda precisamos discutir a percepo examinado a
neurofenomenologia, proposta por Francisco Varela;
o problema dos qualia (elemento primordial das
experincias do indivduo), em Antnio Damsio e
tambm em Vilanayur Ramachandran; e o dos
sentimentos, sensaes e emoes conforme Antnio
Damsio
Focar apenas o sistema visual parece deixar lacunas
de averiguao muito srias sobre a obra de arte,
pois a arte contempornea no se assenta
exclusivamente no visual. Alm disso, h uma parte
cultural e um foco atencional do processo de ver que
se modifica conforme culturas e especificidade do
indivduo.

Concordamos com a maior parte das observaes

de Seeley [3], Conway e Rehding [4] e Salah e
Salah [5]. Elas servem de diretrizes para uma
reviso no programa de pesquisas neurocientficas
sobre o nosso envolvimento com a obra de arte e,
da mesma forma, para o alargamento da nossa
compreenso da arte com aportes de outras reas de
conhecimento.
Temos uma amostragem suficiente para apresentar
coincidncias e discrepncias nos casos de
aplicao e/ou apropriao dos temas e objetos da
arte, incluindo os equvocos da cincia. Notamos
um reducionismo significativo, tanto das medies,
quanto nas escolhas das obras para os experimentos
(as obras utilizadas so sempre as consagradas)
levando-nos a concluir que a grande dificuldade de
entendimento da cincia sobre nossa rea, e viceversa, se aninham na desinformao.
7th International Conference on Digital Arts ARTECH 2015

Compartilhamos uma pesquisa em andamento, na

qual nossa hiptese inicial, no projeto geral
(Interfaces Assistivas para as Artes), assumia que a
neurocincia
suplantaria
as
epistemologias
aplicadas no campo da arte e que estas estariam
ultrapassadas. Quanto mais avanamos na pesquisa,
mais nos aparecem aproximaes, do que
distanciamentos, dos estudos da neurocincia com a
fenomenologia, a Gestalt, a semitica e a
complexidade. Assim, passamos a considerar uma
modificao na mesma. Entendemos, ainda, que se
faz necessrio examinar a percepo aplicando a
neurocincia, tanto para compreender o papel do
artista no fazer, quanto da percepo que se faz da
obra (inclusive a que o prprio artista faz em seu
processo de criao o que carrega a avaliao).
Porm, este enfoque deve ser amalgamado a
aspectos das outras epistemologias.
Nos claro que a abrangncia do entendimento
sobre a percepo, tanto no fazer, quanto no
experimentar a obra de arte, tem aspectos
incognoscveis, a partir do conhecimento
tecnolgico e cientfico de que dispomos em nossa
contemporaneidade. Todavia, ao galgar escalas de
compreenso se caminha no sentido da abrangncia
de entendimento sobre o fenmeno
Argumentamos ser possvel delinear conceitos e
metodologias originais, para o estudo dos aspectos
gerais da arte mas, at o momento, onde enfocamos
a percepo, elencamos, pelo menos trs reas
distintas: Neurocincias, Semitica e Teorias dos
Sistemas Complexos. Entretanto, percebemos que
nenhum destes aportes, fornece uma compreenso
efetiva sobre a mente que percebe. Mas a resposta
para isso, nem os neurocientistas tm, at o
momento.

AGRADECIMENTOS

VI CONCLUSES PRELIMINARES

19

Agradecemos aos integrantes e colaboradores do GIIP

(Grupo Internacional e Interinstitucional de Pesquisa em
Convergncias entre Arte Cincia e Tecnologia) e ao
PPG em Artes do Instituto de Artes da Unesp;
FAPESP e ao CNPq pelas bolsas de pesquisa fornecidas
aos membros do GIIP e estes autores; FAPESP pelo
auxlio viagem e participao no evento ARTECH.

Pesquisa: A neurocincia e a percepo: a

multisensorialidade e a multimodalidade, sob a coordenao
da Dra. Rosangella Leote, que mantm ligao com o problema
geral do projeto temtico Interfaces assistivas para as artes:
da difuso incluso. Rene vrios pesquisadores, inclusive
do exterior.
2
Oliveira, H. C.; Barana, D.; Leote, R. Apropriaes da arte
pela cincia Casos da neuropsicologia. In: Anais do 23
Encontro Nacional da ANPAP. Ecossistemas Artsticos.
Afonso Medeiros, Lucia Gouva Pimentel, Idanise Hamoy,
1

20

R. Leote, H. Oliveira and D. Barana / Abordagens da neurocincia sobre a percepo da obra de arte

Yacy-Ara Froner (Orgs.). 1. Ed. Belo Horizonte:

ANPAP/PPGARTES/ICA/UFMG, 2014. ISSN: 2175-8220
(PENCARD). ISSN: 2175-8212 (ONLINE).
3
(1)
Neuroimaging:
http://www.journals.elsevier.com/neuroimage/;
(2)
Neuropsicologia A Neuropsychologia International Journal
in
Behavioural
and
Cognitive
Neuroscience:
http://www.journals.elsevier.com/neuropsychologia/;
(3)
Frontiers
in
HUMAN
NEUROSCIENCE:
http://www.frontiersin.org/human_neuroscience.
4

Os resultados encontram-se no texto citado acima (nota 2).

Ver nota 1 - Grupo internacional e Interinstitucional de
Pesquisa em Convergncias entre Arte, Cincia e Tecnologia
(GIIP) Instituto de Artes, UNESP/SP (Brasil).
6
A saber: (i) o efeito de mudana de pico, (ii) o agrupamento,
(iii) o isolamento/ alocao da ateno, (iv) o contraste, (v) a
simetria, (vi) o ponto de vista genrico e percepo da lgica
Bayesiana, (vii) a resoluo de problemas da percepo e (viii)
a metfora, sendo que alguns destes princpios foram,
inclusive, estudados pela Gestalt.
7Do snscrito, significa a essncia de algo capaz de evocar um
humor especfico no observador.
8 Tem a incumbncia de gerenciar os procedimentos contnuos
do sistema visual e concretizar sua estabilidade funcional.
9
Eletroencefalografia: tcnicas de medio dos sinais eltricos
do crebro, atravs do uso de eletrodos ou microeltrodos.
10 Ressonncia magntica funcional: tcnica de escaneamento
do crebro que mede a atividade cerebral atravs da deteco
de alteraes no fluxo de sangue.
11 Empregados para definir o fluxo de informaes no
processamento sensorial. A abordagem bottom-up refere-se a
processos cognitivos em que existem estmulos externos que
provocam rpidas reaes em quem percebe, foca-se em
detalhes, baseando-se principalmente em informaes
sensoriais, existe uma progresso de elementos individuais
para o todo e inclui o processo de percepo que precisa da
disponibilizao de estmulos. Por outro lado a abordagem
top-down preocupa-se com os processos que possuem mais de
um mecanismo de estmulo no qual buscamos um
direcionamento, portanto, mais complexo, encontra-se no
mbito da semntica.
12
Pacote de software para coleta de dados adquiridos durante
sesses de EEG ou ERP podendo executar vrias operaes
em seus dados em tempo real para visualizao e anlise das
informaes.
13 Tcnicas baseadas em mtodos da eletroencefalografia
(EEG).
14 Ressonncia magtica funcional.
5

REFERNCIAS
[1] A. Damsio, E o crebro criou o homem, So Paulo:
Companhia das letras, 2011.
[2] J. P. Changeaux, The good, the true, and the beautiful a
neuronal approach, EUA: Yale University Press, 2012.
[3] W. P. Seeley, What is the cognitive neuroscience of art
and why should we care?, American Society for
Aesthetics - Aesthetics on-line, 2011. Disponvel em:
http://www.aestheticsonline.org/articles/index.php?articles
_id=53
[4] B. R. Conway, and A. Rehding, Neuroaesthetics and the
trouble with beauty, PLoS Biol, 2013.

[5] A. Salah, and A. Salah, Technoscience art: a bridge

between neuroesthetics and art history?, Review of
general psychology, vol. 12, no. 02, pp. 147-152, 2008,
Den Haag: APA, 2008. Pg. 149.
[6] S. Zeki, Inner Vision: an exploration of art and the brain.
Oxford University Press, 2000.
[7] M. Livingstone, Vision and art: the biology of seeing, New
York: HNA Ed, 2002.
[8] V. Ramachandram, and W. Hirstein, The science of art a
neurological theory of esthetic experience, Journal of
Consciouness Studies, no. 6, pp. 15-51, 1999.
[9] D. Wheelwell, Against the reduction of art to galvanic
skin response, Journal of Consciousness Studies, vol. 7,
no. 8-9, pp 37-42, 2000.
[10] V. S. Ramachandran, Sharpening up The science of art:
an interview with Anthony Freeman, Journal
Consciousness Studies, vol. 8, no.1, pp. 9-29, 2011.
[11] E. R. Kandel, The age of insight: the quest to understand
the unconscious in art, mind and brain, from Vienna 1900
to the present, Random House: New York, 2012.
[12] D. Milner, and M. Goodale, Separate visual pathwaysfor
perception and action, Trends Neurosci, no. 15, pp. 2025, 1992.
[13] S. Zeki, Art and the Brain, Journal of Consciouness
Studies: controversies in science and the humanities
Special feature on art and the brain, vol. 6, no. 6/7, 1999.
[14]S. Zeki, and M.Lamb, The Neurology of Kinect art, no.
117, pp. 607-636, 1994.
[15] H. Kawabata. S. Zeki. Neural correlates of beauty. J.
Neurophysiol . 91. 1699-1705. 2004.
[16] H. Kawasaki, O. Kaufman, H. Damasio, A. R. Damsio,
M. Granner, H. Bakken. Single-neuron responses to
emotional visual stimuli recorded in human ventral
prefrontal cortex, Nature Neuroscience, vol. 4, pp. 15-16,
2001.
[17] M. Shidara, and B. J. Richmond, Anterior congulate:
single neuronal signals related to degree of reward
expectancy, Science, vol. 296, no. 5.573, pp. 1709-1711,
Maio 2002.
[18] X, Y, Z, Omitido para avaliao cega, Anais do 23
Encontro de pesquisadores em artes plsticas, 1 ed, pp.
85-100,
Belo
Horizonte:
ANPAP/PPGARTES/ICA/UFMG, 2014.
[19] M. Boly, J. Y. Chang, B. L. Cheung, D. Dentico, J.
Guokas, G. Tonono, B. V. Veen. Reversal of cortical
information flow during visual imagery as compared to
visual perception, Neuroimage, no. 100, pp 237-243, 2014.
[20] M. D. Augustin, B. de Franceschi, H. K. Fuchs, C. C.
Carbon, F. Hutzler, The neural time course of art
perception> an ERP study on the processing of style
versus content in art, Neuropsychologia, no. 49, pp. 20712081. Gr-Bretanha: Elsevier, 2011.
[21] A. W. De Borst, M. Kaipainen, R. Pugliese, N. Ravaja, T.
Takala, P. Tikka, A. Valjame, Enactive cinema paves
way for understanding complex real-time social interaction
in neuroimaging experiments, Frontiers in Human
Neuroscience, Vol. 6, Frontier editorial: Sua, 2012.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

21

Aesthetic Composition Indicator based-on Image Complexity

Adrian Carballal, Luz Castro, Juan Romero, Rebeca Prez
Department of Information and Communication Technologies
University of A Corua, A Corua, Spain
{adrian.carballal, maria.luz.castro, jj, rebeca.perezf}@udc.es
Abstract Several systems and indicators for
multimedia devices have appeared in recent years, with the
goal of helping the final user to achieve better results. Said
indicators aim at facilitating the creation of images or
videos with a more professional aesthetics. The present
paper describes a series of metrics related to complexity
which seem to be useful for the purpose of assessing the
Aesthetic Composition of an image. These metrics are a
fundamental part of the prototype introduced here, which
allows an assessment of the aesthetics in the composition of
the various frames integrating a video.
Index Terms Computer Vision, Computational
Aesthetics, Image Composition, Evaluation, Visual
Perception, Complexity.

I. INTRODUCTION
From image brightness indicators to facial recognition
systems, multimedia devices in the home and
commercial environments have gone through a
revolution from the late 90s until the present day. These
systems allow access to the images intrinsic information
based on different phenomena, such as contrast, for
instance, showing whether there is an under or over
exposure at a given time.
Most of these indicators have the task of measuring
objective phenomena, given that they can be clearly
identifiable and quantified. Any system which could be
capable of measuring a relevant subjective phenomenon
related to taking a picture or shooting a video would
possess a high added value.
This paper proposes a system allowing the evaluation
of the aesthetic composition of an image or the frames in
a video. Thus, multimedia devices could help the user to
identify in real time those framings with a certain
aesthetic value. This would enable users without artistic
background to take pictures and shoot videos of better
appearance and with a more professional look.
Numerous papers [13] have appeared in recent years
evaluating different elements of the aesthetic value of
images and different ways to estimate it.
This paper introduces different metrics based on those
works, based on the complexity of an image, which have
already proven useful in experiments related to the
ordering and classification based on stylistic and
aesthetic criteria [47, 21-22].

7th International Conference on Digital Arts ARTECH 2015

First, we will make a study of those metrics and their

usefulness for calculating the aesthetic composition of a
landscape. An experiment of image binary classification
according to their aesthetic composition will be
described for this purpose. Later on, we will present the
design of a prototype system indicating the aesthetic
composition of the frames integrating a video: Aesthetic
Composition Indicator based-on Image Complexity
(a.k.a ACIC). This system will be used for the purpose
of differentiating professional and amateur videos.
Similarly, an example of functioning will be provided
based on a professional video and the comments made
by an expert on the results achieved.
We understand that the resulting prototype can be
used for several tasks related to aesthetic composition:
identification, classification, categorization, etc.; both in
real-time multimedia devices and in stand-alone
applications.
Next, the present paper is structured as follows: i) a
short description of the state of the art in composition
systems is included; ii) the hypothesis of the authors
about possible metrics for evaluating the aesthetic
composition of an image is presented; iii) the features to
be used in the study are described; iv) the results
obtained in an experiment of image classification
according to their aesthetic composition are shown; v)
the design and functioning of a prototype will be
detailed by means of a real example; vi) and, finally, the
conclusions and the upcoming research lines for
improving the already presented prototype will be
explained.
II. STATE OF THE ART
Santella et al. [8] presented a system which records
users eye movements for a few seconds to identify
important image content. The given approach is capable
of generate crops of any size or aspect ratio. The main
disadvantage is that the system incurs on requiring user
input, so it cant be considered a fully computational
approach. Once the important area of an image is
detected, the crops are made considering three basics on
photography: (i) include an entire subject and some
context around, (ii) edges should pass through
featureless areas whenever possible, (iii) the area of the
subject matter should be maximized to increase clarity.

22

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

They presented 50 images cropped using 3 different

approaches: saliency based [9], professional hand-crop,
and gaze-crop to 8 different subjects. They obtained that
their gaze-based approach was preferred to saliencybased cropping in 58.4% of trials and in 32.5% to
professional cropping.
Liu et al. [10] have translated several basic
composition guidelines into quantitative aesthetic scores,
including the rule of thirds, diagonal, visual balance, and
region size. Based on which, an automatic crop-andretarget approach to producing a maximally aesthetic
version of the input image. Their approach searches for
the optimal composition result in a 4D space, which
contains all cropped windows with various widths and
heights.
A dataset of 900 casual images arbitrarily collected
from international websites in which skilled
photographers rank photographs through them was
employed to evaluate their score function. To evaluate
the performance of their method generated a set of 30
triplets of images; the original image, one crop using
Santellas method and one using theirs. These triplets
were shown to 56 subjects, males and women, between
21 and 55 years old. In 44.1% of cases, the subjects
preferred the cropped images provided by their
approach. In addition, 81.8% were not able to
distinguish whether the image was hand-cropped or
computationally optimized.
Wang and Cohen [11] propose an algorithm for
composing foreground elements onto a new background
by integrating matting and compositing into a single
process. The system is able to compose more efficiently
and with fewer artifacts compared with previous
approaches.
The matte is optimized in a sense that it will minimize
the visual artifacts on the final composed image,
although it may not be the true matte for the foreground.
They determine the size and position that minimizes the
difference between a small shell around the foreground
and the new background, and then run the compositional
matting. The developed algorithm not always gives
satisfying compositions when the new background
differs significantly from the original.
Zhang et al. [12] presented an auto-cropping model to
obtain an optimal cropped image using the width and
height of the original image, the conservative
coefficient, the faces detected and the region of interest
(ROI). The model consists of three sub models: (i) a
composition sub model to describe how good the
composition is, (ii) a conservative sub model to prevent
the photograph from being cropped too aggressively and
(iii) a penalty factor to prevent faces or ROIs being cut
off.
They used 100 pictures randomly selected from 600
home photographs. All the images were used into two
studies. The first user study evaluated the auto cropping
result in different aspect ratios. They obtained that the

algorithm exhibits a satisfactory score on cropping. The

second user study evaluated the improvement of the
picture composition after cropping, in which observed
the considering of the artistic rules leads to a good score
of the improvement of the picture composition.
Suh et al. [9] proposed a set of fully automated image
cropping techniques using a visual salience model based
on low-level contrast measures. According to them, the
more salient a portion of image, the more informative it
is; and the visual search performance is increased as
much recognizable the thumbnail is. They used their
feature set on recognizing objects in small thumbnails
(Recognition Task) and to measure how the thumbnail
generation technique affects search performance (Visual
Search Task). They ran an empirical study over 20
subjects, which were college or graduate students at the
University of Maryland, and 500 filler images. In both
tasks, the proposed set was capable to provide
thumbnails substantially more recognizable and easier to
find in the context of visual search.
III. HYPOTHESIS
The already described works focus on the search for
metrics which show the composition quality or cropping
methods which enhance the visual and aesthetic quality
of a given image. Most of them use metrics related to
Rule of Thirds (RoT), Region of Interest (ROI), or
Saliency individually. RoT is a photographic framing
technique, which divides the scene into 9 equally sized
parts by means of three vertical and horizontal
equidistant lines. This technique is based on placing the
heaviest elements at the intersection among these lines.
On the other hand, the use of ROI determines those
image areas grouping the elements which attract the
greatest interest. The saliency allows the differentiation
of a foreground object from the background and to
classify it as an interesting point.
Our hypothesis entails that the quality of aesthetic
composition may be related to the visual complexity of
the composition itself, as well as to the complexity
derived from each of the elements represented in the
same image. We assume that, inside the images, there
are elements which attract the observers attention and
their complexity must be taken into account when
determining the composition aesthetics.
We propose the joint use of metrics allowing the
determination of the complexity of an image as a whole,
as well as of all the elements integrating it and,
particularly, those which are its focus of attention. The
proposed metrics are listed next.
A. Complexity
Machado and Cardoso [1], based on previous works
by [13], propose JPEG and FRACTAL Compression
methods to estimate the image complexity. On [14] it is

7th International Conference on Digital Arts ARTECH 2015

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

found a correlation between compression error and

complexity of the image.
The error involved in the JPEG compression method,
which affects mainly to high frequencies, depends on the
variability of the pixels in the image. From this point of
view, more variability involves more randomness and
therefore more complexity. The FRACTAL method
tends to compress an image by filtering the selfsimilarities within. In this case, more self-similarities
imply less variability, and therefore less complexity.
Hence we considered applying JPEG and FRACTAL
Compression methods as image complexity estimative.
B. Subject Saliency
Saliency is the quality that stands out one or multiple
important objects from those that surrounds it/them.
Somehow, saliency facilitates to focus the perception of
the viewer on the most pertinent item or items on a
scene. The saliency algorithm chosen to implement was
the Subject Saliency algorithm also known as Subject
Region Extraction [15]. Based on the idea that the
subject in a photograph would be clearer and the
background would be blurred, the algorithm extracts the
clear region of an image which theoretically holds the
subject. This algorithm uses images statistics to detect
2D blurred regions in an image, based on a modification
of [16] work.
Subject Salience will be used to detect the foreground
item/s, which should get the focus of attention.
C. Sobel Filter
The Sobel filter calculates the gradient of the image
intensity at each point, giving the direction of the greater
variation from light to dark and the amount of variation
in that same direction. This gives us an idea of the
variation of brightness at each point, from smooth to
sharp differences. With this filter it is estimated the
presence of the light-dark transitions and how they are
oriented. With these light-dark variations corresponding
to the intense and well-defined boundaries between
objects, it is possible to obtain edge detection.
The Sobel Filter will give a simple representation of
all the elements standing on the image by identifying
their silhouettes.
IV. PRESENTED FEATURES
The proposed metrics have already been listed. This
section will show the features used in the experiments,
which are related to each of those metrics.
Before entering into a detailed explanation of the
features used, we must explain the way in which they
will be obtained. Four auxiliary images are generated
from every image. Three of those images are obtained
by separating the color channels following the HSV
model. The fourth image stems from an attempt to solve
the existing problems of the HSV color model for the
7th International Conference on Digital Arts ARTECH 2015

23

extreme values of the H and V channels. For instance, a

totally black pixel (V=0) can be represented with any
value of S and H. This new image is determined by
multiplying pixel by pixel the S and V channels within
the range [0, 255]. It will be referred to from now on as
CS or Colorfulness.
A. Control Features
We have chosen to use a set of basic features related
to the statistical variability of the pixels integrating an
image. Said features calculate: (i) the mean (ii) and the
standard deviation of the pixels with regard to the
adjacent pixels in each channel.
Since Hue channel is circular, the mean and standard
deviation are calculated based on the angle values of
Hue and its norm. In addition, it is performed the
multiplication of the Hue angle by the pixel intensity
values of CS, and a new value of the norm is calculated
using values from H and CS.
Splitting the image in mentioned color channels and
applying the metrics to each of the resulting images,
yields a total of 12 features per image, 7 related with
mean and 5 related with standard deviation.
B. Complexity Features
As already explained in Section 3, the use of the JPEG
and FRACTAL compression are used as estimates of an
image complexity; while the Subject Saliency and the
Sobel Filter are used for the identification of the main
elements in the scene, as well as all the items appearing
in it.
In the case of the compression methods, since they are
both lossy compression schemes, there might be a
compression error, i.e., the compressed image will not
exactly match the original. In our case, three levels of
detail for the JPEG and FRACTAL compression metrics
are considered: low, medium and high. For each
compression level the process is the same. The image I
is encoded in JPEG or FRACTAL format, and its
complexity is estimated as following:
Complexity(I ) = RM SE(I ,CT(I )) x

FileSize(CT(I ))
(1)
FileSize(I )

Where RMSE represents the root mean square error

and CT is the JPEG or FRACTAL compression
transformation. The quality settings of the JPEG
encoding for low, medium and high level of detail were
20, 40 and 60, respectively.
Nonce, a quad tree fractal image compression scheme
was used to calculate the PC of the image. More info
available at [7].
Splitting the image in mentioned color channels and
applying the complexity metrics to each of the resulting
images gives a total of 32 features. It must be noted that
these 32 features will be calculated based on the original
image, having applied the subject saliency and the Sobel
Filter again. Therefore, we will achieve a total number
of 96 features.

24

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

Fig. 2.

Cropping example.

Fig. 3. Examples of wrong classified images using the

BASE set.

Fig. 4. Examples of wrongly classified images using the

COMPLEX set.

Fig. 1. Example images of both sets (images of the original

set on the left and the cropped version on the right).

Fig. 5. Examples of well and badly framed images,

according to the system, using the Rule of Thirds as criterion.
7th International Conference on Digital Arts ARTECH 2015

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

25

V. EXPERIMENTS ON AESTHETIC COMPOSITION

Fig. 6. Example of well framed image according to ACIC

related to the Vanishing Point (01:02 min).

Fig. 7. Examples where the system seems to work by

determining the visual weight (A) and the selective focus on
the foreground (B).

The previous section has identified all the features to

be used in the experiment shown next.
A total of 1961 landscape images of high aesthetic
quality in their composition have been compiled for
carrying out this experiment, most of them wallpapers in
landscape format. All of them have a resolution higher
than 1024x1024 pixels. Their visual topics vary a great
deal: night, day, mountain, beach, etc.
From this initial dataset, a random algorithm was
created which will provide sub-images with a
width/height ratio equal to the original image. Said
algorithm has been used on every image, thus providing
a second set of images of the same sampling size.
A photography expert has identified those images
which, because of the random cropping, generated a new
image which was better than the original one as regards
framing. All these images have been discarded,
achieving a final dataset integrated by two sets of 1757
images each.
Figure 1 shows a simple subset of images of both sets.
The left side shows images of the original set, while the
right side shows the same subset once the algorithm has
been applied.
A. Results

Fig. 8. Example of image where several types of framings

are observed: Horizons law, Rule of Thirds and Vanishing
point.

Fig. 9.

Examples of false negatives achieved by the ACIC.

Fig. 10. Examples of false positives achieved by the ACIC.

7th International Conference on Digital Arts ARTECH 2015

Both images to be used in this experimental part and

the features, which will characterize them individually,
have been presented so far. The present section explains
the experiment carried out in order to try to validate the
initially proposed hypothesis.
As already explained in Section 4.1, we have a set of
12 basic features related to the statistic variability of the
pixels integrating the image (Avg and STD) calculated
on the different color channels. This set will be referred
to as BASE from now on.
Besides, we have a second set, which will be
integrated by those 12 features and by another 96
features related to the complexity of the whole image, to
the main attention element and to the boundaries of the
items integrating that image. This set of 108 features
will be referred to as COMPLEX from now on.
The classification model has been developed using
SNNS (Stuttgart Neural Network Simulator) [17]. In
particular, a back propagation MLP is used with 3-layer
architecture: an input layer with 108 neurons, a single
hidden layer of 15 neurons and an output layer with 1
neuron. This configuration has been established based
on previous experiments and experiences of the research
team in tasks of the same field [18, 19].
The network training will finish when a maximum
number of 1000 cycles is reached. The initial network
weights are determined at random within the range [-0.1,
0.1]. A maximum error tolerance of 0.3 has been used.
The 10-fold Cross-Validation (10-fold CV) model has
been used for the generation of the training data sets so

26

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

that their results are statistically relevant. Each of these

runs has a different training and validation set, which
have been randomly generated. The results shown
correspond to the average results obtained in these 10
runs.
Given that the neural network provides a number
value within the range of 0 and 1, a dycotomic system
has been used for cataloguing the images.
Those images, which have a network output, once
they have been presented to the system, of less than 0.5,
will be catalogued as having a low aesthetic
composition. Table 1 shows the results obtained.
Image Set
Original
Cropped
Global

Features

PRECISION

RECALL

BASE

71,9

82,2

COMPLEX

82,6

86,5

BASE

79,2

67,9

COMPLEX

85,8

81,7

BASE

74,5

75,0

COMPLEX

84,0

84,1

Tab 1. Classification results obtained for BASE and

COMPLEX feature sets (results expressed as a percentage).

Recall is the ratio of the number of relevant images

retrieved to the total number of relevant images in the
image set. Precision is the ratio of the number of
relevant images retrieved to the total number of
irrelevant and relevant images retrieved. Both are
usually expressed as a percentage.
According to the data, it may be seen that the image
classification when using the BASE set seems to achieve
relatively satisfactory results. It should be noted that the
problem itself contributes to the achievement of such
high results. Lets imagine that there is a landscape
photography similar to the one in Figure 2a. Having
applied the random cropping, the new image may result
as the one seen in Figure 2c.
In this case, as is usually the case in this kind of
images, the cropped landscapes usually have an extreme
pixel variability compared to the original image. That is,
the mean and the typical deviation of the pixels
integrating the resulting image either increases or
decreases considerably. Anyhow, no element of the real
content of any of the two images is taken into account
for the classification. Similarly, it may also be seen that
both the accuracy and the recall for that feature set are
clearly outbalanced (particularly in the case of the recall,
with a 14% difference). As regards the second metrics
set, we may observe an increase in accuracy over 9%. It
must be noted that a great part of the improvement
corresponds to the increase in the capacity to detect
cropped images (from 67.9% to 81.7%). Similarly, both
the individual recall and accuracy seem to be better
offset with the global one.

B. Discussion and conclusions

The expert was presented with the number data and
the images which the BASE and COMPLEX sets were
not capable of identifying correctly, without having any
kind of information about the classification system or
the metrics used.
According to his criterion, the BASE features tend to
classify non-cropped images incorrectly when there are
minimal hue or texture differences among the
composition elements (Figure 3a). Even in those images
where there is some element of brightness, light or
where the differentiating element is relatively small with
regard to the image (Figure 3d). On the contrary, in the
case of cropped images, it tends to classify erroneously
those images whose content bears a great symmetry,
regardless of their content or originality (Figure 3b), or
those where the differentiating element is in the
foreground, while the background is out of focus and
homogeneous (Figure 3c).
With regard to the COMPLEX features, one of the
most frequent mistakes happens in images with framing
based on the horizon line (Figure 4a). It seems that the
system cannot find any differentiating element in the
image, understanding that it is made of two similar parts.
In that case, where we are almost faced with two
textures, it is possible that it interprets it as a cropped
image. It is also classified as a cropped image when the
differentiating element is placed on one of the far ends
of the image, partially complying with the three thirds
framing, but leaving the other half practically empty
(Figure 4b).
On the contrary, in the case of those cropped images
which are classified as original ones, sometimes the
mistake is perfectly justified: cropped image pieces
partially comply with the principles of framing; they
structure a differentiating element at the center while
their environment goes totally unnoticed as a uniform
background (Figure 4c). Color contrasts may also cause
confusion; for instance, if we are faced with a horizon
or, simply, with areas of a well differentiated color (such
as water foam, a specific color in a bouquet of flowers
or tree leaves) which is an element in itself. The fact that
these occupy a significantly bigger part than the true
differentiating elements may lead to error (Figure 4d).
The expert concluded that the mistakes generated by
the COMPLEX set were not trivial and were sometimes
understandable.
VI. PROTOTYPE
In the previous experiment, we have seen the capacity
of the COMPLEX set for classifying images according
to their Aesthetic Composition. A prototype has been
developed from that set of metrics with the purpose of
determining the composition aesthetics on the images

7th International Conference on Digital Arts ARTECH 2015

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

integrating a video. The present section will explain in

further detail the functioning of the ACIC.
A. Design and implementation
ACIC embeds a light indicator on a video, identifying
those frames with a high aesthetic composition (green
light) or those with a low aesthetic composition (red
light). The prototype is based on the use of different
modules, which allow the performance of specific
independent tasks in an automated way (Video splitting,
Frames
selection,
Feature
Extraction,
ANN
classification, Frame modification, Recomposition).
The breaking down and the remaking of the video in
the corresponding frames is made under the support of
the FFMpeg API [25]. The frames modifications for
adding the indicators are made by using, in this instance,
the API of ImageMagick [26]. The features extraction is
made by means of an automated serial process,
following the same extraction method seen in [6, 7,
20,21,22], but changing the edge detection filter used by
the Sobel filter and adding the Saliency Subject.
In our case, since it is a prototype, only 1 out of 10
frames are used, due to the fact that the extraction
system is not optimized yet for using parallel processing
on every frame.
B. Testing
A series of tests have been made with videos
containing different types of landscapes. In particular,
the expert was asked to search for 3 videos considered
as having a high aesthetic composition (well framed
compositions,
stable
camera
movements and
professional preparation), and 3 more with a low
aesthetic composition (wrong framings, totally out of
focus, inconsistent movements, something considered as
amateurish). Youtube [27] was the platform chosen for
the compilation of the study videos.
Given that these were videos compiled from a
multimedia portal whose main feature is the great variety
of themes and contents, some modifications had to be
made on the videos before presenting them to the ACIC.
They were downloaded in 360p format using the H.264
codec. Those initial or final frames containing any kind
of subtitles were discarded, given that they could be
treated as an integral part of the image, and, probably,
the system would determine that the text is the main
subject, thus biasing the results achieved by the framing
classifier.
Having chosen those videos and applied the ACIC
system, we studied the capacity of the system for
differentiating high aesthetic composition videos
qualified by the expert as professional ones from those
with a low composition classified as amateur (indexing),
as well as the classification quality of the frames inside a
video (quality).

7th International Conference on Digital Arts ARTECH 2015

27

C. Indexing Performance
The purpose is to analyze if the system can detect a
greater number of frames correctly placed in
professional videos than in amateur ones. In order to
test this hypothesis, the outputs of the classifier were
tested for each of the frames obtained in the sampling
process for the six compiled videos. In the case of the 3
videos catalogued as professional by the expert, 74.4%
out of the 1576 sampled frames were classified as
having a high aesthetic composition. On the contrary,
in the case of the 3 videos catalogued as amateur, only
16.8% out of the 1958 sampled frames were classified as
having a high aesthetic composition.
D. Quality Performance
As previously mentioned, the ACIC prototype was
used with each one of the chosen videos, and the expert
was asked to evaluate its functioning. This section will
explain concisely the experts conclusions for one of the
professional
videos
which
is
available
at
http://youtu.be/yJGXlZHtuJY.
The system seems to interpret the currently most
frequently used types of framings, such as the Horizons
law, Vanishing Point or even the Rule of Thirds (Figure
5a), differentiating and assigning a weight to each of the
elements in the image. Even in those times when there is
a clear intention to comply with the Rule of Thirds and
this is not achieved, the system will label it as wrong
(Figure 5b).
It also interprets vanishing points and central point
composition, although they have a smaller size and
scarce contrast against the background, thus positioning
itself as a detailed and thorough system, which is
capable of recognizing elements with an objective visual
weight (Figure 6).
At given times, the images possess a well-delimited
and highly contrasted area with a very saturated color or
an extreme brightness level with regard to the rest of the
surrounding environment. In that case, the system seems
to determine that the visual weight of the image is
exactly located at that point, and so it is correctly
classified as out of focus (Figure 7a).
The system is capable of recognizing the selective
focus on the foreground. This is achieved by means of
focusing on the object at the foreground while leaving
the background out of focus. Although the object
framing the composition may be placed in an area which
is out of focus and scarcely contrasted, the system is
capable of acknowledging the image as a correct one. At
given times, the images possess a well-delimited and
highly contrasted area with a very saturated color or an
extreme brightness level with regard to the rest of the
surrounding environment. In that case, the system seems
to determine that the visual weight of the image is
exactly located at that point, and so it is correctly
classified as out of focus (Figure 7b).

28

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

Sometimes we find overlaying framings in

professional photography compositions. We may expect
the system to fail in that case, since it would not be able
to judge which of the contrasted elements has the highest
weight, although this is not the case. It is capable of
classifying an image with more than 3 different types of
added framings as correct. For instance, Figure 8 shows
a Horizons law framing (blue), a Rule of Thirds one
(red) and a Vanishing Point one (purple).
However, the system is not unerring. When a
composition is framed based on a central element
occupying an excessively big proportion, then the
system makes some mistakes when classifying the
framing. This happens when there are elements such as
fog, sea foam, smoke, etc. which are overlaying the
central element, and generating a contrast against the
background. Thus, the system will classify it as a
priority object and label it as out of focus (Figure 9a).
When the element with the visual weight in an image,
for instance, the man in the photograph following the
Rule of three thirds, is about to exit the framing and his
position is doubtful, perhaps there is a variation and the
system will recognize it as framed most of the time and
out of frame at the next second, almost without variation
(Figure 9b).
Another problem consists of the fact that it may
recognize vegetation as an element with a high visual
weight in order to analyze framings. Vegetation is
usually unnoticed by the human eye, while the system
takes it as a reference for classification. This is the case
in Figure 10a, where the system determines the bush
branches as a main element and thus, the image as well
framed.
Besides, excessively cropped foreground elements are
often classified as correct even if they are not, such as in
the following case, where the carpet is established as a
foreground element (Figure 10b).
VII. CONCLUSIONS AND FUTURE WORK
This paper has presented a set of metrics based on
complexity which seem to be useful for judging the
aesthetic composition in landscape images as well as a
prototype known as ACIC which would allow the final
user of a multimedia device whether the image captured
could be labeled as having a high aesthetic
composition.
A neural network has been used as a binary classifier
using the presented features as inputs, achieving
accuracy and precision results of more than 84%. The
trained network integrates the main axis of the ACIC,
which shows by means of a green or red light if the
aesthetic composition of the shown image is of high or
low quality, respectively.
ACIC has been tested on professional and amateur
videos and seems to be capable of differentiating them
based on the percentage of frames classified as well

framed. Moreover, the individual classifications of the

frames obtained in the simple videos, in spite of not
being perfect, seem to achieve satisfactory results.
Among the most immediate enhancements, we may
mention above all the elimination of all those cases
identified by the expert where the classifier fails, both in
the case of false positives and negatives. For this
purpose, we intend to search for another set of metrics,
which can help the already existing one with that task,
and even to find alternatives for the Sobel and Saliency
Subjects, so that their detection problems do not have a
direct impact on the prototype.
Another problem of use stems from the need to
improve the classification times to be used in real time,
so that the used images have a bigger sampling size. We
intend to modify the classification system so that
asynchronous tasks can be performed by means of
parallel programming, thus reducing the time of the task
of extracting metrics from each image, which currently
entails the biggest bottleneck.
ACKNOWLEDGMENTS
This research is partially funded by: Xunta de Galicia,
project XUGA-PGIDIT 10TIC105008PR and the
Portuguese Foundation for Science and Technology,
project PTDC/EIA-EIA/115667/2009.
REFERENCES
[1] P. Machado, A. Cardoso, Computing aesthetics,
Proceedings of the XIVth Brazilian Symposium on
Artificial Intelligence: Advances in Artificial Intelligence.
LNCS, vol. 1515, pp. 219229. Springer, Porto Alegre,
Brazil (1998)
[2] B.J. Ross, W. Ralph, W, Z. Hai, Evolutionary image
synthesis using a model of aesthetics. In: Yen, G.G.,
Lucas, S.M., Fogel, G., Kendall, G., Salomon, R., Zhang,
B.T., Coello, C.A.C., Runarsson, T.P. (eds.) Proceedings
of the 2006 IEEE Congress on Evolutionary
Computation. pp. 10871094. IEEE Press, Vancouver,
BC, Canada (1621 Jul 2006)
[3] J. Rigau, M. Feixas, M. Sbert, Informational dialogue
with van goghs paintings. In: Eurographics Symposium
on Computational Aesthetics in Graphics, Visualization
and Imaging. pp. 115122 (Jun 2008)
[4] J. Romero, P. Machado, A. Santos, A. Cardoso, On the
development of critics in evolutionary computation
artists. In: Gnther, R., et al. (eds.) Applications of
Evolutionary Computing, EvoWorkshops 2003: EvoBIO,
EvoCOMNET, EvoHOT, EvoIASP, EvoMUSART,
EvoSTOC. LNCS, vol. 2611. Springer, Essex, UK (2003)
[5] P. Machado, J. Romero, A. Cardoso, A. Santos,
Partially interactive evolutionary artists, New
Generation Computing Special Issue on Interactive
Evolutionary Computation 23(42), 143155 (2005)
[6] J. Romero, P. Machado, A. Carballal, O. Osorio, O.,
Aesthetic classification and sorting based on image
compression. In: Chio, C.D., Brabazon, A., Caro,
G.A.D., Drechsler, R., Farooq, M., Grahl, J., Greenfield,
G., Prins, C., Romero, J., Squillero, G., Tarantino, E.,
Tettamanzi, A., Urquhart, N., Etaner-Uyar, A.S. (eds.)
7th International Conference on Digital Arts ARTECH 2015

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

EvoApplications (2). Lecture Notes in Computer Science,

vol. 6625, pp. 394403. Springer (2011)
[7] J. Romero, P. Machado, A. Carballal, A. Santos, Using
complexity estimates in aesthetic image classification.
Journal of Mathematics and the Arts 6(2-3), 125136
(2012).
[8] A. Santella, M. Agrawala, D. DeCarlo, D. Salesin, M.
Cohen, Gaze-based interaction for semi-automatic
photo cropping. In: Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems.
pp. 771780. CHI 06, ACM, New York, NY, USA
(2006)
[9] B. Suh, H. Ling, B.B. Bederson, D.W. Jacobs,
Automatic thumbnail cropping and its effectiveness. In:
UIST. pp. 95104. ACM (2003)
[10] L. Liu, R Chen, L. Wolf, D. Cohen-Or, Optimizing
photo composition. Comput. Graph. Forum 29(2), 469
478 (2010)
[11] J. Wang, M.F. Cohen, Simultaneous matting and
compositing. In: Computer Society Conference on
Computer Vision and Pattern Recognition (CVPR 2007).
IEEE Computer Society (2007)
[12] M. Zhang, L. Zhang, Y. Sun, L. Feng, W.Y. Ma, Auto
cropping for digital photographs. In: ICME. pp. 438
441 (2005)
[13] R. Arnheim, Art and Visual Perception, a Psychology of
the Creative Eye. Faber and Faber, London (1956)
[14] A. Forsythe, M. Nadal, N. Sheehy, C.J, Cela-Conde, M.
Sawey, Predicting beauty: Fractal dimension and visual
complexity in art. British Journal of Psychology 102(1),
4970 (2011)
[15] Y. Luo, X. Tang, Photo and video quality evaluation:
Focusing on the subject. In: Forsyth, D.A., Torr, P.H.S.,
Zisserman, A. (eds.) ECCV (3). Lecture Notes in
Computer Science, vol. 5304, pp. 386399. Springer
(2008)
[16] G. Levin, J. Feinberg, C. Curtis. Alphabet synthesis
machine. http://alphabet.tmema.org (2006).
[17] A. Zell, G. Mamier, M. Vogt, N. Mache, E. Hbner, S.
Doring, K.U. Herrmann, T. Soyez, M., Schmalzl, T.
Sommer, SNNS: Stuttgart Neural Network Simulator
User Manual, version 4.2. Tech. Rep. 3/92, University
of Stuttgart, Stuttgart (2003)
[18] P. Machado, J. Romero, B. Manaris, Experiments in
computational aesthetics: An iterative approach to
stylistic change in evolutionary art. In: Romero, J.,
Machado, P. (eds.) The Art of Artificial Evolution: A
Handbook on Evolutionary Art and Music, pp. 381415.
Springer Berlin Heidelberg (2007)
[19] P. Machado, A. Cardoso, A., All the truth about
NEvAr, Applied Intelligence, Special Issue on Creative
Systems 16(2), 101119 (2002)
[20] J. Romero, P. Machado, A. Carballal, J. Correia,
Computing aesthetics with image judgement systems.
In: McCormack, J., dInverno, M. (eds.) Computers and
Creativity, pp. 295322. Springer Berlin Heidelberg
(2012)
[21] A. Carballal, M.L.C. Pena, R. Perez, J. Correia,
Detecting Bias on Aesthetic Image Datasets,
International Journal of Creative Interfaces and Computer
Graphics, vol. 5, pp. 62-74, 2014
[22] A. Carballal, R. Perez, A. Santos, L. Castro, A
Complexity Approach for Identifying Aesthetic
Composite Landscapes, Evolutionary and Biologically
Inspired Music, Sound, Art and Design - Third European
Conference, EvoMUSART 2014, Granada, Spain, April
23-25, pp: 50-61, 2014, Revised Selected Papers.
Springer 2014 Lecture Notes in Computer Science ISBN
978-3-662-44334-7
7th International Conference on Digital Arts ARTECH 2015

29

[23] S. Bhattacharya, R. Sukthankar, M. Shah, A Framework

for Photo-Quality Assessment and Enhancement based
on Visual Aesthetics, ACM Int. Conf. on Multimedia
(MM 2010), Florence, 2010
[24] D. Joshi, R. Datta, E. A. Fedorovskaya, Q. Luong, J. Ze
Wang, J.Li, J. Luo, Aesthetics and Emotions in Images.
IEEE Signal Process. Mag. 28(5): 94-115 (2011)
[25] Ffmpeg (2008). URL http://www.ffmpeg.org/.
[26] Image Magick (1999). URL http://www.imagemagick.
org/.
[27] Youtube (2005). URL http://www.youtube.com/

30

A. Carballal, L. Castro, J. Romero and R. Prez / Aesthetic Composition Indicator based-on Image Complexity

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

31

AUGMENTED REALITY EXHIBITION DEPICTING THE

AESTHETIC PERIODS OF MUSIC HISTORY
Jos D. C. Gomes (1), Mauro J. G. Figueiredo (2), Lcia da Graa C. D. Amante (3) e Cristina M. C.
Gomes (1)
(1)

(2)

Centro de Investigao em Artes e Comunicao, Universidade Aberta, Universidade do

Algarve, [email protected], Portugal

Centro de Investigao Marinha e Ambiental, Centro de Investigao em Artes e Comunicao,

Instituto Superior de Engenharia, Universidade do Algarve, [email protected], Portugal

(3)

Laboratrio de Educao a Distncia e Elearning, Universidade Aberta, [email protected],

Portugal

Abstract This paper presents an interactive

exhibition supported by Augmented Reality (AR)
technology. The exhibition focus the Aesthetical Periods of
Music History and it is aimed at an audience of students
from the 2nd and 3rd Cycle of Basic Education in Portugal
public schools. In this paper, we will discuss the concept,
definitions and current use of AR technology in teachinglearning processes. Topics as constructivism, the relation
between art education, information technology (IT) and
student motivation are also addressed in this paper.
Index Terms Augmented Reality, music
history, constructivism, art education, student motivation.

I. Introduction
New and advanced technologies continue to change
every aspect of home, life and work: the way we
communicate,
learn and
socialize.
Computer
technologies are changing the ways we think and make
sense of our world [1].
While educators may legitimately debate strategies
and methods of education, all agree that participation in
the world of the 21st century will demand technology
competence. Technology is essential in teaching,
communications, mathematics and science, and it is no
less important in the arts. Technology is an important
tool that can improve the educational system, but the
challenge of integrating technology into the delivery of
content remains. Digital technologies, in all areas, can
enhance student achievement by addressing introductory
and advanced skills, assessment of student progress and
student motivation [2].
Presently, Information Technology (IT) has become a
ubiquitous component of undergraduate education. The
use of computers, and mobile computing devices in
educational context are commonplace in terms of
usefulness and acceptance over the past few years and
technology has found its place inside and outside the
classroom for academic purposes [3].
7th International Conference on Digital Arts ARTECH 2015

Constructivist pedagogical approaches are inherent in

most performance-based music courses. Students can
apply new knowledge and receive synchronous feedback
from teachers. However, knowledge-based courses such
as music appreciation, theory and music history have
historically relied on direct instruction and the lecturemodel. Technology offers new opportunities to bring
constructivist pedagogy to knowledge-based music
courses, adding the possibility of autonomous
exploration of interactive multimedia content [4] into the
teaching-learning process in music history.
Augmented Reality (AR) Musical Gallery aims to
provide a constructivist pedagogical approach to the
Music History teaching-learning process and to promote
advanced AR technology to deliver educational
multimedia content to young students.
This paper introduces the concept of an interactive
exhibition based on AR technology, focusing an
audience of 2nd and 3rd Cycle of Basic Education
students. The exhibition goals are the promotion of
student motivation and to improve learning outcomes.
The paper is organized as follows: Section II
introduces AR technology and its potential for use in
educational environments. Section III introduces the
concept of the constructivist pedagogic model. Section
IV addresses the topics of art, motivation and
technology. Section V describes the concept and
development of the AR Musical Gallery. Section VI
presents conclusions and further work.
II. Augmented Reality Technology
Augmented Reality (AR) is a technology that allows
computer-generated virtual imagery information to be
overlaid onto a live direct or indirect real-world
environment in real-time. AR differs from virtual reality
(VR) in that VR user experience a computer-generated
virtual environment, whereas in AR, the environment is

32 J. Gomes, M. Figueiredo, L. Amante and C. Gomes / Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History

real, but extended with information and imagery from

the system [5].
According to Jaramillo, Quiroz [6] AR is also defined
as a technique that allows interacting and visualizing
virtual graphics on top of the real-world view.
Milgrams continuum (Milgram and Kishino, 1994)
proposes that AR is a mixed reality environment, with
one part belonging to the real-world, and other purely
virtual. However, the real environment predominates
(figure 1).

Fig. 1. Milgram's continuum (Milgram and Kishino,

1994)

This mixed-reality environment presents large

possibilities for human-computer interaction (HCI) and
it has been used in different areas, namely medicine,
architecture, education, training, military, astronomy,
chemistry, biology, mathematics and geometry
education, amongst many others.
AR can contain various functions, namely, interaction
or display. A good example of this can be a museum,
where the visitor uses a given application to scan a bar
code on the base of a statue and the application shows a
picture of the statue with a fully interactive description
[7].
In comparison to virtual reality, aimed to immerse the
user in a synthetic environment, AR supplements the
user perception of the real world by adding computergenerated content registered to real-world locations. A
significant part of the AR environment consists of realworld objects, for which it is not necessary to create
detailed 3-D models, while offering a high level of
reality [8].
The field of learning and training, both in academic
and corporate settings, has seen in the last few decades a
growing interest by researchers focusing on the potential
of AR to enhance the learning and training efficiency of
students and employees. Concerning the educational
uses of AR in school contexts, AR has not been much
adopted into academic settings due to the insufficient
funding by the government and lack of awareness
regarding the needs for AR in academic settings [5].
This is particularly true in Portugal regarding the
academic environment of Basic Education. The use of
AR to enhance the teaching-learning processes,
apparently, is addressed only by a minority of
Portuguese researchers.
However, although AR technology is not new, its
potential in education is just beginning to be explored,
and some examples are stated below:
Woods et al. (2004), enumerated benefits driven
by AR technology, such as improvement of the

interpretation of spatial, temporal and contextual

content;
Freitas and Campos (2008), have confirmed that
AR enhances student learning;
Seo, Kim and Kim (2006) state that a number of
authors have suggested that AR technology
improves kinesthetic learning because students
interact directly with the educational material,
associating the content with body movements and
sensations;
Lin, Hsieh, Wang, Sie, and Chang (2011) used
AR and a touchscreen to enhance the educational
resources about fish conservation in Taiwan and
their results were focused on system usability;
Ibez, Delgado, Leony, Garca, and Maroto
(2011), developed a multi-user AR platform for
learning Spanish as a second language. Results
showed that AR has a positive effect on student
motivation and improves the language learning
process;
Connolly, Stansfield, and Hainey (2011)
developed an AR game for learning English to
study how motivation could be improved through
collaborative methods;
In general, all of the above research studies evaluated
system usability and students results in order to show
improvement in learning processes [9].
III. AR Musical Gallery: A constructivist
approach
Piaget stated that education cannot succeed without
recognizing, using and extending the authentic activity
with which a child is endowed. Piaget was an early
adopter of the constructivist pedagogy, and in this view
of learning, the meaning that is constructed by an
individual is dependent on the situation itself, the
individuals purposes and active construction of
meaning. Constructivism also recognizes that prior
experiences and knowledge influence perception and
interpretation [10].
The theory of constructivism stems from the field of
cognitive science, particularly of the works of Jean
Piaget, Lev Vigotsky, Jerome Bruner, Howard Gardner
and Nelson Goodman and describes the construction of
knowledge through learning as a process of active
meaning construction in relation to the environment in
which the learning takes place [11]
The most important feature of constructivism resides
in focusing activities and environments, rather than
learning objects.
The constructivist approach effectively motivates
students, allowing active learning processes, based on
exploration and interaction. This means that students
build their own knowledge [12].
AR Musical Gallery aims to deliver a constructivist
learning environment by providing students an
7th International Conference on Digital Arts ARTECH 2015

J. Gomes, M. Figueiredo, L. Amante and C. Gomes / Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History 33

experience where the following characteristics are

present and valued:
The role of previous knowledge;
The role of context and concrete learning
experience;
The interactive and cooperative character of
learning;
The importance of the concept change that must
occur to deliver effective learning;
The new roles assumed by teachers and students;
The importance on the reflection of the students
over the undertaken process: Its this reflection
that will empower the competence to learn to
learn [13].
IV. Art motivation and technology
Music and other forms of art are known to develop
discipline, higher order of thinking skills, creativity and
to engage students in a variety of different learning
styles. Technology applied to arts education can be
thought as an applied science (anything that uses science
to achieve a desired result) and can act as the extension
of student capabilities and as a way to expand their
ability to learn [2].
The use of technology can accelerate the learning of
the arts, and this is also true in the Music History field,
where the comprehension of a given aesthetic period
requires students to listen the musical works of that
period, to read about composer biographies and works,
and to analyze musical instruments, images, paintings or
photography, depicting historical backgrounds and
environments. Different types of media are essential to
comprehend the evolution of music in time and how it
relates and influences different cultures.
AR technology can deliver digital content (audio,
video, image, 3-D models) by using real-world
educational resources (books, schoolbooks, posters,
images, and so on), improving the quality of these
educational resources.
In Portugal, currently, Musical Education is part of the
Arts and Expressions Curriculum defined by the
Ministry of Science and Education and educational goals
are clearly defined concerning students from the 1st, 2nd
and 3rd Cycles of Basic Education. However, in 1st cycle,
Music Education is only offered as complementary
activity and Music History it is not relevant to younger
students. In the 2nd cycle, Musical Education it is part of
the curriculum, but weekly class hours are insufficient to
convey the extensive program to the 5th and 6th grades.
3rd Cycle Music Education has gradually become an
optional educational area, as the official entities tend to
neglect and undervalue the importance of Music
Education in public schools. Technology in musical
education is addressed in the official programs, but its
clearly outdated. AR technology educational potential
can contribute to improve this situation, by delivering
7th International Conference on Digital Arts ARTECH 2015

music related educational content in informal learning

environments and exploring the native young students
motivation towards technology and technological
devices.
At present, many educational institutions in developed
countries are facing a lack of interest and motivation in
students towards academic practices. The growing
distance between teaching procedures and students
technological way of life contribute to widen the gap.
Recent research shows that the relation between
learning and motivation goes beyond any pre-established
condition, it is mutual, and in that sense, motivation can
induce changes in student learning and performance, as
the learning itself can interfere with the motivation. In
educational contexts, student motivation remains an
important challenge to overcome, and has direct
influence in the teaching-learning processes: the
motivated student seeks new knowledge and
opportunities, showing engagement in the learning
process, participating in the proposed tasks with
enthusiasm and being open to new challenges [14].
According to several researchers, it is possible to
enhance and strengthen student motivation for learning
through the use of AR by adding realism-based
practices. AR has the potential to further engage and
motivate learners in discovering resources and applying
them to the real world from a variety of diverse
perspectives that have never been implemented in the
real world [5]
Motivation is directly linked to learning achievements,
and AR applications, which are interactive and visually
attractive seem more appealing and motivating than
traditional tools [9].
The AR Musical Gallery delivers digital interactive
educational contents supported by AR technology. The
technology is easily accessible through widely available
mobile computing devices as smartphones and tablets,
both for Android and IOS platforms.
The AR Musical Gallery aims to:
Explore the potential of the ubiquitous mobile
computing devices as smartphones and
tablets to deliver interactive educational
content;
Use mobile-learning and informal learning
environments;
Offer alternative strategies to the teachinglearning process;
Improve student motivation and educational
outcomes.
Explore the potential of AR technology in
educational context.
Promote student motivation towards learning
and improve their educational outcomes.

34 J. Gomes, M. Figueiredo, L. Amante and C. Gomes / Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History

V. AR Musical Gallery: Concept and

development
The AR Musical Gallery exhibition aimed to promote
music history learning and motivate students to
autonomous learning in a constructivist-based approach,
by using mobile computing devices, such as
smartphones and tablets and the AR technology.
The exhibition was presented in ten A3 size posters
featuring imagery and textual information. In order to
enhance the information available on the exhibition
posters, allowing students to know more on the given
subject, additional digital content and interaction was
delivered through AR technology, namely video, sound
and 3-D musical instrument models.
The posters were placed on two vertical panels, at the
librarys entrance, allowing individual or group
exploration (figure 2).

devices; the remaining posters presented the educational

content.
The poster sequence, and their real-world/ digital
content is enumerated as follows:
Poster 1
Real-world content: Introduction to the
technology of AR.
Digital content: 3-D animation intended to
demonstrate AR capabilities.
Interaction: No interaction available
Poster 2
Real-world content: Information on how to
configure student mobile computing devices. The
poster included two Quick Response Codes. The
first leading to a video tutorial on how to install
the app Aurasma in mobile computing devices,
the second was used to load the proper Aurasma
channel.
Digital content: Video depicts the 3-D
exploration of the painting Guernica by Pablo
Picasso and the music of Manuel de Falla.
Interaction: Double tap on the device surface
makes the video full screen.
Poster 3, 4 and 5
Real-world
content:
Musical
instrument
presentation and history. Violin, upright piano
and trumpet.
Digital content: 3-D animated models and
musical excerpts from these instruments.
Interaction: Three digital buttons allow user to
switch 3-D mode on and off and to choose the
musical excerpts (figure 3).

Fig. 3. AR Musical Gallery, user interaction

Fig. 2. AR Musical Gallery exhibition

The exhibition was organized according to a logical

sequence: The first two posters included information
about the AR technology, and instructions concerning
the proper configuration of student mobile computing

Poster 6
Real-world content: XXth century composer
timeline.
Digital content: Video presenting composer name
and surname, date of birth and musical excerpts.
Interaction: Video control, pause, play. Double
tap on the device surface makes the video full
screen.

7th International Conference on Digital Arts ARTECH 2015

J. Gomes, M. Figueiredo, L. Amante and C. Gomes / Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History 35

Poster 7, 8, 9, 10
Real-world content: Composer full name, date of
birth and death, biography.
Digital content: Video presenting pictures,
musical excerpts and important biographical
information.
Interaction: Three digital buttons allow user to
access web pages featuring full composer
biography, the most relevant composition in
video format and to a blog dedicated to XXth
century composers (figure 4).

Students received a brochure concerning major

aspects of the exhibition and a book marker featuring
AR.
Students were also briefed on the principal poster
areas, namely the poster information structure and the
identification of the images designed to trigger the AR
digital content. These areas are depicted in figure 5.

Fig. 5. AR Musical Gallery poster areas

Fig. 4. AR Musical Gallery, user interaction

The exhibition was held in the schools library and

featured an introductory session towards the exhibition,
its contents and the supporting technology - AR. This
introductory session was made available to all students
of music education, and focused the gallery educational
contents, research objectives, the AR technology and the
configuration of student mobile computing devices,
namely smartphones and tablets.

7th International Conference on Digital Arts ARTECH 2015

A - This area identifies the gallery, the underlying

AR technology and the supporting engine AR Aurasma.
B - This area displays the poster theme, in this
case, the violins name.
C - Textual information relating to the presented
content.
D - AR trigger image: This area holds the image
that allows access to the AR content, namely,
audio, video and 3-D models. Digital content is
available by pointing the students mobile
computing device to the image. User interactions
are available, by pressing different icons on the
device tactile interface.

Students and other library users explored the gallery

using their own smartphones or tablets, or by requesting
the library pre-configured tablet.

36 J. Gomes, M. Figueiredo, L. Amante and C. Gomes / Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History

To develop and implement the AR content displayed

in the gallery we have used the AR engine Aurasma1 and
the online tool Aurasma Studio2.
Aurasma is a free app available for Android and
IOS devices. Digital content was delivered into
AR using the online tool Aurasma Studio, which,
as the app Aurasma, is free. Both tools are
supported by the Hewlett Packard Corporation.
Digital content, namely video and 3-D models were
produced by using open-source and free programs.
Music history content was adapted from the CD-ROM
Musicalis, published by Porto Editora in 2005.
The gallery was on exhibition in October 2014, at
Basic School Maria Manuela de S Library.
All Students were invited to interact and use the
exhibition, discovering new ways of using their mobile
computing devices and deepen their music history
knowledge. Music education students from the fifth and
sixth grades participated in individual introductory
sessions concerning the gallery, and the technology of
AR. These sessions were followed by the exploration of
the exhibition.
VI. CONCLUSIONS AND FUTURE WORK
In this paper, we described the concept and use of an
interactive exhibition supported by AR AR Musical
Gallery. The exhibition focus the Aesthetical Periods of
Music History and its aimed at an audience of students
from the 2nd and 3rd Cycles of Basic Education in
Portugal.
We also introduced the AR technology and its
potential use in educational contexts. At present, this
technology is effectively being used in several fields of
knowledge to support and improve teaching and training
processes. AR reveals undisclosed potential to
effectively enhance factors as student motivation and
educational outcomes. However, how to deliver
educational contents with AR technology remains a
challenge to be addressed by educators, researchers,
developers and education officials.
AR, by combining real-world elements and computer
generated content is usually addressed as a mixed-reality
environment, where the real-world element is prevalent.
This characteristic is key to enhance traditional
educational environments where most of the educational
resources are based on traditional printed materials,
books and manuals.
The AR Musical Gallery proposes a constructivist
pedagogical approach applied to a traditional lecturebased course Music History by mixing autonomous
exploration, informal learning environment, and
interactive multimedia educational resources delivered
by AR technology. The constructivist approach can
1
2

www.aurasma.com
https://studio.aurasma.com/login

enhance motivation, leading to active learning processes

based on exploration and interaction, helping students to
build their own knowledge.
We have addressed the relation between art education,
motivation and technology, and stated that:
Art education is known to develop discipline,
higher order of thinking skills, creativity and
the ability to engage students in a variety of
different learning techniques;
Learning and motivation are connected:
Motivated students actively seek new
knowledge showing engagement towards
learning;
Technology, in general, is a motivation factor
to the current native digital students, and
can accelerate learning and contribute to
improve educational outcomes;
AR technology has the power to engage and
motivate students in a variety of pedagogical
approaches and perspectives.
From this educational experience, and although a
formal study on usability, motivation and educational
outcomes hasnt been carried out yet, direct observation
regarding user interest toward the exhibition allowed to
collect some empirical data. Early analysis shows that
students were very interested in exploring the AR
content and highly motivated towards music history
learning.
The AR technology aroused increased curiosity
among students and teachers, as they realized the
educational potential and possibilities to new
educational approaches.
Further study is currently underway, focusing on the
artifacts usability, motivation, degree of technology
acceptance and possible educational outcomes. Data
collection instruments will be based on case study
methodology, supported by direct observation, survey
and interview techniques.
Acknowledgement
The authors wish to acknowledge the assistance and
support of the executive director of the Agrupamento de
Escolas de Abel Salazar Matosinhos, the Musical
Education disciplinary group, and the librarian teacher at
EB Maria Manuela de S Matosinhos.
References
[1] Collins, A. and R.R. Halverson, Rethinking education in
the age of technology: The digital revolution and
schooling in America, ed. M.C. Linn. 2009, New York:
Teachers College Press.
[2] Assey, J., The Future of Technology in K-12 Arts
Education. Forum on Technology in Education:
Envisioning the Future. Proceedings (Washington, D.C.,
December 1-2, 1999), 1999: p. 15.

7th International Conference on Digital Arts ARTECH 2015

J. Gomes, M. Figueiredo, L. Amante and C. Gomes / Augmented Reality Exhibition Depicting the Aesthetic Periods of Music History 37

[3] Sandler, M.E., Teaching and Learning with Technology:

IT as a Value-Added Component of Academic Life, in
Annual Meeting of the American Educational Research
Association2010: Denver.
[4] Keast, D.A., A Constructivist Application for Online
Learning in Music. Research and Issues in Music
Education, 2009. 7(1).
[5] Lee, K., The Future of Learning and Training in
Augmented Reality. InSight: A Journal of Scholarly
Teaching, 2017. 7: p. 31-42.
[6] Jaramillo, G.E., et al., Mobile Augmented Reality
Applications in Daily Environments. Revista EIA Escuela de Ingenieria de Antioquia, Medelln
(Colombia), 2010(14): p. 125-134.
[7] Ward, T., Augmented Reality using Appcelerator
Titanium Starter. 2012, Birmingham: Packt Publishing
Ltd.
[8] Wojciechowski, R. and W. Cellary, Evaluation of
learners attitude toward learning in ARIES augmented
reality environments. Computers and Education Elsevier, 2013: p. 570-585.
[9] Prez-Lpez, D. and M. Contero, DELIVERING
EDUCATIONAL
MULTIMEDIA
CONTENTS
THROUGH
AN
AUGMENTED
REALITY
APPLICATION: A CASE STUDY ON ITS IMPACT
ON KNOWLEDGE ACQUISITION AND RETENTION.
TOJET_ The Turkish Online Journal of Educational
Technology, 2013. 12(4): p. 19-28.
[10] Jain, L.C., R.A. Tedman, and D.K. Tedman, eds.
Evolution of Teaching and Learning Paradigms in
Intelligent Environment. 2007, Springer: New York.
[11] Nunes, M.B. and M. McPherson, Why Designers cannot
be Agnostic about Pedagogy: The Influence of
Constructivist Thinking in Design of e-Learning for HE,
in Evolution of Teaching and Learning Paradigms in
Intelligent Environment, L.C. Jain, R.A. Tedman, and
D.K. Tedman, Editors. 2007, Springer: New York.
[12] Tomei, L., Information Communication Technologies for
Enhanced Education and Learning: Advanced
Applications and Developments. 2009, New York:
Information Science Reference (an imprint of IGI
Global).
[13] Lebrun, M., Teorias e Mtodos Pedaggicos para Ensinar
e Aprender. 2002, Lisboa: Instituto Piaget.
[14] Menezes, N.d.C.A.P., Motivao de alunos com e sem
utilizao das TIC em sala de aula, in Departamento de
Inovao Cincia e Tecnologia2012, Universidade
Portucalense.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

39

Augmented Reality Sculpture Bases for Public Space

P. Sellmayer Campos, M. Gaspar, A. Mateus
Center for Rapid and Sustainable Product Development Polytechnic Institute of Leiria,
Marinha Grande, 2400-058, Portugal.
Abstract Digital technologies as augmented
reality and its inherent use of smartphones/tablets altered
the way in which we interact with and within the public
space. This work describes the creation of an augmented
reality sculpture base for public space digital sculptures.
We will present a contextualization of the augmented
reality development and its actual state of the art
technology and a review of augmented reality art
installations, followed by the development phase and its
implementation.
Index Terms Augmented Reality, Digital
Sculpture, Public Space Art, Physical Markers.

I. INTRODUCTION
Whereas the public square was once the quintessential
place for social interaction it is no longer the anchor for
interaction in the public realm. Geography has been
relocated to a novel terrain, one that encourages
exploration of mobile locations and is based on internet
public domains as social networks. The development of
the internet and communications networks lead to a dematerialization of public space. Discussions and idea
sharing occur now without visual confrontation of the
people involved in an intangible space. Information
flows at an unimaginable rhythm, where people are
active and passive consumers.
Artists are often keen of these social changes
exploring these new techniques and tools at their
disposal. It so happens that most primordial art forms
exploring these new technological advancements use
subversion as the motto, questioning its use but also
projecting what can the future be made of, and, as seen
later in this work, endure the activism needed to put new
ideas into motion. Moreover, public space is now truly
open. Participatory democracy through online petitions,
activist journalism that denounces governmental and
private issues or simply the attainable knowledge made
available through the internet, are now part of the way
we live in society.
The massive use of smartphones and tablets, which
allow the user to access internet anywhere, drastically
altered how we behave in society. One of the
developments derived is the use of AR Applications,
where location-based virtual interventions provide a new
field for artistic creation through the use of augmented
reality technology for mobile electronic devices. This
field considers the possibility of transcending the
physical and territorial boundaries of a real space as
axes of a new kind of artistic work which

7th International Conference on Digital Arts ARTECH 2015

reconceptualizes urban, rural, public and private spaces

in terms of virtual content.
II. AUGMENTED REALITY - OVERVIEW
Augmented Reality (AR) is a variation of Virtual
Reality which, instead of immersing the user in a virtual
world, superimposes the real world with virtual objects
[1]. In this way AR supplements reality, rather than
completely replacing it [1]. In other words, it can be
defined as a real-time direct or indirect view of a
physical real-world environment that has been
enhanced/augmented by adding virtual computergenerated information to it. Whereas its first occurrence
was on fixed devices [2], we will focus on the use of
mobile devices, such as smartphones and tablets. A
distinction between AR and Virtual Reality must be
made for further comprehension and definition of AR
art.
Milgram and Kishino [3] define the RealityVirtuality relation as a continuum that spans between the
real environment and the virtual environment comprising
Augmented Reality and Augmented Virtuality (AV) in
between, where AR is closer to the real world and AV is
closer to a solely virtual environment.
AR technologies are comprised of a digital content
uploaded to the web or present in an application, a
device with camera and optionally with access to the
internet and, finally, a marker, a target that triggers the
visualization of the content.
Tracking devices can be mobile, such as smartphones
or tablets, or fixed as a stand-alone device, such as a
computer with a screen and a camera. The identification
can therefore be made in a passive or active way.
There are different ways of creating markers for AR.
Based on a comparison by Di Verdi [4] and on further
developments [5] they can be classified as hard or soft
links. Soft links are characterized by the way the input
is given and include GPS, accelerometer, and RFID. For
the purpose of this paper we will focus only on the hard
links, which can be characterized by the use of images,
QR codes or objects as markers [6].
Although various applications were already developed
to use and explore AR technology in fields like
orientation, museology, medical procedures, education
and many others [1], we will focus on the developing
AR art field.

P. Campos, M. Gaspar, and A. Mateus / Augmented Reality Sculpture Bases for Public Space

40

III. AUGMENTED REALITY ART

A. Origins
In order to establish a correlation between existing
past art movements, art pieces and artists, and the
development of AR art, we will present a chronological
review of some significant landmarks. This is a short
selection that aims to represent important aspects that
led to the development of the AR art field.
Ever since the Fluxus movement initiated what was
called performance art or simply happenings as a form
of art, to which Kaprow states that craftsmanship and
permanence should be forgotten and perishable
materials should be used in art [7], that the art world
has been astonished by the beauty of the intangible. This
participatory and interactive aspect of this form of art,
where the audience is included in the action or triggers
the performance, was a real breakthrough that would
influence further movements and the works of various
other artists [8]. Although there had been evidence
pointing to early photography and cinema, New Media
Art evolved between the Fluxus thoughts and the
development of new technological mediums. This
technological development constitutes the base for the
theory behind it, allowing for new ways of creating art.
Examples of this evolution in media integrated in art can
be seen in the work of Wolf Vostells and Nam June Paik
[9], where the television sets play a central role as the
material for the installations and sculptures presented.
Further developments have been registered and
occurred simultaneously with the implementation of new
technological communication mediums. In the 1990s
the net.art movement re-de-materialized the art object
and found new ways to suspend the artwork online
between website and non-site. Some characteristics of
net.art apply to the AR art movement, such as
"connectivity,
global
reach,
multimediality,
immateriality, interactivity and egality"[10].
This interwoven web of materiality, technological
medium and art expression formed new ways of
interaction and materiality. Interaction derived from the
relations with and within the art forms. Materiality
considered in such a way that intangible information
meets a tangible sensible matter. Hereupon, we can
consider a framework for new art forms, sustained by the
technological
developments
and
their
social
implications, where their definition is no longer solely
based on the classical mediums but rather on a new and
evolving technological ground.
B. Quick survey
We will, for the purpose of defining the field of work,
make a quick survey on what we consider the milestones

of AR art. This examination aims to create a framework

as to enable us to understand the state-of-the-art of AR
art form, in a wide context, and to determine different
approaches to AR art that could be useful in the
development of the current work.
Following the prior distinction, a disambiguation
should be made between AR art and digital art forms
such as video mapping or sensor based interactive
installations. Where the latter cases involve added
sensorial levels or layers of information to the real
world, this is made either physically, through projector
light emitting beams, or electronically, through
movement sensor or programming [11]. Only the cases
that meet the previously stated AR definition were
considered for this quick survey.
A truly groundbreaking use of AR in the Art World
was introduced in 2010 in an exhibition in Museum of
Modern Art (MOMA), New York, USA, entitled We
AR in MOMA and curated by Sender Veenhof and
Mark Skwarek [13]. They invited several artists to
contribute digitally to an exhibition that superimposed
and placed digital objects within the museum space [12].
This group would later become known after the name of
the manifesto they published Manifest.AR where
they settled the bases for an AR Art theory by defining
their intents and how these technological developments
could affect and transform the creation of Art. [14]
Various AR art forms take the graffiti wall as a
marker, as art works that are completed through the
superimposition of digital elements [11]. Re+Public, a
collective aiming at re-imagining public space, joined 30
other international artists as a part of the Public festival
to intervene in public wall with graffitis [15]. These
works of art were later augmented through digital
modeling. The result was a series of walls where the
form of art was physical, and could stand on its own, and
digital, having the composition of both digital and
physical elements.
Joo Paulo Feliciano, in an
installation named Walls to the people at Fundao de
Serralves, Oporto, Portugal, made an installation that
superimposed, through AR, various graffiti words on
one of the museum buildings, going against the status
quo of what is an established institution [16]. Following
the developments of these new art forms, a mention to
an important exhibition held at the Barbican Center in
2014 must be made. Entitled Digital Revolution [17],
this exhibition aimed at showcasing the rise of digital
creativity across the arts. With various art works using
AR technologies, it was evident that this field was
expanding to consolidated fields.
Regarding evidence in literature, whereas Digital
Art was and has been well covered, and is by now a
consolidated field, it was only in 2013 that a substantial
collection of articles on AR art was published [18]. This
led to a widespread knowledge base that would cement
the foundations of the field, where, accompanying the
technological
development
and
its
gradual
implementation has been successfully integrated in the
7th International Conference on Digital Arts ARTECH 2015

P. Campos, M. Gaspar, and A. Mateus / Augmented Reality Sculpture Bases for Public Space

art circuits in the world. Whether it is because it is a

practical field, where the final art work is an aim on its
own or because there is insufficient known
methodologies and frameworks for the development of
AR art applications, could not be determined. This work
aims to present a valid platform for physical markers for
AR.
IV. AUGMENTED REALITY SCULPTURE BASE
The preceding study we conducted, covering both AR
technology development and a state of the art quick
survey of Digital Art and Augmented Reality Art
Installations allowed us to proceed with envisioning a
concept for Public Augmented Reality Sculptures
anchored on physical existing objects.
As with the classical sculpture, where the figure lies
on top of a pedestal or base, we started to conceptualize
3D models that could be detected by the AR browser of
our choice, Junaio.
This software was utilized due to its firstly created
featured of incorporating physical markers in a
development platform, Metaio. Other software options
were analyzed, such as Layar and Wikitude.
Having determined the software of use, we started by
analyzing ancient and modern sculpture bases in order to
identify a possible pattern, so that we could achieve
some conclusions about the form we would like to
design. It was important for us to consider an analogue
shape so that the basic initial correlation between
sculpture and base is maintained, and its connection is
not lost. We wanted the shape to be completed by the
user, using AR technology, and therefore to trigger
curiosity as it is an identifiable object.
The first iteration began with stacking three different
geometric solids (Fig. 1) in order to achieve a three
degree of variation composite model. The geometric
solids chosen were the pyramid, the sphere and the cube.
It was important to consider a generative model design
workflow, so that in an implementation where different
bases were used we could attribute to each one of them a
corresponding digital content. Parameters such as
height, contour distinction and number of possible
iterations were considered.

41

Following this first test we concluded that, although

the model is well detected, only the profile silhouette is
considered by the Junaio tracking algorithm. We also
concluded that round shapes were difficult to detect and
that models ending in a vertex were easier to locate the
virtual content on.
From this first iteration we moved to designing an
axisymmetric shape, where the different degrees were
given by the profile angles, whereas the height would be
fixed. Because the tracking action on the AR app only
requires a match between the marker object and the
silhouette that appears on the screen of the device, no
scale considerations were taken. This allowed us to
improve our physical marker objects while maintaining
the capacity to generate any number of shapes desired,
as well as testing which minimum degrees and
measurements were need for distinct models (Fig. 2).

Fig. 2. Parametric designed AR physical markers, printed

with additive manufacturing, used to test the browser's level of
detectability precision.

Some tests were made with complex models in order

to evaluate the system's steadiness and quickness while
uploading and visualizing. Optimizations to the CADCAM models uploaded were made so that the flow of
the experience is constant and there are no bumps whilst
maintaining the camera pointed to the marker (Fig.3).

Fig. 3. Screenshot of a test made using Metaio Creator, one

of the 3D printed physical markers and a 3D scanned photo
frame.

Fig. 1. First physical trackers tested. The red ones follow a

parametric design consisting of the stacking of three different
geometric models and further 3d printing.
7th International Conference on Digital Arts ARTECH 2015

With this phase we concluded that, although the

recognition and steadiness of the system is optimal, the
user experience, where we wanted to be able to walk
around the physical marker, was compromised as the
model was not fixed to the physical marker in the AR
browser.

42

P. Campos, M. Gaspar, and A. Mateus / Augmented Reality Sculpture Bases for Public Space

In order to allow the user to walk around the object,

digitally fixed to the base, we saw the need to use a nonaxisymmetric shape (Fig. 4). This reduces the
perspective in which the user can detect the base to see
the AR sculpture.

V. AUGMENTED REALITY SCULPTURE BASE

INSTALLATION
In order to fully implement this installation, an
information flow was made. The installation consists of
the following: the digital sculpture is created either
through CAD-CAM modeling or 3D scanning
procedures, and afterwards it is loaded on to Metaio (fig
6), the development platform; then this content is
uploaded to the cloud and inserted in a channel. This
channel is accessed through Junaio, a smartphone and
tablet Application Programming Interface (API), which
lets you read the marker. In this case our marker is a
physical base to be implemented on a public space.

Fig. 4. Non-axisymmetrical physical marker CAD-CAM

modeling.

After the parameters for a fully functioning AR base for

digital sculptures were defined, we returned to iterate on
the form and its symbolic value. Its perception as a
physical marker for AR digital sculptures, or being
recognizable as having only that function, was an aspect
considered. The link as a recognizable and identifiable
icon related to sculpture could be strong. In the end we
decided for the design seen on Fig. 5, which, due to its
ubiquitous form leaves a certain mystery while
maintaining the desired correlation. Also, since it is an
object aimed at being implemented in the public space
area, concerns regarding unexpected uses, such as
somebody sitting on it, were taken into consideration.

Fig. 6.

Since the API needs to be installed on the smartphone

or tablet of the viewer, there are instructions that need to
be followed. The viewer should either have Junaio
installed or scan the QR code in the instructions label
(fig. 7). This label should be installed on the physical
marker, as a way to elucidate its use, or be
communicated through a brochure handed on site.

Fig. 7.

Fig. 5.

Final model for the AR base for Digital Sculptures.

Metaio development platform with the full scene.

Instructions tag to be placed on the base.

After the preceding steps, where the functions and

form of the base for digital sculptures were defined as
well as the information display, we were capable of
developing a full scale public space base model to test
on site. Our proof of concept came through a test where
we placed the model in a public space environment with
a test CAD-CAM model of a person uploaded on the
channel (Fig. 8).

7th International Conference on Digital Arts ARTECH 2015

P. Campos, M. Gaspar, and A. Mateus / Augmented Reality Sculpture Bases for Public Space

This test was useful to measure any problems with

the variable lighting, positioning and detectability as
well as display. The only detected problem was that sun
light can make the visibility of the screen weak, as in
everyday use of such devices. Also, during the night the
physical marker should be illuminated, in order to be
detected. We considered these observations sufficient
for the approval of our proof of concept.

43

a 3D marker for AR, there is a need to develop a

platform for tracking several 3D markers.
VII. CONCLUSION
Art is an area where implementation of novel
technologies can be used to create an engagement or
confrontation with their social, ethical and political
implications. As development goes and acculturation
proceeds to accommodate cultural values within its
system, so institutions and public responsible entities
should be interested in embracing these changes. The
field of technology can be a force driving this change,
making future scenarios possible. With this work we
want to contribute to this future where virtual and
physical world co-exist, and where even art in a
commonly ancient public space display can be renewed.
We could envision public space as dynamic as the
digital world we currently live in, where information
may be constantly changing, or is changeable with ease.
References

Fig. 8. On site test of the digital sculpture application, using

a local internet connection, a tablet, Junaio and the 3D
Physical Marker.

To fully support our endeavors, and since we only

want to operate on the technological development field,
after this step we are searching for collaborations with
various entities to implement an installation within the
public space as a joint project.
.
V. FUTURE WORKS
The materiality of the medium, its technological
revolutionary value, in the case of early augmented
reality plays a pivotal role in order to understand its
success. It is ubiquitous, can be replicated everywhere in
the world, can be installed with minimal hassle and can
exist independently from the audience, institutions and
governmental permissions.
Novel devices such as Google Glass or Vuzix further
cement the relevance of this field as more and more
people will be able to visualize AR contents without
much effort. We think that this will bring a new area of
public display to which our project contributes.
Since capital costs for its implementation are at the
minimum, compared for instance to the ones linked to
establish a public sculpture park, an implementation of
this AR bases to create a public space digital sculpture
park where the contents can be changed from week to
week, allowing for a dynamic display, is one of our
objectives.
We are working on optimizing the augmentation of
several models, 3D markers, at once, in order to bring
this concept further. Although the software used accepts

7th International Conference on Digital Arts ARTECH 2015

[1] Ronal T. Azuma, A Survey of Augmented Reality

Presence, Volume 6, Number 4, MIT press, pp. 355-385,
1997
[2] T. Coimbra, T. Cardoso, A. Mateus, Realidade
Aumentada em Contextos Educativos : Um Mapeamento
de Estudos Nacionais e Internacionais, Revista
Educao,
Formao
e
Tecnologia,
(hhtp://eft.educom.pt), Julho-Dezembro, 2013.
[3] P. Milgram, A.F. Kishino, Taxonomy of Mixed Reality
Visual Displays, IEICE Transactions on Information
Systems, E77-D(12), pp. 1321-1329, 1994.
[4] Di Verdi, S; Hollerer, T., Ground Cam : A tracking
Modality for Mobile Mixed Reality, Virtual Reality
Conference, 2007. VR07. IEEE, vol., no., pp.75-82, 1014 March 2007.
[5] Olivier Hugues, Philippe Fuchs and Olivier Nannipieri,
New Augmented Reality Taxonomy: Technologies and
Features of Augmented Environment, Handbook of
Augmented Reality, Springer Books, 2011
[6] J. Carmigniani, B. Furht (ed), Augmented Reality: An
overview, Handbook of Augmented Reality, Springer
books, pp 3-47, 2011.
[7] Allan Kaprow. Essays on the Blurring of Art and Life.
Berkeley, CA: University of California Press, 1993, pp.
1-9.
[8] Rebecca Frazier and Michelle Ciaccio,. Allan Kaprow
Art as Life. Getty Research Institue, Los Angeles, 2008.
[9] Snia da Silva Pina, Fluxus: do texto aco. A
cartografia de uma a(r)titude, Faculdade de Cincias
Sociais e Humanas, Universidade Nova de Lisboa,
http://hdl.handle.net/10362/7018, p.15, 1999
[10] Baumgrtel, T, net.art. Materialien zur Netzkunst.
Nrnberg: Verlag fr moderne Kunst, ISBN 3-93309617-0,p.15, 1999
[11] Ian Gwilt, Augmented Reality Graffiti and Street
Art, Augmented Reality Art, Springer Series on
Cultural Computing, chapter 12, pp 189-198. 2014,
[12] Vladimir Geroimenko (ed.), Augmented Reality
Painting and Sculpture: From Experimental Artworks
to Art for Sale in Augmented Reality Art Springer

44

P. Campos, M. Gaspar, and A. Mateus / Augmented Reality Sculpture Bases for Public Space

Series on Cultural Computing, chapter 4, pp 175-188,

2014.
[13] Sander Vennhof and Mark Skwarek,, We AR in
MOMA, http://www.sndrv.nl/moma, 2010.
[14] http://www.republiclab.com/projects
(accessed
2015/01/30)
[15] Manifest AR, http://www.manifestar.info/, accessed on
2014/10/15
[16] http://www.serralves.pt/pt/actividades/walls-to-thepeople-joao-paulo-feliciano-instalacao/
(accessed
2015/01/30)
[17] http://www.barbican.org.uk/digital-revolution (accessed
2015/01/30)
[18] Lanfranco Aceti, Not Here, Not There, Leonardo
Electronic Almanac, vol.19, No. 1 & 2, 2013.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

45

Deliberator: reflexes poticas sobre o universo da impresso 3D

Soraya Cristina Braz Nunes e Fbio Oliveira Nunes
Instituto de Artes da UNESP, So Paulo, SP, Brasil
Resumo O surgimento de uma nova tecnologia de
produo, a impresso 3D, vem sendo considerada por
entusiastas como uma Nova Revoluo Industrial por
confrontar paradigmas da indstria e ser portadora de uma
srie de benefcios sociedade. Esta tecnologia somada
atividade de comunidades virtuais que compartilham
informaes ativamente constituem o que pode ser
considerado o universo da impresso 3D. Neste contexto,
este artigo discorre sobre o projeto de arte Deliberator,
uma reflexo potica sobre o surgimento das wiki-weapons,
um uso no esperado dentro deste novo universo.
Palavras-chave: arte e tecnologia, impresso 3D, fabricao
digital, redes colaborativas.

I. INTRODUO
Voc j baixou um automvel hoje? parece uma
questo inverossmil. A ao de baixar neste caso
significa obter uma cpia de arquivo hospedado em um
site, ou fazer um download, como seria dito na linguagem
prpria da informtica. O aparente absurdo da indagao
se encontra na conjuno entre o automvel, mquina
dotada de uma grande e complexa estrutura material com a
virtualidade de um arquivo processado por um
computador. No entanto ela revela um antigo desejo
humano, o poder mgico de materializao, de transpor
coisas do imaginrio para o mundo fsico.
muito antigo o desejo humano de materializar coisas,
desejo refletido em crenas e prticas. Na Antiguidade,
algumas civilizaes sepultavam tesouros junto aos
mortos na esperana que estes pudessem ser transferidos
para outro plano que julgavam existir. Em outro contexto,
as narraes bblicas contam uma srie de histrias sobre a
materializao de alimentos, objetos e at mesmo seres
vivos a partir de uma vontade divina, que, conforme o
humor benevolente ou enfurecido variava de uma chuva
de pes no deserto para um povo faminto a uma chuva de
cobras sobre seus desafetos ou seguidores desobedientes.
A retomada dos estudos de fenmenos pelo vis da
cincia, aps sculos de conteno medieval, tentou
confrontar as crenas que alimentavam o desejo pela
materializao inexplicvel, apresentando teorias e leis
contestatrias. Sob esta tica, cabe-se mencionar o
princpio da conservao de massas, criada no sculo
XVIII pelo qumico francs Antoine Lavoisier, onde ele
observa que massas permanecem equivalentes entre os

elementos iniciais e os resultantes de uma reao qumica,

cunhando a famosa frase na natureza nada se cria, nada
se perde, tudo se transforma. Porm mesmo o
desenvolvimento da cincia no eliminou totalmente o
desejo pelas materializaes, que continuaram existindo
nos rituais religiosos, vagando pelas mos dos ilusionistas
e povoando as lendas e as histrias de fico cientfica.
At hoje so mantidas prticas e crenas que estimulam
este imaginrio.
Neste momento, estaramos mais prximos de
presenciar estas aspiraes de nossos antepassados por um
vis mais plausvel? No mais considerando o carter
mgico das crenas e da imaginao, mas associando
novas tecnologias digitais, retomamos a questo inicial
desta introduo, onde proposta a materializao de um
carro aps baix-lo de uma rede virtual. O ato de
baixar e materializar um carro, ou qualquer outra coisa,
so as promessas entusiasmadas em torno de uma nova
tecnologia de produo criada para transpor modelos
digitais em objetos fsicos: a impresso 3D. Neste artigo
sero apresentadas algumas caractersticas desta
tecnologia recente e alguns desdobramentos inesperados
que serviram de mote para a produo do projeto de artes
Deliberator, uma proposta de reflexo potica sobre este
novo universo.
II. O UNIVERSO DA IMPRESSO 3D
A impressora 3D uma mquina que sobrepe camadas
de material sucessivamente at formar um objeto
tridimensional, a partir de um modelo digital. Assim como
a impressora a jato de tinta imprime textos e imagens, a
impressora 3D constri objetos. Esta tecnologia,
popularmente conhecida como impresso 3D por seus
usurios e meios de divulgao, a manufatura aditiva o
termo tcnico desta tecnologia de produo que est
inserida no conjunto das diversas tecnologias de
fabricao digital. Proveniente das reas de arquitetura e
engenharia, cuja finalidade inicial era a criao de
maquetes e prottipos industriais, a fabricao digital
consiste na produo de objetos fsicos a partir de modelos
digitais. Tais tecnologias caracterizam-se pelo uso de
mquinas com tecnologia robtica, capazes de executar
tarefas mais complexas do que outras mquinas de

1
7th International Conference on Digital Arts ARTECH 2015

46

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

tecnologia mecnica e construir os objetos projetados em

programas de desenho tcnico ou modelagem
tridimensional digital. No presente artigo, para fins de
referncia a esta tecnologia, ser empregado o termo mais
popular impresso 3D.
A queda da patente das primeiras impressoras
impulsionou alguns centros de pesquisa em tecnologia
situados em universidades a desenvolver mquinas de
baixo custo para uso domstico. O projeto pioneiro nesta
linha o da impressora RepRap [1], criada pelo professor
Adrian Bowyer e sua equipe na Universidade de Bath,
Reino Unido. RepRap uma impressora 3D de baixo
custo e pode ser auto replicvel, ou seja, uma impressora
que fabrica quase todas as peas plsticas para outra
impressora equivalente. Outra caracterstica importante
sobre este projeto o fato de ser um hardware livre ou
seja, um dispositivo ou mquina livre de licenas
fechadas ou patentes que impeam sua cpia ou
modificao, assemelhando-se ao conceito de software
livre e permanecer desde seu lanamento em 2004 numa
plataforma wiki um tipo de sistema disponvel na
internet onde permitida a construo de contedo de
forma livre e coletiva por um grupo de autores para ser
desenvolvida em conjunto com outros colaboradores de
vrias partes do mundo. Isto permitiu o surgimento de
novas verses de impressoras baseadas na RepRap, e uma
srie de aprimoramentos e experimentaes sobre usos e
materiais. Por exemplo, embora o material mais utilizado
para a impresso de objetos seja o plstico, h outras
experimentaes que empregam o uso de outros materiais
modelveis como a argila e at mesmo o chocolate.
Um dos fatores que contribuiu para a popularizao da
impresso 3D para alm dos hobbistas denominao
informal dada s pessoas que se dedicam a tarefas por
hobby, que, neste caso, refere-se aos interessados em
eletrnica e robtica foi a crescente difuso de arquivos
com modelos digitais na rede. Se j havia tais modelos em
sites de compartilhamento de arquivos como o The Pirate
Bay, onde o usurio encontra modelos digitais, msica,
vdeos e uma gama diversa de arquivos compartilhveis;
surgem tambm sites para abrigar exclusivamente
arquivos prprios para impresso 3D. So sites que, alm
do compartilhamento modelos digitais, propiciam um
ambiente de comunidade virtual onde seus usurios
trocam experincias sobre o processo de fabricao,
remodelam ou recombinam projetos existentes, divulgam
informaes e tcnicas, criam e desenvolvem projetos em
grupo. O principal site desta categoria o Thingiverse,
criado pela MakerBot.
H uma imensa variedade de modelos digitais
disponveis neste site, pois seus usurios realizam toda
sorte de projetos. De objetos decorativos a acessrios de

moda, de peas para construir robs a equaes

matemticas tridimensionalizadas, passando por esttuas
copiadas por meio de fotografias a miniaturas de
personagens fictcios modeladas em 3D. Qualquer um
deles pode ser baixado do site para um computador e
fabricado em impressoras 3D. Para animar a atividade dos
usurios, regularmente o site prope desafios com temas
especficos, como enviar projetos de uma casa para
pssaros, enfeites de natal ou at pensar em uma hipottica
base extraterrena para habitar em Marte.
Apesar da aparente banalidade de muitos projetos deste
repositrio, h um que se destaca por seu carter
humanitrio. Robohand uma prtese especfica para
pessoas que no possuem os dedos das mos e totalmente
fabricvel em impressoras 3D. Foi criada para crianas
que j nascem com esta deficincia, em um grupo formado
por pessoas de vrios pases liderado por Richard van As,
um marceneiro sul-africano que perdeu os dedos da mo
direita em um acidente de trabalho. O projeto recebeu
apoio da empresa MakerBot, que doou impressoras para
os idealizadores desenvolverem a pesquisa da prtese. Em
contrapartida, os autores disponibilizaram no site
Thingiverse todos os arquivos gratuitamente para
fabricao da Robohand, com a possibilidade de serem
modificados e adaptados. Este projeto representa uma das
benesses esperadas pelos entusiastas da impresso 3D:
criar meios para as pessoas resolverem problemas onde
necessrio customizar a fabricao, sem depender da
produo industrial massificada e, se possvel, trabalhando
em comunidade e difundindo o conhecimento adquirido.
O trabalho em redes colaborativas ganhou uma nova
dimenso a partir do surgimento dos Fab Labs, ou
laboratrios de fabricao digital, que oferecem melhor
estrutura para a soluo de questes tcnicas. Fab Lab,
abreviao de Fabrication Laboratory, um conceito
criado pelo professor do MIT Neil Gershenfeld para
designar laboratrios onde so empregadas prticas por ele
denominadas como fabricao pessoal em mquinas
que associam tecnologia digital e robtica operadas por
pessoas comuns no intuito de solucionar questes de
produo, customizao e construo de objetos ou peas
para diversos fins [2]. tambm um ambiente de
aprendizagem, onde aquele que sabe produzir alguma
coisa neste espao ensina ou colabora no fazer do outro,
dividindo o conhecimento. medida que foram surgindo
laboratrios com estas mquinas, independentes ou
situados em instituies, Gershenfeld difundiu o conceito
dos Fab Labs pelo mundo at formar uma ampla rede
espalhada por quase todos os pases. Acredita-se que estes
espaos podem ser um diferencial em locais remotos onde
no h recursos, acesso a ferramentas e produtos para

7th International Conference on Digital Arts ARTECH 2015

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

diversas finalidades, como um pas em guerra ou uma base

espacial.
Assim, podemos identificar um universo que
compreende esta nova tecnologia. O universo da
impresso 3D compreende no somente as mquinas
capazes de construir objetos, mas tambm sua rede de
relaes, que fundamental para sua existncia e
desenvolvimento.
Mesmo que ainda esteja se conformando, o universo da
impresso 3D aos poucos j revela algumas facetas que
geram inquietaes. Para entusiastas e especialistas nesta
tecnologia, as preocupaes momentneas giram em torno
da superao de suas atuais limitaes, para que seja
possvel fabricar qualquer coisa em casa. J o pblico tem
curiosidade em conhecer este novo universo e suas
potencialidades.
Novas situaes inesperadas por
idealizadores e entusiastas deflagraram questionamentos a
respeito do uso desta tecnologia e seu futuro dentro da
sociedade.

47

compartilhados pela internet. Juntamente com um grupo

de interessados no assunto, ele desenvolveu peas para
armas que podem ser impressas e ganhou fama aps
publicar na internet alguns vdeos demonstrando a
eficincia destas peas.
H pouco tempo atrs, era comum encontrar modelos
digitais de peas para armas de fogo no site Thingiverse,
que um dos principais repositrios de arquivos para
impresso 3D. Porm, tais arquivos foram banidos do site
aps o violento atentado de Connecticut, em dezembro de
2012, quando um adolescente matou 26 pessoas, entre elas
20 crianas, em uma escola infantil. Wilson foi um dos
participantes do site que teve seus arquivos eliminados e
considerou isto como um ato de censura. Ele decide criar,
junto a outros colaboradores, a organizao Defense
Distributed [3] o site DefCAD.org para abrigar os
arquivos banidos.
Os Estados Unidos tm testemunhado um aumento no
nmero de atentados protagonizados por armas de fogo,
com 16 tiroteios em massa somente no ano de 2012.
Enquanto o governo norte-americano tem buscado com
muita dificuldade ampliar restries e criar leis mais
rgidas sobre o uso destes aparatos, h oposio poltica
por parte de organizaes armamentistas e ativistas que
so a favor do porte de armas. Esta parcela reivindica ter o
direito de se defender de uma pessoa mal intencionada
com uma arma e argumenta que s pode faz-lo estando
armada tambm. Uma das respostas s tentativas do
governo de impor maior controle sobre o uso de armas no
pas o movimento Wiki-weapon, em que Cody Wilson
um dos representantes mais emblemticos, com o objetivo
de produzir uma arma completamente impressa em 3D.
Em menos de um ano foram lanados no site DefCAD.org
os primeiros arquivos para produo da pistola Liberator,
a primeira arma de fogo totalmente fabricvel com
impresso 3D, ou seja, a primeira wiki-weapon. Trata-se
de uma pistola calibre 22 com capacidade para um nico
tiro de cada vez.

III. O SURGIMENTO DAS WIKI - WEAPONS

A impresso 3D foi inicialmente divulgada por veculos
de comunicao, em grande parte, de modo otimista
apontando potenciais benesses para a vida das pessoas ou
usos bem sucedidos j em andamento. Seja por
fabricaes complexas na arquitetura e na engenharia ou
em laboratrios de biotecnologia, seja em produes
domsticas simples, ou bizarrices de toda sorte como
alimentos impressos em 3D, ela sempre foi vista de
maneira positiva, ignorando inclusive limitaes tcnicas
que se apresentam em grande parte das realizaes.

Fig. 1: Wilson testando pea (plstico branco) para

fuzil AR-15, fabricada com impresso 3D. Fonte:
frame do vdeo Click, Print, Gun: The Inside Story
of the 3D-Printed Gun Movement, 2013.

Neste contexto, porm, um uso no previsto desta

tecnologia tem gerado muita discusso. Cody Wilson, um
jovem norte-americano, encabea um movimento que
defende a livre fabricao de armas de fogo por meio da
impresso 3D, a partir de modelos digitais que seriam

Fig. 2: Site DefCAD, repositrio para modelos digitais

de armas e acessrios. Fonte: site DefCAD
<www.defcad.org> . Acesso em dezembro de 2013.

7th International Conference on Digital Arts ARTECH 2015

48

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

A escolha do nome Liberator para batizar a primeira

wiki-weapon deve-se inspirao em uma histrica arma
criada nos Estados Unidos durante a Segunda Guerra
Mundial, a pistola FP-45 Liberator, encomendada pela
OSS - o servio de inteligncia do governo norteamericano na poca General Motors Corporation. Ela
tinha uma curiosa finalidade: no era destinada ao
exrcito, mas sim s pessoas comuns que no tivessem
acesso a qualquer tipo de aparato blico. No tinha grande
desempenho, pois s podia disparar um tiro por vez.
Inicialmente ela foi lanada no territrio europeu junto a
outros suprimentos por meio de avies e poderia tanto
alcanar seu objetivo, as foras francesas de resistncia
compostas por guerrilheiros civis, quanto os exrcitos
inimigos. Isso justifica a condio pfia do aparato, pois
no era interessante aos Estados Unidos fornecer armas
potentes aos seus adversrios, apenas permitir que um
civil pudesse imobilizar ou abater o inimigo e tomar sua
munio.
O episdio histrico da FP-45 Liberator parece bem
conveniente para Wilson e seus colaboradores advogarem
sobre causa da arma fabricvel. Os norte-americanos tm
apego especial pela participao de seu pas na Segunda
Guerra, basta considerar a grande quantidade de filmes
produzidos sobre o tema na indstria cinematogrfica de
Hollywood. A situao de oferecer a mnima chance de
defesa s vtimas (do lado aliado) soa bastante comovente
para a organizao Defense Distributed tentar emplacar
seu projeto, associando esta imagem atual discusso
sobre armas no pas.
Mas as semelhanas entre as duas verses da pistola
Liberator no se limitam ao apelo dramtico. Ambas
tambm so armas de desempenho medocre. Alguns
testes realizados pela polcia australiana atestaram que a
wiki-weapon pode ser to perigosa para seu portador
quanto para o alvo, pois h o risco dela explodir na mo ao
ser disparada. A razo para isto que o plstico usado em
grande parte das impresses no o tipo de material mais
adequado para a produo de um aparato que dispara
projteis por detonao.
Apesar de no inspirar muita confiana em razo de sua
fragilidade, assim mesmo esta pistola gerou muitas
discusses a respeito do acesso livre fabricao de armas
no mundo inteiro e questes relativas segurana,
especialmente por tratar-se de um objeto que no pode ser
percebido por detectores de metais e ser facilmente
introduzido em locais como aeroportos e bancos. A
equipe de um jornal popular ingls demonstrou a
facilidade para transportar o artefato, documentando um
deslocamento com a pistola Liberator no famoso Eurostar,
trem que faz a ligao entre Inglaterra e Frana, onde no
houve nenhum tipo de interceptao em seu trajeto. [4]

Se por um lado a arma tornou-se um motivo de

preocupao por parte dos rgos responsveis por
segurana, por outro gerou curiosidade ao ponto de ganhar
destaque em uma exposio dedicada impresso 3D no
museu Victria e Albert em Londres, durante um festival
de design realizado em 2013. Cientistas e especialistas,
entre eles o criador da Reprap professor Adrian Bowyer,
foram convidados na ocasio para expor seu ponto de vista
no somente sobre a questo da wiki-weapon, mas
tambm sobre o futuro da impresso 3D. Quando
indagado se esta tecnologia seria perigosa por possibilitar
a fabricao de armas e outros objetos letais, Bowyer
afirma que um equvoco tal constatao, j que outras
tecnologias tambm produzem objetos perigosos e que a
impresso 3D tambm traz benefcios para a sociedade
quando empregada em reas como a medicina, por
exemplo. A questo que a existncia da Liberator no
apenas polmica: ela tambm emblemtica em relao a
esta nova tecnologia.
VI. LIBERATOR: PRODUTO EMBLEMTICO DO UNIVERSO DA
IMPRESSO 3D
A eleio da Liberator de Cody Wilson como ponto de
partida para execuo de um trabalho artstico parte do
pressuposto que este objeto um dos mais emblemticos
produtos desta nova tecnologia at o momento. E por que
ele seria um dos mais significativos?
Em primeiro lugar cabe observar que no h novidade
na relao entre surgimento de novas tecnologias e
universo blico basta lembrarmo-nos dos avanos
tecnolgicos ocorridos durante o perodo da Guerra Fria
entre Estados Unidos e Unio Sovitica, dentre os quais
podemos destacar a Internet e a corrida espacial. O que se
coloca de novo o surgimento de armas concebidas por
pessoas comuns e no por indstrias armamentistas
financiadas por governos. A Liberator aconteceu dentro de
uma comunidade que se props a cri-la e desenvolv-la,
num movimento bottom-up, ou seja, de baixo para cima,
da periferia para o centro, e no da maneira como a maior
parte das armas de fogo, e por extenso todos os produtos
industriais, so oferecidos. H uma comunidade que
participa ativamente desde sua criao e posterior
aperfeioamento, sem restrio de acesso, formando uma
rede de colaboradores em diversos lugares do mundo.
Embora a impresso 3D, em seu mbito domstico, seja
vista como uma nova revoluo industrial ainda h
limitaes que no permitem produzir a maioria das
coisas. Ou porque no financeiramente vantajosa ou
porque a tecnologia ainda no possibilita alcanar
determinados resultados. Considerando vrias promessas
ainda no concretizadas, como a perspectiva de imprimir

7th International Conference on Digital Arts ARTECH 2015

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

um carro em casa, Liberator um dos poucos produtos

tangveis que efetivamente pode ser fabricado dentro das
atuais limitaes da mquina, ainda que sua
funcionalidade possa ser contestada. A arma composta
de vrias peas e engrenagens que demonstram uma
concepo engenhosa, o que torna sua montagem uma
atividade ldica apesar de sua complexidade.
A existncia da Liberator coloca em xeque a viso mais
ingnua da impresso 3D, inicialmente vista como parte
de uma agenda positiva, que envolve acesso a prteses ou
a ferramentas em locais remotos, por exemplo. Conforme
Nick Bilton, colunista do jornal The New York Times, nos
apresenta no documentrio Click, Print, Gun: The Inside
Story of the 3D-Printed Gun Movement [5] quando os
idealizadores das impressoras as criaram apenas
imaginaram que as pessoas fariam objetos banais, tais
como copos ou pulseiras; no foi previsto que pudessem
fazer armas. De fato, a maioria dos objetos encontrados
em repositrios como o Thingiverse banal, como bustos,
bijuterias, brinquedos e outros badulaques. Assim,
Liberator paradigmtica quando se coloca acima da
futilidade deste universo de objetos, ainda que
discordemos dos propsitos de sua criao.
Alm de todas essas consideraes, h que se observar o
contexto geopoltico, no qual pensamos sobre o que pode
representar um mundo de armas de fogo livres. Quais as
consequncias de um objeto como uma wiki-weapon em
um mundo onde atualmente ocorrem mais de 30 conflitos
em diferentes partes do mundo? O que pode acontecer se
todas as pessoas estiverem armadas? Nos Estados Unidos
comum pessoas possurem armas de fogo e h uma
cultura favorvel ao uso e porte destes aparatos, ao ponto
de no ser possvel, na maioria dos estados, proibir um
cidado de andar armado pelas ruas, tal qual acontece nos
filmes de faroeste to significativos para a cultura norteamericana. H organizaes como a National Rifle
Association que atuam no sentido de influenciar leis que
protegem quem usa armas, sob a justificativa de garantir a
autodefesa. Tais organizaes e fabricantes de armas
tambm se beneficiam de uma histrica e paranoica
sensao de insegurana dos norte-americanos, da
constante necessidade de combater um inimigo, prximo
ou distante. Em contrapartida, os Estados Unidos possuem
a mais elevada taxa de homicdios causados por armas de
fogo entre pases desenvolvidos. [6]
A questo polmica, j que ter uma arma ter um tipo
de poder sobre o outro. At que ponto esta pistola, no
momento em que se tornar mais aperfeioada, pode ser
apenas um instrumento de defesa, especialmente quando
pensamos nos casos de violncia gerados por questes de
intolerncia? Neste sentido, Liberator se apresenta como a
materializao de um sentimento de insegurana em

relao ao outro, como uma resposta rpida e autoritria

para os problemas relacionais de uma sociedade. Tambm
h que se notar que aqueles que tero acesso s wikiweapons so, em sua maioria, os mesmos que tem acesso
aos bens de consumo e, em geral, no fazem parte daquilo
que se pode considerar como uma populao vulnervel.
As reflexes apresentadas at aqui serviram de
inspirao para o desenvolvimento do projeto de arte
Deliberator, 2014, desenvolvido por [Nomes retirados
para Blind Review] o qual ser abordado a seguir.
V. DELIBERATOR
Observando todo o contexto apresentado at aqui,
concluiu-se que a Liberator um manancial de
significados a serem explorados. Sendo assim, foi
escolhida para compor um experimento artstico que busca
tratar de questes relativas impresso 3D observadas
tanto conceitualmente quanto na prtica, assim como
observaes decorrentes da anlise de outros projetos
artsticos que utilizam ou discutem esta tecnologia. A ideia
no era criar um objeto novo, como acontece em outros
trabalhos de arte, mas apropriar-se de um objeto que j
fizesse parte do universo desta tecnologia, que estivesse
envolvido
em
suas
diversas
etapas
(comunidade/colaborao,
fabricao
domstica,
distribuio em rede) e suscitasse as implicaes da
impresso 3D.
Embora sua visvel engenhosidade instigasse a montar o
objeto, procurou-se ir alm do percurso usual que seria
obter o arquivo do modelo digital e construir a pistola.
Como interferir em um objeto to emblemtico? Se ele
estimula sua construo e utilizao, indo pela contramo
a proposta deste projeto artstico foi pensar em como
desconstruir e inutilizar poeticamente. Alguns trabalhos
discutidos a seguir apresentam situaes de apropriao e
modificao que se aproximam dos mtodos e escolhas
conceituais deste projeto.
No poema eletrnico Exlio [7], de Tiago Lafer, h a
apropriao de um trecho da Cano do Exlio de
Gonalves Dias, que gradualmente reconfigurado atravs
da retirada de elementos do texto. O poeta realiza
intervenes, suprimindo algumas palavras dos versos em
seis intervalos, gerando seis novos momentos, mas
tentando manter a essncia do poema original, que se
encontra na comparao entre dois lugares distantes, o
l e o c e o sentimento de nostalgia. Mas conforme
caminha para o seu desfecho, o autor aumenta a sensao
de isolamento atravs da metfora visual dos espaos
vazios que surgem e por fim, permanece apenas a
distncia entre os travesses ao final. Conforme Santos
[8], ao analisar o poema: O que chama a ateno a

7th International Conference on Digital Arts ARTECH 2015

49

50

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

rarefao das palavras, que vai aumentando pouco a pouco

a intromisso progressiva dos espaos vazios, o
silenciamento paulatino do poema e atingem seu auge com
os dois travesses enfrentando-se, ameaadores, numa
mesma linha e metaforizando, mais visual que
semanticamente, o l e o c entre os quais oscila o poema
todo de Gonalves Dias.
Percebe-se que Lafer mantm o sentido original do
poema ainda que imponha uma nova leitura para ele. O
que interessa para o projeto deste poema a sua gradual
desconstruo formal, organizada em sete momentos, do
texto original ao seu limite de significado. Esta
metodologia se apresenta como possibilidade de
estabelecer uma narrativa visual a partir da decomposio
gradual da Liberator, tal como Lafer faz com a Cano
do Exlio. Porm no interessava reforar os sentidos que
a pistola suscitaria; a preocupao tambm desmantelar
os seus sentidos.
Dentro desta perspectiva desconstrutiva, um trabalho
que pode ser citado Technology/ Transformation:
Wonder Woman, 1978-9, de Dara Birnbaum [9]. A
artista se apropria de trechos da srie televisiva Mulher
Maravilha, para propor uma reavaliao da imagem das
mulheres na mdia. Atravs de remixagens, onde ela
repete diversas vezes sequncias emblemticas da
personagem principal, como a metamorfose explosiva que
a torna herona, tiros defendidos com seu bracelete
mgico, corte no espelho onde simbolicamente a
personagem parece cortar a prpria garganta, desmontam
o contexto original da srie de apelo pop para criar um
discurso ideolgico sobre os esteretipos femininos dentro
de uma sociedade predominantemente patriarcal.
H um vis poltico na apropriao das imagens em
Technology/ Transformation: Wonder Woman, e este
direcionamento est tambm em nossa proposta, levando
em conta a carga de significados suscitados pela Liberator
e as consideraes j apresentadas.
Outro trabalho que pode ser mencionado como um caso
de desfigurao de um objeto icnico Totemobile,
2007, de Chico MacMurtrie e o estdio Amorphic Robot
Works (ARW) [10]. O artista desenvolveu uma escultura
robtica partindo do formato do clssico carro Citren DS.
Quando est em ao, a escultura rob desmembra-se para
transformar-se em um totem de 18 metros de altura, com
caractersticas orgnicas, muito diferentes de sua forma
original. MacMurtrie justifica as razes de sua escolha:
Eu escolhi o Citron DS, no por causa do patrocnio da
Citron, mas porque ele um cone dos carros europeus, e
eu senti que as qualidades vivas que representava
(suspenso hidrulica, curvatura orgnica e engenhosidade
mecnica) foram emblemticas para a poca. Eu tambm
escolhi o DS porque ele influenciou minha cultura

mexicana-americana do low-rider . O low-rider foi usado

pela cultura latina como meio de expresso... convertendo
carros clssicos com suspenso hidrulica, utilizando
pinturas elaboradas, tornando-se uma forma de arte. [11]
J se havia definido que a Liberator era um objeto
icnico, com forte carga de sentidos. Para anular essa
carga, recorreu-se s prprias limitaes da impresso 3D,
por meio das quais obter-se-ia a desfigurao do objeto em
questo. Elencou-se dentro desta tecnologia um dos
processos para obteno de modelos digitais: o
escaneamento tridimensional, processo onde um aparelho
captura a imagem de um objeto por meio de um feixe
eletrnico e o transforma em dados digitais. A maior parte
dos aparelhos usados neste tipo de escaneamento no
possui acuidade suficiente para obter uma reproduo
perfeita da imagem do objeto original e geralmente produz
alguns rudos na imagem digitalizada. Considerou-se
introduzir estes rudos como um recurso para modificar a
aparncia do objeto original, atravs de uma sucesso de
escaneamentos. Atravs de um processo cclico, cada
objeto produzido seria escaneado, tornando-se imagem
novamente para converter-se em um modelo digital
tridimensional e, em sequncia, ser impresso em 3D e
tornar-se novamente objeto, procedimento que se repetiria
vrias vezes at a desfigurao total do modelo inicial.
O projeto previa utilizar a tecnologia de impresso 3D
que empregada no mbito domstico e que tem maior
alcance de usurios, ou seja, o que est acessvel para
grande parte das pessoas e que foi previsto pelos ativistas
da organizao Defense Distributed para fabricao da
Liberator. No esto sendo considerados equipamentos de
alto desempenho, em geral utilizados dentro das
indstrias, mas sim os que compem o cotidiano daqueles
que frequentam os Fab Labs.
Tendo iniciado a produo do projeto, as primeiras
peas que deveriam ser impressas partiriam do modelo
digital da Liberator. Para a realizao dos escaneamentos
tridimensionais foram necessrias apenas as peas que do
formato ao objeto e, deste modo, tornou-se possvel
suprimir outras que eram internas e necessrias para o
disparo. Durante a produo tambm houve a necessidade
de partir algumas das principais peas ao meio, para
viabilizar sua impresso sem deformaes e isto tornou o
objeto ainda mais frgil. Por fim, o resultado obtido ao
final desta primeira fase de impresses corresponde ao
formato final da Liberator, permitindo a sua operao
especificamente no nvel simblico.
Antes da impresso seguinte, introduziu-se mais um
fator de deformao, reduzindo o tamanho do modelo
digital em relao ao objeto anterior. Como critrio para
esta reduo, foi escolhida uma medida recorrente na Arte
e na natureza: a Proporo urea. Aplicada na prtica

7th International Conference on Digital Arts ARTECH 2015

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

artstica enquanto concepo de beleza e perfeio e

observada na natureza como ordem de crescimento da
vida, tal proporo tem a caracterstica harmonizar
elementos assimtricos, mas que se relacionam atravs de
uma medida constante presente em todos os elementos. A
proporo entre o elemento menor est para o maior,
assim como o elemento maior est para o todo.[12]
Neste caso, o primeiro objeto a referncia do todo
para as demais peas, sendo a origem comum para a
ramificao que se seguir com a fabricao das demais
peas. Tal soluo agregou uma nova relao entre os
objetos, tornando-os intimamente ligados apesar da
desfigurao que se acentuaria no decorrer do processo de
impresso e escaneamento.
Depois da primeira impresso iniciou-se a segunda fase
da produo do trabalho onde acontece o processo de
escaneamento. Havia algumas opes de mtodos para
este procedimento, como programas que unem sequencias
de fotos ou aparelhos sensveis que registram superfcies.
Aps algumas experimentaes, foi eleito o processo
realizado com escner tridimensional manual, que detecta
a superfcie atravs de feixes infravermelhos e com o qual
se obteve melhor acuidade e desempenho. O primeiro
escaneamento acrescentou deformaes orgnicas sobre as
superfcies bem delineadas do primeiro objeto, dando lhe
aspecto semelhante ao de derretimento. Ao comparar as
duas impresses iniciais, nota-se que as linhas rgidas e
precisas da Liberator contrastam com a aparncia
amolecida do segundo objeto. No decorrer das impresses,
este contraste ampliou-se cada vez mais. Seu carter
blico desvanecia a cada ciclo do processo.

51

de distino do projeto inicial, deste o cano at cabo. A

vocao blica do objeto, contida em suas formas que
induzem a projetar-se adiante contra um suposto inimigo,
perde-se em uma massa disforme ao final, cuja
desconstruo resultante das limitaes do processo que
inicialmente a construiu.
A gradual desfigurao que Liberator foi submetida
suscita chegar ao limite do objeto, neste caso o plstico
que o compe. Este material plstico o que serve de base
para a maior parte dos produtos da impresso 3D e esta
quase onipresena implica em resumir qualquer objeto
produzido nesta condio s mesmas caractersticas
materiais.
Tudo parece habitar o mesmo patamar, independente de
sua natureza ou funo. O material plstico da impresso
torna homogneo um brinquedo, um corpo humano, uma
escultura copiada de um original feito em mrmore ou
uma pistola. O carter ofensivo da Liberator suavizado
pelo material plstico e frgil que a constitui. O que a
tornou efetivamente um cone blico o contexto
construdo pelos seus idealizadores, os ativistas da
Defense Distributed e os desdobramentos gerados por sua
polmica.

Fig 4: Deliberator exposta no festival FACTORS

1.0, Santa Maria, Rio Grande do Sul Brasil. Fonte:
arquivo pessoal.
Fig. 3: Quadro com os modelos digitais (acima) e o objetos
impressos (abaixo).

Por fim, ao batizar o trabalho aproveitamos para inserir

no ttulo uma provocao ao pblico: o nome
Deliberator, um trocadilho com o nome da arma
partindo da palavra inglesa deliberation, que remete a
discusso ou considerao sobre algo. Se o nome desta
arma, baseado na histrica pistola da Segunda Guerra,
significa Libertadora, o trabalho Deliberator faz um
convite reflexo sobre as implicaes do emprego
irrestrito desta liberdade com a impresso 3D a partir do
caso emblemtico da pistola.

Ao todo foram realizados sete ciclos do processo de

escaneamento e impresso, obtendo sete objetos que
compem o trabalho. A forma da pistola pressupe a
presena do corpo humano. Esta presena se encontra nas
formas anatmicas que acomodam a mo para seu uso,
como o cabo e o gatilho. Logo no incio desta etapa, o
desaparecimento do gatilho desarmou o objeto, perdendose com ele o gesto do atirador. Os ndices de
maneabilidade vo extinguindo-se pouco a pouco at que,
chegando ao final do processo, j no h mais elementos

7th International Conference on Digital Arts ARTECH 2015

52

S. Nunes and F. Nunes / "Deliberator": reflexes poticas sobre o universo da impresso 3D

[1] Reprap. [Site do projeto colaborativo da impressora 3D de

baixo custo e auto-replicvel]. Disponvel
em:<www.reprap.org>. Acesso em 15 de agosto de 2012.

VI. CONCLUSO
O surgimento da pistola Liberator de Cody Wilson fez
com que se repensasse o entusiasmo inicial sobre o
aparente carter benfico da impresso 3D. O futuro desta
tecnologia, inicialmente entendido como revolucionrio
por confrontar paradigmas da indstria tradicional, ter de
conviver com as wiki-weapons, enquanto estas
continuarem a serem desenvolvidas e produzidas pelo
mesmo caminho colaborativo que viabiliza a produo de
outros tipos de objetos, como as prteses para dedos do
projeto Robohand.
De todas essas possibilidades de apropriao da
tecnologia em questo, poucas so aquelas que conseguem
aliar a discusso sobre as especificidades do meio com os
seus desdobramentos sociais. Assim, Deliberator logra
discutir o prprio processo contido no universo da
impresso 3D, envolvendo os desdobramentos sociais. Ele
faz uso da metalinguagem da produo e as atuais
limitaes da prpria tecnologia, que poeticamente
colaboram para desconstruir a pistola Liberator. O
processo de imprimir, escanear, imprimir, escanear, at o
objeto modificar-se por completo, perder sua referncia
inicial, constitui-se em uma desconstruo assumidamente
endgena. Tambm prope repensar a ingenuidade de suas
aplicaes, atravs de usos que podem prejudicar pessoas.
O trabalho se posiciona dentro de um vis pacifista ao
desconstruir o signo da arma.
Deliberator sugere, pelo vis potico, a desconstruo
da atual concepo que se tem do universo da impresso
3D. O trabalho apropria-se tanto de um dos objetos mais
emblemticos realizados dentro deste universo quanto das
limitaes tcnicas e tecnolgicas que se opem s
promessas de realizaes noticiadas entusiasticamente por
meios de informao. O trabalho de arte tambm apresenta
outras possibilidades plsticas advindas do uso no
programado desta tecnologia que agregam novos valores
estticos a produo por impresso 3D.

[2] N. Gershenfeld. FAB - The coming revolution on your

desktop - from personal computers to personal fabrication.
New York, Basic Books, 2005.
[3] Defense Distributed. [Site da organizao para criao e
compartilhamento de arquivos de armas de fogo]. Disponvel
em: < http://defdist.org/>. Acesso em: 26 de julho de 2014.
[4] How Mail On Sunday 'printed' first plastic gun in UK using
a 3D printer- and then took it on board Eurostar without
being stopped in security scandal. Disponvel em:
<http://www.dailymail.co.uk/news/article-2323158/HowMail-On-Sunday-printed-plastic-gun-UK--took-boardEurostar-stopped-security-scandal.html>
[5] Click, print, gun: The Inside Story of the 3D-Printed Gun
Movement. Produo: Erin Lee Carr. Estados Unidos:
Motherboard, 2013. Documentrio, 24 min, cores.
Disponvel em: < http://motherboard.vice.com/read/clickprint-gun-the-inside-story-of-the-3d-printed-gun-movementvideo >. Acesso em: 25 de abril de 2013.
[6] Dados referentes ao perodo de 2004 a 2010 segundo
reportagem da BBC: US gun debate: Guns in numbers.
Disponvel
em: <http://www.bbc.co.uk/news/world-uscanada-20759139>.
[7] T. Lafer. Exlio. So Paulo: Nomuque.net, 2002. Disponvel
em: <www.nomuque.net/signica>. Acesso em: 10 de julho
de 2014.
[8] A.L. Santos. Leitura de ns: ciberespao e literatura. So
Paulo: Ita Cultural, 2003, p.72.
[9] Technology/ Transformation: Wonder Woman. [Vdeo da
artista Dara Birnbaum]. Disponvel em: <
www.youtube.com/watch?v=k6xZOUXNyQg >. Acesso em:
20 de maio de 2014.
[10] C. MacMurtrie. [Site do artista]. Disponvel em:
<http://amorphicrobotworks.org/works/ttm/narrative.htm> .
Acesso em: 28 de maro de 2014.

AGRADECIMENTOS

[11] Ibidem.

Os autores agradecem a CAPES Coordenao de

Aperfeioamento de Pessoal de Nvel Superior pelo
apoio na realizao desta pesquisa.

[12] F . Ostrower. Universos da arte: edio comemorativa. Rio

de Janeiro: Elsevier, 2004, p. 292.

REFERNCIAS BIBLIOGRFICAS

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

53

Design of a Transmedia Project targeted to

Language Learning
Patrcia Rodrigues, Jos Bidarra
Centro de Investigao em Artes e Comunicao, Universidade Aberta,
Lisboa, Portugal

Abstract
Transmedia is steadily gaining
ground in education. A transmedia learning environment
is immersive and engaging and presents the potential to
meet the needs of 21st Century learners. This paper looks
into the design stage of a transmedia learning project
targeted to English as Second Language learners and
explores aspects concerning the integration of learning
goals and strategies within the structure of the project. In
this manner, we hope to contribute to the development of
transmedia learning environments.
Index Terms English as Second Language,
Transmedia Learning.

I. Introduction
Transmedia is a concept rooted in the entertainment
area, however its use in education is becoming more
common. As learning environments are being redefined
in order to meet today's learners needs, digital media,
social media platforms, augmented reality and mobile
devices become the tools of trade for educators - ()
the Net Gen identifies with media and technology.
Today learning with the new media involves a social
process of participation in a shared culture [1].
Transmedia is an approach of educational value as it
provides multiple entry points to learning and is in
alignment with the most recent orientations for the
design of new learning paradigms. Addressing the
required transformation of learning and teaching
practices, different reports such as System Upgrade [2];
Learner at the Center of a Networked World [3];
Transmedia Play [4] and Connected Learning [5] have
come to light. More than providing pedagogical
frameworks based on learners' media consumption and
production tendencies, these documents supply valuable
guidelines for educators to accommodate the move into
learner-centered environments. At the core of the reports
Transmedia Play and Connected Learning lies the need
to enhance collaborative practices and engage learners
through the use of media. The disconnect between
classroom learning and the everyday lives and interests
of many young people is not new. [5] The question is
How can we capitalize on todays new media to
expand these forms of learning opportunity? [5].
Creative transmedia storyworlds are participatory
spaces and can engage learners in the creation of their
own stories and production of artefacts while
developing learning paths. Wolf points out "imaginary
worlds are enjoyed not only by those who visit them,
7th International Conference on Digital Arts ARTECH 2015

but also by those who invent them. (...) They are often
transnarrative and transmedial in form. Stories written
by different authors can be set in the same world, so
imaginary worlds can be transauthorial as well" [6]. The
affinity spaces created by the players of MMORPGs
such as World of Warcraft or League of Legends are the
evidence that imaginary worlds are shaped by players.
Moreover, they are spaces in which learning processes
occur - "players socialize within the game, and they
come together in fan sites to discuss, critique, analyse,
and mod the game" [7] Gee & Hayes stress that the
game beyond the game encourages the development of
skills related to "technology, design, system thinking
and sociotechnical engineering." [7].
Not only 21st Century learners play, they are also
taking advantage of the possibilities available in the
media landscape to weave their stories across multiple
platforms - they "do not see narrative as text-based only;
rather they view narrative as a multimedia
enterprise"[8]. Since Transmedia Storytelling mirrors
the learners' dynamics in the media ecosystem, it can be
perceived as a way to capitalize on learning
opportunities.
The use of storytelling as a learning tool is not new.
Stories lend themselves to learning. As Frank Rosen
points out, storytelling is "a symbiotic exchange
between teller and listener. (...) We use stories to make
sense of our world and to share that understanding with
others. They are the signal within the noise" [9].
The art of storytelling is taken to a new dimension
when combined with a transmedia approach. Jenkins
defines Transmedia Storytelling as "a process where
integral elements of a fiction get dispersed
systematically across multiple delivery channels for the
purpose of creating a unified and coordinated
entertainment experience. Ideally, each medium makes
it own unique contribution to the unfolding of the story"
[10]. For learners it's an opportunity to seek out content
through active hunting and gathering processes while
crisscrossing various media platforms [10] and evaluate
ideas with others. [11]. Hence, creating a transmedia
learning environment provides the learners the
opportunity to be deeply immersed in a topic. (...) They
concurrently use technology tools for exploration as
they develop narrative and characters that will provide
others with a learning, as well as play, experience [11].
In order to tap into how a transmedia learning
environment might be stimulated, the following sections
describe the theoretical framework, as well as, the

54

P. Rodrigues and J. Bidarra / Design of a Transmedia Project Targeted to Language Learning

design phase of a transmedia learning project which is

currently being used as basis of research for this subject.
II. The Project's Goals
The project Connecting Cat is the basis of research for
the creation of a transmedia learning environment in the
context of English as Second Language (ESL) learning.
It is specifically targeted to Portuguese 10th-grade
learners, 16-year-old teenagers. Connecting Cat's
storyworld hopes to be the setting for the exploration of
contents and curricular goals of ESL, level six Intermediate. Through this project, one intends to
provide space for the development of communication
skills and engagement in the topics: media culture,
multiculturalism, linguistic diversity and use of
technology.
It is also aimed at developing media
literacy and engaging learners in multimodal learning
experiences. For this effect, a set of media platforms
were selected taking into consideration the expected
learning outcomes, as well as the learner's interests.
Warren et al. highlight that a "transmedia story is
never ending, and it is continuously reshaped with the
help of peer constative feedback"[11]. Thus, transmedia
can be perceived as a continuous learning process
where linear learning is no more. Instead, multimoldal
experiences allow learners to seek, weigh, and
communicate answers. Knowledge is found socially
constructed based on existing knowledge [11].
Connecting Cat intends to be a social space for
learners in which collaborative learning practices may
occur. The design of the project attempted to instigate
the development of a learning community via
integration of content curation processes, joint media
artefact production activities and promotion of social
interaction between participants within the storyworld.
III. Theoretical Framework
Connecting Cat draws upon two learning models:
Transmedia Play [4] and Connected Learning [5]. It also
integrated suggestions of the reports Student at the
Center of the Networked World [3] and System Upgrade
[2] during the stage of design of the project. The
selection of the most appropriate elements was
determined by the project goals and the enhancement of
the learning experiences.
Transmedia Play is "a way of thinking about
childrens experimentation with, expression through,
and participation in media"[4]. Alper & HerrStephenson suggest that the transmedia play model
promotes learner-centered practices, experiential
learning and develops literacy. A transmedia play
experience implies:
1. Resourcefulness- creative thinking to solve
challenges;

2. Sociability- communications among peers mediated

by media/ technology;
3. Mobility- use of mobile devices and the movement
between media platforms;
4. Accessibility- access from different points of entry
and definition of a trajectory according to singular
contexts and types of access;
5. Replayability- the act of revisiting and exploring
worlds that require multiple visits.
These aspects were taken into consideration while
designing the different elements of the project and
modes of representation used.
Based on media use trends, thus relevant to the design
of a transmedia learning project, the Connected
Learning model proposes the following learning
principles: activities must be interest-powered; peersupported and academically oriented. In terms of design
principles, Ito et al. suggest that activities should be
production-centered, openly networked and be focused
on a shared purpose. Connected Learning is rooted in
the active participation of learners and educators and
nurtures the ability to connect people, resources and
content - the integration of personal in-class and outof-class experiences, collaborations and resources leads
to learning experiences that suit the learners' specific
needs [5].
Similar to the Connected Learning report, Learner at
the Center of a Networked World [3] focuses on
promoting learning networks that "allow learners and
teachers alike to connect directly to resources, people
and activities"[3]. The Aspen Task Force on Learning
and the Internet presents five principles and a set of
recommendations that might enhance learning
experiences: "learners need to be at the center of new
learning networks; every student should have access to
learning networks; learning networks need to be
interoperable; learners should have the literacies
necessary to utilize media as well as safeguard
themselves in the digital age and students should have
safe and trusted environments for learning"[3]. Though
aimed at a wider scope of application (an educational
system), part of the set of recommendations [3], listed
below, were considered in the setting of the learning
ecosystem within the project; access to the media
platforms; possible interactions between platforms and
media artefact production activities:
1. Redesign learning environments to empower
learners to learn any time, any place, and at any pace,
both in school and beyond;
2. Enhance the ability of educators to support and
guide learners in a networked learning environment;
3. Build an infrastructure that will connect all
students in all of the places they learn;
4. Support the maximum feasible degree of
interoperability across learning networks;

7th International Conference on Digital Arts ARTECH 2015

P. Rodrigues and J. Bidarra / Design of a Transmedia Project Targeted to Language Learning

5. Adopt policies to incorporate digital, media and

social-emotional literacies as basic skills for living and
learning in the digital age.
The report System Upgrade: Realising the vision for
UK education [2] addresses 12 key issues that promote
the use of digital literacy: connect; share; analyze;
assess; apply; personalize; engage; streamline; include;
know; compute and construct. These aspects apply on
various levels to the design of different learning
experiences and were used as reference in the
conception of the learning opportunities integrated in
the project.
Using a holistic approach, allows for the selection of
principles and aspects that best suit the needs of the
project and the audience it is targeted to. All the reports
presented in this section, from different perspectives,
put into evidence the need to shift learning and teaching
practices. The reports also highlight the importance to
connect with learners in their context. In the 21st
Century, it implies making use of the possibilities
available in the media landscape and capitalize their
potential for learning. The creation of a transmedia
learning environment, in this case promoted by a
transmedia learning project, may provide a space for the
development of learning paths suited for the 21st
Century learners.
If a solid theoretical framework is essential, no less is
applying it to the design stage of the project. The
following sections present the different elements that
constitute Connecting Cat and address issues inherent to
the design of a transmedia learning project.

Connecting Cat is an adventure story. Cat, an ordinary

teen girl, living in Portugal, is a seeker of the Fluxus
tribe (native cyberspace warriors) with the mission to
assemble a portal that ultimately allows the Fluxus to
interact with humans. The portal pieces are scattered all
over the world. In order to collect them, Cat relies on
her cat, an undercover warrior of the Fluxus, to give her
clues. Together they will try to connect the Fluxus to
mankind. Cat's quests take place in a storyworld in
which learners are direct participants in helping the
story to unfold across different platforms.
The hero's journey is comprised of 12 different steps.
The following table presents how the structure was
apllied to Cat, the heroine of the story:
Table I. Application of the hero's journey

The Hero's Journey

7th International Conference on Digital Arts ARTECH 2015

Connecting Cat

Cat in her space; getting to know

her skills

Ordinary world

The call to
adventure

Cat identifies her mission to

collect and assemble the portal
pieces

Refusal of the
call

Cat identifies the challenges in

completing the quests and the
need to be successful

Meeting with
the mentor

Shakid and Dawn provide her the

intel she needs to complete her
mission

Crossing the
threshold

Cat completes the quests to find

the portal pieces and is

committed to forging the link

between Humans and the Fluxus.

The test, allies

Cat develops her modus operandi

and tries to assemble the portal
pieces

The approach

Cat finds the location to assemble

the portal and discovers new facts
about her mother

The ordeal

Cat succeeds in assembling the

portal

Reward

Cat's encounter with the Fluxus

tribe

10

Road back

Cat takes stock of her quests and

learns the Fluxus flow

11

Ressurection

12

Return with
the elixir

IV. The Story and the Storyworld

In a preliminary stage of the project, as suggested by
the transmedia producer Bernardo, three key elements
were considered: "compelling characters; an exciting
and convincing storyworld and a strong storyline with
clearly defined plot points" [12].
In terms of narrative structure, Connecting Cat uses
the hero's journey model. Campbell's structure is
flexible and reusable, which in terms of transmedia is an
advantage. Using a transmedia approach to telling a
story, implies distributing different elements of the story
across multiple platforms and adapting them to different
formats. Gronstedt & Ramos identify reliance and
reliability as the strengths of the structure - "What works
universally with this structure is its reliance and
reliability for telling stories based on self-reflection,
stretching ones capability, finding friends, inspiration,
attainment of goals, and perhaps what up until this point
had been undiscovered talents" [13]. To a large extent, a
learner's progression path is punctuated by challenges
and moments like the ones that shape the hero's journey.
In this manner, the learners will be able to identify with
the story and the hero.

55

Cat attempts to put into action the

principles she learned with the
Fluxus and seeks collaboration
Cat integrates the accquired
knowledge in her actions and
relationship with humans

Besides using a setting and a main character with a

profile that the learners can easily relate to, Connecting
Cat's story incorporates both the mystical (the Fluxus
world) and the real dimensions (Cat's quests). This
strategy is aimed at providing different entry points to
the story and allowing for the exploration of a wider
range of event type. "Campbell suggests that the most
classic and enduring stories are the ones fueled by a
standard framework filled with challenge and

56

P. Rodrigues and J. Bidarra / Design of a Transmedia Project Targeted to Language Learning

adventureboth mystical and real" [13]. It's a balanced

blend of imaginary and ordinary world elements to
reach learners at different levels and with varied
interests.
The main arc of the story, with the purpose of
developing the events related to the protagonist,
supports micro-narratives - the heroine's quests. This
was a strategic choice. Even if the learners don't have
prior knowledge of the story, they will still be able to
make sense of the micro-narrative. From the learning
perspective, each segment of the story explores a
curricular topic or aspect thus facilitating the
management of learning goals. In parallel with Cat's
story, the learners can unfold adventures related to the
Fluxus world. These are interconnected to the events of
the main narrative; nevertheless they can be explored
outside the main frame of the story. The adventures in
the Fluxus world are targeted to provide different
exploration points to the learning contents introduced
via the micro-narratives of the main arc of the story.
Writing a transmedia narrative presents particular
design challenges. It involves perceiving the individual
affordances of each medium to be used and how to
integrate each one of them into a cohesive and coherent
narrative. Not only is it necessary to carefully design the
narrative, characters, interactions with the targeted
audience, but also take into account emergent forms of
expression - how the narrative can be shaped, expanded
or even defied. Thus, developing a storyworld is crucial
during the design phase - Stories involve time, space,
and causality, every story implies a world in which it
takes place. Worlds can exist without stories, but stories
cannot exist without a world [6].
The story architecture of the project, the bible, implies
developing every aspect of the storyworld. Bernardo
argues that "a fully fleshed storyworld 'bible' should
include: detailed character profiles; character
backstories and extended story arcs, historical and real
world events which help define and authenticate your
setting; the rules of your storyworld and visual elements
that distinguish or define your world"[12]. Bernardo
reinforces the importance of building a storyworld by
stating "establishing firm rules for your storyworld and
sticking to them is vital to creating and maintaining the
credibility of your story" [12].
Connecting Cat's storyworld is constituted by a
primary world and a secondary world. The first one, set
in the real world, explores the adventures of the main
character and the second one taps into the imaginary
world of the Fluxus tribe. Both worlds are
interconnected through characters, assuming double
identity, present in the real and imaginary dimensions a strategy to give cohesiveness to the storyworld and to
provide a unified experience to the user.
In order to provide an overview of the storyworld, the
core elements are described in the following table:

Table II. Description of the core elements of the storyworld

Entry Point

Description

Webisodes
"Connecting Cat"

. Primary world
. Characters: Cat (main character);
Peter (friend); grandmother; father;
Sassy (cat).
. Goal - develop the main narrative
arc.

Motion Book
"The Fluxus Flow"

. Secondary world
. Characters: Shakid (Fluxus
warrior/ Sassy in the primary
world); Dawn (Fluxus leader/
grandmother in the primary world);
members of the Fluxus tribe.
. Goal- explore aspects of the
Fluxus imaginary world; give
access to triggers to develop the
main narrative.

Main Character's
Facebook page

. Primary world
. Goal - promote interaction
between the audience and the
main character.

Blog
"The Fluxus log
archive"

. Secondary world
. Goal - engage the audience to
contribute to the expansion of the
Fluxus world via production of
media artefacts.

Edmodo
Community

. Goal - explore the storyworld

through an educational
perspective and create a space for
educators and learners to interact
and develop learning processes
around the storyworld.

Live Event
Location based
Quest

. Description - live event depicting

one of Cat's quests. It is set in a
location in which participants
access triggers, set through the
Augmented Reality app Aurasma,
to develop the mission.
. Goal - engage the audience to
take part in the development of
Cat's adventures.

Designing a transmedia storyworld is a complex

procedure since "Transmedia Storytelling is a strategic
process where the scale and scope are a whole lot more
than the sum of all its parts" [1]. In addition to this
process, it is still necessary to delineate a coordinated
plan to integrate the learning dimension in the
storyworld. The following section presents the rationale
supporting the design of the learning layer of the
project.
V. Scaffolding Learning in the Project
To determine the learning potential of the transmedia
narrative, Kalogeras [1] suggests taking into
consideration the following set of questions (in this case
in reference to the application in a E-module):
1. Can the story be integrated into an existing
curriculum?
7th International Conference on Digital Arts ARTECH 2015

P. Rodrigues and J. Bidarra / Design of a Transmedia Project Targeted to Language Learning

2. Is the story engaging, and can it help make learning

more effective?
3. Does the story contain subject matter that is
relevant to the module?
4. Do the hyperlinks found in the story provide
valuable information in keeping with learning objectives
and outcomes?
5. Can additional learning extensions be created by
subject-matter experts/producers?
6. Can the students create stories extensions via
digital stories to provide educational value?
At root, Connecting Cat considers the embedding of
learning contents, specific to the 10th-grade subject of
ESL. It is expected that the project may reach learners at
different levels and with different learning profiles by
exploring the audiovisual language in a diversified form
and the inclusion of learning challenges that can be
explored both in an autonomous or oriented approach.
The storyboards for the webisodes and the motion
book were set on the subject's learning topics and
communicational skills in focus. The goal was to create
context for the learning process by integrating audio and
visual triggers. The storyworld can be accessed through
different platforms, and the topics are explored through
distinct angles thus diversifying and allowing to
generate personalised learning paths. Below, you find an
example of a visual trigger, set in the first sequence of
the motion book, to explore the topic of linguistic
diversity - an alien tree affected by human
communication.

Fig. 1. Visual Trigger Art Work - Delfim Ruas

The triggers seek to engage students in learning

activities. These may vary according to specific learning
goals. As an example, in a hypothetical ESL class
scenario, the event concerning the alien tree, depicted in
the motion book, can be used as resource for learning
activities such as brainstorming. Learners can activate
prior knowledge on the topic of linguistic diversity;
exchange and gather information orally; practice
collaboration by working in groups; present to peers
7th International Conference on Digital Arts ARTECH 2015

57

their views and/or express themselves via digital

artefacts that can be published and shared on the blog
dedicated to expand the Fluxus knowledge about
Humans.
The series of webisodes "Connecting Cat" are aimed
at developing the main story. Apart from the first
(introduction to the setting of the story and main
characters), the webisodes will allow the learner to build
his/her path of exploration within a controlled set of
options using for this effect the interactive video format.
In parallel with the webisobes, the motion book
"Fluxus Flow" explores the imaginary world of the
Fluxus. It is also a secondary story that complements the
webisodes. Each panel sequence will on one hand
present relevant information about the Fluxus culture
and members and on the other provide valuable
information or clues that will have an impact in the
development of the main story. In every sequence, there
will be panels that the user can explore and access
different information, clues or puzzles to solve. Fluxus
Flow is a motion comic book blending elements of print
comic books and animation. Schmidt argues motion
books are immersive - Its DNA is comic books. Lots
of people have responded that it reminds them of video
game elements or having cinematic sort of qualities to it
() Its an immersive reading experience [14]. The
integration of a motion book was strategic. The format
facilitates the manipulation of imaginary elements
difficult to translate to real world sceneries.
Concurrently, it integrates references of interest to the
target audience - MMORPG elements and the comic
book language.
Connecting Cat's storyworld is intended to be shaped
by the learners and is oriented to promote the creation of
media artefacts. The storyworld integrates spaces that
might be used for this purpose - Cat's Facebook page;
the Fluxus log archive, in the form of a blog, set to
develop the knowledge of the Fluxus regarding humans,
and the Edmodo platform.
Picking up on the digital spaces in which learners
interact, one of the entry points to the storyworld is Cat's
Facebook page. The main character will strategically
publish posts that on one hand will immerse the learners
in her quests and on the other encourage curation of
learning topics embedded in the webisodes.
Similarly, the blog "Fluxus log archive" will include
challenges that might encourage the learners to develop
wikis, podcasts, videos or any other form of digital
creation. The goal is to provide learning opportunities to
engage learners in the topics, activate prior knowledge
as well as develop media literacy skills. Ultimately,
learners are expected to become co-producers of the
story and shape it according to their inputs or
contributions.
At its core, the project is focused on enhancing
learning through interactions on digital spaces, therefore
it was important to address how the educational

58

P. Rodrigues and J. Bidarra / Design of a Transmedia Project Targeted to Language Learning

community would be able to interact. Taking this into

account, the Edmodo platform, given its affordances,
was integrated in the project - "Edmodo is a social
network specifically designed for primary and
secondary schools, offering a way for teachers to more
easily assess students and trade tips [15]. It is intended
to be the space for the community of learners and
teachers to share resources and content related to Cat's
storyworld. In this way, one intends to bring the project
to life in the classroom by connecting Cat's adventures
to the learner's environment and learning needs. For
educators, this space can be used as a dynamic learning
ecosystem in which different learning models can be
implemented, and diverse topics can be explored in
order to align with different curriculum goals.
To immerse learners in the storyworld, another storybased learning strategy was applied - a location based
quest. Participants are encouraged to help Cat by
revealing vital clues and story details that ultimately
lead to the discovery of one of the portal pieces.
The location based quest intends to be a situated
learning experience in a geographic space by taking
advantage of the locative storytelling application
Aurasma. This mobile augmented reality application
allows a storyteller to attach story elements (digital
images, videos, instructions, clues) to a real world
marker. The main goal is to make the story tangible to
learners by using a learner-centered and active
participation approach - "(...) what might be otherwise
be salient but abstract information when read on a
computer screen can become something potentially
more impactful when consumed or engaged with on
location" [16].
Designing a transmedia project is a process of
leveraging platforms and formats to tell a story and
build an interactive experience. To better serve our
audiences, we producers need to evolve the language of
new media which is, in many ways, the conjunction of
every medium [12]. To design a transmedia experience
translates into planning and acting upon a block of
actions, contributing to a planned modification in the
behaviour of the target audience. In the case of a
transmedia learning project, it implies building a
framework that enables learners to engage
constructively with the digital resources provided in the
platforms and design interactions that sustain an
authentic experience for the learner. Crafting a coherent
learners experience is crucial, in others words, is to
provide a way for learners to weave together and
interconnect the resources and tools. It requires
analytical thinking and creativity at the same time. The
following diagram presents a possible route to navigate
through the different spaces of the project.

Fig. 2. Mapping of the elements for the user's experience

VI. CLOSING DISCUSSION

In the 21st century, educators are faced with the
challenge of capitalising learning opportunities in a
media charged environment. Today's learners
communicate, express themselves and interact within a
participatory culture emerging from the digital spaces
they take part in.
Learners habits of media
consumption have changed from passive to active. The
educational community needs to acknowledge this shift
and address the fact that learning occurs not only, but
also outside institutional context and even without the
presence of educators.
Transmedia is no longer a buzzword for educators.
The exploration of educational uses of transmedia
practices has become a prevalent topic of discussion in
recent years. The growing community of new media
literacy educators is tapping into processes to explore
the learning potential of transmedia storyworlds - (...)
when transmedia is done well, it creates a deeply
engaging, immersive experience, which multiplies the
number of learning opportunities[17].
In this paper, we propose that the design of a
transmedia learning project can promote the emergence
of a transmedia learning environment that nurtures
collaborative practices, engagement in curriculum topics
and supports personalised learning paths.
To this purpose, this paper presented theoretical
models analysis, the results of which led to the
emergence of a consistent theoretical framework for the
project. Through the analysis of reports such as
Transmedia Play and Connected Learning, it was
7th International Conference on Digital Arts ARTECH 2015

P. Rodrigues and J. Bidarra / Design of a Transmedia Project Targeted to Language Learning

possible to identify recurrent guidelines related to the

design of learning experiences: development of
engagement; focus on collaborative practices; take into
account the interconnected media context of the learner
and bridge the gap between formal and informal
learning environments.
The theoretical foundation of the project led to the
development of a design methodology focused on
expanding the learning opportunities within an
immersive storyworld. The description of the projects
design phase attempted to demonstrate how learning
activities and strategies were embedded in the narrative
and experience layers of the project as well as set forth
elements upon which a learning layer might be created.
The design of Connecting Cat focused on providing
different portals to interact with content and mobilising
learners to participate in the storyworld. In this manner,
we expect on one hand that Connecting Cat can be
shaped by the learners and on the other supports them in
the creation of unique learning paths. Ultimately,
Connecting Cat is a space in which learners can express
themselves on their own terms and interact across media
platforms and devices, while manipulating learning
contents.
In order to tap into the learning experiences
Connecting Cat intends to provide, a beta version of the
project will be tested with a control group of students.
The creation of a study case based on the project
implementation seeks to identify, assess and reflect on
the learning processes that might emerge through the
use of a transmedia learning storyworld. Connecting Cat
is a research project focused on providing an original
contribution to the evolving debate on the educational
use of transmedia storytelling and the creation of
transmedia learning environments.

Acknowledgement
The authors wish to acknowledge the artistic
intervention of the graphic illustrator Delfim Ruas.
References
[1] S. Kalogeras, Transmedia Storytelling and the New Era
of Media Convergence in Higher Education,
UK:Palgrave Macmillan, 111-178, 2014.
[2] R. Noss et al, System Upgrade: realising the Vision for
UK education. London: Knowledge Lab, ESRC/EPSRC
Technology Enhanced Learning Programme, 2012.
[3] Aspen Institute Task Force on Learning and the Internet,
Learner at the Center of a Networked World. Washigton
D.C.: The Aspen Institute, 2014.
[4] R. Herr-Stephenson and M. Alper, T is for Transmedia:
Learning Through Transmedia Play. USC: Annenberg
Innovation Lab, 2013.
[5] M. Ito et al, Connected Learning: An Agenda for
Research and Design. Irvine, CA: Digital Media and
Learning Research Hub, 2013.
7th International Conference on Digital Arts ARTECH 2015

59

[6] M. Wolf, Building Imaginary Worlds: The Theory and

History of Subcreation. New York: Routledge, 4-29,
2013.
[7] J. Gee, and E. Hayes, "Nurturing Affinity Spaces and
Game-Based Learning", Games, Learning, and Society:
Learning and Meaning in the Digital Age, Constance
Steinkuehler, Kurt Squire, and Sasha Barab, eds.,
Cambridge University Press, 123, 2012.
[8] E. Bonsignore, et al, "Sharing stories 'in the wild': A
mobile storytelling case study using StoryKit", ACM
Transactions on Computer-Human Interaction (TOCHI),
vol. 20, no. 3, 18, 2013.
[9] F. Rosen, The Art of Immersion: How the Digital
Generation Is Remaking Hollywood, Madison Avenue,
and the Way We Tell Stories. New York: W.W. Norton,1,
2011.
[10] H. Jenkins,(2011) "Transmedia 202: Further Reflections."
Confessions
of
an
AcaFan.
http://henryjenkins.org/2011/08/defining_transmedia_furt
her_re.html. Retrieved November 9, 2014
[11] S. Warren, et al, "Learning and teaching as
communicative actions: Transmedia storytelling",
Cutting-edge Technologies in Higher Education, no.6,
69-70, 2013.
[12] N. Bernardo, Building Your Storyworld. In Transmedia
2.0: How to create an entertainment brand using a
transmedial approach to storytelling. Kindle ed:Beactive
Books, 798 - 1064, 2014.
[13] A. Gronstedt and M. Ramos, Learning Through
Transmedia Storytelling. Infoline. 31(1401), 2014.
[14] B. Schmidt, (2014) Madefire's Motion Book Tool
Revolutionizes Comic Books For a Digital Age. To Be
Read. http://tobereadbooks.com/madefire-motion-booktool-revolutionizes-comic-books/. Retrieved November 9,
2014
[15] R. Tate, (2014) "The Next Big Thing You Missed: A
Social Network That Could Truly Reform Our Schools.
WIRED.
http://www.wired.com/2014/06/edmodo/.
Retrieved November 9, 2014
[16] L. Wagner and I. Erickson, "Augmented Reality and
Neighborhood Narratives.", GLS 9.0 Conference
Proceedings, p.352, http://press.etc.cmu.edu/content/gls90-confe-rence-proceedings.2013. Retrieved November
9, 2014
[17] H. Jenkins, (2013) "T is for Transmedia" Confessions
of an AcaFan. http://henryjenkins.org/2013/03/t-is-fortransmedia.html. Retrieved November 9, 2014

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

61

Digital Art Themes and Principles for Engagement

John Knight
Aalto University of Arts, Design and Architecture, Hmeentie, 135 C, Helsinki, PO Box 31000, FI00076 AALTO
Abstract This paper considers engagement in the context of computer art and describes how art and technology are
inextricably linked. Computer art includes the digital and interactive domains and these are surveyed with indicative examples
described from the early days to today. The examples demonstrate commonalities between the works which the author
categorises into eight themes comprising; automation, presentation, distribution, interaction, simulation, immersion,
transformation and exploration. Each theme is described; with examples and implications for practice and theory. The paper
concludes by suggesting that computer art fundamentally changes the relationship between artist and viewer and a provisional
framework for engagement is proposed based on five heuristics.
Index Terms Algorithms, Collaborative Software, Computer Networks and Sensors

I. INTRODUCTION
Progress in art and technology have always been
inextricably linked. Technology has changed how artists
represent the world and the way they create. The primacy
of technology in art practice can be seen in many art
movements and developments right back to Renaissance
artists use of optical tools [23] to draw naturalistically
and invent perspective itself. More recently, photography
helped artists to break with representational depictions of
the world. Freed of the constraint of mirroring reality,
artists could then explore the material, medium,
distribution and purpose of art and move to abstraction.
With the advent of computers and emergence of a
network society, [9] at the end of the twentieth century,
the separation between art and representation has widened
beyond pictorial abstraction and toward conceptualism.
Beyond the pictorial evolution of modern art,
technology (e.g. mass media) enabled artists to create
work outside of the confines of gallery and museum and to
connect with the public directly and in greater numbers on
the streets, on TV or wherever they sought to engage.
Chronologically, computing is a synchronous
development to the dematerialisation of art of the late
twentieth century; the separation of object and idea or
intent. In computing, material (e.g. software) is intangible,
just like the narrative or intent of conceptual artworks.
This synchronicity is not accidental, nor is the parallel
emergence of a new type of computer artist and
computation.
Vera Molnar [33] a pioneer in computer arts considers
the computer as having four artistic purposes. Firstly, the
technical promise of widening the possibilities of artistic
production and secondly, computers ability to aid artistic
production. Thirdly, computers force new ways of

7th International Conference on Digital Arts ARTECH 2015

thinking about art and lastly, Molnar sees the computer as

a tool for measuring audience reception.
Molnar and a small group of early innovators helped
shape a new discipline, bridging contemporary art within a
profoundly new discipline. The technological character of
the medium changed the way artists work and even the
skills they require. Mohr and a number of other early
computer artists, including Woody Vasulka, became
programmers by proxy, developing software to create both
two and three-dimensional work. The nature of this new
type of work created a new breed of artist; who either
developed the necessary skills or worked with others from
computing disciplines.
Rather than being just a tool for creating art, artists
began to see the possibility for software to become the
product and subject of their work in its own right. In some
cases, the mathematical beauty of the programme became
as important as the work produced by it. In addition,
computer art altered the relationship between creation and
reception. Lovejoy [23] claims that Digital Art, as a
networked medium requires interaction with an audience
and that such artworks are incomplete without some form
of participation by others. Lovejoy cites Sherrie
Rabinowitz [34] in suggesting that the interactive arts
challenge the traditional role of the artist.
This idea of using the interactive potential of the medium
to empower other people instead of ones self, creates a
powerful opening for a new role for the artist and a new
kind of public art one with all the constraints and
freedoms to communicate within a wider sphere. It implies
a new way of being and communicating in the world.

62

J. Knight / Digital Art - Themes and Principles for Engagement

This paper surveys the history of this movement, defining

an eight-point taxonomy of computing affordances and
five heuristics for practice and evaluation in this domain.
II. AUTOMATION
Stuart Mealing [27] collects a number of examples of
how computers have been used in traditional areas of art
practice, resulting in some kind of artwork analogous to
the sculptures and prints made by the old masters. These
examples include computer software and hardware that
enables drawing on paper as well as systems that render
and manipulate visual imagery in fundamentally original
ways in newer media such as film and video. Harold
Cohen was an early adopter of the computer as both a tool
and medium. One of Cohens most well known works is
the AARON computer programme [10].
AARON draws pictures on paper, created through
software using heuristics, based on aesthetic principles
and outputting the results through digital printing
machines. Some versions of AARON allow the artist or
user to manipulate the outcome through changing
parameters in the authoring programme. While in other
versions, the drawing is completely automated. In both
cases, Cohens work questions whether the creation and
execution of the computer programme or the physical
drawings produced by it are the artwork.
While many artists use computers to create visual art,
just as they would with pencil or brush, digitalisation
offers even greater potential to manipulate and alter media
for artistic purposes.
Paul Pfeiffer uses digital editing tools to cut and strip
out elements from video footage. The video footage is
often of sports events and the work highlights hidden
elements of the action. The Long Count[32] is a three
part digital reconstruction of three boxing matches, where
the boxers and the referee have been digitally erased. This
leaves the viewer to focus on the crowd and the traces left
by the boxers as they invisibly stretch the ropes and
impress the canvas. By showing what has been included,
as well as what has been excluded from the original mass
media footage, Pfeiffers work questions the way reality is
mediated and how it is highly determined in human
perception.
Manipulating archive footage is also integral to Douglas
Gordons work [16]. He subtly digitally alters old films,
changing their speed, mode of editing and even viewing
angle. He famously reconstructed Hitchcocks Pyscho to
play at only two frames per second; in order to uncover
micro-narratives [18]. Like Pfeiffer and more recently,
Steve McQueen [28], Gordons deconstruction of found

images uncovers unexpected details that are unnoticeable

in the original. The work questions the veracity of the
medium, the role of the artist and uniqueness of the
artefact, as well as delivering the poetic potential of
deconstruction. The ease in which video editing
technology makes these transformations possible is
another example of how increased usability and
decreasing costs of high-end technology have aided
artistic automation.
A number of artists have used computers to reconstruct
found static objects and sounds too. In many cases
reconstruction focuses on the body and how peoples selfimage portrays information about them to other people.
For example, Heiner Blum [7] created an installation that
projects a series of stereoscopic found photographic
portraits. The work creates a new narrative from the
disparate images and implies a relationship between
people who have no connection with each other in reality.
Digital reconstruction can be much more prosaic. For
example, Ringler and Bhlers [38] Weinbrenners
Traum is a recreation of an architects unrealised plans
for a grand city.
III. PRESENTATION
As well as helping artists realise new works, technology
has also been crucial in enabling the interactive
presentation of work. Naturally, artists have been using
multimedia in performance and installations since early
happenings by John Cage and collaborators from the
Black Mountain College in the USA and even earlier with
the Gutai Group 18]. With the advent of digitalisation the
possibilities of pushing the boundaries of presentation are
multiplied. Some artists integrate digital elements with
real ones, for example, the Wooster Groups
performance entitled To You the Birdie [52] is based on
a well-known theatrical play where the drama is
transformed by the use of multimedia elements that break
up and enrich the narrative flow and how it is presented to
the audience. For example, video is used to show hidden
parts of the action on stage that the audience would
otherwise not be able to see.
More recently, Matthew Barneys Cremaster Cycle [5]
uses a sophisticated combination of paintings, drawings
and video to create an integrated multimedia experience.
Often cinematic in scope, Barneys work uses technology
to create surreal multimedia presentations. The complex
nature of Barneys work would be difficult (if not
impossible) to produce and integrate without digital
technology. Not only is technology a tool in Barneys
work it is also partly the subject matter of the work. This

7th International Conference on Digital Arts ARTECH 2015

J. Knight / Digital Art - Themes and Principles for Engagement

is evident in his concern with the human body and the

mutability of identity, engendered by scientific and
technological progress. The sophistication of Barneys
work taps into our richly mediated world. While the
precise meaning of his work may be obscure to audiences,
the presentational aspects draw on a common language of
folklore and the cinema. Rather than polish, Laurie
Andersons The Nerve Bible [2] and Steve Reich and
Philip Glasss Europeras I and II [37] combine various
digital tools, as well as more traditional props in a more
rough and ready but equally engaging fashion.
IV. DISTRIBUTION
The advent of digital and network technology opened
new ways of accessing the arts. Artintact [3] is an early
example of using CD-ROMs to curate an interactive
exhibition of artists works. In this case, the CD-ROM
showcased many interactive works by artists including
Miroslaw Rogala. Sherrie Rabinowitz and Kit Galloways
Electronic Caf Network [35] extends curation beyond
the established artworld and used network technology to
increase public participation in the arts. This project
networked six locations in Los Angeles. Each location was
equipped with various hardware and software tools that
could be used by visitors. Over time an archive evolved of
the artwork created by the public.
The growth of the Internet has led some artists to make
art that specifically addresses the capabilities and qualities
of the medium. Examples of the genre include alternative
browsers, interfaces and websites that subvert traditional
media and the instrumental application of technology.
Mark Napiers, Riot [25] browser, collects web pages
from various sources to create a random collage that
reflects the networked character of the web and wider
society in the information age. Many of these works blur
the boundary between art and politics. For example, They
Rule by Josh On [30] is a web-based piece that allows
users to uncover the hidden power relations between
American multinational companies through manipulating
the interface. While these works can be traced to an older
tradition of artists subversion of traditional media their
impact is amplified through the ease in which they can be
distributed to a mass audience.
The advent of cheap and high quality media tools from
the 1970s onward, allowed artists to create alternative
media. For example Paper Tiger TV [31] created counter
cultural broadcasts on cable and public access television
channels. A famous example of this kind of intervention is
TVTVs [48] alternative broadcast of the Democratic
convention of 1972. This provided a counterbalance to the
broadcasting establishment by interviewing people who

7th International Conference on Digital Arts ARTECH 2015

63

were involved in the convention but who would not

normally have been heard or seen. Interviewees included
journalists and workers as well as politicians. As well as
critiquing the media, this work also had an impact on a
larger scale than possible in a world of galleries and
museums, as it was broadcast on television.
V. INTERACTION
Artists have used computers to create rich and
interactive works that could not be realised in other ways
or through traditional media. Miroslaw Rogalas [39]
Lovers Leap allows users to enter an augmented reality
bridge in which their movements trigger views of
Chicagos Michigan Avenue bridge and randomised shots
of Lovers Leap in Jamaica. Rogala uses technology to
create both representative views (of Jamaica) and
artificial fisheye views (of Chicago). The random
element of the piece questions the boundaries of
interaction and control as the user is uncertain what (or
who) causes the changes.
Toshio Iwaiss [19] Piano as Image Media allows
users to combine real and virtual objects to create light
and sound in an installation setting. Among other things,
his work seeks to fuse the perception of sound and light,
so that users can see sound and hear form and colour. In
combining different media in poetic and interactive ways
these works offer new kinds of experiences and at the
same time create a social levelling. These works do not
require aesthetic knowledge or art theory, just a visceral
willingness to experience.
Interactivity can be even more direct. For example, the
work of Paul Smetana [45] often functions at a
physiological level. In The Room of Desires users are
wired up to an interface so that their heartbeat and brain
activity trigger sounds and images. This in turn creates the
possibility of changing the emotional and physiological
state of the user. In different ways both of these works
create a limitless scope of interaction whether at a physical
or emotional level.
Social interactivity is exemplified in George Legradys
[22] Pocket Full of Memories installation from the
Pompidou Centre. This piece collected personal objects
visitors cherished and had scanned into the installation at
the museum. These were then automatically archived and
could be accessed through a semantic map of the objects
projected onto an interactive screen. Not only is this work
authentically interactive, where users create as much, if
not more of the work than the artist, the piece also creates
a community of users that would not exist without the
work. Lastly, in elevating everyday objects to the domain
of high-art, the work changes the boundaries both of

64

J. Knight / Digital Art - Themes and Principles for Engagement

constitutes are and the role of high-profile museums and

galleries.
Broadening audience and authorship, Roy Ascotts
pioneering work, in telematics, created networks and
communication among groups engaged in creative work.
His Organe et Fonction dAlice de Merveilles [4]
allowed participants around the globe to create a text
based on dispersed authorship. By shifting artistic
production from making aesthetic experiences to
facilitating collaborative creation, Ascott poses a new role
for the artist and different kind of art.
More recently, Kolmar and Melamid [20] take dispersed
authorship in another direction; creating traditional
artworks based on online surveys of what people want
paintings to look like and also what they dislike. The
artists then used the results to create The Most Wanted
Paintings based on nationality. The artists play with
notions of artistic preference; although the kitsch nature of
the art produced, seems to reinforce artistic elitism rather
than challenge it. Thus, while network technology offers
the promise of inclusion there is still the potential for it to
reinforce cultural and ideological mores.
Kit Galloway and Sherrie Rabinowitzs have used
visual computer networking to deliver rich interactive
experiences. For example, their Hole in Space [36] was a
live two-way satellite connection using video screens to
project life-size images between two American cities.
Without advance, notice video screens were installed at
two public places in New York City and Los Angeles.
When operational, people at each venue could interact
with each other in either location.
More recently, Paul Sermon has used blue screen and
network technology together. His Telematic Dreaming
[43] allows users to interact with each other in two
different places. The work is based on two settees. People
sitting on either piece of furniture can see a projected
image of the person sitting on the other settee. Though
each person is in a different location they can interact with
each other in ways that would be impossible in the real
world.
VI. SIMULATION
Many artists play with the border between the virtual
and the real; using computation to create unworldly
simulations. Nancy Burson and David Kramlich [8] used
digitisation to create a composite face from six men and
women, entitled Androgyny. The result is a portrait that
is neither male nor female but somewhere in-between,
recognisably human but artificial too. The work poses
many questions on gender as well as the medium itself,
specifically how digitisation creates vistas on worlds that

are both grounded in actuality but are also impossible to

experience in reality.
Eija-Liisa Ahtila [1] meanwhile develops cinematic
narratives that aim to reproduce psychological states by
superimposing the real with the impossible while Luc
Courchesne, creates complex installations that combine
real life action with augmented reality. His Hall of
Shadows [11] allows multi-user interaction with a group
of virtual actors. The actors are scripted with a set of
answers and in some cases are videos of real actors.
Users can converse with the actors by asking questions.
The actors replies create a one-to-one and group
conversation that ranges from greetings to questioning the
nature of being. Ken Feingold [13] uses animatronic
dummies, who converse using text to speech software.
Feingold extends Becketts monologues so that the
humanistic dummies discuss their realness. At a more
intimate level, Australian artist Stelarc [46] uses
mechanical and computational devices to extend his
physical capabilities, for example, by creating a third
hand.
These artists demonstrate how technology can facilitate
new insights into understanding what it is to be human as
well as what is artificial or simulated. In this sense,
computer arts carry the potential of developing a deeply
humanistic art form that goes beyond representation and
the self-reflexivity of modernism and postmodernism.
Lastly, Naoka Tosas Talking to Neuro Baby [47]
takes virtuality to an extreme. The piece focuses on a
virtual baby that responds to the human voice and exhibits
a range of facial expressions and emotions. By creating
new worlds and extending the physical world, these works
challenge our understanding of reality by showing the a
cial nature of virtual reality and the artificiality of reality.
VII. IMMERSION
Jeffrey Shaw also takes up the theme of combining the
real and virtual but adds a new and uniquely digital
characteristic; that of the sense of being immersed in an
experience. Shaw has used increasingly sophisticated
technology in his work culminating in his Extended
Virtual Environment (EVE) [44]. EVE is an enclosed
space that allows users to be immersed in panoramic
views created by projectors. The scale of this work means
that Shaw is only partly responsible for its outcome, as it
requires teams of technical staff to deliver the experience.
This has implications for where the work can be staged
and its subject matter, that tends to be gargantuan in scale.
Many of Shaws works (e.g. Place:Ruhr) fuse real and
projected places. This means that the viewer can change
their viewpoint in ways that they could never do in the real

7th International Conference on Digital Arts ARTECH 2015

J. Knight / Digital Art - Themes and Principles for Engagement

world. Using technology to question the way we see the

world is also taken up by Tamas Walicky. His The Way
[50] reverses traditional perspective, thereby posing the
artificiality of two-dimensional representations of space.
VIII. TRANSFORMATION
As well as pioneering multimedia presentations, John
Cage [ibid] often combined procedural elements with
chance in his performances. The idea that art can be a set
of instructions prefigures the computational aspects of
generative art [15] although the notion is eerily
contemporaneous with the birth on modern computing. In
generative art the work is not limited to a physical object.
Instead it involves the creation and execution of a
procedure; just like a traditional computer programme. As
well as dematerialising art, this approach adds
interactivity and mutation to the outcome. Sol Le Witts
[18] work shows characteristics of generative art but uses
traditional art media such as canvas and paint. Le Witt
produced a number of works that were sets of instructions
for creating paintings that anyone could carry out.
The procedural nature of generative art fits neatly with
the capabilities of computing technology. At its simplest,
transformation can be used to generate seemingly random
input for interaction. Bill Seaman [42] uses programming
in an installation setting. His Passage Sets/One Pulls
Pivots at the Tip of the Tongue enables users to create
poetic phrases and images in real time on a projected
screen from a seemingly infinite list of words. Janet
Zweigs [53] installation Mind Over Matter takes a
similar approach by among other things endlessly
combining words from the phrases I think therefore I
am, I think I can and I am what I am to create new
meanings that question peoples sense of self. While many
of these works are based on a discrete number of
permutations they appear to be random. With increasing
sophistication artists will be able to build on this quality to
offer users very personal and unique interactions. The
unpredictable nature of these experiences cannot be
anticipated by either the artist or the user; and come from
the interaction of both human and computer agency.
More profoundly generative examples of transformation
include Mohrs P-159/A which creates patterns that are
produced by a computers software algorithm, in turn
based on calculations from a cubes dimensions. More
recently, Larry Cuba [12] has used mathematical
algorithms to generate abstract computer animations and
three-dimensional renderings that could not have been
created traditionally. Likewise, Boris Kopeinigs TMP
SYS [21] is a seemly random array of numbers that fill the
screen and change through some hidden functionality

7th International Conference on Digital Arts ARTECH 2015

65

embedded in the software. These examples question the

nature of artistic endeavour and the art object. Does the
value of the work reside in the process of creation, the
software, the artist or the end product? Lastly, these works
exhibit a new aesthetic, closer to computer technology
than to the traditional arts and changing the relationships
between artist, audience and work forever.
IX. DISQUISITION
Interactive art can relate to the culture of humancomputer interaction as well as broader issues of
technology within society. An example of the latter is
video work by Ulrike Rosenbach [40] who creates
performances that pertain to popular representations of
gender seen in new media. Antonio Muntadass The File
Room [29] taps into the culture of intrusion. The work
began as a gallery installation that has subsequently
evolved into a web-based archive of examples of
censorship that encourages the active participation of
users. Matthew Fuller [14] describes the World Wide
Watch project by Heath Bunting as a distinctly new genre
of artistic output. This work links a number of CCTV
cameras around the world and invites visitors to comment
on what is going on. These works question the control of
the Internet as a cultural space and more importantly, the
potential of the technology for both good and bad.
Computer art can also deal its own culture. For
example, Peter Luinings [24] Window is literally that, a
transparent window that caricatures the ubiquitous
graphical user interface version. Such works are an
important counterbalance to the instrumental use of
technology and the media culture. Window demonstrates
the artificial nature of technology that we take for granted.
It highlights how technology forces us to do things in a
certain way and more importantly explicates its
limitations.
This work comes from a group of computer artists
centred on the Runme organisation [17]. Unlike many
computer artists who have come from a visual arts
background, Runmes community is closer to the hacker
and software milieu. Their work is often playful and deals
with the poetics of code as well as the artistic potential of
commercially available web tools (e.g. popular browsers)
and software culture. The alternative communities
engendered by ICT provide counterpoint to mass media
and the art establishment. In addition, many of the
growing number of activist/artist/programmers defy
traditional definitions of the artist and have come together
through websites, blogs and discussion groups that are
open to anyone. Technology has also created the basis for
developing new art forms and communities. Examples of

66

J. Knight / Digital Art - Themes and Principles for Engagement

these new forms include Flash Mobs and Dogme films.

Not only are these outside the establishment they rely on
the active involvement of the community as well as cheap
low-fi technology.
X. CONCLUSION
The provisional taxonomy outlined in this paper
includes the use of computer technology for a range of
purposes which fit into three overarching categories;
production, distribution and engagement. Computer art
fundamentally changes the relationship between artist and
viewer. In computer arts, the viewer has the potential to
become fully instrumental to the aesthetic experience far
beyond that possible in traditional work. Furthermore,
with networked technology the artist cannot define the
exact nature of the experience alone or prior to an
audience experiencing it. The taxonomy supports the
definition of candidate heuristics for practice and potential
evaluation criteria for engagement comprising:
RULE 1. PROVIDE INTERACTION
The experience should be co-created by the artist(s) and
audience; within a continuum that neither overly
determines the outcome or excessively relies on the
agency of either.
RULE 2. CREATE IMMERSION
The experience should facilitate a suspension of disbelief
for the audience; the feeling of being transported into an
other through all of the senses and within a continuum that
neither neglects control nor freedom.
RULE 3. OFFER SIMULATION
The experience should to some extent provide an
experience that is truly artificial; offering something that
cannot be experienced without the mediation of
technology and within the continuum of over
determination versus trivialising the effect.
RULE 4. USE TRANSFORMATION
The experience should be open-ended. Using the
interaction of the audience, the system should also
generatively transform and mutate the inputs to produce
novel and unexpected results within the continuum of
surprise versus certainty, but not exceeding either.
RULE 5. SAMPLE DISQUISITION
The experience should to some level reflect its
technological genesis whether through form or function, it
should feel like what the audience expects within the

continuum of neither overfamiliarity nor too alien in

relation to the target technology.
Creating and testing experiences using these five
heuristics will enable further refinement and definition of
the distinct characteristics of the computer arts in the
future. While based on historical data it may be that as the
discipline matures the underlying principles shift and
evolve into new ones. The velocity of direction of this
change will be interesting to watch and especially now in
the knowledge that a candidate set of criteria can be used
in future comparisons and benchmarks in the area.

REFERENCES
[1] Ahtilla, E,L. (2002) The House, Cited in: Rush, M. New
Media in Art., pp 198- 199.Thames and Hudson, London, 2005.
[2] Anderson, L. (1995). Stories from the Nerve Bible. Cited in:
Lovejoy, M. Digital Currents: Art in the Electronic Age., pp
270-271. Routledge, 2004.
[3] Artinact. (1994). Cited in: ZKM. Hardware, Software,
Artware: Die Konvergence von Kunst und Technologie.
Kunstpraktiken am ZKM Institut fr Bildmedien 1992-1997., pp
178. Cantz Verlag,, 2000.
[4] Ascott, R. (1986). Organe et Fonction dAlice de Merveilles,
Cited in: Lovejoy, M. (2004). Digital Currents: Art in the
Electronic Age., pp 229-231. Routledge, 2004.
[5] Barney, M. (2003). Cremaster Cycle. Cited in: Lovejoy, M.
Digital Currents: Art in the Electronic Age., pp 304-305.
Routledge, 2004.
[6] Birnbaum, D. (1994). Damnation of Faust: Evocation. Cited
in: Lovejoy, M. (2004). Digital Currents: Art in the Electronic
Age., pp 129. Routledge, 2004.
[7] Blum, H.(1993). Augentauschen. Cited in: ZKM, (2000).
Hardware, Software, Artware: Die Konvergence von Kunst und
Technologie.Kunstpraktiken am ZKM Institut fr Bildmedien
1992-1997., pp 004. Cantz Verlag, 2000.
[8] Burson, N and Kramlich, D. (1982). Androgyny: Six Men
and Six Women, Cited in: Lovejoy, M. Digital Currents: Art in
the Electronic Age., pp 154-155. Routledge, 2004.
[9] Castells, M. (1996). The Rise of The Network Society.
Blackwell, Oxford. Cited In: Barney, D. The Network Society
(Key Concepts). Polity Press, Cambridge., pp 30-31, 2004.
[10] Cohen, H. (1983). AARON. Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge. pp 180, 2004
[11] Courchesne,L. (1995). Hall of Mirrors. Cited in: ZKM.
(2000). Hardware, Software, Artware: Die Konvergence von
Kunst und Technologie. Kunstpraktiken am ZKM Institut fr
Bildmedien 1992-1997., pp 116-121, Cantz Verlag, 2000.
[12] Cuba, L. (1995). Untitled: Work in Progress. Cited in:
ZKM. (2000). Hardware, Software, Artware: Die Konvergence
von Kunst und Technologie. Kunstpraktiken am ZKM Institut fr
Bildmedien 1992-1997., 134-139, Cantz Verlag, 2000.
[13] Feingold,K. (1983). AARON. Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge., pp 162, 2004.
[14] Fuller, M. Media Ecologies: Materialist Ecologies in Art
and Technoculture. MIT Press, London., pp 009, 2005.

7th International Conference on Digital Arts ARTECH 2015

J. Knight / Digital Art - Themes and Principles for Engagement

[15] Gallanter, P (2003). What is Generative Art? Complexity

Theory as a Context for Art Theory. Proceedings of Generative
Art, Milan. Cited in Arns, I. (2004) Read_Me, Execute_Me:
Software and Its Discontents, or: Its the Performativity of Code,
Stupid. Cited in: Goriunova, O and Shulgin, A. [eds]. Read_Me:
Software Art and Cultures. Digital Aesthetics Research Centre,
University of Aarhus. , pp 397, 2004.
[16] Gordon, D (2001) 24 Hour Psycho, Cited in: Hansen,
M,B,B. New philosophy for New Media. MIT Press. Cambridge,
Massachusetts. pp 29, 2004.
[17] Goriunova, O and Shulgin, A. Read_Me: Software Art and
Cultures. Digital Aesthetics Research Centre, University of
Aarhus, 2004.
[18] Hopkins, D. After Modern Art: 1945-2000. Oxford History
of Art. Oxford University Press. pp 240-267, 2000.
[19] Iwai, T. (1995). Piano as Image Media, . Cited in: ZKM.
(2000). Hardware, Software, Artware: Die Konvergence von
Kunst und Technologie. Kunstpraktiken am ZKM Institut fr
Bildmedien 1992-1997. Cantz Verlag, pp 086-091, 2000.
[20] Kolmar, V and A,Melamid. (1997). The Most Wanted
Paintings. Cited in: Rush, M. New Media in Art. Thames and
Hudson, World of Art. Thames and Hudson,.pp 215, 2005.
[21] Kopeinig, B. (2004). TMP SYS. Cited in: Goriunova, O and
Shulgin, A. Read_Me: Software Art and Cultures. Digital
Aesthetics Research Centre, University of Aarhus, pp 370-371,
2004.
[22] Legrady, G. (2001). Pockets Full of Memories, Cited in:
Lovejoy, M. Digital Currents: Art in the Electronic Age.
Routledge., pp 195, 2004.
[23] Lovejoy, M. Digital Currents: Art in the Electronic Age.
Routledge., pp 229, 286, 2004.
[24] Luining, P. Window. Cited in: Goriunova, O and Shulgin,
A. (2004). Read_Me: Software Art and Cultures. Digital
Aesthetics Research Centre, University of Aarhus., pp 354-355,
2004.
[25] Napier, M. (1999). Riot. Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge., pp 252, 2004.
[26] Mohr, M. (1973). P-159/A. Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge., pp 172, 2004.
[27] Mealing, S. Computers and Art. Intellect Press, Bristol,
England, 2002.
[28] Mc Queen, S. (1993). Bear. Cited in: Rush, M. New Media
in Art. Thames and Hudson, World of Art. Thames and Hudson,
London., pp 176, 2005.
[29] Muntadas,A. (1995). The File Room. Cited in: Lovejoy, M.
Digital Currents: Art in the Electronic Age. Routledge., pp 248,
2004.
[30] On, J. (2001). They Rule. Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge., pp 252, 2004.
[31] Paper Tiger TV. (1988). Taping the People with AIDS
Coalition Talk Back Show. Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge. pp 247, 2004.
[32] Pfeiffer ,P. (2001) The Long Count, Cited in: Hansen,
M,B,B. New philosophy for New Media. MIT Press. Cambridge,
Massachusetts., pp 29-30, 2004.
[33] Popper, F. Art of the Electronic Age. Thames and Hudson,
London, 1993.
[34] Rabinowitz, S. (2004). Cited in: Lovejoy, M. Digital
Currents: Art in the Electronic Age. Routledge., pp 117-119,
2004.

7th International Conference on Digital Arts ARTECH 2015

67

[35] Rabinowitz, S and Galloway, K. (2003). Electronic Caf

Network. Cited in: Lovejoy, M. Digital Currents: Art in the
Electronic Age. Routledge., pp 233, 2004.
[36] Rabinowitz, S and Galloway, K. Hole in Space. Available at
http://www.medienkunstnetz.de/works/hole-in-space/ [accessed
01/09/2014]. 1980.
[37] Reich, S and Glass, P. (1998).Europeras I and II Cycle.
Cited in: Lovejoy, M. Digital Currents: Art in the Electronic
Age. Routledge., pp 214-216, 2004.
[38] Ringler, H and Bhler, R. (1992). Weinbrenners Traum.
Cited in: ZKM. Hardware, Software, Artware: Die Konvergence
von Kunst und Technologie. Kunstpraktiken am ZKM Institut fr
Bildmedien 1992-1997. Cantz Verlag., pp 152, 2000.
[39] Rogala, M. (1995). Lovers Leap. Cited in: ZKM. (2000).
Hardware, Software, Artware: Die Konvergence von Kunst und
Technologie. Kunstpraktiken am ZKM Institut fr Bildmedien
1992-1997. Cantz Verlag., pp 152, 2000.
[40] Rosenbach, U. (1978). Meine Macht ist meine Ohnmacht.
Cited in: Lovejoy, M. Digital Currents: Art in the Electronic
Age. Routledge., pp 096, 2004.
[41] Scher, J. (1991). Ill be gentle. Cited in: Lovejoy, M.
(2004). Digital Currents: Art in the Electronic Age. Routledge.,
pp 137, 2004.
[42] Seaman, S. (1996). Rosenbach, U. (1978). Meine Macht ist
meine Ohnmacht.Cited in: Lovejoy, M. Digital Currents: Art in
the Electronic Age. Routledge., pp 189, 2004.
[43] Sermon. P. (1993).Telematic Vision. Cited in: ZKM.
Hardware, Software, Artware: Die Konvergence von Kunst und
Technologie. Kunstpraktiken am ZKM Institut fr Bildmedien.
1992-1997. Cantz Verlag., pp 056-061, 2000.
[44] Shaw, J. (1992).Extended Virtual Environment. Cited in:
ZKM. Hardware, Software, Artware: Die Konvergence von
Kunst und Technologie. Kunstpraktiken am ZKM Institut fr
Bildmedien 1992-1997. Cantz Verlag., pp 164-169, 2000.
[45] Smetana, P. (1996).The Room of Desires. Cited in: ZKM.
Hardware, Software, Artware: Die Konvergence von Kunst und
Technologie.Kunstpraktiken am ZKM Institut fr Bildmedien
1992-1997. Cantz Verlag., pp 128-133, 2000.
[46] Stelarc. (1992). Amplified Body, Automated Arm and Third
Hand, Cited in: Lovejoy, M. Digital Currents: Art in the
Electronic Age. Routledge., pp 082, 2004.
[47] Tosa, N (1994). Talking to Neuro Baby, Cited in: Lovejoy,
M. Digital Currents: Art in the Electronic Age. Routledge., pp
196-197, 2004.
[48] TVTV. (1972) Four More Years. Cited in Rush, M. New
Media in Art. Thames and Hudson, World of Art. Thames and
Hudson, London., pp 85- 86, 2005.
[49] Vitiello, S. (2000). Frogs in Feedback. Cited in: Lovejoy,
M. Digital Currents: Art in the Electronic Age. Routledge., pp
203, 2004.
[50] Waliczky, T. (1992).The Way. Cited in: ZKM. Hardware,
Software, Artware: Die Konvergence von Kunst und
Technologie. Kunstpraktiken am ZKM Institut fr Bildmedien
1992-1997. Cantz Verlag., pp 030-031, 2000.
[51] Willats, S. (2000). Art and Social Function, Ellipsis Press,
London. Cited in: Lovejoy, M. Digital Currents: Art in the
Electronic Age. Routledge., pp 267, 2004.
[52] The Wooster Group. (2002). To You the Birdie. Cited in:
Lovejoy, M. Digital Currents: Art in the Electronic Age.
Routledge., pp 120, 2004.

68

J. Knight / Digital Art - Themes and Principles for Engagement

[53] Zweig, J. (1993). Mind over Matter. Cited in: Lovejoy, M.

Digital Currents: Art in the Electronic Age. Routledge., pp 158,

2004.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

69

Drawing Out Movement

Gavin Perin and Christopher Bowman
University of Technology Sydney, Sydney, NSW, 2007, Australia
University of Technology Sydney, Sydney, NSW, 2007, Australia.
Abstract Digital technology can capture and
configure contextually situated three-dimensional data to
an unprecedented resolution. This is particularly true in
biomedicine, where contemporary motion capture systems
have dramatically extended the early photographic studies
of tienne-Jules Marey and Eadweard Muybridge. Yet,
the accuracy of these modern systems, which for this paper
includes hardware and software, risks sublimating the
mediating effects of the system on the data. Hence, the
instrumentalization of data, supported by the inductive
process, risks converting individual datasets into a
universal measure of the body; effectively confusing
physiological knowledge with embodied knowledge.
Robin Evans, in the essay Translations from
Drawing to Building, argues for a mode of drawing that
mediates rather than instrumentalizes information. By
extension, the use of digital motion capture systems as new
mode of architectural drawing opens an array of
disciplinary issues and representational and formal
opportunities. Accordingly, the paper will discuss how
operating beyond instrumentalization influences the
nature of these issues and opportunities. In the process, the
paper will also raise a series of critical issues that work to
delimit the architectural application of movement data.
Index Terms
Architecture,
Diagramming, Mapping, Motion Data, Scale.

Digital

I. INTRODUCTION
Contemporary digital motion capture systems extend
into three-dimensions the early photographic studies of
body by tienne-Jules Marey and Eadweard Muybridge.
Like Marey and Muybridge, animation and biomedicine
rely on the body as the primary site of investigation and
action. In retaining the formal integrity of the body, the
instrumental use of these digital systems discards the
latent force and trajectory of movement. Consequently,
movement data is used inductively to construct a
universalized, standardized or idealized knowledge of
how the body should move. The exact nature of these
prefigured universal forms varies according to the
discipline. In animation the body is a representational
problem while in biomedicine the body is itself a
problematic site. The consistency between these two
disciplines is that movement data is focused on problem
solving. The body, as an object, is envisaged as either a
universal ideal or a site of a delinquency.
A second problem with the instrumental use of
motion capture data is that it can encourage one to see
these digital systems as a site of 'pure' data.
Instrumentalization erases the inconsistencies created as
data is mediated through processes of interpolation and
7th International Conference on Digital Arts ARTECH 2015

extrapolation. The ameliorative impulse effectively

filters movement data such that any resulting artifact is
prefigured to satisfy the universal rather than specific.
The instrumental limit placed on the artifact means
design is constructed on top of, rather than through, the
system.
The outcomes produced from the instrumentalization
of movement data testifies to the value of such methods.
However, in the creative spatial design disciplines, this
instrumental impulse is problematic because design is
not only ameliorative because it is performative. Here
performance is different to instrumentalization in that it
is concerned with the artifact beyond its ability to satisfy
one function. Spatial design practices have seized on the
performative potential of digital systems as a viable
alternative to the representational plays of
postmodernism and deconstruction. In this context
capture systems can potentially document embodied
knowledge in a way that delivers an experiential
epistemology that is free from the exhausted formal
limits of semiotics. Yet, as Robin Evans argues in the
essay Translations from Drawing to Building, all
architectural objects are heavily mediated through the
disciplines unique modes of representation. [1] This is
because unlike other design disciplines, architectures
artifacts are of such a size that they can only be
designed through the scalar representation of form. [2]
Subsequently, any paradigm shift from signification to
experience must deal with the slippage between drawing
and form. The instrumental mindset is so problematic
because it fails to acknowledge the representational
mediation of form. Instrumentality limits the design act
by accepting the conceit that the drawing offers a
faithful, unmediated translation of form. The creative
design act must instead accept the "subterfuge and
evasion that...get[s] around the enormous weight of
convention that has always been architecture's greatest
security at the same time its greatest liability." [3] The
realization of the performative potential of motion
capture data requires one to embrace the
representational mediation of form and in so doing
discarding the disciplinary orthodoxy that the drawing is
a faithful, neutral index of form.
The paper will argue that the complex, multiplatform
modes used to draw motion data establish the conditions
by which spatial design practice can use motion capture
data. It will be argued that new software, sponsored and
developed in-house by the authors, diagrammatically

G. Perin and C. Bowman / Drawing Out Movement

70

collects, configures and re-presents motion data as an

affect of the body in motion rather than presenting the
body as an object. The processing of movement data
through purpose built software uses the logics of the
map to representationally reconfigure data. The
mapping of movement inherently resists the impulse to
instrumentalize data by embracing the mediating
potential of the technology. This discussion will reveal
that privileging performance, experience and gesture
demands that the digital drawing directly addresses the
issue of scale. The capacity of the software to operate in
this way will be illustrated through a comparison to
NOXs Son-O-House and dECOIs Ether/I project.
The paper will argue that the emphasis on representing
the body as a locus of affect rather than an object with
effects avoids the semiotic risks found in NOXs and
dECOIs design methods. This change in the conceptual
framing of the body opens a type of spatial design
practice that uses the digital drawing to reveal the
dormant or concealed aspects of the body in motion. In
the process, the drawing exploits the moment of
translation to become an open and provisional design
space.
II. SCALE
Architectures representational modes are double
edged. The drawing can be both an open generative
space and a mechanism to inflect individual ideologies
onto objects. Robin Evans demonstrates this point when
discussing the contrasting roles geometry played in De
lOrmes Anet chapel and Matila Ghykas analysis of
the face. In the Anet chapel the variation in pattern
between the chapels dome and floor suggests that
geometry is only an armature for design. De lOrme
defies the exactitudes of orthographic projection to free
architecture from...[the] stolid conformities of shape,
propriety and essence[through]the medium
normally used to enforce them. [4] In contrast, Ghykas
flattening of the face uses orthographic projection to
reinforce a pre-determined, universal truth to
propagandize a prefigured notion of beauty. Ghykas
ideological prejudices negate the move from drawing to
object. In effect, the mediating affects of the drawing
are coerced to promote an ideological position.
Interestingly, Evans rethinking of the drawing has
been used to invalidate theorys influence on
architectural form making. It is of some historical
significance that this rejection of theory in favor of
design intelligence predates post critical discourse. [5]
In fact, Greg Lynns 1999 publication, Animate Form,
uses Deleuzes philosophy of affective production to
construct an intellectual basis for the new emerging
digital practices. [6] As argued in other texts, this
realignment directly contested the theoretical drivers of
postmodernism and deconstruction. [7] The drawing
recast as a procedural site of formal production, frees

form from the limits imposed by seeing it as referential

symbol. [8] In order to design digitally, the drawing is
reconceived as a site for machining contextually
responsive form. [9] Henceforth, a genuinely generative
digital drawing negotiates the movement between
procedural intent and architectural objects. In turn, the
unique translational, meditating capacities of the digital
drawing free architecture from ideology.
The problem with this account of affective
production is that it is applied axiomatically. If one frees
form of meaning then the digital process removes
ideology from the object. Brian Massumi, a leader in the
field of Affect Theory, avoids such an instrumental
application of Deleuzian affect. Deleuzian affect' has
nothing to do with the experience an object has on a
subject. Rather affect is a relational, variational
continuum that drives the processes of production. [10]
For Massumi, the construction of knowledge around
objects is problematic because it ignores the conditions
of production. In this respect, instrumental scientific
methods, like the scientific control, are fundamentally
problematic because they can only understand objects
through inductive, general principles. For Massumi, the
trouble with scientific method is that it privileges formal
replication. [11] Scientific knowledge fails to factor in
the contextual conditions that provide an affective
knowledge of the world.
The formal and procedural ambitions of digital design
practice are encapsulated by positioning the digital
drawing as the site of affective production. If, after
Evans, the drawing is a generative space, then
Massumis definition of affect suggests that drawing
digitally is the logical endpoint of architectural
production. However, this would be to miss the
important caveat Evans places on the drawing. As
Ghykas analytical method demonstrates, the
instrumentalization of the drawing uses the logic and
form of the map in a predetermined and illustrative way.
Ghykas projection of a pre-determined, idealized
account of the human beauty suggests that the
connection of data and form must resist sublimating the
translations occurring within the act of drawing. In this
sense, the problem with the use of motion capture data
in architecture is that any hint of formal prescription
also forecloses the formal potential of the process.
III. DRAWING MOVEMENT DIGITALLY:
SOFTWARE AND SYSTEM OPERABILITY
Over the last decade, the authors have developed a
set of software packages that reconfigure motion data.
Developed in-house in 2012-2013 and 2006-2007
respectively, the MxCAP.01 and the Transcape 3D
Editor are movement visualization packages that were
initially designed for a range of interdisciplinary
applications. The unique aspect of the software revolved
around the ability to adapt and extend the capture and
7th International Conference on Digital Arts ARTECH 2015

G. Perin and C. Bowman / Drawing Out Movement

processing of movement data for performance design,

architecture, sound design, cinema and electronic art.
The shared interest in the mapped processing and
visualization of three-dimensional space-time data
required software that could map, reconfigure and represent movement without any preconceived
instrumental objective. (Figures 1 & 2) One of the more
innovative aspects of the software was the ambition to
process, amplify and re-present movement data without
the need to see body. In removing the body as an object,
the software could re-present the force and intensity of
movement resulting from the interaction between body
and space.

71

motion data points as a way to describe the speed and

location of different parts of the moving body.
Significantly, these more sophisticated masks provide
an experiential or performative fidelity without
duplicating or re-presenting the form of the body.
(Figure 3)

Fig. 3. Illustration of a series of movie stills demonstrating the

capacity of Mx.CAP.01 to represent the intensity of movement
of different areas of the body over time.

Fig. 1. Illustration of the capacity of Mx.CAP.01 the capture

and reconfigure motion data.

Fig. 2. Illustration of the mapping capacities of Transcape 3D

Editor.

Both MxCAP.01 and the Transcape 3D Editor aim to

redraw mapped movement paths using a diverse and
extendable set of alternative representational masks.
The simplest masks tend to modify the number,
thickness and color of the data sets. The more
sophisticated masks are radically reconfigure data to
reveal unseen relationships between time and force,
direction. For example, Mx.CAP.01 can bleed or thicken
7th International Conference on Digital Arts ARTECH 2015

Mx.CAP.01 was conceived to transcribe and analyze a

choreographers dramaturgical language. This is in stark
contrast to the Transcape 3D Editor, which uses Global
Positioning System data. The procedural and operational
difference with Mx.CAP.01 is that the movement data
comes from an optical motion capture suite. The data is
transcribed and scaffolded in Motion Builder before
being imported into Maya using a Python script.
The earlier, less sophisticated Transcape 3D Editor
collects and configures GPS data through Macromedia
Director and Flash, using Directors inbuilt 3D
real-time engine visualize the data. While both packages
reconfigure data and superimpose the graphic
visualization onto actual footage, Mx.CAP.01 can also
reconfigure and re-present all or part of this data.
The operable differences between Mx.CAP.01 and the
Transcape 3D Editor illustrate the important differences
in the spatial and formal effects of content, context and
scale. As research with prominent Australian
Choreographer Meryl Tankard showed, the capacity of
Mx.CAP.01 to construct a dramaturgical taxonomy
depends on the practitioner and the technological and
physical limitations of the motion capture suite. Both
the representational accuracy of the digital interface and
any spatial restrictions increased the likelihood of
atomizing a whole performance into a series of specific,
figurative gestures or assets. The application of an
analytical method to a system with obvious technical
limits brought to light the limitations imposed by the
motion capture suite. In fact the work with Tankard
demonstrated that the inability to document the complex

72

G. Perin and C. Bowman / Drawing Out Movement

interaction between situated, moving bodies diminished

any chance of a sophisticated understanding of her
work. The paradox of this research was that this
embodied knowledge was totally de-contextualization.
Tankards highly honed choreographic practice, only
exaggerated the systems limitations. The software and
system could only retrospectively document, rather than
inform, her practice.
IV. MAPPING AND DIAGRAMMING
DIMENSIONAL SCALES OF MOVEMENT
The research undertaken with Tankard reinforced the
limitations caused by the technological mediation of
data. By extension, any generative potential of a system
must operate creatively within the limits that are set.
The purpose to which the system is put to also discloses
the influence intent and authorship have on the use of
this data. As demonstrated with Ghyka, all modes of
drawing can be used to substantiate predetermined
outcomes. In this type of approach, the nature and
meaning of the data is already formed. Consequently,
the drawing can only be demonstrative and illustrative
rather than investigative and generative. The problem
with mapping is that it is a mode of representation that
can be easily used to filter and privilege data to support
preconceived ideas. This is the inherent danger of the
analytical map; it can foreclose the generative capacity
of the system to instrumentalize data. In the process the
use of the map to authenticate a preconceived belief
denies the presence of technical mediation.
Clearly, Mx.CAP.01 and the Transcape 3D Editor
map real datasets. Any subsequent drawings possess an
indexical, scalar trace of the world. This scalar aspect is
important for Evans because the example of De lOrme
demonstrates that translation bridges rather than
misrepresents the datas scale. The ability to avoid the
instrumentalization of data requires the drawing to open
productive slippages without compromising the
indexical link to the data. Irrespective of the advances
of Mx.CAP.01, the value of the Transcape 3D Editor is
that it documents and visualizes the movement of
discrete and multiple individuals at an urban scale. In
contrast, the scale of data and the technological and
environmental limits of the motion capture system
compromise the architectural application of Mx.CAP.01.
As shown in the work with Tankard, the motion capture
suite already limits the capacity to derive a meaningful
dramaturgical taxonomy. The architectural transposition
of this data exerts a degree of technical and disciplinary
mediation that problematizes any claim for the datas
situated-ness. The difference in order of scale of this
data guarantees that the motion capture suite offers little
chance for any indexical fidelity between data and form.
Under such circumstances any architectural application
of Tankards work would simply be opportunistic.

The problems posed by the formal transcription of

motion data are illustrated in dECOIs 1995 Ether/I
sculpture. Produced by lofting a sequenced set of maps
describing the negative space between two dancers, the
final form fails to capture anything of the original
performance. The derivation of form from a map of the
silhouette of two bodies is simply a formal device. The
process of translation used by dECOI would be less of
an issue if it were not for the fact that it severs the datas
scale by appropriating it within a totally different design
context. Moreover, the application of data across
disciplinary boundaries is not so easily substantiated
within the performative criteria driving contemporary
digital design practice.
NOXs 2004 project, Son-O-House, would seem to
resolve some of these issues about the nature and scale
of the data. [12] NOXs project extends dECOIs work
by generating form through a process that arrays and
lofts a sequence of transverse lines mapped along a path
of movement. The use of the transverse lines was a
significant shift because it guaranteed that the form
acted as a tangential index of the intensity of movement.
The Son-O-House project results from a diagrammatic
embodiment of the relational force of the moving body.
The project results from a diagram, which as a mapping
of relationships, is better equipped to negotiate the
translation of data into form. The diagrammatic aspect
of NOXs generative process is important because
refuses the way in which dECOIs mapping conceives
of the body as an object. Moreover, NOX retains the
datas disciplinary context. Unlike the dECOI sculpture,
NOX diagrams spatial data for a spatial application. The
benefit of NOXs diagram is that it retains the
architectural scale of the original data.
There is, however, a problem with the Son-O-House
project. The fact remains that the final form does not
programmatically correlate to the data in the map. Any
relationship between the original data and the final form
functions through analogy alone.1 Whereas mapping
prefigures the formal development of the Ether/I
project, NOXs diagram misrepresents the data in the
map. The diagrammatic use of the mapped data is
important because the diagram must retain the scale,
1

Theoretically, the diagram should function as a site of

formal generation. The computational ability to
reconfigure data can dispense with the reductive formal
sensibility and utopian agendas that plagued the
modernist diagram. The relational, abstract nature of the
digital diagram retains scale without any immediate
formal or material foreclosure. This releases the drawing
form any concern with what and even how objects
communicate. The diagram, as a drawing that presents
the conditions of formation represents relationality as a
mutable, rather than fixed, condition. In this way the
diagram meets Massumis requirement for affect to be
a condition of formation.
7th International Conference on Digital Arts ARTECH 2015

G. Perin and C. Bowman / Drawing Out Movement

context and relationality of the data. The procedural and

performative consistency of any formal application of
any digital process pivots around the degrees by which
similarity and difference are determined. What is clear
is that NOXs Son-O-House project uses an inductive
logic where data from a specific context is used as the
norm. Ultimately, the theoretical validity of NOXs
diagrammatic process requires a broad definition of
program. The projects generative logic succeeds only
when the original data reduces program to a question of
circulation. This hardly nuanced definition questions
claims of fidelity between data, form and performance.
Like the aforementioned projects, both Mx.CAP.01
and the Transcape 3D Editor map and reconfigure
movement data. Like the NOX project, both software
packages remove any precise formal alignment to the
map without losing an indexical, scalar relationship. The
dimensional and contextual scale of data is as important
as the representational processes used to formally
translate the data. This places equal importance on how
the data is sourced and mediated. The nexus between the
representation and source of any data set dictates how
truly performative the architectural object is. If the issue
of fidelity is always at stake in the act of translation,
then the misuse of the data increases the schism between
data, drawing and artifact.
VII. CONCLUSION
The work with Tankard demonstrated how the
technical limits of the motion capture suite delineate the
datas value. This research also exposed how a gestural
taxonomy would institute a new coded language that
prefigures the diagrams generative potential. The
danger is clear. If the architectural appropriation of
gesture libraries obliges the artifact to evidence the
data source then the artifact is no more than a cypher of
prefigured phenomenological meanings. The central
problem with the architectural application of gestural
taxonomies is that they codify experience. By extension,
the instrumentalization of a gestural taxonomy returns
architecture to a knowledge of known experiential
effects. The use of gesture libraries to generate
architectural
form
simply
reinforces
the
phenomenological definition of affect. Experience
remains theoretically fixed to being something that
happens between fully formed subjects and objects. The
reinstitution of this type of semiotic framework makes
the meaning of the sign more important than the forms
performance. This circumstance simultaneously robs the
digital toolset of its generative potential.
There are enough examples to suggest that the
misappropriation of movement data can yield valid
architectural outcomes. However, such opportunistic
processes become problematic when the formal
translation of data is expected to have a performative
dimension. As indicated in Translations from Drawing
7th International Conference on Digital Arts ARTECH 2015

73

to Building, Robin Evans is aware of the difference

between performance and instrumentalization. For
Evans, the advantage of the move from drawing to
building is that allows for subversive spatial practices.
Evans implicit caveat is that this subversive capacity
must resist first the singular ambitions of
instrumentalization and second retain a sense of scale.
To disregard either is to risk returning to an intractable
debate around the value of opportunism. Of course, the
unruly aspect of opportunism removes the capacity for
instigating targeted challenges to disciplinary
orthodoxies. In this sense, the architectural use of
movement data can only exploit the unique potential of
the digital diagram when the mediating effects of the
software retain a scalar connection to the data. In effect,
the value of Mx.CAP.01 and the Transcape 3D Editor
lies in the ability to strategically reconfigure the
captured data without instrumentalizing it.
At this point the authors work with motion capture
suite so radically decontextualizes the data that it
encourages a mode of thinking that leads to the
formation of languages. These languages prefigure form
to the point where they limit the generative capacities of
the diagram. For this reason, future research intends to
target processes that can use alternative data sources and
associated capture technologies. To this end the authors
are currently sponsoring a new digital interface titled
MoCap. This software will be able to reconfigure a
greater range of motion data sets sampled from inside
and outside the motion capture suite. The inclusion of
Kinect and GPS systems will help extend the
investigation into the nature of data, where it comes
from and how software can be used in its mediation.
References
[1] R. Evans, "Translations from Drawing to Building." In
Translations from Drawing to Building and Other
Essays, Aa Documents, pp.153-93. London: Architectural
Association, 1997.
[2] Evans, "Translations from Drawing to Building", p.156.
[3] Evans, "Translations from Drawing to Building", p.186.
[4] Evans, "Translations from Drawing to Building", p.185.
[5] M. Speaks, "Intelligence after Theory." Perspecta 38
(2006): pp.101-06. doi:10.2307/40482421,
http://www.jstor.org/stable/40482421.
[6] Lynn, Greg. Animate Form (Book & Interactive CdRom). New York: Princeton Architectural Press, 1999.
[7] J. Reiser and N. Umemoto. Atlas of Novel Tectonics.
New York Enfield: Princeton Architectural, Hi Marketing
[distributor], p.173, 2006.
[8] G.Lynn, Animate Form, p.39.
[9] G. Lynn, Animate, pp.39-40.
[10] B. Massumi, Parables for the Virtual: Movement, Affect,
Sensation. Post-Contemporary Interventions. Durham,
NC: Duke University Press, pp. 23-45 & 197, 2002.
[11] B. Massumi, Parables for the Virtual: Movement, Affect,
Sensation, p.226.
[12] L. Spuybroek, Nox: Machining Architecture. London:
Thames &amp Hudson, pp.174-197, 2004.

74

G. Perin and C. Bowman / Drawing Out Movement

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

75

eExperimentar: uma aplicao web de suporte experimentao

artstica visual baseada na estilizao de imagens
Rudolfo Quintas*, Miguel Teixeira*, Adrito Fernandes Marcos*
* Centro de Investigao em Artes e Comunicao, Universidade Aberta, Lisboa, Portugal
([email protected], [email protected] , [email protected])
Resumo eExperimentar uma aplicao web de suporte
expresso artstica visual baseada em algoritmo interativo de
estilizao de imagens. Esta aplicao possibilita que um
processo de experimentao visual digital acontea a partir da
manipulao de uma imagem ou fotografia que o utilizador
seleciona do seu computador ou captura com a cmara web. O
utilizador pode manipular a imagem selecionada,
descontraindo-a, modificando-a, estilizando-a, atravs de uma
interface grfica concebida para ser intuitiva e de uso
facilitado. A imagem construda pode tornar-se mais figurativa
ou abstracta dependendo do processo de experimentao que
cada utilizador empregar. As imagens so processadas por
aplicao de um algoritmo interativo de renderizao nofotorealista (NPR) que implementa o padro Strategy para a
construo de uma srie de geradores que tm como objectivo
a criao de uma srie de grelhas e matrizes imaginarias que
recorrem leitura de pixis da fotografia para obter dados
relevantes ao desenho de primitivas grficas. Este artigo
apresenta a motivao para o desenvolvimento da aplicao
assim como testes com utilizador e uma seleo de ilustraes
grficas resultantes da aplicao.
Palavras Chave
Arte Digital, Arte Generativa,
Renderizao no-fotorealista (NFR), Estilizao de Imagem.

I. INTRODUO
Com o crescimento e evoluo da Computao em
Nuvem (Clould Computing), Web 2.0 e as linguagens
standard de visualizao grfica nos browsers como o
HTML 5.0, a explorao de aplicaes Web tornou-se o
novo paradigma no desenvolvimento de software para
os consumidores finais que comummente acedem Web
seja por meio do computador pessoal ou atravs de
dispositivos mveis.
No mbito das aplicaes de processamento de
imagem dedicadas expresso visual, existem as de
processamento e edio de imagem mais vocacionadas
para o cidado comum, tais como o Fotor1 , o BeFunky2
ou mais vocacionadas para profissionais como
Photoshop On-line3 como tambm as aplicaes de alto
desempenho e sntese de imagem tridimensional (3D)
tais como o LAGOA4 ou o Clara5 que permitem a
modelao 3D, animao e renderizao no browser.
Esta famlia de aplicaes est a mudar o paradigma de
1
2
3
4
5

http://www.fotor.com
http://www.befunky.com
http://www.photoshoponline.com.br/editor/
http://home.lagoa.com
https://clara.io
7th International Conference on Digital Arts ARTECH 2015

negcio de software para utilizadores, oferecendo a

possibilidade de aluguer de software, edio
colaborativa
e
partilha
de
contedos
em
desenvolvimento.
A facilidade com que atualmente temos acesso
imediato a uma cmara fotogrfica embebida num
dispositivo
mvel
tornou-se
uma
expresso
contempornea da extenso dos nossos sentidos [1].
Esta evoluo fez com que a industria das aplicaes de
computao grfica desse ateno s aplicaes para o
cidado comum, no acesso, edio e partilha
instantnea. Este foi o sucesso de aplicaes tais como
o Instagram6 que em menos de dois anos atingiram 100
milhes de utilizadores ativos.
O xito deste tipo de aplicaes deu-se
essencialmente pela combinao de dois motivos:
a) a possibilidade do utilizador comum obter resultados
de tratamento de imagem de elevada qualidade a
partir das suas fotografias, de forma simples e
intuitiva, tarefa que anteriormente estava reservada
aos fotgrafos profissionais que recorriam a um
encadeamento de vrios filtros e processos;
b) ao de captura e registo em imagem de um
determinado instante vivido, pelo acesso a uma
cmara embebida em dispositivo mvel; e a ao de
edio e publicao/partilha da imagem resultante
nas redes sociais, ou seja, o utilizador permanece em
um mesmo evento sem perder a noo do instante
que desejou registar. Desta forma um <desejo> pode
ser realizado num <gesto>: simples e intuitivo e
instantneo.
1.1. Motivao
O sucesso da nova vaga de aplicaes de
processamento de imagem para o cidado comum deuse pela transposio de estilos da linguagem dos media
antigos, tais como efeitos fotogrficos analgicos, como
ferramentas de criao e partilha instantneas para os
novos media, em particular, do perodo modernista da
dcada de 1920 (fotografia, desenho, pintura) como
analisou Lev Manovich no seu artigo a codificao das
tcnicas de vanguarda em software [2]. Manovich
considera que o perodo entre os anos 1915 e 1928
sendo o intervalo no qual os artistas e os designers
inventaram todo um novo conjunto de linguagens e
tcnicas de comunicao visual e espaciais ainda hoje
6

http://pt.wikipedia.org/wiki/Instagram

76

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

utilizadas. A concluso que Manovich proferiu no seu

artigo em torno dos novos media no poderia estar mais
correta, j que uma dcada e meia depois temos acesso a
aplicaes mveis e Web, aplicaes no apenas para
uso dos artistas mas tambm para o cidado comum.
com base nesta perspetiva emergente - potenciar a
criatividade do cidado comum, que o desenvolvimento
do corrente trabalho de investigao se desenvolveu.
Este trabalho vem na senda do aumento da simplicidade
e eficcia das aplicaes, tornando-as acessveis ao
cidado comum qui desprovido de tempo e,
sobretudo, de conhecimentos tcnicos, mas provido, no
entanto, de sensibilidade e gosto, ingredientes
fundamentais para que seja capaz de se exprimir com
fluidez, com a noo do instante, como o podemos fazer
com um simples lpis e papel face a um qualquer
elemento que nos interpele criao.
1.2. Mercado
O cidado comum representa a fatia maioritria dos
cerca de 1.75 bilhes de pessoas que hoje em dia usam
telefone portteis de ltima gerao (smartphones)
(fonte: eMarketeer 20137) , sendo que diariamente mais
de 300 milhes de fotografias so carregadas para o
Facebook, 40 milhes para o Instagram e 4,5 milhes
para o Flickr. Estatsticas disponveis em stios Web tais
como o Flickr, onde possvel obter informao acerca
da marca e modelo dos dispositivos utilizados, revelam
que os mais utilizados so iPhone 4, iPhone 4S e iPhone
58 . Estes dados revelam que a fotografia o meio mais
utilizado pelo utilizador comum para se expressar na
Web, seja para registar um momento ou transmitir um
estado de esprito. Ficamos tambm a saber que a
partir dos telemveis (smartphones) que a maior parte
das fotografias so geradas. Se se tiver em considerao
a previso de crescimento de 1.75 bilhes de pessoas a
usarem smartphones em 2014 para 2.5 bilhes em 2017
(fonte: eMarketeer 2013, idem), facilmente se conclui
que a captura de imagens atravs destes dispositivos
tambm vai aumentar em proporo, relanando
forosamente
a
necessidade
crescente
de
disponibilizao de ferramentas de processamento de
imagem que facilitem processos de experimentao
artstica focados na imagem como matria prima. Ou
seja,
o desenvolvimento de qualquer ferramenta
facilitadora da expresso visual para uso do utilizador
comum deve, tambm e sobretudo, permitir e facilitar a
interao deste mesmo utilizador com o conjunto das
suas fotografias.
No mbito deste projeto foi realizado o levantamento de
cerca de 623 aplicaes na rea da imagem e fotografia
disponveis no mercado9, tendo-se tambm analisado um
nmero representativo de blogs que listam e descrevem
7

http://www.emarketer.com/Article/Smartphone-Users-WorldwideWill-Total-175-Billion-2014/1010536
8
http://www.usatoday.com/story/tech/2013/06/06/reviewedsmartphones-replace-point-and-shoots/2373375/

as melhores aplicaes de fotografia10. Deste

levantamento concluiu-se que as aplicaes na sua
maioria se baseiam na gerao de filtros de tratamento e
edio de imagem cujos efeitos visam imitar a
reproduo de estilos visuais tradicionais tais como o
estilo vintage, simulao preto e branco, spia, ou a
renderizao no-fotorealista11 (NPR) de imagem assim
como o efeito estilo pontilhismo, desenho ou cartoon.
As aplicaes que conclumos apontarem para caminhos
similares ao do corrente trabalho so apresentadas na
subseco 2.2. deste artigo. Verificamos ainda que o
mercado atual tende a estar saturado com ferramentas
que reproduzem os mesmos tipos de estilos visuais,
distinguindo-se entre si pelo preo, interface ou forma
de partilha na rede social.
Neste contexto, conclumos que o desenvolvimento de
uma nova aplicao para o processamento de imagem
no mbito da expresso artstica Web dever no s
levar em linha de conta a criao instantnea (em
analogia ao ato instantneo do desenho) mas tambm o
aprofundamento de um estilo visual que permita a
criao de contedos para l da reproduo dos estilos j
existentes.
Este artigo est organizado da seguinte forma: depois da
introduo apresenta-se no captulo dois um
levantamento sucinto do estado da arte das tcnicas e
ferramentas na rea do processamento de imagem com
fins artsticos. No captulo terceiro descreve-se a
aplicao eExperimentar. Finalmente, no ltimo captulo
tecem-se as concluses finais.
II. LEVANTAMENTO DE TCNICAS E
FERRAMENTAS
Com vista ao desenvolvimento da aplicao
procedemos por um lado (a) ao estudo da natureza dos
algoritmos que implementam renderizao nofotorealista de imagens e por outro (b) o estudo das
aplicaes que implementam tais algoritmos. O estudo
dos algoritmos permitiu estudar a evoluo esttica e
tcnica desta rea e avaliar a sua exequibilidade no
processamento de numa aplicao Web em tempo-real
(responsiva). O estudo das aplicaes permitiu
compreender quais que atualmente suportam a
experimentao e expresso visual atravs da utilizao
de fotografias.
2.1. Do Pontilhismo Pixel Art

Levantamento realizado no mbito do projeto RECARDI, QREN

n22997
10
http://www.creativebloq.com/design-tools/best-photo-apps-513764
e http://www.theguardian.com/technology/2014/may/09/10-bestphotography-apps
11
http://en.wikipedia.org/wiki/Non-photorealistic_rendering
7th International Conference on Digital Arts ARTECH 2015

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

no Pontilhismo12 que encontramos a tcnica visual

que consideramos ser percursora da renderizao nofotorealista (NPR) devido forma rigorosa (quase de
cariz cientfico) de como a cor na pintura era abordada.
De facto, os pontilhistas construam uma imagem
figurativa atravs de pequenas manchas e pontos de tinta
separados que distncia criavam a iluso ptica de
uma mancha de cor vibrante. Por exemplo La parade13
(1889) de Georges Seraut (1859-1891) um dos
expoentes deste estilo (ver figura 1). J na segunda
metade do sc. XX Roy Lichtenstein14 (1923 1997)
afirma-se como um dos expoentes da Pop Art 15 atravs
de um novo estilo que afirma na pintura a linguagem da
banda desenhada como uma esttica da cultura popular.
Do ponto de vista do estilo visual as pinturas de
Lichtenstein apresentam manchas que so construdas
por pontos espaados uns dos outros mimetizando em
grande escala a linguagem visual da banda desenhada,
(ver figura 2).

12
13
14
15

https://pt.wikipedia.org/wiki/Pontilhismo
http://www.artchive.com/artchive/S/seurat/paradetl.jpg.html
http://pt.wikipedia.org/wiki/Roy_Lichtenstein
http://pt.wikipedia.org/wiki/Pop_art
7th International Conference on Digital Arts ARTECH 2015

77

78

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

FIGURA 1: Georges Seraut, La parade, 1889.

FIGURA 2: Roy Lichtenstein, Drowning Girl

(detail), 1963.

FIGURA 3 : Goldgerg, A et al. 1982, exemplo de transformao do programa de Pixel Art.

FIGURA 4: Haeberli, Paint By Numbers: Abstract Image Representations,

Criao de uma pintura, 1990.

Figura 5: Machado e Graa, 2008,

Evolving Assemblages of 3D Objects: detalhe de resultado.

Figura 6: Jonathan Puckey, Delaunay Raster 2008.

7th International Conference on Digital Arts ARTECH 2015

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

As duas abordagens pintura previamente

referenciadas, uma de estilo mais orgnico e a outra de
estilo mais grfico e estilizado, foram percursores
visuais da Pixel Art [3] o termo utilizado para
descrever o
primeiro sistema computorizado que
utilizava uma fotografia como fonte para gerar uma
imagem grfica. O mtodo consistia em um programa
que gera uma nova imagem grfica baseada num
algoritmo de converso de leitura dos valores dos pixeis
da imagem de fonte em objetos grficos 8 bits na
imagem de destino,(ver figura 3). Posteriormente
Haeberli (1990) desenvolveu um conjunto de tcnicas
similares para a representao abstracta NPR cujo
objectivo era a criao de representaes interessantes
de imagens naturais ou sintticas atravs da colocao
objetos 2D denominados de pincis [4] num momento
em que a computao grfica apostava todo o seu
esforo na representao e renderizao fotorealista das
cenas [4] (ver figura 4). O mtodo da gerao de uma
imagem grfica ilustrativa de uma fotografia pode ser
entendida como uma abordagem da renderizao nofotorealista cujo input para sistemas NPR 2D
geralmente uma imagem. No entanto estes sistemas tm
como objectivo imitar um desejado estilo artstico, tais
como a aguarela, impressionismo, imitao da caneta ou
lpis ou mesmo simular o meio da pintura como o tipo
de papel ou pigmentos. Muitas destas tcnicas vieram a
ser incorporadas como filtros em aplicaes de edio
de imagem tais como a Adobe Photoshop16.
Mais recentemente o projeto Evolving Assemblages of
3D Objects apresenta uma abordagem da utilizao de
algoritmos de arte evolucionaria [5] para colocao de
objetos 3D numa imagem tendo por base uma fotografia
como parmetro de entrada. Esta tcnica demonstra um
potencial de evoluo do desenvolvimento de novos
estilos grficos como abordagem renderizao nofotorealista [6,7] (ver figura 4). Outra abordagem, do
designer grfico Jonathan Puckey afirma ter inventado
um procedimento grfico com o nome Delaunay Raster17
na qual utiliza a Triangulao de Delaunay 18, a mdia
da cor e a colocao assistida de pontos, na criao de
uma ferramenta para a abstrao grfica de imagens
tendo tambm como base uma fotografia (ver figura 5).
Este projeto inspirou uma srie de outras aplicaes do
gnero19 que utilizam a triangulao de Delaunay, como
por exemplo a aplicao Poly20 do designer de interao
Jean-Christophe Naour.
2.2. Tecnologias e Aplicaes
Na ltima dcada, o surgimento de ambientes de
programao vocacionadas para artistas tais como o
16

http://www.adobe.com/pt/products/photoshop.html
http://jonathanpuckey.com/projects/delaunay-raster
18
B. Delaunay: Sur la sphre vide, Izvestia Akademii Nauk SSSR,
Otdelenie Matematicheskikh i Estestvennykh Nauk, 7:793800, 1934
19
http://www.creativeapplications.net/mac/dmesh-cinder-mac/
20
http://vimeo.com/32069908
17

7th International Conference on Digital Arts ARTECH 2015

79

Processing21 ou as linguagens script orientadas para

grficos vectoriais como o Scriptographer22 ou o
Paper.js23 veio permitir e facilitar a inverso de
paradigma do programador tornado artista para o
artista tornado programador. Aqui o treino profissional e
sensibilidade do artista torna-se potencial gerador de
novas abordagens tcnica da Pixel Art, at
renderizao de imagem no-fotorealista. Este
paradigma motivou o surgimento de aplicaes como o
Delunay Raster e o Poly referidas anteriormente que
foram desenvolvidas por designers.
No levantamento do estado-da-arte que efetuamos
constatamos o surgimento de outras aplicaes que do
poder criativo ao utilizador comum possibilitando a
obteno de resultados visualmente expressivos sem que
tal utilizador tenha forosamente de possuir
conhecimentos prvios de ndole tcnico e/ou artstico.
No entanto, as aplicaes que se aproximam da viso do
trabalho apresentado neste artigo focam-se sobretudo na
produo de um efeito visual final, no sendo o
suficientemente expressivas como ferramentas para a
explorao do processo de experimentao visual
necessariamente iterativo, cclico e integrado. Das
ferramentas estudadas relevam-se as seguintes: o
PixelWakker24 e Konfetty25 (implementam o estilo
pontilhista), Delunay Raster e Poly (efeito Delunay),
Frakture26 (estilo cubista), Glitch 27 e DScan (estilo
Glicth). A aplicao web Textity28 introduz a ideia da
explorao, mas bastante limitada no que respeita as
possibilidades de composio, tendo sido no entanto
uma fonte de inspirao e anlise para o presente
trabalho.
III. APLICAO EEXPERIMENTAR
Neste captulo descreve-se a aplicao eExperimentar
desde os seus objetivos e conceitos fundamentais,
passando pela sua implementao e terminando com a
apresentao e anlise de resultados.
3.1. Objetivos e conceitos fundamentais
Este projeto teve como objetivo o desenvolvimento de
uma ferramenta Web de suporte expresso e
experimentao artstica visual para o cidado comum.
Neste sentido a aplicao deveria estar disponvel a
21

https://www.processing.org/
http://scriptographer.org
23
http://paperjs.org
24
http://pixelwakker.com
25
https://itunes.apple.com/us/app/konfetti/id513915324?
mt=8&affId=1671662&ign-mpt=uo%3D4
26
https://itunes.apple.com/us/app/fracture/id387642147?
mt=8&affId=1671662&ign%ADmpt=uo%253
27
https://itunes.apple.com/gb/app/glitche/id634467171?mt=8&ignmpt=uo%3D8
28
http://textify.it/
22

80

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

partir de um navegador Web (browser) recorrendo a

tecnologias standard e ser suficientemente simples e
intuitiva para que o utilizador comum desprovido de
tempo e conhecimentos tcnicos, mas provido de
sensibilidade e gosto pessoal, se possa exprimir com
fluidez e ter a sensao de instante, como o podemos
sentir com um lpis a desenhar num papel. Por outro
lado, sendo a fotografia o media mais utilizado
atualmente como objeto de expresso visual, a aplicao
a desenvolver dever tambm possibilitar a
experimentao visual a partir da fotografia.
A opo pelo desenvolvimento de renderizao nofotorealista de imagens em estilos grficos estilizados
resulta, por um lado, da eficcia de processamento
pretendida, e, por outro lado, adoptar a estilizao
pontilhista das fotografias para permitir que o
utilizador se envolva em um processo iterativo e possa
sentir que o resultado final atingido fruto da
experimentao realizada. Esta ltima acepo
importante na medida em que permite distinguir o
resultado de dois utilizadores a partir da mesma imagem
base, j que o processo de experimentao realizado ser
distinto e nico para cada utilizador. O processo de
experimentao artstica , portanto, um conceito
fundamental que subjaz a aplicao eExperimentar.
No que concerne aplicao propriamente dita esta
dever conjugar as seguintes caractersticas:
(1)Estar acessvel na Web;
(2)Possibilitar a aquisio de imagens (fotografias) a
partir do navegador Web;
(3)Permitir gerar um leque diverso de estilos grficos
estilizados NPR;
(4)Possibilitar a obteno e apresentao de resultados
imediatos, ao mesmo tempo que oferece
funcionalidades para experimentao visual mais
avanada;
(5)Oferecer um interface que permita alterao de
vrios tipos de formas, grelhas, efeitos de
estilizao e manipulao de texturas das formas.
Na seguinte seco apresenta-se a implementao da
ferramenta eExperimentar.
3.2. Implementao
Para facilitar a sua disseminao e acesso, o interface
principal da aplicao baseia-se em uma simples pgina
Web. O preo a pagar por no correr nativamente a
aplicao o desempenho, j que se o processamento da
imagem fosse realizado do lado do servidor a
concorrncia de vrios clientes poderia rapidamente
conduzir entupimento da capacidade do servidor,
comprometendo escalabilidade da aplicao.
fundamental que a aplicao mantenha a sua capacidade
de proporcionar respostas a pedidos do utilizador dentro
do mais curto perodo de tempo, de preferncia sem
atrasos perceptveis ao utilizador. Desta forma o desafio

de manter a aplicao responsiva foi conseguido atravs

da delegao do processamento da imagem no
navegador. Operaes pontuais, por exemplo,
autenticao e armazenamento, mantiveram-se a cargo
do servidor para assegurar a sua centralizao.
Requisitos gerais orientadores
implementao da ferramenta

do

desenho

Dos requisitos que guiaram o desenvolvimento da

aplicao destacam-se os seguintes:
1. Utilizvel por no profissionais da imagem
(artistas, designers, tcnicos);
2. Criao de imagens em um nmero reduzido de
passos;
3. Permitir a experimentao de um leque variado de
efeitos visuais;
4. O objetivo de cada opo tem que ser facilmente
decifrvel e compreensvel;
5. O resultado de cada operao tem de ser
imediatamente visvel;
6. A imagem resultante deve poder ser analisada com
grande detalhe tanto a nvel dos elementos visuais
como dos parmetros que estiveram na origem dos
efeitos conseguidos.
Procura-se, portanto, o apelo expresso e
experimentao artstica, atravs do estmulo ao
processo criativo, facilidade e simplicidade de
utilizao.
Algoritmo de Renderizao
O algoritmo de renderizao tem como objetivo
fundamental a converso de fotos em imagens de estilos
grficos estilizadas. Os estilos grficos estilizados
resultam de uma srie de algoritmos que descendem do
algoritmo inicial padro (ver figura 7). Estes algoritmos
constroem uma grelha imaginria onde se colocam
formas geomtricas pintadas de acordo com a imagem
original. Tudo operado num palco comum, sendo que
a parametrizao e as operaes subsequentes so
conduzidas por apenas um objeto. Os estilos e tcnicas
de desenho foram fatorizados em parmetros, que
adquirem vida prpria atravs de geradores. Os
geradores so algoritmos que atualizam as variveis que
determinam como as figuras geomtricas sero
desenhadas. Para facilitar a substituio de algoritmos
durante a execuo da aplicao, cada tipo gerador
segue o padro Strategy [8]. O tipo de cada gerador
depende da varivel que modifica, por exemplo, se
modifica o tamanho, ento trata-se de um gerador de
tamanho.

7th International Conference on Digital Arts ARTECH 2015

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

81

Figura 9: exemplo de renderizao do algoritmo da fotografia

original, utilizando tringulos.

Figura 7: Algoritmo de renderizao

Depois da imagem original e dos parmetros serem

fornecidos, o comando ento entregue aos geradores
que de forma sncrona, iterao aps iterao, vo
construdo a imagem. Por cada iterao, a figura
geomtrica que ser desenhada manipulada
exclusivamente pelos geradores: o gerador de grelha
decide as coordenadas, o gerador de cor decide a cor, o
gerador de tamanho decide as dimenses, e o gerador de
rotao decide o ngulo. Este processo termina quando
as figuras geomtricas forem desenhadas em todos os
pontos da grelha. Devido decomposio da
renderizao em geradores, para criar um efeito visual
diferente, podemos substituir alguns geradores
reutilizando os restantes, no sendo necessrio construir
de raiz um novo algoritmo. A figura 8 apresenta um
exemplo de uma fotografia original aberta a partir do
computador. As figuras 9, 10 e 11 apresentam trs
exemplos de resultados de processos de renderizao
dos algoritmos atravs da manipulao da fotografia
original.

Figura 10: exemplo de renderizao do algoritmo da fotografia

original, utilizando tringulos, maior densidade da grelha e
manipulao da cor.

Figura 11: exemplo de renderizao do algoritmo da fotografia

original, utilizando linhas, menor densidade vertical da grelha
e rotao acentuada da linhas com base no brilho dos pixis da
imagem original.

Interface com o Utilizador

Figura 8: fotografia original

7th International Conference on Digital Arts ARTECH 2015

O design do interface teve como objetivo central

proporcionar a sua utilizao simples e intuitiva por
parte do utilizador comum que desprovido de
conhecimentos e tcnicas ao nvel da imagem. Desta
forma foram tidos em considerao que o palco
principal onde a imagem apresentada estivesse sempre
visvel para poder transmitir a percepo ao utilizador
de que parte do processo de experimentao em curso,

82

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

pelo que o resultado de cada operao dever ser

imediatamente visvel (ver figura 17). No caso do
resultado ser insatisfatrio possvel experimentar outro
parmetro ou retroceder no ciclo de criao. O seguinte
diagrama ilustra a viso geral do funcionamento da
aplicao:

Figura 13: resultado criativo de um utilizador do exerccio de

criao de uma ilustrao de perfil e cover para o Facebook

FIGURA 12: Diagrama de utilizao da aplicao

Para o utilizador, os parmetros so apresentados

como opes que podem ser selecionadas a partir dos
controlos do navegador (ver figura 18). As figuras
geomtricas podem ser redimensionadas e rodadas,
tambm podemos aplicar contornos, modificar a cor e a
opacidade. A grelha pode ser redimensionada
aumentando ou diminuindo a sua densidade. Os
geradores, camuflados como opes, tambm esto
presentes no tipo de grelha, tamanho automtico e
rotao automtica.
O interface do utilizador est dividida em 3 seces
principais: moldura de visualizao, menu de opes e
predefinies (ver figura 17). Na moldura de
visualizao, a imagem atualizada em cada passo da
sua construo, nesta rea tambm podemos abrir e
guardar imagens, refazer ou desfazer operaes, e
ampliar ou reduzir a visualizao. No menu de opes,
parametrizamos como a imagem ser gerada, sempre
que um parmetro alterado, o resultado
automaticamente refletido na moldura de visualizao.
Cada predefinio um conjunto de opes previamente
escolhidas que podem ser imediatamente aplicadas a
partir de um clique, estas encontram-se disponveis
numa lista de imagens em miniatura.

Figura 14: imagem um utilizador a manipular o seu retrato

fotogrfico com a aplicao eExperimentar no workshop de
Faro.

Figura 15: fotografia que regista o momento na Universidade

de Coimbra em que se est a explicar aos participantes a
aplicao, utilizando como exemplo a fotografia de um olho
(do lado direito) e um possvel resultado (do lado esquerdo).

Testes de Utilizao
Foram realizadas dois workshops (sesses) de teste
de utilizao cobrindo um total de 32 utilizadores
comuns assim como alunos de 1 ciclo de arte e design
na Universidade do Algarve e na Universidade de
Coimbra (ver figuras 13,14,15 e 16).

Figura 16: Trs exemplos de resultados realizados no

workshop da Universidade de Coimbra de transformao da
fotografia do olho.

7th International Conference on Digital Arts ARTECH 2015

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

Para o teste foram propostos aos participantes trs

exerccios criativos, nomeadamente:
1. criao de uma ilustrao de perfil e cobertura
(cover) para o Facebook;
2. criao de um banner para um evento no Facebook
- caso de estudo, uma festa para um DJ, etc.;
3. criao de uma ilustrao que exprima uma das
seguintes sensaes: leveza, fluxo, vero ou
elegncia.
Os objetivos destes testes podem ser resumidos de
seguida:
a) testar o funcionamento da aplicao;
b) avaliar o interface e a experincia ;
c) gerar sugestes de melhoria da aplicao;
d) sublinhar eventuais problemas encontrados;
e) encontrar eventuais novas necessidades do ponto
de vista dos utilizadores;
f) verificar se a aplicao responde bem s
necessidades criativas colocadas.
Os 32 utilizadores foram compostos pelo seguinte
grupo: 18 (56%) do sexo masculino e 14 (44%) do sexo
feminino; 19 (60%) sem qualquer formao em artes
(marketing e gesto, engenharia informtica); 13 (40%)
com alguma formao em artes (comunicao e artes,
design e multimdia) e experincia de criao digital
(nunca superior a 5 anos); 10 (31%) com idade superior
35 anos; 22 (69%) com idade superior a 18 e inferior a
35 anos.
Os utilizadores avaliaram, em geral, positivamente a
aplicao no que diz respeito satisfao, originalidade,
facilidade de utilizao e utilidade. Este primeiro teste
permitiu simplificar algumas caractersticas da aplicao
assim como introduzir outras caractersticas em especial
no que respeita ao interface. Nas Tabela n1 e n2,
encontram-se os resultados representativos das respostas
de experimentadores que concluram os exerccios
realizados, elementos estes
recolhidos atravs de
questionrio respondido online.
Tabela n1:
Respostas de experimentadores que concluram exerccios, sem
formao em artes (indiferenciados por gnero, faixa etria)
= total de 19
Nveis*

Facilidade de
utilizao

Utilidade

Originalidade Satisfao

4 (21,1%)

2 (10,5%)

4 (21,1%)

1 (5,3%)

15 (78,9%)

17 (89,5%)

15 (78,9%)

18 (94,7%)

7th International Conference on Digital Arts ARTECH 2015

83

Tabela n2:
Respostas de experimentadores que concluram exerccios, com
formao em artes (indiferenciados por gnero, faixa etria)
= total de 13
Nveis*

Facilidade de
utilizao

Utilidade

Originalidade Satisfao

3 (23%)

2 (15 %)

4 (31%)

2 (15%)

10 (77%)

11 (85%)

9 (69%)

11 (85%)

*Nveis (Escala Likert) 1: discorda totalmente; (...)5: concorda

totalmente. Nota: resultados apresentados por
n.
respostas/percentagem;

O modelo de questionrio enviado suportou os seguintes

campos:
A) Identificao: <nome (opcional)>, <idade> e <
gnero>. Manteve-se a indicao do nome como
opcional para permitir acautelar o eventual carcter
reservado dos comentrios e crticas s aplicaes em
experimentao melhor salvaguardadas pelo anonimato.
B) Experincia na rea das artes: <Experincia como
artista digital ? (s/n)> , <Se sim, indicar a rea e os anos
de experincia> e <Formao acadmica>. Apesar de
estarmos a lidar em geral com estudantes de licenciatura
era importante registar se a pessoa em causa detinha
algum tipo de experincia anterior na rea da criao
artstica digital.
C) Avaliao da Experincia com a Aplicao
Percepo Geral: recorrendo escala de Likert: 1
(discorda totalmente) a 5 (concordo totalmente),
classificar as seguintes afirmaes: <A aplicao fcil
de utilizar >,<A aplicao til> , <A aplicao
original>, <A aplicao satisfaz-me>. Em cada
questo, o experimentador pode suportar a sua resposta
com um breve texto opinativo. Quando lidamos com
graus de subjetividade que resultam de uma impresso
obtida aps a utilizao em tempo limitado de uma
determinada aplicao importa que o sujeito possa
suportar a impresso registada na escala de Likert com
breve texto opinativo de suporte. Por exemplo, se se
considera a aplicao til, dever justificar-se
sucintamente o porqu. Em grande medida estes
elementos advieram da descrio dos problemas, pontos
positivos e sugestes de melhoria do campo seguinte
(D).
D) Avaliao da Experincia com a Aplicao
Percepo Especfica: < 1)Identifique problemas gerais
detetados na aplicao (aqueles que aparecem em uma
primeira utilizao da aplicao)>; < 2)Identifique

84

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

problemas especficos detetados na aplicao (aqueles

evidenciados em uma utilizao mais aturada da
aplicao)>; < 3)Identifique pontos fortes da aplicao
(aqueles que considera realmente uma mais-valia)>; <
4) Apresente sugestes concretas de melhoria da
aplicao >; < 5) Apresente outras sugestes relativas
aplicao>. Estes so campos de resposta livre, um por
cada alnea. Os elementos recolhidos nestes campos
foram de grande valor para permitir alimentar o ciclo de
deteco e correo de erros, e, sobretudo, o ciclo de
melhoria funcional da aplicao.

V. CONCLUSES E IDEIAS FUTURAS

Foi desenvolvida uma aplicao web como suporte
expresso visual orientada para o cidado comum,
permitindo um processo de experimentao e criao em
poucos passos. Ao mesmo tempo a interface permite
alterao de vrios tipos de formas, grelhas, efeitos de
estilizao e manipulao de texturas das formas,
oferecendo funcionalidades para experimentao visual
mais avanada. A aplicao responsiva permitindo que
o processo de experimentao visual seja simples e
intuitivo j os resultados so automaticamente visveis e
o processo sendo iterativo e cclico permite implementar
um ciclo de experimentao artstica. Consideramos que
a aplicao poder tambm vir a servir para o ensino das
artes, no que respeita ao ensino bsico e secundrio, pela
forma simples com que possvel exemplificar vrios
conceitos da teoria da forma e conceitos de
representao
bidimensional
e
da
cor.
O
desenvolvimento de uma verso para aplicao mvel
tambm uma ideia que poder facilitar a sua utilizao.

Referencias
[1] McLuhan, Marshall (1964). Understanding Media: The
Extensions of Man; 1st Ed. McGraw Hill, NY; reeditado
pela MIT Press, 1994, com introduo de Lewis H.
Lapham; reeditado pela Gingko Press, 2003 ISBN 158423-073-8
[2] Lev Manovich Avant-Garde As Software em Stephen
Kovats (org), Ostranenie (Frankfurst:Nova York:
Campus Verlag, 1999)
[3] Adele Goldberg and Robert Flegal, ACM President's
Letter: Pixel Art, Commun. Assoc. Computing
Machinery,Vol. 25, pp. 861862, 1982.
[4] Haeberli P. Paint By Numbers: Abstract Image
Representations ACM SIGGRAPH Computer Graphics,
Proceedings of ACM SIGGRAPH 90. Pag 207-214
[5] Juan Romero and Penousal Machado, Ed.(2007) The Art
of Artificial Evolution: A Handbook on Evolutionary Art
and Music, Springer - Natural Computing Series,
Hardcover: 458 pages, 169 illus with 91 figs in color
edition, November 2007, ISBN: 978-3-540-72876-4
[6] F. Graca and P. Machado, Evolving Assemblages of 3D
Objects, in New Creativity, The 11th Biennial
Symposium on Arts and Technology, New London, USA,
2008.
[7] P. Machado and F. Graca, Evolutionary Pointillist
Modules: Evolving Assemblages of 3D Objects, in
Applications of Evolutionary Computing, EvoWorkshops
2008: EvoCOMNET, EvoFIN, EvoHOT, EvoIASP,
EvoMUSART, EvoNUM, EvoSTOC, and EvoTransLog,
Naples, Italy, March 26-28, 2008. Proceedings, 2008, pp.
453-462.
[8] Erich Gamma, Richard Helm, Ralph Johnson, John
Vlissides,(1994) DESIGN PATTERSN; Elements of
Reusable Object-Oriented Software, Addison-Wesley,
1994, ISBN-10: 0201633612

Agradecimentos
Desejamos manifestar o nosso agradecimento a
todas as pessoas que voluntariamente se
disponibilizaram realizao dos testes de usabilidade,
pelo seu tempo e colaborao, assim como agradecer
aos investigadores Susana Costa, Amlcar Cardoso, pelo
apoio na realizao dos testes de utilizao; e Veronica
Metello pela leitura e reviso deste texto.

7th International Conference on Digital Arts ARTECH 2015

R. Quintas, M. Teixeira and A. Marcos / eExperimentar: uma aplicao web de suporte experimentao artstica visual

Figura 17: Interface da aplicao eExperimentar.

Figura 18: Menu de opes da aplicao eExperimentar.

7th International Conference on Digital Arts ARTECH 2015

85

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

87

Experimentando a criao de videoarte fractal

Antnio Domingos, Adrito Fernandes Marcos
Centro de Investigao em Artes e Comunicao, Universidade Aberta, Palcio Ceia, Rua
da Escola Politcnica, 147, 1269-001 Lisboa, Portugal
[email protected], [email protected]
Abstract A arte contempornea tem vindo a
incorporar os mais recentes desenvolvimentos cientficos e
tecnolgicos nos seus processos criativos, proporcionando a
gerao de novas linhas de explorao artstica pela
introduo de nova simbologia e iconografia cultural e
imagtica, levando ao aparecimento daquilo que hoje
denominamos de arte digital ou arte computacional e todas
as suas variantes tais como a videoarte.
Neste artigo apresenta-se uma breve resenha da
evoluo da videoarte ao longo dos anos, discute-se a
utilizao da geometria fractal na criao de videoarte
atravs das potencialidades artsticas oferecidas pelas
ferramentas tecnolgicas que permitem gerar composies
visuais como forma de expresso videogrfica. Apresentase em detalhe o processo de experimentao artstica de
criao de vdeos com base em fractais e as decises
tcnicas e criativas tomadas.
Index Terms Videoarte, arte digital, arte
contempornea, geometria fractal.

I. INTRODUO
Videoarte um termo que usado para descrever a
arte que usa tanto o aparelho de televiso como os
processos de vdeo. Pode assumir vrias formas:
gravaes que so transmitidas, exposies, visitas a
galerias ou outros locais, distribuio de fitas ou discos,
instalaes esculturais, que podem incorporar um ou
mais recetores de televiso e monitores, que exibem
imagens "ao vivo" ou gravadas com som, e
performances nas quais so includas apresentaes de
vdeo [1][2].
A videoarte comunga de uma linguagem audiovisual
que se conforma na indagao de qualquer razo
alternativa para sintetizar e articular cdigos expressivos
procedentes de diversos mbitos do audiovisual. As
produes diferenciam-se de outras prticas como o
video-clip, o vdeo documental e vdeo de fico, porque
tenta criar novas narrativas estticas e novas formas de
visualizar e operar, que no se restringem s premissas
de estes gneros. Trata-se de uma manifestao que
significa uma rutura com o convencional visualmente
correto, pois vale-se de parmetros espcio-temporais
e interativos completamente distintos. Estes so
justamente as suas caractersticas centrais [2].
A plasticidade da imagem e vdeo alcana
rapidamente outras formas de expanso artstica. As
propriedades estticas propiciam resultados visuais e
buscas formais inditas, mas que se integram com
facilidade em propostas espaciais e performativas,
7th International Conference on Digital Arts ARTECH 2015

gerando toda uma srie de hbridos de difcil

conceptualizao desde o ponto de vista das categorias
tradicionais. Estas expresses agrupam-se no que se
pode denominar de formas expandidas da videoarte [2].
No que se refere aos fractais, foi o matemtico Benoit
Mandelbrot quem utilizou pela primeira vez a palavra
fractal que baseada no latim e deriva do adjetivo
fractus, cujo verbo frangere correspondente significa
irregular ou quebrar: criar fragmentos irregulares,
fragmentar. As imagens ou objetos fractais so gerados
atravs de frmulas matemticas a partir de funes
reais ou complexas, sendo normalmente usados
computadores para o processamento e criao.
A geometria fractal um ramo da matemtica
conhecida por teoria do caos, que estuda as propriedades
e comportamento de fenmenos que no so nem
totalmente aleatrios, nem completamente previsveis, e
descrevem muitas situaes que no podem ser
explicadas facilmente pela geometria clssica. Esta
geometria no Euclidiana tem vindo a ser
profundamente estudada e aplicada em vrias reas e
situaes, desde a matemtica financeira at arte
digital, passando pela cincia e tecnologia.
Neste artigo procuramos descrever uma das
possibilidades de utilizao da geometria fractal na
criao de videoarte, atravs das potencialidades
artsticas oferecidas pelas ferramentas tecnolgicas que
geram composies visuais como forma de expresso
videogrfica.
Pretende-se tambm demonstrar o contributo que a
geometria fractal trouxe arte digital, nomeadamente
videoarte fractal, e a estreita relao que sempre existiu
entre a matemtica, tecnologia e a arte.
Este artigo est organizado da seguinte forma: aps
uma breve introduo, faz-se um resumo da evoluo da
videoarte. Em seguida descreve-se a ligao entre a
geometria fractal e a videoarte. Experimenta-se com um
programa informtico a criao de videoarte e analisamse e validam-se os resultados obtidos. Por ltimo
extraem-se as concluses da experimentao.
II. EVOLUO DA VIDEOARTE
Muitos dos primeiros artistas de videoarte tinham em
mente o embate televisivo. Na dcada de 50 do sculo
passado o aparelho de televiso j existia na maioria dos
lares americanos. Nessa poca o que movia os artistas
era uma necessidade de expresso pessoal e no as

88

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

audincias em massa. Utilizavam algumas tcnicas na

manipulao de dispositivos eletrnicos existentes [2].
Nam June Paik, um dos primeiros artistas, cria
mecanismos em que explora a vida nas especificidades
com o meio, buscando aprofundar novas concees e
novas possibilidades artsticas. Produz um sistema que
distorce a imagem de televiso atravs da manipulao
de um man de modo a alcanar as respostas visuais
pretendidas. O vdeo entra em cena como um elemento
ativo no jogo de aes.
J Charlotte Moorman, devido ao seu interesse pelos
monitores, que com a sua presena fsica compem o
espao da ao na obra TV Cello (1971), disponibiliza
ao espectador uma intensa e intrincada rede de
informaes visuais e situaes espaciais.
Anna Bella Geiger, pioneira da experimentao
artstica preocupa-se menos com a manipulao tcnica
do dispositivo e foca-se no usufruir do potencial
conceitual da imagem. Na obra Passagens n 1 (1974), a
artista aproveita os elementos formais do vdeo em que
evidencia a deslocao do artista pela escada. A pode
apontar-se a incidncia da diferena entre espao
percorrido e movimento efetuado [2].
O artista francs Eric Baudelaire trabalhou com o
ritmo dos acontecimentos. A obra Sugar Water (2006),
mostra o acar a dissolver-se num copo de gua. Com
Sugar Water, o surgimento da imagem fotogrfica, a
exploso, a consumao do carro pelo fogo e a volta da
tela azul como imagem de um fato consumado esto em
pleno acontecimento, enquanto o homem reconstri
habilmente a imagem fragmentada [2]. A juno do
modo coletivo e individual e os fluxos da imagem
videogrfica permitem perceber um acontecimento em
unssono de azul para azul. Nicolas Bourriaud comenta
alguns exemplos deste tipo de utilizao de imagens:
No aperto da Bienal de Veneza de 1993, Angela
Bulloch apresenta o vdeo Solaris, o filme de fico
cientfica de Andrei Tarkovski, substituindo a banda
sonora pelos seus prprios dilogos. 24 Hour Psycho
(1993) uma obra de Douglas Gordon que consiste
numa projeo da longa-metragem de Alfred Hitchcock
em baixa rotao, de modo que ela se estende ao longo
de 24 horas. Kendell Geers isola sequncias de filmes
conhecidos (um esgar de Harvey Keitel em Bad
Lieutenant [Vcio frentico], uma cena de O exorcista) e
coloca as passagens em circuito fechado nas suas
instalaes de vdeo, ou escolhe cenas de tiroteio do
repertrio cinematogrfico contemporneo para
projet-las em duas telas frente a frente (TW-Shoot,
1998-99) [3].
O crtico francs Jean-Christophe Royoux designa de
cinema de exploso os modos como so trabalhados
os tipos de exibio e receo das imagens que
interferem no ambiente de exposio e projeo [4].
Para Douglas Gordon, so operaes para apropriao
das obras consagradas do cinema que utiliza projees

em tela pendentes, colocando o espectador na posio

de impasse, entre familiaridade e estranheza [3].
Numa vdeo demonstrao de 1993, Tadeu Jungle,
apresenta dois monitores de televiso frente a frente a
mostrar fotografias de muitas personalidades. A
distoro temporal dada pela reduo da velocidade de
apresentao. Este dilogo entre cinema e a relao com
a mdia televisiva traz bons resultados para a pesquisa
artstica contempornea.
Bruce Nauman, na obra Videoperfomances (1969),
props um corpo amarrado como uma estrutura para
ser trabalhado escultoricamente, transformando o corpo
com o auxlio de formas grficas fazendo uso da ao do
corpo em si. Ao artista impe-se uma condio
reflexiva: o performer responde a uma imagem
contnua e renovada dele mesmo [5]. Nauman
demonstra que o corpo pode comportar-se como suporte
fsico, como na obra Flesh to white to black to flesh
(1968) [2].
Letcia Parente cria a obra Marca registrada (1975),
em que o gesto incide sobre o prprio corpo da artista.
Com uma agulha e linha preta borda a obra no seu
prprio p. O corpo e o trabalho so indiscernveis.
Nesta obra o corpo o suporte da ao.
Tambm Lia Chaia, na obra Desenho-corpo (2001),
faz deslizar a caneta de tinta vermelha pelo seu prprio
corpo. Comea pela barriga e aos poucos vai
preenchendo a superfcie do corpo que se apresenta
como suporte formando um emaranhado de linhas. Lia
Chaia encontra-se nua frente da cmara que regista a
ao de modo direto fazendo transmutar a sua aparncia.
As marcas so espontneas e abstratas. O deslizar da
caneta sobre a pele prope uma reflexo sobre aquilo
que separa o dentro e o fora [2].
Peter Campus executa trs exerccios curtos na obra
Three Transitions (1973), utilizando tcnicas bsicas de
manipulao de imagens e vdeo. Campus faz do vdeo a
prpria possibilidade de ao. Segundo Bill Viola, a
tentativa de criar modelos percetuais e cognitivos do
sistema nervoso central humano usando as novas
tecnologias da eletrnica analgica estava na
vanguarda desse campo [6]. J em vdeos anteriores,
Campus pretendia saber a relao entre o corpo e o
espao, entre o espectador que olha e olhado. Na obra
Three Transitions pode ver-se a personagem que corta,
mas tambm a que atravessa o corte do espao que se
abre. O corpo do vdeo confunde-se com o corpo do
artista. O corpo imaterial, pura imagem.
A artista afeg Lida Abdul, no vdeo Speaking and
remembering I and II (1999-00), excreta recortes de
papeis pela boca com auxilio da manipulao do
dispositivo. Neste vdeo o tempo real da ao
invertido, parecendo estar a colocar fora da boca o que
de facto estava a inserir. O tempo desvirtuado com
uma distoro temporal enganosa [2].
Paulo Herkenhoff, na obra Estmago Embrulhado
(1975), um trabalho dividido em trs partes, que
7th International Conference on Digital Arts ARTECH 2015

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

consiste no consumo crtico mastigando notcias de

jornais e transmiti-las s pessoas resulta numa ao
ideolgica reconstrutora da sua identidade agredida.
Em 1970, Arthur Barrio, um portugus radicado no
Brasil produz a obra De dentro para fora, em que utiliza
um televisor sobre um pedestal pretendendo demonstrar
a emergente indstria cultural.
Shigeko Kubota, na obra Duchampiana: Nude
Descending a Staircase (1976), constri uma escada de
quatro degraus com televises e nas imagens, uma
mulher nua a descer escadas. A escada apresenta-se
como uma estrutura espacial em que o prprio suporte
comporta a imagem da ao [2].

Fig. 1 - Duchampiana: Nude Descending a Staircase (Fonte:

moma.org).

Alain Fleisher explorou a relao entre o movimento

da imagem e o movimento real de objetos. Na obra E o
vento levou (1980), projeta a cena de um filme sobre as
ps de um ventilador. Desta forma mostra a relao do
homem e o movimento, procurando uma cumplicidade
entre imagem projetada e o suporte da imagem.
Os Cartes Postais (2001), obra de Lucas Bambozzi
traz uma relao direta entre o conceito mvel e imvel
dos acontecimentos e experincias do lugar vividas pelo
artista.
Algumas obras de Bill Viola e Gary Hill combinam
diferentes aspetos de instalao de videoarte. Os
avanos tecnolgicos dos projetores nos anos 80 do
sculo passado conseguem ultrapassar os limites do
monitor e surgem novas experincias com imagens. A
projeo comea a ser feita em grandes painis ou
paredes, fazendo imergir a imagem no ambiente. Gary
Hill projeta em paredes imagens de pessoas que se
aproximam e afastam do espectador, como acontece na
vdeo-instalao Tall Ships (1996).
Com estas caractersticas, Tony Oursler, na obra A
Mquina da Influncia (2000), consegue ampliar as
imagens para uma projeo pblica e criar uma
atmosfera que imerge os espectadores na situao
ambiental [2].
J o artista sul-africano Willian Kentridge retoma o
processo artesanal de desenho associado s tcnicas de
7th International Conference on Digital Arts ARTECH 2015

89

vdeo digital. Na animao utiliza o desenho a carvo,

com traos, manchas e texturas, para a inscrio de
temporalidade, como na obra Flix in Exile (1994), onde
utilizado o mesmo suporte. A imagem matriz
desdobra-se com os apagamentos consecutivos, novas
manchas, desenhos e formas geomtricas. Cada novo
desenho capturado em fotografia e animado em Stop
Motion1. Ao apagar certas formas e acentuar outras
permite a observao de oscilaes entre a apario e o
esvaecimento, presena e ausncia.
No final da dcada de 70, os artistas Bill Viola, Kit
Fitzgerald e John Sanborn, sugeriram uma reao contra
a tendncia autorreferencial que acompanhava os
avanos nas tcnicas de produo de vdeo. As suas
obras eram frequentemente fornecidas a estaes de
televiso e transmitidas. Demonstravam uma
sofisticao na montagem de imagem e som que se
tornaria o padro nas dcadas seguintes.
Dara Birnbaum, com a utilizao de fragmentos de
material de televiso no editado combinado com pistas
sonoras de rock, veio a influenciar o gnero britnico de
Video Scratch. Este estilo tornou-se popular atravs
de George Barber e os irmos Edredon, e rapidamente
foi apropriado pelos diretores de televiso [2].
Em 1990, instalaes de vdeo eram apresentadas em
vrias exposies internacionais com presena regular
em galerias e museus. Assumiram autoridade atravs do
trabalho de artistas como Gary Hill e Marie-Jo
Lafontaine. Com o desenvolvimento da informtica a
videoarte j no dependente de uma instalao em
contexto de galeria. Conforme foram aparecendo novos
formatos, os vdeo-artistas incorporam-nos nas sus obras
que se tornaram parte de uma rede cada vez mais
elaborada de comunicao eletrnica.
III. GEOMETRIA FRACTAL E VIDEOARTE
A geometria fractal possui algumas propriedades
especiais como a auto-semelhana, ou seja, a parte
uma reproduo exata ou apenas estatstica do todo, que
as figuras geomtricas como retngulos, crculos e
quadrados no possuem. As imagens fractais
incorporam elementos visuais que no seu conjunto
transportam comummente uma forte carga esttica,
havendo at artistas contemporneos que reclamam a
arte fractal como uma forma de arte que cultiva
elementos de fragmentao e pulverizao.
Geralmente os fractais so descritos como padres
infinitamente comprimidos dentro de um espao finito.
No importa quais as suas caractersticas especficas ou
mtodos de gerao, pois todos so baseados em algum
tipo de sequenciao ou recursividade, desempenhando
1
Stop motion uma tcnica de animao fotograma a
fotograma (ou quadro a quadro), usando como recurso uma
mquina fotogrfica. Tambm um efeito visual que permite
atrasar artificialmente uma ao com a finalidade de aumentar
o impacto visual ou emocional.

90

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

as frmulas matemticas um papel menor se

comparadas com os poderes iterativos em ao.
Com o recente desenvolvimento das tecnologias
informticas os fractais tornaram-se facilmente
acessveis ao grande pblico que pode aplicar frmulas
matemticas complexas e recursivas repetindo
continuadamente um modelo padro.
Muitos artistas colocam em causa se as imagens
fractais so arte. Esta polmica remonta criao das
primeiras obras a partir da dcada de 1980. Devido
simplicidade das imagens inicialmente produzidas
tornaram-nas pouco credveis como obras de arte.
A arte fractal uma arte contempornea que nasceu,
desenvolveu e tomou forma com o advento do
computador. Esta arte est nos estgios iniciais de
desenvolvimento como forma de arte aceite de forma
independente. Embora as aplicaes prticas dos fractais
sejam cada vez maiores em diversas reas, o que mais
contribui para a sua divulgao a espetacularidade das
imagens produzidas.
A esttica fractal veio romper com os padres
ordenados da esttica clssica. O realismo e beleza
desconcertante dos objetos fractais uma fonte de
inspirao e objeto de trabalho de vrios artistas.
A maior evidncia nos objetos fractais a sua
componente esttica, uma beleza surpreendente,
incontestvel e ambgua. Estes objetos transportam-nos
para mundos fantsticos onde a fantasia nunca foi to
real.
O artista fractal Kerry Mitchell escreveu o texto The
Fractal Art Manifesto onde o mesmo expe o que
entende por arte fractal. Este texto tornou-se um clssico
e tem servido de base para outros textos que abordam
esta nova forma de arte.
Kerry Mitchell defende que os artistas fractais so to
capazes quantos os tradicionais, da mesma forma que
um fotgrafo consegue expressar ideias e emoes
atravs do jogo de luz e sombras, o artista fractal
capaz de passar as mesmas sensaes, uma vez que
partilham a mesma tradio das artes visuais [8].
Segundo Mitchell, a arte fractal surgiu como gnero
quando em 1985 foi publicado um artigo na revista
Scientific American, por A. K. Dewdney [7], sobre o
conjunto de Mandelbrot.
Ao longo destes anos a arte fractal tem vindo a
libertar-se da simples gerao de imagens fractais em
computadores e tem gradualmente invadido outros
espaos.
Atualmente a internet tornou-se um lugar onde
facilmente se pode encontrar videoarte fractal. A
facilidade de criar um vdeo original tem levado muitas
pessoas a desenvolver as suas habilidades e capacidades
artsticas. A videoarte fractal ir evoluir e os futuros
historiadores vo descrever este perodo como uma nova
experincia humana.

Fig. 2 - Fractal Animation 23 (Fonte: vdeo de Antnio

Domingos).

A videoarte uma subclasse do audiovisual. A

gerao de videoarte fractal pode ser considerada
trabalho artstico, um exerccio matemtico ou apenas
uma diverso. A videoarte fractal distinta de outras
atividades digitais. Citando o artista fractal Ken Keller:
A arte fractal uma nova maneira de olhar para a
forma do espao. Por meio do computador abriu-se
uma nova viso de ver o mundo. A videoarte fractal
no pode ser considerada fora do contexto da arte, pois
toda a diversidade de formas e expresso artsticas s
podem ser compreendidas no mbito da arte
contempornea.
Na cultura digital a interatividade mediada
primordialmente, no pelos meios digitais propriamente
ditos, mas pela internet que coloca a interao numa
escala global e deslocalizada, uma interao que j no
de um para um, mas de um para milhes. uma
interao que s possvel no mbito do fluxo de dados,
da rpida transmisso de informaes. Para Popper, A
tomada de conscincia desse fenmeno por jovens
artistas, mas tambm por artistas engajados h muito
tempo na valorizao de tcnicas para fins estticos o
ponto essencial nesse desenvolvimento. a partir desse
momento que se pode falar de uma arte da tecnocincia,
de uma arte em que intenes estticas e pesquisas
tecnolgicas fundadas cientificamente parecem ligadas
indissoluvelmente e, em todo caso, se influenciam
reciprocamente [9].
A arte contempornea existe numa poca de
convergncia meditica onde se utiliza o digital para
suportar a importncia do artista numa cultura que
funciona como um catalisador onde a evoluo depende
de processos tecnolgicos.
Para criar videoarte fractal no necessrio ter
grandes conhecimentos de geometria ou matemtica. Os
programas usados para a criao de fractais so simples
de utilizar, mas muito complexos nos clculos. O
resultado depende da sensibilidade do artista e das
capacidades de domnio das ferramentas.
A videoarte fractal uma instanciao da videoarte
que nasceu e desenvolveu com as mais recentes
tecnologias da informao e comunicao. Sem estas
7th International Conference on Digital Arts ARTECH 2015

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

91

tecnologias seria impossvel criar e observar os

resultados em espaos fsicos ou virtuais. O computador
como ferramenta possui capacidades quase infinitas.
Contudo, no a ferramenta que cria a arte, o artista.
IV. PROJETO DE EXPERIMENTAO
Uma das principais formas de expresso da arte
digital a criao de imagens com recurso a ferramentas
informticas (programas de computador), como o
Apophysis 3D Hack2, utilizado neste projeto. Estas
ferramentas recorrem a frmulas mais abrangentes do
que as descritas pela geometria fractal para criar
imagens.
Os motivos que levam a criar vdeo so os mesmos da
criao de imagens: o fator experimental e a
possibilidade de criar algo completamente novo e
inusitado, permitindo que se vivenciem diferentes
sensaes, algo nico que cada observador perceciona.
Neste caso interessante observar as formas que a
matemtica e geometria assumem. Ao juntar a cincia,
tecnologia e arte, resulta uma miscelnea de descoberta,
criao e expresso artstica.
Entender e compreender o vdeo tambm importante
em todo o processo criativo. Quanto mais trabalho,
empenho e conhecimento de arte tiver o autor ou artista,
melhor sero os resultados obtidos. Citando Jerome
Salinger3: "A tarefa de um artista aspirar a certo grau
de perfeio".
A ferramenta de criao Apophisys 3D Hack
Inicialmente foram equacionados dois programas
freeware que permitissem abordar a vertente vdeo na
arte fractal: o Mandelbulb 3D e o Apophysis 3D Hack.
O Mandelbulb 3D efetua uma visita virtual a objetos
fractais em 3D, enquanto o Apophysis 3D Hack possui
uma maior liberdade de criao porque utiliza uma
linguagem de programao baseada em scripts4.
Depois de efetuada uma anlise e apreciao sobre as
possibilidades de cada um veio a optar-se pelo
Apophysis 3D Hack por se considerar o que melhor se
enquadrava no que era pretendido.
A ferramenta Apophysis 3D Hack permite criar em
menos passos animaes a partir de dezenas ou centenas
de imagens, possibilitando modelao tridimensional,
aplicao de paletas de cor, entre outras opes, sendo o
mais importante, a criao e execuo de programao
baseada em scripts, por forma a ter o mximo controlo
sobre o que criado.

Disponvel em http://apophysis.org/
Jerome David Salinger (1919-2010) foi um escritor norteamericano.
4
Script (do latim scriptum, escrito) uma linguagem de
programao executada no interior do programa.
3

7th International Conference on Digital Arts ARTECH 2015

Fig. 3 Aspeto da ferramenta Apophysis 3D Hack.

A simplicidade da interface permite a utilizao sem

necessidade de qualquer domnio da matemtica
subjacente. possvel uma interveno criativa
individual com a finalidade de produzir a prpria
imagem fractal nica, uma vez que os fractais so por
definio infinitos. Apesar dos algoritmos que geram as
imagens serem relativamente simples, a quantidade de
clculos que o programa realiza so enormes, podendo
demorar vrias horas, ou at dias a produzir centenas de
imagens necessrias criao de vdeos.
Para a criao de imagens so indicados valores
iniciais, nmeros de iteraes, parmetros para a cor,
vrias coordenadas, entre outros. A partir do conjunto
quase infinito de parmetros selecionados geram-se as
imagens. Podemos seguir a sua formao no ecr do
computador, no entanto, no temos qualquer informao
que nos permita compreender os clculos que so
executados. As figuras abaixo ilustram dois exemplos de
arte digital criadas com programa Apophysis 3D Hack.

Fig. 4. Exemplos de fractais criados em APOPHISYS 3D

HACK.

Existem vrios modelos ou formas fractais que esto

disponveis para serem utilizados, podendo ser
trabalhadas ou alteradas pelo utilizador. Possui tambm
um editor de transformao para criar ou modificar
diversas variveis, gerando imagens abstratas ou
movimentos, que resultam em efeitos visuais apelativos.

92

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

SOM/MSICA:

Fig. 5. Aspeto do menu Transform Editor para configurar a

forma inicial.

Cada alterao nas variveis envolvidas produz

efeitos imediatos que podem ser observados numa
pequena janela do menu Transform Editor. Na maioria
dos casos tudo o que preciso para efetuar uma
alterao ou modificar o flame (chama) mover ou
redimensionar alguns tringulos. Tambm possvel
criar, editar e executar os scripts. A possibilidade do
prprio autor criar o seu script e utiliz-lo da maneira
que entender para criar os efeitos pretendidos, torna o
programa muito verstil e poderoso.
Os fractais flame so algoritmos que geram imagens e
animaes baseadas no software escrito em 1992 por
Scott Draves [10] e pertencem classe dos fractais IFS
(Iterated Function System). Desenvolvem uma
linguagem visual orgnica calculada de maneira
diferente da maioria dos fractais, j que o algoritmo
calcula todo o conjunto fractal de uma s vez sem
recorrer aos tradicionais processos iterativos [11]. Os
fractais flames esto na base do programa Apophysis 3D
Hack.
Em suma, a ferramenta Apophysis 3D Hack apresenta
um ambiente que inteiramente grfico. A interface
simples facilita a utilizao e todos os parmetros
podem ser editados por meio de menus, barras, ou
escolha simples.
ELEMENTOS DA EXPERIMENTAO
Seguidamente descrevem-se alguns elementos
considerados relevantes na criao de imagens e vdeos
fractais.
COR:
A paleta utilizada como referncia sobre todo o
sistema, que se traduz na composio visual final. A
ferramenta j possui por defeito algumas centenas de
combinaes de paletas de cor. Nas paletas individuais
ainda existe uma extensa gama de combinaes
possveis de modo a permitir selecionar a combinao
de cor desejada. Tambm possvel selecionar a gama e
brilho de cada cor.
A paleta de cores selecionadas para os vdeos criados
resultou de um apuramento natural que decorreu ao
longo das diversas experincias realizadas.

Nos vdeos optou-se por utilizar sons/msicas

disponveis na internet de acesso gratuito em que a
licena permite a sua utilizao em trabalhos
individuais. Tambm se procurou utilizar sons que
tivessem sido criados por tcnicas eletrnicas de modo a
coexistir com o vdeo de forma harmoniosa.
As fontes de sons utilizados nos vdeos foram
essencialmente: ADC Level5, Karsten Keppel6 e
Palancar7, utilizados sob a licena Commons Attribution
Non Commercial No Derivs 3.0 Unported8. Todavia,
existem na internet outras fontes onde se pode
descarregar de forma gratuita sons para utilizao
pessoal. importante destacar a forma como som e
vdeo se complementam para alcanar o resultado
pretendido.
SCRIPTS:
A ferramenta Apophysis 3D Hack apenas cria imagens
individuais, no entanto, como foi referido anteriormente,
esta ferramenta permite utilizar e correr uma linguagem
de programao baseada em scripts. Em baixo, um
exemplo de cdigo9 de programao script utilizado na
ferramenta.
//**************************************
t := 3;
Clear;
for i := 0 to t - 1 do
begin
AddTransform;
r := random * 2 - 1;
if ((0 <= r) and (r < 0.2)) then
r := r + 0.2;
if ((r > -0.2) and (r <= 0)) then
r := r - 0.2;
s := random * 2 - 1;
if ((0 <= s) and (s < 0.2)) then
s := s + 0.2;
if ((s > -0.2) and (s <= 0)) then
s := s - -0.2;
theta := PI * random;
phi := (2 + random) * PI / 4;
with Transform do
begin
a := r * cos(theta);
b := s * (cos(theta) * cos(phi) - sin(theta));
c := r * sin(theta);
d := s * (sin(theta) * cos(phi) + cos(theta));
e := 1 + 0.3 * random;
f := 1 + 0.3 * random;
end;
end;
5

Disponvel em: http://www.jamendo.com/en/artist/587/adclevel

6
Disponvel em: http://www.kk3d.de/music/index.htm
7
Disponvel em: http://archive.org/details/earman101
8
Disponvel em: http://creativecommons.org/licenses/by-ncnd/3.0/
9
Disponvel em: http://apophysis.org/tutorials/scripts4.html
7th International Conference on Digital Arts ARTECH 2015

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

for i := 0 to Transforms - 1 do
begin
SetActiveTransform(i);
Transform.Color := i / (Transforms - 1);
Transform.Weight := 1 / Transforms;
end;
ResetLocation := True
//**************************************

Dos
vrios
scripts
existentes
disponveis
gratuitamente na internet, optou-se pela utilizao do
script Render Flam 310, de Giovanni Rubaltelli,
utilizado sob licena GPL11. Um script criado com o
propsito de expandir as capacidades de uma
determinado programa de computador e tem como
finalidade produzir resultados que de outro modo no
seria possvel obter normalmente.
Sem a utilizao de scripts as imagens seriam criadas
sem qualquer transio entre as mesmas o que
inviabilizaria a criao de sequncias animadas. A
utilizao de scripts importante porque permite maior
liberdade criativa.
VARIAES E TRANSIES:
A ferramenta possui vrias variaes de fractais
predefinidos. Podemos encontrar as variaes: linear,
sinusoidal, spherical, swirl, horseshoe, polar, entre
muitas outras.
Quando se procede criao de um vdeo tem que se
definir quais as transies pretendidas e quanto tempo se
pretende entre transies. Para norma, definiu-se um
perodo de 30 segundos entre as transies de cada
variao.
Desta forma, quando se inicia a sequncia da variao
a execuo do script muito importante pois vai
permitir que o programa efetue o clculo das vrias
dezenas de imagens que finalizam uma variao e
iniciam a variao seguinte, sem quebra visual entre
diferentes variaes e transies. Este processo
conhecido por morphing12. Para realizar um morphing
procede-se rodagem na imagem dos elementos que
participam na transformao. O elemento de origem
(por exemplo o rosto de um homem) e o elemento final
(seguindo o exemplo, pode transformar-se no rosto de
outro homem, mulher, um animal, etc.). O programa
corre o script para processar ambos os elementos,
estabelecendo pontos comuns entre o elemento inicial e
o elemento resultante da transformao. O script
10

Disponvel em: http://exper.3drecursions.com

GPL, General Public License (Licena Pblica Geral) uma
designao da licena para software livre que foi idealizada
por Richard Matthew Stallman em 1989, no mbito do projeto
GNU da Free Software Foundation (FSF).
12
Um morphing, anglicismo construdo a partir da palavra
grega (forma) um efeito especial que utiliza a
animao por computador para transformar a imagem de um
objeto na imagem de outro objeto. Utiliza-se para criar a iluso
da transformao de uma coisa noutra coisa.
11

7th International Conference on Digital Arts ARTECH 2015

93

utilizado para calcular e gerar as sucessivas imagens e

todas as etapas intermedias da transformao digital.
REA VISUAL:
O programa pode trabalhar com imagens at 3200 x
2400 pixis de resoluo. Embora essa resoluo seja
utilizada normalmente na criao de wallpapers13,
quando se pretende criar vdeos essa resoluo tem
necessariamente que ser mais baixa devido quantidade
de imagens e complexidade dos clculos necessrios
sua criao. possvel criar vdeos com qualidade Full
HD14, mas seriam necessrios vrios dias para processar
alguns minutos de vdeo, mesmo com os mais recentes
equipamentos informticos.
Inicialmente teve que se estabelecer uma resoluo
padro para o vdeo de modo a no colocar em causa a
relao entre qualidade e rapidez de processamento. A
opo tomada foi de encontro dimenso tpica da
janela de visualizao do Youtube, uma resoluo de
640 x 360 pixis com a proporo de ecr 16:9.
Esta resoluo permite uma qualidade baixa
comparativamente ao Full HD. Foi uma soluo de
compromisso. Para melhorar a qualidade e resoluo
dos vdeos teria que existir maior capacidade de clculo
ou mais tempo de processamento.
ESTTICA E IDENTIDADE VISUAL:
Considera-se aqui identidade visual como o conjunto
sistematizado de elementos grficos que identificam
visualmente um produto ou evento (imagem, vdeo,
conjunto de cores).
Nos projetos de criao de vdeo pretende-se que a
identidade visual se mantenha durante toda a
visualizao. Apesar das variaes entre transies que
compem o vdeo, existiu a necessidade de manter uma
uniformidade visual. Nos primeiros vdeos criados no
se considerou essa uniformidade, simplesmente se
selecionavam as variaes no programa e o script
encarregava-se de processar e criar as centenas de
imagens que iriam formar o vdeo. Esse procedimento
resultava numa transio mais abrupta entre variaes
resultando num efeito visual menos agradvel.
Posteriormente foram criados vdeos com variaes da
mesma famlia e os resultados tenderam para
transies mais suaves.
Ao longo do processo experimental os vdeos
produzidos foram atingindo nveis cada mais elevados
de coerncia visual, vindo a corresponder a uma sntese
entre intelecto e emoo, entre o princpio da ordem e o
da intuio do criador.

13

Wallpaper, em Portugus, padro de fundo.

Full HD, a sigla de Full High Definition, que significa
Mxima Alta Definio. A resoluo associada de
1920x1080 (2.1 megapixel), com proporo de ecr 16:9.
14

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

94

MONTAGEM FINAL
Para juntar as centenas de imagens criadas utilizou-se
o programa VirtualDub15, de utilizao gratuita. Com
este programa possvel editar vdeos, adicionar efeitos,
ajustar compresses de udio e vdeo, etc. Atravs de
filtros possvel aumentar as suas capacidades, como:
cortar, redimensionar, inverter, converter para preto e
branco, ajustar contraste, brilho, saturao, etc.
Para a montagem final e exportao dos vdeos
utilizou-se o programa iMovie16, um programa que faz
parte da sute de aplicativos criados pela Apple.

seguintes contm caractersticas diferenciadoras quanto

tcnica, contedo visual e esttico.
Iniciamos a anlise pelo vdeo Fractal Video 12
disponvel em:
http://www.youtube.com/watch?v=3gsuvf30K6U
Este vdeo foi criado nos momentos iniciais do
processo de experimentao. Existia pouco domnio da
utilizao da ferramenta Apophysis 3D Hack. Nesta fase
no foram considerados elementos como: variaes,
transies, cor, esttica e identidade visual. Apenas
eram considerados os elementos essenciais para a sua
criao. O resultado foi um vdeo visualmente simples
mas incoerente nas suas transies se comparado com os
vdeos criados em pleno processo de experimentao.

Fig. 6. Aspeto do programa iMovie.

Fig. 7. Aspeto do Fractal Video 12.

O iMovie permite ao utilizador editar e criar os seus

prprios filmes. Depois de importado o vdeo base
criado no VirtualDub possvel editar, cortar, colar,
inserir ttulos e pistas sonoras. Inclui ainda vrios efeitos
para correo de cor, ferramentas para melhorar os
vdeos, transies e efeitos de apresentao.
A exportao do vdeo pode ser feita para vrios
formatos e resolues, incluindo exportao direta para
o YouTube, Vimeo e Facebook. Foi selecionado o
tamanho mdio de resoluo para todos os vdeos
criados. No iMovie, este tamanho corresponde a uma
resoluo de 640 x 360 pixis, codificado com o codec
H.26417, a 30 fps e 1,7 Mbps de taxa de amostragem. Foi
mantida a mesma resoluo da imagem desde a criao
com o programa Apophysis 3D Hack at visualizao
final no Youtube.

Nesta fase do trabalho j se procedia montagem dos

vdeo com o programa iMovie, que permite inserir o
ttulo no incio e as referncias tcnicas no final. No
existia qualquer preocupao com a paleta de cores ou
outros efeitos mais elaborados que resultassem num
trabalho final mais depurado.
Contudo, o som j era considerado um elemento
importante na criao do vdeo. Neste aspeto sempre
existiu uma ateno para que o som formasse com o
vdeo uma relao harmoniosa, de modo a potenciar o
audiovisual.
H que referir que nesta fase a experimentao
sucessiva foi essencial. S assim se conseguiu uma
evoluo criativa e esttica que se baseou na
comparao entre resultados sucessivos.
Numa primeira anlise o segundo vdeo pouco difere
do anterior. No entanto, existem diferenas substanciais
que no so imediatamente detetadas sem fazer uma
descrio mais pormenorizada dos acontecimentos e
procedimentos adotados na sua criao. A figura 2
apresenta uma imagem deste vdeo. Trata-se do vdeo
Fractal
Animation
23,
disponvel
em:
http://www.youtube.com/watch?v=wPF9LDjQ7oc
O processo adotado foi anlogo ao vdeo
anteriormente analisado. A diferena em causa
relaciona-se com uma rea mais tcnica da criao.
O programa Apophysis 3D Hack produz imagens em
formato PNG18 ou JPG19. Estas imagens (frames) podem

V. ANLISE DE RESULTADOS
Para este trabalho foram criados vrias dezenas de
vdeos. Cada um o resultado de um processo de
criao individual. Para o efeito foi criado um blogue e
um canal no Youtube. Em seguida efetua-se a anlise
comparativa de trs vdeos exemplificativos do trabalho
de experimentao criativa realizado. Os exemplos
15

Disponvel em: http://www.virtualdub.org/

Disponvel em: http://www.apple.com/
17
H.264 ou MPEG-4 parte 10, uma norma que define um
codec de vdeo de alta compresso.
16

18

PNG (Portable Network Graphics).

7th International Conference on Digital Arts ARTECH 2015

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

ser renderizadas com fundo base preto ou transparente

conforme seleo feita no programa. Neste vdeo foi
efetuada a seleo para o modo transparente das
imagens PNG. Finalizado o processo de renderizao
veio a verificar-se que no correspondia aos padres dos
vdeos antecessores porque existiam deformaes nas
imagens.
Depois de se proceder a uma anlise mais detalhada
das imagens e processo de criao, presumiu-se que o
programa VirtualDub utilizado para juntar as centenas
de imagens produzidas no trata da mesma forma as
imagens PNG com fundo transparente, como trata o
mesmo formato com o fundo base preto.
Detetado o problema, as vrias centenas de imagens
com fundo transparente foram convertidas para formato
JPG. Procedeu-se novamente juno e verificou-se que
os padres anormais que inicialmente tinham surgido no
vdeo j no existiam.
Desta experincia conclui-se que deve existir um
cuidado especial na definio de um fundo transparente
na renderizao de imagens.
Por ltimo, analisa-se o vdeo Fractal Animation 32
disponvel em:
http://www.youtube.com/watch?v=0tLKxfNDMGk
Este pode ser considerado um vdeo com algumas
caractersticas mais elaboradas tanto a nvel esttico
como sonoro.

95

Da anlise sumria a estes trs vdeos podem retirarse algumas concluses. No primeiro vdeo analisado
houve pouca preocupao na componente compositiva,
esttica e sonora. Foi basicamente criado a partir de
pequenas selees e variaes no programa.
O segundo, apesar de ser um vdeo anlogo ao
anterior, foi na parte tcnica que se verificaram as
deformaes visuais, tendo sido posteriormente
contornadas. Quando se utilizam fundos transparentes
deve ter-se especial cuidado nas fases de criao,
processamento e produo de vdeos com estas
ferramentas.
O ltimo vdeo analisado foi tambm um dos que
levou mais tempo a projetar e processar. Procurou-se
que fosse um vdeo uniforme baseado em vrias
transies de variao da mesma famlia, mantendo
tambm a mesma paleta de cores.
Por mais vdeos que sejam criados, o ltimo, por
norma, dever ser melhor que os antecessores. Esta a
base da experimentao. Haver sempre algo que nunca
est terminado, num processo constante de superao do
resultado previamente atingido.
Para criar videoarte fractal no necessrio ter
conhecimentos especiais de geometria ou matemtica.
As ferramentas informticas utilizadas na criao de
fractais so em geral simples de utilizar, mas muito
complexos nos clculos subjacentes.
As cores e formas tambm so aplicadas com base
em frmulas matemticas e o resultado depende da
sensibilidade do artista e das suas capacidades de
domnio da ferramenta.
A escolha da ferramenta de criao e o domnio na
sua utilizao foi importante e permitiu um crescendo de
aprendizagem e evoluo tcnica aliado a um aumento
da qualidade visual dos resultados obtidos.
VI. VALIDAO DE RESULTADOS

Fig. 8. Aspeto do Fractal Video 32.

Neste vdeo optou-se por manter a mesma linha de

variaes nas transies. Se o visual se mantm
basicamente idntico devido ao mesmo tipo de variao,
esteticamente tambm se mantm mais uniforme. Este
visual deveu-se escolha baseada em seis variaes da
famlia Horseshoe. Outro aspeto considerado foi a
utilizao da mesma paleta de cores nas variaes, que
permitiu uma grande uniformidade visual.
A seleo do som foi mais criteriosa de modo a
melhorar ainda mais o conjunto. Tambm se procedeu
mudana de tamanho de letra na abertura e na ficha
tcnica. Trata-se de uma das experincias melhor
conseguidas.

A validao de resultados aqui apresentada baseou-se

em dados estatsticos fornecidos pelo Google atravs do
blogue e canal no Youtube desde o incio da
experimentao at 31 de outubro 2014. No blogue
foram criados 249 artigos e disponibilizados 47 vdeos
no Youtube.
No blogue (http://galeriafractal.blogspot.pt/) foram
disponibilizadas imagens e vdeos criados desde o incio
do trabalho. Conforme se pode observar na tabela 1,
foram visualizadas 1751 pginas desde a sua criao.

19

JPG (ou JPEG) um mtodo comum usado para comprimir

imagens fotogrficas.

7th International Conference on Digital Arts ARTECH 2015

Tabela 1. Histrico das visualizaes no blogue.

96

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

Na tabela 2 podem observar-se quais os artigos mais

visualizados durante este perodo.

Tabela 3. Vdeos mais visualizados no Youtube.

Tabela 2. Artigos mais visualizados no blogue.

No
canal
do
Youtube
disponvel
em:
http://www.youtube.com/channel/UCiCvEPPtOsJ5WWOEpp-6_w foram disponibilizados 47 vdeos, que
foram visualizados 780 vezes, como demonstra a figura
9. A estimativa do tempo gasto na visualizao dos
vdeos foi de 491 minutos e um tempo mdio de
visualizao de cerca de um minuto e meio por vdeo.

Fig. 9. Desempenho - visualizaes totais e estimativa de

minutos vistos.

Na tabela 3 pode constatar-se que o vdeo mais

visualizado at data foi o Fractal Animation 42,
seguido do Fractal Animation 32 e do Fractal
Animation 22.
Deste resumo da validao de resultados podem
retirar-se algumas concluses. No blogue verificou-se
uma pequena quantidade de artigos visualizados. A
grande maioria dos artigos s foram visualizados uma
ou duas vezes. As consultas ao blogue so feitas
maioritariamente por utilizadores dos EUA. Durante o
perodo referido apenas se verificou um comentrio a
um artigo.
No canal do Youtube o panorama no diferente. A
quantidade de vdeos disponibilizados menor
relativamente s imagens no blogue. Contudo, verificase que existem vdeos que ultrapassaram vrias dezenas
de visualizaes. Foram tambm contabilizados 10
comentrios e 3 subscries ao canal do Youtube. A
grande diferena que se observou foi terem sido
predominantemente os utilizadores portugueses a
visualizarem os vdeos.
Desta validao verifica-se o seguinte: ou no existe
interesse na videoarte fractal, ou imensa quantidade de
videoarte existente na plataforma, que no permite a
quantidade de visualizaes que seriam desejadas para
fazer uma anlise mais aprofundada. No entanto, pode
concluir-se que o Youtube a plataforma que possui
uma base de utilizadores mais abrangente.
Os resultados obtidos foram condicionados pelas
amostras dos vdeos produzidos que, por serem amostras
de
convenincia,
no
permitiram
concluses
generalizveis. Alm disso, os vdeos sofrem de vrias
limitaes: a mais importante o relativo reduzido
nmero de visualizaes no blogue e canal do Youtube
onde os mesmos se encontram disponveis.

7th International Conference on Digital Arts ARTECH 2015

A. Domingos and A. Marcos / Experimentando a criao de videoarte fractal

VII. CONCLUSES
Os ambientes artsticos fractais surgiram em meados
dos anos 90 do sculo XX, aps o advento da internet.
Contudo, a definio de arte fractal ainda no
totalmente aceites.
A videoarte fractal atual maioritariamente uma
forma de arte que produzida e reproduzida, para e pela
internet. A criao de uma obra de arte digital leva a um
processo de experimentao sucessiva, atravs da
necessidade de superao dos resultados anteriormente
conseguidos.
Neste artigo descreveram-se as possibilidades de
utilizao da geometria fractal na criao de videoarte,
atravs a explorao de ferramentas tecnolgicas de
apoio ao processo criativo. Foi apresentado o processo
de experimentao artstica de criao de vdeo com
base em fractais recorrendo ferramenta Apophysis 3D
Hack e descritos e analisados os resultados atingidos.
Tambm se pretendeu demonstrar o contributo que
geometria fractal pode trazer arte digital, como a
estreita relao que sempre existiu entre a matemtica,
tecnologia e a arte.
Conclui-se com este trabalho que videoarte fractal
como um gnero de arte tambm um fator
fundamental no que se considera a construo de uma
sntese expansiva das artes: tempo e espao, plstica,
msica, imagem e som, experimentao e comunicao.
Essa condio ampliada, que representa uma das
dificuldades para abordar as significaes, tambm
permite questionar as definies exclusivas que limitam
as tarefas artsticas. nesta transdisciplinaridade, onde
tambm parece radicar outra das particularidades deste
fenmeno sincrtico, hbrido, instvel.
No mundo da arte digital, os vdeos de arte fractal que
so produzidos no procuram expressar o mundo real.
Os vdeos representam mundos imaginrios por vezes
de difcil classificao. A videoarte fractal requer novos
conceitos para ser percebida e explicada, porque a
matria fractal leva-nos a espaos e dimenses que
exigem explorao interior.
A arte e a tecnologia incitam a uma experincia
criativa. Os avanos tecnolgicos sugerem novas
possibilidades de manipulao e criao artstica. A
videoarte fractal est disponvel para quem queira
experimentar, apreciar e evoluir se necessrio, em um
caminho feito de questionamento que afinal subjaz a
todo o processo criativo.
REFERNCIAS
[1] R. Costa, Do Tecnocosmos tecnoarte. in: A Arte do sc.
XXI: a humanizao das tecnologias, 4 ed, So Paulo:
Editora UNESP, 1997.
[2] A. Neves, Histria da arte 4: modernismos e arte
contempornea, Vitria: Universidade Federal do Esprito
Santo, 2011.

7th International Conference on Digital Arts ARTECH 2015

97

[3] N. Bourriaud, Ps-Produo, So Paulo: Martins Fontes,

2009.
[4] F. Dubois, Movimentos improvveis, o efeito cinema na
arte contempornea, Rio de Janeiro: Catlogo da
exposio: Centro Cultural do Banco do Brasil, 2003.
[5] R. Krauss, Vdeo: a esttica do narcisismo, in: Arte &
ensaios n 16, Rio de Janeiro: Escola de Belas Artes
UFRJ, pp. 144-157, 2008.
[6] B. Viola, Peter Campus: image and self, in: Art in
America Magazine, Feb. 01, 2010.
[7] A. K. Dewdney, "Computer Recreations: A computer
microscope zooms in for a look at the most complex object
in mathematics", Scientific American 253, n. 2, pp. 16-24,
agosto 1985.
[8] K. Mitchell, Kerry Mitchell Art, [Em linha]. [Consult. 01
nov. 2014 - 20H30]. Disponvel na www: <URL:
http://kerrymitchellart.com/articles/manifesto/famanifesto.html>.
[9] F. Popper, As Imagens Artsticas e a Tecnocincia (19671987) in: Imagem Mquina: A era das tecnologias do
virtual, 3 Reimp. So Paulo: Editora 34, 2008.
[10] S. Draves, Electric Sheep, 2013, [Em linha]. [Consult.
02 nov. 2014]. Disponvel na WWW:URL<
http://www.electricsheep.org/>.
[11] S. Draves, and E. Reckase, The Fractal Flame
Algorithm, 2003, [Em linha]. [Consult. 02 nov. 2014].
Disponvel
na
WWW:URL<flam3.com/flame.pdf>.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

99

Generative Design and Information Visualization

Ana Filomena Curralo
Polytechnic Institute of Viana do Castelo

Abstract This paper explores an algorithmic

approach to communication design, specifically concerning
interactive data visualization, towards user-led forms of
collaborative content creation. This cross-disciplinary
method targets better design performances, applying
algorithmic language and thinking to information
visualization. There is an increasing demand for visual
interfaces that allow users to extract precise information
with no overload and an efficient use of time, thus avoiding
frustration due to inefficient display. Hence, design plays a
key role in the conception and implementation of visual
environments displaying information, and also in solving
visual communication problems. In a traditional approach,
conventional tools already included programming to
generate digital representation. Algorithmic thinking
requires a step-by-step project, explicit relationships
between elements, prioritized requirements and enhanced
control mechanisms. Ultimately, this allows assessing
composition dynamics and adjusting data representation,
performing also as a source of inspiration and selfexpression. Instead of presenting motionless graphics,
designers and other users can interact, incorporating
dynamics from the artefacts production, in a system that
constitutes a design experience.
Index Terms

Communication design,
information visualization, algorithmic approach,
digital representation, generative paradigm,
produsage, design experience.

I. Introduction
Within the theoretical framework of generative design,
we explored mathematical programming. Designers have
left the front seat of passive assembly lines of program
users, becoming active produsers. In this scope, the
alliance postscript/design constitutes an aesthetic strategy
applied to the inner structure of creative work: the code.
Autonomous generation is a tool available for Design
and a challenge for information display. The search for
new solutions and innovation, particularly artistic
strategy, clearly benefits from generative methods,
allowing the assessment of composition changes and
tailoring them to efficient data representation and
visualization. This strategy does not merely concern
surface or beauty, but rather constitutes a networked,
cross-disciplinary approach, with clearly defined ideas
and paths to follow.
Through mathematical codes, basic visual elements
create visual forms, enhance imagination and boost

7th International Conference on Digital Arts ARTECH 2015

bolder graphic solutions, through unexplored and

unsuspected territories of visualization. The results of the
process can be described as situational. They are
subsequent to an electronic device, not a univocal
consequence of the designers intents. There are multiple
agents participating in the production process. These
include human agents, namely determining the rules.
Moreover, to experience an artefact is not something
the designer performs in a vacuum. It happens in a
dynamic relationship with other experienced objects,
places and people. The quality of the experience
therefore changes over time, since it is influenced by
different events and situations through life [1]. The
design experience depends on perception from multiple
sensory variables, which are interpreted through filters in
turn shaped by contexts.
This research aims to respond to the need to generate
user-friendly data display, involving software operation
and output accuracy, and also Design methods to create
innovative visual interfaces, providing the viewer an
agreeable experience, encouraging data search and use.
II. The Early Days of Generative Design
Computing, programming and algorithms are key
elements for visual production programmers and artists
engaged in countless experiments, discovering
unexpected and fantastic visual results as produsers [2].
Computers became tools for the artists creative process
during the 1960s, with the first achievements in
computer graphics. Creative projects assisted by a
computer have set a historical rupture. Henceforth,
computers would participate in acts of creation,
something that until then only men could achieve.
The researcher Philip Galanter [3] defines Generative
Art artistic movement as any artistic practice in which
the artist creates a process, a set of language rules for a
computer program, a machine, or any invented procedure
to generate with some degree of autonomy. For Geoff
Cox [4], Generative Art applies to all automated art
works, through instructions or rules of execution.
Rather than a direct consequence of the artists
intentions, the outcome essentially becomes art through
the device or circumstance. The product is characterized
by multiple actors in the creative process, including

100

A. Curralo / Generative Design and Information Visualization

human when setting the mathematical rules. According

to Susanne Jaschko, in Contemporary Art and Design
[5], the first obvious aesthetic and conceptual quality of
Generative Art is Generativity, which is Natures
essential model. In effect, aesthetic ideals and concepts
have always been most heavily influenced by Nature.
Generativity involves emergence, appearance, the act
of revealing, showing or making visible an event, object,
or the result of a process. Etymologically, the term
generative derives from the Latin generare [6],
meaning to beget, to produce, originally in reference to
natural forces, conditions or substances. According to
McCormack & Dorin [7], in reference to Art, such
emergence involves novelty, surprise, spontaneity,
activity, and creativity.
Generativity has been a creative problem solving
method namely for Architecture, Industrial Design and
Graphic Design. Generative Design is therefore the
application of this method to design problem-solving.
Generative creators also seek self-expression and
fascination
from
the
resulting
autonomous
compositions. The information is fed, processed and
newly generated information is made visible through
basic visual elements. Through this design method,
image, sound, and a computer program under a set of
rules or algorithm generates 3d objects, architectural
models or animations.
Different kinds of algorithms may be applied: selforganizing systems, genetic algorithms, generative
grammar systems, etc. For each one, different parameters
may be adjusted in order to control the end result.
Generative Design uses computational progress for the
benefit of design, allowing multiple and quick iterations
of the algorithm. By adjusting the parameters of the
algorithm and the designer/produsers needs and wishes,
the method allows generating multiple and uniquely
customized variations of a baseline design.
III. Algorithmic Approaches to Communication
Design
Communication Design is traditionally connected to
visual arts and its formal and technical research methods.
Designers tend to develop more conservative approaches
than visual artists. However, there are many designers at
the forefront of contemporary procedural creation.
Usually they combine commercial design with an artistic
production. Systems, variation and derivation rules are
keystones in any design project, as well as the need to
develop artefacts that will become independent from
their creator and their original context of creation, be it
logos, brands corporate identities, letter types, or layouts
for periodicals. The new computational media and the

algorithmic approach allow producing final works that

are not static. They are as complex and diverse as their
target audiences, with whom they will communicate.
Also, design projects are no longer built from
established blocks of visual-technical rules for designers
to apply. Instead, they are systems that allow designers to
interpret rules dynamically in order to generate variable
solutions, according to each particular context. The
digital environment is open to the outside world and
interacts with it. Designers can no longer know anything
for sure. They no longer control the restricted span of
possibilities established by a traditional approach. They
can now offer the content of their own brains/ideas,
where internal imagination meets the external world of
reality [8].
The merger of digital objects originated an outbreak of
conceptual models, symbolic, logic, algorithms, electrons
and matter. According to Dunne [8], they are a means of
bridging the gap between electronics and objects scales,
through direct manipulation of materials such as
electrons volumes. Intelligent materials are an area
where this gap is being bridged, mainly for technical
reasons. Yet, design did not fully explore the aesthetic
dimension of these new materials with the same
commitment of the engineers who made them functional
possibilities. As a result, with the merger and the
physical materials that are simultaneously computing
devices, Dunne [8] concludes that most of these works
have not explored the poetic and cultural prospects that
converge with the technical practical choices.
Communication Design has been particularly affected
by computer technology in the field of information
visualization. The expression Information Visualization
was coined by George Robertson, Stuart Card e Jock
Mackinlay [9], regarding the presentation of abstract
information through a visual interface. The 1st
Symposium on Information Visualization was held in
1995. Previous practices of quantitative information
visualization from the 19th and 20th centuries are known
by many through the examples collected by Edward
Tufte [10]. Tending to be based on physical data as
human anatomy, earth, molecules, etc., scientific
visualization maps data to visual form, allowing
scientists to see physical objects, natural phenomena and
data that otherwise the human sensory system would not
able to apprehend, focusing mostly on data that has
inherent spatial reference [11] enhancing and amplifying
human cognition. Information visualization involves
structuring abstract data in order to establish semantic
relationships. In other words, to assimilate massive
amounts of information, understand and extract new
knowledge, connecting data with no inherent spatial
reference [12] (data from measurements, text analysis,

7th International Conference on Digital Arts ARTECH 2015

A. Curralo / Generative Design and Information Visualization

financial data, social relations, etc.). The visual

representation that is generated stems from combining
data containing mostly non-numerical information such
as text. Information visualization was predominantly
developed for expert users who needed sophisticated
applications for complex problems. However, nowadays,
an increasing number of non-specialist users are
interested in such tools, leading to systems that are more
intuitive and easy to learn than the ones geared for
professional users [13]. On the one hand, a chart should
not neglect complex data, but on the other hand,
communication should be clear, accurate and effective,
namely recalling Grices maxim of manner [14], being as
clear, brief, and orderly as possible, avoiding obscurity
and ambiguity, towards communicative efficiency.
Following the communicational principle of maximal
relevance, charts would show data variation and not
design. However, while visualization is the main focus,
perceptualization is the underlying goal, and aesthetic
considerations are supposed to drive the desired
effectiveness of communication. In fact, Computer
science is no more about computers than astronomy is
about telescopes, biology is about microscopes or
chemistry is about beakers and test tubes. Science is not
about tools, it is about how we use them and what we
find out when we do. [15].
Robert Kosara identifies two general cultures of
information visualization: a technical one, targeting
analysis, and an artistic one, targeting sublimation [16].
Technically, information visualization only happens if
based on non-visual external data, producing an image
with readable and recognizable results. Hence, the user
must be able to identify data in visual representation.
Visualization is not only the process of rendering
something visible, but also the process of translating
computer data into human-perceivable data, combining
data in order to create new insight.
According to Richard Wright [17], visualization is
conventionally understood as a mapping of digital data
into visual imagery a process designed to profit from the
supple and immense power of human vision. The
American artist Charles Csuri [18] claims that graphic
computing offers direct interaction with information,
making data more communicative because the user is
able to interact with the mathematical models that
simulate social systems, abstract processes, or aesthetic
objects.
Benjamin Fry [19] points out that digital data has not
explored its full potential because there are no evident
connections between coherent structures and the
appropriate interactivity. Jin Zhang [20] further clarifies
that visualization requires certain methods or algorithms
to convert raw data into something meaningful and

7th International Conference on Digital Arts ARTECH 2015

101

interpretable to display and convey information visually

to users. Edward Tufte [21] adds that data complexity
should be included in data representation.
Designs goal, considering the traditional visual
communication strategies, would be to create a visual
expression/message, to be interpreted by the perceptive
mechanism of the human visual system. Shapes express
contents by combining basic visual elements: dots, lines,
forms (basic shapes: square, circle, equilateral triangle),
direction (motion impulse), tone, colour, texture, scale,
dimension (implied by perspective and depth) and
movement. The organization of these elements and their
correlations always fulfils a role: the results of
composing decisions determine the purpose and meaning
of visual expression and have strong implications in
relation to what is received by the spectator [22].
Algorithmic language allows manipulating a much wider
data set than it was possible just a few decades ago; it
allows generating animated visualization, and most of
all, allows interactive visualization.
IV. The Project: Unemployment by Education
Level
Generating information visualization starts with data
collection, subsequently analysed and clarified in order
to use a strictly necessary set and design the visual
structures that are more appropriate to their nature,
allowing interaction. Interdisciplinary thinking is
essential, since information visualization implicates a
broad set of scientific fields, namely Computer Science,
Mathematics, Statistics, Physics, Psychology and Design.
Displayed in an excel table with no aesthetic concerns,
the information does not draw the viewers attention to
its relevance.
Hence, the challenge is to use an algorithmic language
to create an interactive captivating chart, drawing the
viewers attention. Because of the way the human brain
processes information, it is also faster to grasp the
meaning of data displayed in charts or graphs than on our
linear western morpho-phonemic writing system [23].
Interactive data visualization goes a step further, moving
beyond the display of static graphics to using computer
science to drill down into charts and graphs for more
details, interactively and immediately changing what
data is seen and how it is processed.
In the computing context, to program is to determine a
set of written instructions that describe in detail the tasks
the computer is expected to perform, the sequence of
execution and the execution conditions. This set of
instructions, formalized in an algorithm, determines the
operations cycles the computer must accomplish, which
in turn define its behaviour. These instructions are

102

A. Curralo / Generative Design and Information Visualization

written in programming language, composed according

to predetermined rules, with a specific syntax
characterized by objectivity and clarity. Dealing with
discrete units such as numbers, alphabets or geometric
elements, algorithms are fundamental to the way
computers process information, since essentially they
communicate what specific steps the computer is to
perform [24].
Open source Processing [25] was the program used in
this project. For experienced programmers, it allows
writing complex code using all Java language best
practices. For beginners, it allows exploring and selflearning, through tutorials and shortcuts, allowing the
user to produce code in a user-friendly transparent
manner, minimizing the occurrence of errors.
Hence, we chose this approachable program to
produce interactive charts, condensing large amounts of
information into easy-to-understand formats that could
clearly and effectively communicate important points,
producing a comfortable and pleasant experience to the
layman viewer, to better facilitate the acquisition and
dissemination of knowledge.
To collect the data we accessed the Eurostat Statistics
Database [26] and compiled, organized and analysed
different sets of data concerning the unemployment rates
in Europe (age span of 15 to 75), by country, by level of
education, and by gender. This information was
organized in 3 education levels: ISCED (0-2), consisting
of pre-school and primary education); ISCED (2-4),
comprising Secondary Education, and ISCED (5-6),
covering higher education.
The resulting charts displayed man and women (red
and blue, Fig.1 and Fig.2, respectively), consisting of 3
rings, each corresponding to a level of education (basic,
secondary and higher) and 12 colours, corresponding to
different European countries.
Unemployment rates are displayed through colour and
space occupied on the ring. In the centre of the chart, a
flashing button draws attention, for the user to click and
change the chart, displaying womens unemployment
rate, represented with warm colours (colour range
between magenta and red) and alternatively shifting to
the chart representing mens unemployment rate, with
cold colours (colour range between blue and green).
In addition to the central interactive (flashing) key, this
design also allows the user to identify the respective
country by simply clicking on the coloured rings. Design
thinking thus presented solutions for visual
representation of data, including user-interaction,
considering display as more than an end result, since
interactive visualization will not be efficient if the
information is not available in a consistent, accurate way.

Fig. 1. Interactive charts representing unemployment rates

for women (red).

Fig. 2. Interactive charts representing unemployment rates

for men (blue).

7th International Conference on Digital Arts ARTECH 2015

A. Curralo / Generative Design and Information Visualization

A poster was also created (Fig. 3), whose design

intended to draw attention to the easy misconceptions
concerning data on unemployment and the work-related
gap in Europe. The data to build the poster, also
collected from the Eurostat Statistics Database,
reproduce the unemployment rate per education level,
gender and age (15 to 75) in Europe, in 2014.

Fig. 3.

Poster of Unemployment rate by education level.

Although the connection between unemployment rates

and education levels may be seen as obvious, this insight
shows that employment and education levels in fact do
not behave as expected. Inversely, an insight into the
actual statistics shows a negative correlation and a quite
unexpected work scenario, in which we can see that
employers prefer workers with a lower education level.
In fact, the highest rate of unemployment is found among
those with more education, and the lowest among those
with less education. This preference is possibly related to
the opportunity to pay lower wages, although
discriminating those better skilled for the job. To draw
attention to common misconceptions, the visual
metaphor in the poster design evokes a typical Snellen
chart, frequently used for visual acuity testing.

7th International Conference on Digital Arts ARTECH 2015

103

V. CONCLUSION
Research in generative design production is relatively
recent, and therefore a serious challenge for designers,
generally with slight notions of programming languages,
and much less expertise in computing sciences. The
search for new solutions and innovation is an opportunity
to dedicate time and effort into new generative methods,
particularly as an artistic strategy, to assess the dynamics
of composition change, tailoring change to suit the endusers requirements and needs.
Generative
designers
search
for
innovative
compositions. Ultimately, the generated results are an
integral part of the apparatus or situation, instead of a
direct consequence of the designers intentions. This
provides the designer a source of inspiration and
simultaneously self-expression. More importantly, this
system acknowledges diverse agencies as integral part of
the production process, including human agency, namely
by determining the rules.
Information visualization requires interdisciplinary
collaboration to produce more effective communication
through data representation, visual styles and interaction
methods. Generative design methods also contribute
towards innovative compositions in data representation.
This includes generating visual elements through code
instruction and execution and some degree of software
self-sufficiency.
Designers should reflect on artistic creations such as
the Art of Visualization, translating data into illustration
with a specific purpose of display. Generative Design is
particularly useful in discovering new graphic solutions,
displays and features. The automation of results offers
designers new answers for old problems, such as
excessive visual elements, inadequate output pace, or the
failure to capture and keep the publics attention, taking
into consideration that Design is not experienced in a
vacuum, but rather in a dynamic relationship with other
individuals, places and objects.
References
[1] M. Buchenau, and J. Suri, Experience Prototyping DIS
'00 Proceedings of the 3rd conference on Designing
interactive systems: processes, practices, methods, and
techniques, pp. 424-433, New York: ACM, 2000.
[2] A. Bruns, Produsage: Towards a Broader Framework for
User-Led Content Creation. Creativity and Cognition
Proceedings of the 6th ACM SIGCHI conference on
Creativity & cognition, Washington DC: ACM, 2007.
[3] P. Galanter, What is generative art? Complexity theory as
a context of art theory. Proc. Generative Art, 2003.
[4 G. Cox, Generator: The value of software art.Judith
Rugg (Ed.). Issues in Curating, Comtemporary Art and
Performance. Bristol, England, 2007.

104

A. Curralo / Generative Design and Information Visualization

[5] S. Jaschko, Process as aesthetic paradigm: a nonlinear

observation of generative art, Generator.x conference,
Atelier Nord, 23-24 Set. 2005, Oslo, Accessed on July
2014,
Url:
http://www.sujaschko.de/downloads/170/generatortalk.
[6] Online
Etymology
Dictionary,
http://www.etymonline.com/index.php?term=generate&all
owed_in_frame=0.
[7] J. McCormack, and A. Dorin, Emergence and the
Computational Sublime., in: A. Dorin, (ed) Second
Iteration: a conference on generative systems in the
electronic arts, Melbourne: CEMA (Center for electronic
media art), 2001.
[8] A. Dunne, Hertzian Tales: Electronic Products, Aesthetic
Experience, and Critical Design, Cambridge: The MIT
Press, 2005.
[9] G. Robertson, S. Card, and J. Mackinlay, The Cognitive
Coprocessor Architecture for Interactive User Interfaces,
Proceedings of the 2nd Annual ACM SIGGRAPH
Symposium on User Interface Software and Technology,
Williamsburg, 1989.
[10] Edward Tufte is a statistician and artist, Professor
Emeritus of Political Science, Statistics, and Computer
Science at Yale University. He wrote, designed, and selfpublished 4 classic books on data visualization. The New
York Times described ET as the Leonardo da Vinci of
Data, and Business Week as the Galileo of Graphics.
He is currently making a 234-acre sculpture park and tree
farm in northwest Connecticut, to show his artworks and
remain open space in perpetuity. He founded Graphics
Press (1983), ET Modern Gallery (Chelsea, 2010-2013),
and
Hogpen
Hill
Farms,
2007.
http://www.edwardtufte.com/tufte/.
[11] B. Farnaz, Volumetric Visualization of MRI data. Irvine:
University of California Irvine, 2012.
[12] E. Grller, J. Schmidt, O. Moraru, Visualisierung 1,
Austria: Institute of Computer Graphics and Algorithms
(ICGA), 2014. Accessed on January 2015,
[13] A. Ebert, A. Dix, N. Gershon, M.Pohl (ed), Human
Aspects of Visualization. Berlin: Springer Verlag, 2011.
[14] H. Grice, Logic and Conversation, in: Martinich, A.P.
(ed). Philosophy of Language, (pp. 165-175), New York:
Oxford University Press, 1975.
[15] M. Fellows, I. Parberry, SIGACT trying to get children
excited about CS, in: Computing Research News, LARC,
University of North Texas, Vol. 5, No. 1, p.7, Jan., 1993.
[16] R. Kosara, Visualization criticism: The missing link
between information visualization and art .11th
International Conference Information Visualization (IV
'07), pp. 631-636, 2013. For this author, the sublime is
what inspires, magnifies and evokes a deeply emotional or
intellectual response.
[17] R. Wright, Data Visualization, in: M. Fuller (ed),
Software Studies: A Lexicon. Cambridge: The MIT. Press,
2008.
[18] C. Csuri, Statistics as an Interactive Art Object Artist
and Computer. Ed. Ruth Leavitt. Morristown, New Jersey:
Creative Computing Press, 1976.
[19] B. Fry, Visualizing data. Sebastopol: O Reilly Media,
2008.
[20] J. Zhang, Visualization for information retrieval.
Heidelberg, Berlin: Springuer-Verlag, 2008.

[21] E. Tufte, The visual display of quantitive information,

(2nd ed.). Cheshire, Connecticut: Graphics Press 2008.
[22] D. Dondis, Sintaxe da linguagem visual, So Paulo:
Martins Fontes Editora Inc., 2008.
[23] J. Trotta and M. Danielson, Linguistic Constituents in
Computer-mediated Communication, in: M. Ciastellardi,
C. Almeida, C. Scolari (eds), Understanding Media,
Today: McLuhan in the Era of Convergence Culture.
Barcelona: Editorial Universidad Oberta de Catalunya,
2011.
[24] R. Fernandes, Generative Design: a new stage in the
design process. Lisboa: Instituto Superior Tcnico, 2013.
[25] The Processing program was created by Casey Reas and
Ben Fry under the guidance of John Maeda at the MIT
Media Lab, integrating a programming language based on
Java, a development environment and a teaching
methodology. According to the authors, the tool was
designed to teach the fundamentals of computer
programming in a visual context oriented towards image
generation and processing, to be used by students, artists,
designers and researchers, to sketch and prototype ideas
and
also
to
develop
full
applications.
https://www.processing.org.
[26] Eurostat
Database:
http://epp.eurostat.ec.europa.eu/portal/page/portal/populati
on/data/database.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

105

How to do it? Desafios para a crtica de arte on-line

Maria Amelia Bulhes
Universidade Federal do Rio Grande do Sul, UFRGS, Porto Alegre, Rio Grande do Sul,
Rua Oscar Bittencourt 21 /1002, Zip Code 90850 150, Brasil
Resumo O texto apesenta alguns exemplos de
prticas de crtica de arte on-line, analisando sites e blogs
dedicados a essa produo. Comenta trs diferentes
atividades, destacando suas especificidades, seus problemas
e suas conquistas. Identifica e questiona as bases
conceituais e as metodologias organizacionais que se
colocam como limites na expanso dessas prticas
Palavras-chave arte contempornea, crtica de
arte, web arte, internet.

Experimentos artsticos criados com os recursos

tecnolgicos da rede e funcionando on-line apareceram
desde o incio da abertura pblica da internet, na
segunda metade dos anos 901. Muitos artistas aderiram
imediatamente ao ciberespao e, hoje, se engajam nas
redes sociais, mas o mesmo no se pode dizer da crtica
de arte, que, com poucas excees, tem passado ao largo
desse amplo e complexo mundo das comunicaes online. Se a arte no ficou de fora desse processo, como
poder a crtica de arte ficar?
O objetivo, aqui, no comentar o que tem sido feito
em termos de crtica de arte na internet em geral, a
proposta abrir um debate sobre algumas experincias
nesse sentido que venho desenvolvendo. Pretendo
apresentar trs experincias pessoais de crtica de arte
no labirntico ciberespao e extrair delas elementos para
a discusso de formas mais eficientes, radicais e
criativas de atuao.
Uma primeira experincia, e talvez a mais importante,
no campo das tecnologias digitais o desenvolvimento
de uma pesquisa sobre web arte2. No incio da pesquisa,
o contato com essa produo exigiu uma tarefa bsica: o
levantamento de obras e artistas. Algo no to fcil,
como se poderia inicialmente imaginar, uma vez que
esses trabalhos encontram-se dispersos na rede, sem
lugares ou indicaes especficos para sua localizao.
Essa produo, ubqua e em trnsito, sua diversidade,
Os primeiros trabalhos reconhecidos so de Alexei Shulgin,
de 1994, de Jodi.org, de 1995, e de Olia Lialina, de 1996.
2
Nem todo trabalho de arte que se encontra na internet pode
ser assim classificado, somente aqueles que se caracterizam
por serem criados especificamente com os recursos da internet
e existirem total ou predominantemente on-line, e por serem
realizados a partir de programas especficos de composio de
pginas na rede world wide web (www), reunindo diferentes
recursos multimdias como sons, textos, grficos, imagens
fixas e em movimentos e outros. Estes trabalhos tambm so
conhecidos por net arte ou internet arte, havendo disponvel
uma ampla literatura sobre estas nomenclaturas.
1

7th International Conference on Digital Arts ARTECH 2015

seu volume e suas diferentes tendncias dificultam a

seleo de amostragens. Os sites e blogs precisam ser
descobertos atravs de intensivos processos de pesquisa
on-line e, tambm, da leitura de alguns autores
especializados, dedicados ao nicho tecnolgico, que no
fazem parte do universo da crtica de arte tradicional.
Superadas as primeiras dificuldades na localizao dos
trabalhos, ao explor-los, um outro problema se
evidencia. Como obter informaes bsicas sobre eles,
tais como autor ou equipe, localidade de origem, data de
criao, dados tcnicos etc. Novas exploraes e
descobertas se fizeram presentes, uma vez que para
obteno desse conjunto de informaes, que parece
bastante bvio, h uma demanda de intenso trabalho de
pesquisa.
Esse projeto, um desdobramento de uma pesquisa
bem mais antiga que aborda a relao dos artistas com
territrios geogrficos e circunstncias contextuais. Ao
se expandir para o ciberespao, foi estabelecida uma
hiptese de trabalho, que se ope a perspectivas
fatalistas que apontam o mundo virtual como uma fuga
ao mundo real. Adota-se a perspectiva de que muitos
artistas utilizam os recursos do ciberespao para propor
novas possibilidades de relacionamento com o entorno e
seus desdobramentos. Os conceitos operacionais
utilizados na pesquisa com vistas a explorar essa
territorialidade
foram:
Paisagem,
Memria,
Cartografia e Cidades. Trabalhando com o foco em
obras que se relacionam de alguma forma com as
problemticas do territrio, foram deixados de lado
alguns importantes e destacados trabalhos de web arte
por no se inserirem no tema.
Iniciado em 2005, esse trabalho conduziu criao
em 2007 do blog Territorialidade/Territoriality
http://territorialidadeterritoriality.blogspot.com.br/, cujo
objetivo analisar e dar visibilidade a essas prticas,
dando a elas um lugar de referncia e interconexes.
(fig.1) Como essas prticas so pouco conhecidas no
meio de arte, h nesse projeto uma proposta de
abordagem de sua trajetria at as mais recentes
tendncias, colocando em destaque o pensamento dos
artistas e seus processos de formulao criativa,
observando o carter participativo de suas obras, sua
explorao experimental do meio e suas relaes com o
pensamento contemporneo da arte. Ao permitir um
fcil acesso a todos os interessados, ela gera uma
espcie de vitrine virtual, respondendo ao desejo dos
artistas de estabelecerem relaes mais diretas e
imediatas com seus receptores.

106

M. Bulhes / How to do it? Desafios para a crtica de arte on-line

O blog suporta um confivel banco de dados

contendo, atualmente, ,informaes de cerca de mais de
300 artistas, que se amplia continuamente com o
desenvolvimento da pesquisa. Seu objetivo
documentar uma produo de web arte que se esparrama
pelo universo virtual, em um fluxo contnuo, dando a ela
um lugar de repouso, um ponto de encontro. Cada obra
est precedida do nome de seu(s) autor(es), local de
origem, ttulo, data de criao e link de acesso. Alm
disso, so apresentadas duas imagens de pginas do
trabalho e um pequeno descritivo, para atrair o interesse
do internauta e auxiliar na compreenso da obra. Esses
contedos esto organizados a partir dos quatro
conceitos operacionais da pesquisa, visveis no menu.
A seo Cartografia direciona o internauta para
trabalhos artsticos que fazem uso de mapas, GPS e
outros elementos de geolocalizao em sua estrutura de
funcionamento e mesmo de linguagem. Com uma viso
mais ampla do mapa, o uso de elementos da cartografia
nas artes visuais est ligado ao fato de que ocorreram, ao
longo do sculo XX, grandes mudanas na apreenso e
representao do globo. Isso afeta a noo de
territorialidade com a ampliao do seu conceito e com
o debate dos processos de interseco de fronteiras
culturais.
A aba Cidade engloba trabalhos selecionados por
terem alguma cidade especfica como base de suas
propostas e mote para a explorao de suas
possibilidades significantes. A maioria das propostas
conecta os usurios propondo novas relaes com os
espaos urbanos, interferindo e explorando lugares,
acrescentando ou demandando informaes sobre
atividades e locais. A categoria Cidades surgiu em
consequncia da anlise das obras on-line, uma vez que
o tema se apresentava insistentemente como parte de
muitos desses trabalhos.
Na seo Memria, so elencados trabalhos que
realizam diferentes abordagens do tempo. Eles exploram
seus diversos sentidos, criando peculiares experincias
vivenciais a partir do mundo virtual. Alguns utilizam
recursos de memria coletiva e, atravs de suas
produes, procuram reativar lembranas esquecidas ou
negadas. Abordando memrias individuais ou coletivas,
seus dilogos transcendem o simples testemunho visual
ou a cristalizao do passado. Atravs de suas
produes, estabelecem uma atitude que rompe com as
temporalidades tradicionais e impe a vivncia de um
tempo presente permanente, especfica do meio que
utilizam.
A aba Paisagem conta com trabalhos artsticos que
realizam abordagens do entorno geogrfico a partir dos
novos recursos tecnolgicos disponveis, questionando a
identidade do sujeito e do local. A interao artistapaisagem um dos fatores que alimenta essa produo
artstica, atuando no sentido de uma construo de
diferenas dentro de um contexto da aparente
homogeneizao cultural. Do modo como o artista

absorve a visualidade de seu entorno e a integra em sua

obra, emergem territrios subjetivos que refazem a
paisagem, criando novas territorialidades.
O blog Territorialidade/territoriality pode ser
considerado uma espcie de museu on-line, na medida
em que cumpre a funo de divulgao e preservao de
obras de web arte, funcionando no ciberespao que o
seu lugar. Ele se configura, alm disso, como uma
espcie de coleo organizada, catalogada e descrita,
como normalmente se faz nos museus, entretanto no
desenvolve muitas outras atividades pertinentes a estes,
e, como j foi observado, no h uma inteno de
legitimao de obras. Ele talvez se aproxime mais da
forma de um arquivo documental analtico. Alguns dos
trabalhos apresentados j no se encontram mais
disponveis ao acesso, assim, o blog da pesquisa fica
sendo uma documentao de sua existncia.
Giselle Beiguelman, em seu texto de 2012, Memrias
do futuro de uma arte sem passado, apresenta algumas
questes cruciais na considerao da preservao das
prticas artsticas on-line que permanecem ecoando.
Como lidar com memrias to instveis, que se
esgotam juntamente com a durao dos equipamentos e
cujas tipologias no correspondem aos modelos de
catalogao das colees de museus e arquivos?3
Algumas propostas de documentao de web arte j
esto em andamento, como o Media Initiative, projeto
do Museu Guggenheim, em Nova Iorque, EUA, criado
em 1999, sob coordenao de John Ippolito, o Artport,
do Museu Whitney de Arte Americana, em Nova Iorque,
EUA, criado em 2002, com curadoria de Christiane
Paul, e NETescopio, do Museu Extremadura e IberoAmericano de Arte Contempornea, MEIAC, em
Badajoz, Espanha, criado em 2008, sob a coordenao
de Gustavo Romano4.
A e-imagem preponderantemente ubqua e em
fluxo5, colocando muitos problemas para o pensamento
tradicional das categorias de preservao e constituio
de acervos. Sua esttica de transmisso no se adapta s
tentativas de apropriao matrica, e a rapidez das
transformaes tecnolgicas s quais sua produo est
atrelada torna imediatamente obsoletas todas as
inovaes. Tm-se algumas experincias e muitas
dvidas, os debates esto em andamento e podem ser
acompanhados em http://www.net-art.org/front3, bem
como no recentemente lanado livro Possible Futures
art, museums and digital archives, resultante de um
BEIGUELMAN, Giselle. Memrias do futuro de uma arte
sem passado. http://www.desvirtual.com/memorias-do-futurode-uma-arte-sem-passado/ acessado em nov. 2013
4
Uma anlise destas trs experincias pode ser encontrada em
BULHES, Maria Amelia. Colees, museus e memria de
uma arte em fluxo permanente, POS: Revista do Programa de
Ps-graduao em Artes da UFMG, nov, 2014.
5
Uma excelente anlise das especificidades da e-imagem pode
ser encontrada no livro Las tres eras de la imagen, de Jose
Luis Brea.
3

7th International Conference on Digital Arts ARTECH 2015

M. Bulhes / How to do it? Desafios para a crtica de arte on-line

Simpsio Internacional, realizado em So Paulo, sob a

coordenao de Giselle Beigelman e Ana Magalhes.
A partir desse contato com a web arte e no
acompanhamento e orientandos de alunos na produo
de blogs e sites, decidi, em 2010, criar o site Arte
Reflexes (http://www.ufrgs.br/artereflexoes/site/) (fig.
2). Este um espao de difuso on-line do conjunto de
minha prtica pessoal reflexiva no campo da arte. O site
oferece uma possibilidade de acesso a diversos blogs da
pesquisa, mas tambm a textos e livros mais antigos, j
esgotados ou de difcil acesso, assim como produo
mais recente, a maioria disponibilizada unicamente online. Neste sentido, ele tem um carter hbrido, na
medida em que abrange materiais produzidos on-line e
off-line, o que exige alguns desdobramentos conceituais
na sua construo e no seu funcionamento. Ele est
organizado por textos, livros, palestras, cursos, coluna e
sites e blogs, possibilitando o acesso ao material
levantado em um amplo trabalho de pesquisa e
digitalizao de documentos. O site Arte Reflexes, em
constante fluxo segundo o desenvolvimento de minhas
atividades, est integrado a uma Fanpage no Facebook,
ao Twitter, ao Linkedin e ao Google Plus. Esta
articulao s redes sociais objetiva uma maior
dinmica, tanto na divulgao da pesquisa quanto de
eventos e outras atividades relativas ao campo das artes
visuais. Este um projeto bastante borderline, pois
funciona como difuso de prticas desenvolvidas fora do
meio web e tambm dentro deste, em uma tentativa de
articular estas minhas duas linhas de atuao. Mesmo
reconhecendo que estes dois circuitos ainda se
encontram bastante afastados, como observa Edward
Shanken em seu artigo Contemporary Art and New
Media Art: Toward a Hibrid Discourse?
Uma segunda experincia de crtica de arte on-line foi
a curadoria de uma mostra de web arte que desenvolvi
para a Bienal Internacional de Curitiba 2013
http://www.webarte.bienaldecuritiba.com.br/, atividade
realizada a partir do trabalho de pesquisa j apresentado
neste texto (fig. 3). Esse tipo de prtica curatorial no
uma novidade, tendo ocorrido inclusive em mostras
muito importantes de maestring artstico, como a
Documenta Casse X, em 1997, e a Bienal de So Paulo,
em 2002, esta ltima com curadoria de Christine Mello.
Em 2013, duas outras bienais on-line foram realizadas, a
1Biennale Online6, criada por David Dehaeck e Nathlie
Haveman, e a Wrong Bienal7, criada por David Quiles
Guill e Graziela Calfat. Tanto elas como a Web Arte
Bienal de Curitiba esto comentadas no livro O curtocircuito da arte digital no Brasil, de Debora Gasparetto.
No caso da Bienal Internacional de Curitiba 2013, o
segmento de web arte fez parte de um conjunto mais
amplo de curadorias especficas. O foco desta ao
curatorial em web arte foram tanto os trabalhos quanto
6
7

Disponvel em https://www.artplus.com/
Disponvel em htto://thewrong.org/
7th International Conference on Digital Arts ARTECH 2015

107

os processos de formulao criativa dos artistas,

observando o carter participativo das obras, seus
aspectos reflexivos e suas relaes com o pensamento
contemporneo. So propostas que estabelecem rupturas
com as noes de autoria individual, de
institucionalizao e de permanncia da obra de arte.
No h mais um resultado previsvel e controlado pelo
artista, abrindo-se possibilidades s formas mais
diversas de participao, seja enviando dados e imagens
que passam a compor a obra, seja com atuaes cujos
desdobramentos nem podem ser imaginados pelo artista
em sua proposio original. So artistas que no atuam
como o autor nico de seu trabalho, compartem com
uma equipe de criao e deixam aos usurios a
responsabilidade de fazer as obras crescerem e se
disseminarem. Os papis do autor e do receptor se
redefinem, impulsionando uma participao mais ativa
do espectador, que influi no resultado final, partilhando
de alguma forma do processo criativo. Sem
preocupaes com o circuito oficial da arte, estes
trabalhos muitas vezes se opem de forma radical aos
pressupostos elitistas e excludentes deste sistema. Como
o tipo de equipamento do usurio e os programas de que
dispe fazem com que se alterem os resultados, a
imprevisibilidade, a instabilidade e a mutabilidade
prprias do suporte condicionam inevitavelmente os
processos criativos, balanceando o desejvel e o vivel.
Os artistas no se preocupam com a forma ideal e com a
permanncia de seu trabalho, eles esto dispostos a
aceitar e incorporar em suas propostas as eventuais
mudanas que se processam em sua ideia inicial a partir
da recepo por cada internauta. O crtico que trabalha
com essa produo tambm precisa incorporar estas
problemticas aos seus projetos, superando algumas das
ideias estabelecidas pela prtica tradicional da reflexo
sobre arte.
Mesmo as obras de web arte sendo divulgadas no
Catlogo Geral e no Guia da Bienal e estando reunidas
no site criado especialmente para sua apresentao,
linkado ao site geral da Bienal, que dava a elas
visibilidade dentro do meio de arte, essa uma insero
problemtica. Isso pode ser claramente percebido pela
curadora nas relaes com a administrao geral da
mostra, totalmente despreparada para tratar com essa
produo e suas especificidades. Na construo do site
especfico, que alocou as obras, por exemplo, houve
dificuldades para fugir das concepes-padro e
estabelecer qualquer tipo de inovao tecnolgica,
mesmos as mais bsicas e usuais. A relao com o
pblico tambm envolveu desafios, uma vez que a
mostra funcionava completamente on-line. O site
apresentava links de acesso para cada um dos trabalhos
selecionados dos 11 artistas nacionais e internacionais
convidados. As apresentaes dos trabalhos e dos
artistas eram acompanhadas de textos produzidos pela
curadoria, com diversas mdias indexando informaes.
No espao fsico da bienal foram colocados QR Codes

108

M. Bulhes / How to do it? Desafios para a crtica de arte on-line

para divulgar o acesso ao site, sendo necessrio um

trabalho especfico para chegar ao pblico, pouco
acostumado com essas inovaes no meio de arte e que
no entendia bem a mostra on-line. Nesse sentido, foi
desenvolvido pela equipe de curadoria da web arte um
projeto de divulgao especfico, criando uma Fanpage
no Facebook para apresentar notcias, entrevistas e
outros materiais levantados sobre os artistas e suas obras
no decorrer do trabalho de pesquisa. Como resultado
positivo podem ser considerados os vrios depoimentos
sobre as visitas ao site da Web arte Bienal de Curitiba
como uma experincia desafiadora, tanto para
internautas convencionais como para frequentadores do
meio de arte tradicional.
Uma terceira experincia de crtica de arte na internet
se refere a minha atuao como colunista do
conceituado
jornal
on-line
Sul
21
http://www.ufrgs.br/artereflexoes/site/category/coluna/su
l-21/. Iniciada em junho de 2011, ela se manteve com
regularidade semanal, apresentando, at dezembro de
2013, perfazendo um total de 84 edies. Como esta
atividade se desenvolveu em um veculo de
comunicao on-line, a melhor forma de explorar
recursos da era da social network foi colocar nos textos
muitos links. Nessa experincia de crtica de arte,
portanto, o conceito-chave utilizado foi o hipertexto8.
Enriquecendo o texto e criando uma espcie de percurso
labirntico, abriu novas possibilidades de leitura e acesso
a informaes complementares. Foi disponibilizado, a
cada edio da coluna, um amplo nmero de hiperlinks
com imagens, vdeos, udios e outros recursos
disponveis na rede. Um meticuloso trabalho de pesquisa
na internet foi fundamental para desenvolver esta
proposta.
O ponto de partida do trabalho foi oferecer
informaes sobre artes visuais a um pblico mais
amplo, desmistificando a ideia de que esse um assunto
rido e restrito a um grupo de experts. A escolha dos
temas a serem abordados foi decisiva, exigindo uma
seleo de assuntos significativos e atrativos para
aqueles que no vivem a arte em seu cotidiano. Os
textos se conectam com o real cotidiano, respondendo s
questes que as pessoas fazem sobre este universo, que
muitos chamam, de forma discriminadora, mundo da
arte. Criar textos curtos e objetivos, dentro de uma
linguagem usual da internet com muitos links foi a
estratgia adotada.
O uso do hipertexto foi bastante ponderado, uma vez que
poderia dispersar o leitor levando-o para outras pginas, o que
no seria desejvel nem para o jornal nem para o colunista. No
entanto foi preponderante o pensamento de que este um
recurso fundamental na estrutura de navegao on-line e
portanto no explorar essa possibilidade seria uma negao do
prprio meio. interessante observar que na maioria dos
textos dos outros colunistas do jornal o hipertexto bem
pouco ou quase nunca utilizado. Sobre hipertexto e labirintos
ver Lucia Leo.
8

Entretanto, mesmo com a inteno de evitar a rigidez

que afasta o interesse dos leitores, a coluna procurou
manter o rigor que garante a confiabilidade e a
qualidade do que oferecido em termos de informao e
reflexo. O tipo de texto desenvolvido apresentou
sempre reflexes e consideraes interpretativas, o que
fez dela, tambm, um material pedaggico, que foi
utilizado por professores de arte em sala de aula,
inclusive em cursos universitrios, conforme os relatos
recebidos. Por outro lado, pessoas que no so da rea,
deixando mensagens, fazem sugestes de temas ou
comentrios bem desafiadores, alimentando reflexes da
colunista.
Ao apresentar, aqui, minhas trs diferentes
experincias de crtica de arte on-line, coloco em
evidncia os caminhos seguidos e as muitas dvidas
vivenciadas, e, a partir delas, quero explorar alguns
limites e possibilidades dessa atuao. Com o uso da
internet pode se desenvolver um processo de
democratizao e partilha da informao, alm de uma
possibilidade de aproximao at pouco tempo
inimaginvel. Nela, podem-se fazer amizades e
relacionamentos, conhecer locais e ver imagens sem a
exigncia de visitas fsicas. Gente que jamais entrou em
um museu ou galeria pode frequentar sites de artistas de
forma regular e participativa. Anne Cauquelin (2005)
afirma que a arte contempornea se caracteriza por um
funcionamento em rede, onde cada ponto a rede total,
e estar nela garante a capacidade de produzir arte.
Segundo ela, a cultura atual dirige-se a uma tendncia
eminentemente relacional, em que as prticas artsticas
se tornam primordialmente polticas, abandonando o
regime de mercado, para se integrar s novas economias
de distribuio. Assim, o debate das relaes da arte na
internet no pode ser deixado de fora do mundo da arte,
pois, como se pode observar, no ciberespao ampliam-se
as possibilidades de participao. Qualquer indivduo ou
grupo, utilizando-se das tecnologias disponveis, pode
criar seu lugar de arte na rede, inserindo-se em um
circuito que abre frestas nos controles hierrquicos do
sistema da arte.
Um importante questionamento para mim, em relao
s prticas de crtica de arte on-line, diz respeito ao
nmero de acessos e s estratgias para difundir essa
produo reflexiva a um pblico mais amplo e mais
diversificado. possvel e desejvel ampliar o interesse
de um pblico mais amplo em relao s artes visuais?
Quais podero ser as vantagens e desvantagens dessas
mudanas quantitativas de alcance em relao ao
pblico? Ser necessrio abrir mo de algumas
especificidades tradicionais dessa prtica ou ser
possvel difundir propostas crticas criando novas
comunidades de usurios? Estratgias de difuso on-line
restritas aos grupos de amigos nas redes sociais no me
parecem suficientes, se no houver uma ao mais
intensa e planejada em termos de largo alcance. Por
outro lado, como o crtico de arte pode estruturar seu
7th International Conference on Digital Arts ARTECH 2015

M. Bulhes / How to do it? Desafios para a crtica de arte on-line

discurso para atuar nesse espao interativo, ao mesmo

tempo local e global? Ser vlido buscar um apoio
profissional da rea de marketing virtual para ampliar
esses acessos?
Pode-se acompanhar a repercusso desse trabalho de
crtica de arte na internet que venho desenvolvendo
atravs da ferramenta Google Analytics, que oferece um
importante conjunto de informaes sobre os acessos.
Nos dados referentes ao ano de 2014, por exemplo,
destaca-se nas datas de pico um nmero de acessos de
905 ao blog Territorialidade/territoriality. Os acessos no
total, desde fevereiro, contam 4.829, e a porcentagem de
interao no blog de 54,65%. Segundo clculos do
Analytics, h uma mdia de 64% de chances de que haja
novos acessos. A divulgao do site nas redes sociais
tem funcionado bastante bem, pois muitos momentos de
pico devem-se divulgao. As curtidas no Facebook,
contudo, no condizem com o nmero de acessos
registrado pelo Google Analytics. Pode ser que no site
haja mais visualizaes e menos curtidas, ou o contrrio.
Isso devido ao fato de as pessoas no verem a
publicao na rede no mesmo momento da postagem. As
pessoas podem acabar vendo a divulgao dias depois.
No caso da coluna no jornal Sul 21, houve uma mdia
de mil leitores por cada texto, tendo o mais lido
alcanado em torno de 3 mil. A permanncia de cada
leitor foi, em mdia, de 2 e 3 minutos, o que pode ser
considerado um bom tempo de leitura para o tamanho
do texto e o nmero de seus links. O alcance da coluna
fora e dentro do meio artstico no foi objeto de uma
avaliao especfica, mas se observa que o acesso
indireto (pessoas que no receberam o link de
divulgao, mas chegaram a ela pela leitura do jornal) ,
quase sempre, maior do que o acesso direto. Verifica-se,
ainda, que, mesmo bastante tempo depois da publicao
de cada texto eles continuam sendo acessados e
recebendo comentrios.
Os dados do Analytics permitem muitas outras
anlises, e estamos nos entrosando com elas aos poucos,
mas j percebendo um nmero de acessos que supera em
muito as possibilidades de alcance dos meios
tradicionais da arte. O retorno imediato desses dados
possibilita ajustes aos interesses do pblico, de uma
forma ainda pouco explorada no campo da crtica de
arte, e a circulao on-line expande os limites territoriais
dessa prtica, exigindo um agir local inserido no global.
Para conectar leitores de outras lnguas, foi colocada a
ferramenta Google Translate no site Arte Reflexes e no
blog Territorialidade/territoriality, o que no uma
soluo ideal, mas oferece uma possibilidade mnima de
comunicao. O alcance de pblico oferecido pela
internet pode ser percebido, ainda, nos contatos de
leitores de diferentes regies do Pas, assim como na
republicao de vrias edies da coluna na revista
virtual Artes, do jornal uruguaio El Pas, traduzidas para
a lngua espanhola. Penso que a ampliao numrica e a
diversificao do pblico para o campo das artes visuais
7th International Conference on Digital Arts ARTECH 2015

109

so questes importantes. A desinformao e o

desinteresse do grande pblico em relao a estas
atividades permanecem como um problema a ser
enfrentando pela crtica de arte, e por todos os
integrantes do circuito artstico em geral o uso da
internet pode ser um caminho, mas exige novas posturas.
Assim, um outro importante questionamento que fao
em relao prtica de crtica de arte on-line diz
respeito dificuldade em explorar a interatividade
permitida pelos avanos tecnolgicos da internet nos
ltimos dez anos. Falo aqui da importante inovao no
mbito do ciberespao conhecida por Web 2.0, um
conceito utilizado para descrever a tendncia
tecnolgica de reforar os processos de troca de
informaes e colaborao dos internautas com sites e
servios virtuais. O termo foi criado em 2004 pela
empresa norte-americana OReilly Media, para designar
um conjunto de servios, com base no conceito de
atuao em plataforma, envolvendo aplicativos baseados
em possibilidades de uso participativo sob forma de
comunidades, sem a necessidade de um maior
conhecimento das tecnologias da informao. O objetivo
desses servios que o ambiente on-line se torne mais
dinmico e que os usurios colaborem para a construo
e a organizao dos contedos. Eles possibilitam a
criao de grupos ou espaos especficos onde
permitido partilhar dados de carter geral ou especfico
sob as mais diversas formas (textos, arquivos, imagens
fotos, vdeos etc.).
No mbito da Web 2.0 surgiram as redes sociais
virtuais, comunidades de usurios, mais abertas,
flexveis e democrticas, que estimulam a diluio das
hierarquias tradicionais em um mar de contedos que
no se classificam, no se ordenam e no se controlam
to facilmente. O desenvolvimento da Web 2.0 e das
mdias locativas do sentidos compartilhados
comunicao e produo de conhecimento. O que se
observa, hoje, um reforo dessa caracterstica, com
grande nmero de sites e servios denominados redes
sociais virtuais, que exploram essa nova tendncia,
crescendo vertiginosamente e ganhando cada vez mais
adeptos. As redes sociais virtuais esto sendo
constantemente ampliadas. Elas respondem a demandas
da sociedade contempornea, que busca formas de
compartilhamento em um mundo muito estereotipado e
segmentado, onde os grandes relatos faliram. Essa
sociedade, sedenta por formas de interao, busca, via
computador, compartir interesses e construir novas
utopias de proximidade. A arte inscreve-se nas redes
sociais, criando situaes de experimentao e
condies inditas de recepo. As aes em rede
permitem e solicitam parceiros que, juntos, estabeleam
alteraes no sentido usual da comunicao, abrindo-se
para prticas participativas, excntricas e pouco seguras,

110

M. Bulhes / How to do it? Desafios para a crtica de arte on-line

que escapam ao controle social e autoridade do

sistema da arte9.
No desenvolvimento de minha prtica de crtica de
arte on-line possivelmente tenha encontrado muito mais
perguntas do que respostas. Essa atividade no
ciberespao exige rupturas radicais e uma ntima
conexo com as prticas dos artistas que usam a internet
como ferramenta. Em muitos dos projetos artsticos que
venho estudando so utilizados recursos interativos em
aes radicais de abertura participao dos usurios.
Considero que em minha prtica de crtica de arte online estas possibilidades esto sendo pouco exploradas.
Questiono-me sobre isso e no acho que seja somente
uma questo de domnio de ferramentas, mas sim de
dificuldades com a adaptao da linguagem e das
prticas da crtica de arte a esses recursos. A tradio de
uma tica focada nas referncias contemplativas
dificulta a adoo de proposies mais abertas a
colaboraes. Utilizar uma mdia on-line como veculo
um desafio em que prevalece a necessidade de
aprofundar as possibilidades comunicativas do meio
mais alm de mensagens, discusses, sugestes de temas
ou comentrios do pblico. Todos aqueles que,
trabalhando no campo da arte, acreditam na partilha do
sensvel10, podem participar desse processo de
estabelecimento
de
redes
de
interesse
e
intercomunicao que respondem s aspiraes de todos
ns.

Figura 2. Site
Arte
Reflexes,
http://www.ufrgs.br/artereflexoes/

disponvel

em

II. FIGURAS

Figura 3. Site Web Arte Bienal Internacional de Curitiba

2013,
disponvel
em
http://www.webarte.bienaldecuritiba.com.br/

REFERNCIAS BILIOGRFICAS
Figura 1. Blog Territorialidade/Territoriality, disponvel em
http://territorialidadeterritoriality.blogspot.com.br/

Uma anlise de prticas artsticas nas redes sociais pode ser

encontrada em, BULHES, Maria Amlia. Prticas artsticas
em redes sociais virtuais. Revista USP, v. 92, p. 44-57, 2012.
10
Conceito utilizado a partir de Jaques RANCIERE.
9

[1] BEIGUELMAN, Giselle. Memrias do futuro de uma

arte sem passado. http://www.desvirtual.com/memoriasdo-futuro-de-uma-arte-sem-passado/ acessado em nov.
2013.
[2] BEIGUELMAN, Gisele; MAGALHES, Ana Gonalves.
Possibles Futures art, museums and digital archives.
So Paulo: Peirpolis/Ita Cultural/Fapesp/Edusp, 2014.
[3] BULHES, Maria Amelia. Web arte e poticas do
territrio. Porto Alegre: Zouk, 2011. Colees, museus e
memria de uma arte em fluxo permanente, POS: Revista
do Programa de Ps-graduao em Artes da UFMG, nov,

7th International Conference on Digital Arts ARTECH 2015

M. Bulhes / How to do it? Desafios para a crtica de arte on-line

[4]
[5]
[6]
[7]
[8]
[9]
[10]
[10]
[10]

2014. Prticas artsticas em redes sociais virtuais. Revista

USP, v. 92, p. 44-57, 2012.
CAUQUELIN, Anne. Arte Contempornea. So Paulo:
Martins Fontes, 2005.
GASPARETTO, Debora A. O Curto-circuito da arte
digital no Brasil. Santa Maria: Edio do Autor, 2014.
GERE, Rachel. Lart internet. Londres: Thames &
Hudson, 2004.
QUARANTA, Domenico. Beyond New Media Art. Link
Editions, Brescia 2013.
LEO, Lucia. A esttica do labirinto. So Paulo:
Morumbi, 2002.
NUNES, Fabio Oliveira. Reflexes sobre web arte em
novos contextos. Porto Arte (UFRGS), v. 17, 2010.
PRADO, Gilbertto. Arte telemtica: dos intercmbios
pontuais aos ambientes virtuais multiusurio. So Paulo:
Ita Cultural, 2003.
RANCIERE, Jacques. A partilha do sensvel. So Paulo:
Ed 34, 2005.
SHANKEN, Edward. Contemporary Art and New Media
Art:
Toward
a
Hibrid
Discourse?
https://hybridge.files.wordpress.com/2011/02/hybriddiscourses-overview-4.pdf, acesso em nov 2014.

7th International Conference on Digital Arts ARTECH 2015

111

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

113

Intersecciones de espacios fsicos y virtuales. Emergencia de

nuevos conceptos y dispositivos en el arte y la cartografa.
Marina Zerbarini, Carina Ferrari, Daniel Alvarez Olmedo y Celeste Snchez Saenz de Tejada
Instituto Universitario Nacional del Arte, Secretara de Investigacin y Posgrado, Proyectos de
Investigacin Cientfica y/o Artstica o de Innovacin Tecnolgica, Programacin Cientfica y/o
Artstica 2013-2014, Ciudad Autnoma de Buenos Aires, C1115AAG, Argentina.
Abstract Los mapas tradicionales creados con el
sistema de coordenadas cartesiano son reemplazados en la
actualidad por el sistema GPS, que puede precisar el
posicionamiento de receptores en proyecciones terrestres y
determinar su localizacin y velocidad en tiempo real. Los
lugares se podran categorizar en concretos y relativos. Los
primeros, definidos por coordenadas geogrficas cartesianas,
o numricos electrnicos. Los relativos, caracterizados por
relaciones subjetivas, psico-geogrficos. La geo-localizacin
en tiempo real produce una transformacin dinmica de la
informacin
y
posibilita
su
re-codificacin
en
representaciones dinmicas multidimensionales, accesibles
por interfases digitales. La visualizacin de estos resultados
no son solamente imgenes sino procesos, en virtud de ello
se desarroll un dispositivo capaz de interpretar el entorno
urbano/natural con formas alternativas de generacin de
datos, posibilitando nuevas maneras de produccin artstica.
Index Terms Geographic Information Systems,
Global Positioning System, Satellite navigation systems,
Satellite broadcasting, Simultaneous localization and
mapping, Surface topography, Telecommunication network
topology.

I. INTRODUCCIN
La humanidad, desde tiempos lejanos, sinti la
necesidad de orientarse dentro del territorio. Segn
Simon Garfield, arquelogos espaoles han encontrado
recientemente un mapa raspado en la piedra, atribudo a
los habitantes de las cavernas que datan de 14.000 aos
atrs. Richard Dawkins se pregunta si no ser la
creacin de mapas, con sus conceptos de escala y
espacio, la que permiti el desarrollo del cerebro
humano [1].
Mapa, proviene del latn mappa que significa pauelo
ya que las primeras representaciones conocidas se
trazaron en trozos de lienzo. Estos lienzos solan ser
muy extensos porque se usaban poco para recorrer un
territorio concreto. Servan ms como graficacin de
cierta ideologa sobre el mundo que para transitarlo. Al
confeccionar un mapa se realizan elecciones, omisiones,
simplificaciones, a lo que se deben agregar las diferentes
distorsiones generadas por intentar dibujar una esfera en
un plano. Un mapa cuenta una historia, y por eso
fascina. Habla de las transiciones del poder, del
descubrimiento y la aventura. Por ejemplo, en algn
momento Jerusaln se ubicaba en el centro del mundo;
para los chinos, el centro era Youzhou.

7th International Conference on Digital Arts ARTECH 2015

Ptolomeo, en el siglo II d.C., estableci las reglas de

la cartografa. A partir de su estudio previo de la
astronoma, descendi el mapa celestial a la tierra,
dibujando los trpicos y el ecuador donde los planetas
pasaban directamente por encima. A l se debe el sutil
enrejado que cubre las representaciones del mundo y fue
el que ubic el norte en la cima del mapa.
Debido a las investigaciones desarrolladas en las
distintas pocas, esta graficacin del universo fue
cambiando: la triangulacin en el siglo XVI, el
establecimiento de la longitud en el siglo XVIII, las
observaciones areas en el XX y actualmente, a partir de
internet y los GPS.
Pero los mapas muestran una mirada area, siguen la
lnea del borde. Esto es algo tan obvio y familiar que
tendemos a olvidarlo. Los mapas no muestran lo que
hay arriba y alrededor, tampoco sealan lugares
significativos, que sirven para orientarnos en el
territorio.
Los mapas de un tiempo a esta parte se han vuelto
mapas mviles. La primera experiencia en este sentido
fueron los grficos de los aviones, visibles para los
pasajeros, que les mostraban la trayectoria que estaba
siguiendo la nave en ese mismo momento. Esto,
conocido como navegacin inercial, tiene sus races,
como tantas otras cosas, en la investigacin militar, en
los misiles guiados. Se registra un punto fijo en el
despegue y se mantiene esa ruta, adaptndose a los
sensores areos.
En 1960, comenz la navegacin satelital tal como la
conocemos ahora, como un mtodo de gua
intercontinental de misiles balsticos, cuyo nombre
oficial era NAVSTAR. Se mantuvo en secreto en el
Departamento de Defensa de los EEUU hasta los aos
70, cuando fue parcialmente abierto al uso civil,
permitiendo una localizacin hasta unos 25 metros de
distancia. Fue recin en el ao 2000, durante la
presidencia de Bill Clinton, cuando se levantaron las
restricciones
militares
a
los
Sistemas
de
Posicionamiento Global (GPS). Fue as como comenz
la era del mapeo moderno. Esta precisin mayor en la
localizacin, ha hecho que se abandonen de a poco los
mtodos de navegacin ms tradicionales por estos
nuevos mtodos de triangulacin. La navegacin
satelital fue popular primeramente en la navegacin en
barcos y recin en el ao 2005 se produjo el boom de los

114

M. Zerbarini et al. / Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y dispositivos en...

aparatos GPS producidos por una empresa holandesa,

creadora de los TOM TOM.
Ahora se confa en mapas generados por
computadoras, en sus direcciones de manejo y en las
aplicaciones que indican el camino a pie o en autobus.
As como antes se acostumbraba a pedir indicaciones a
la gente del lugar, ahora es igual; pero se le hacen a un
aparato y a una enorme escala, que tiene un cdigo tan
sencillo que permite liberarse de la lectura del mapa,
porque el artefacto se encarga de indicar cmo viajar,
metro tras metro, al destino. Esta manera de conectarse
con los mapas, ha cambiado la forma de relacin con el
entorno, se transita mirando el mapa en el aparato o en
el telfono y no se mira demasiado para arriba o
alrededor. Se puede llegar a cualquier lugar sin saber
muy bien cmo.
De esta manera, cada individuo se ubica en el centro
de su propio mapa del mundo. Busca cmo llegar desde
s mismo a cualquier lugar; a partir de habilitar en los
telfonos o computadoras el permitir localizacin
actual, se transforma en punto de referencia a
cualquier distancia. La contraparte es que al moverse,
tambin resulta mapeado por el sistema.
El mundo entero est siendo mapeado, Google planea
mapear cada lugar del mundo con ms detalle del jams
manejado anteriormente. Y de un tamao que quepa en
un telfono mvil. Lugares fotografiados, digitalizados,
renderizados y pixelados desde el territorio, por medio
de autos con cmaras de techo, lsers y mquinas de
imgenes 3D, y tambin desde el espacio, por medio de
satlites. Estos mapas son actualizados constantemente y
son ms fros y precisos que nunca. El Street View es un
intento ms de Google por aproximar el mapa al
territorio. Ah quedaron congeladas las personas y cosas
que se encontraban al momento de pasar las cmaras, en
un presente permanente, corriendo a un lugar al que
nunca llegarn. Para conseguir este objetivo del mapa
total del mundo, Google est mandando a sus empleados
a las zonas lejanas e inexploradas, munidos no con autos
con cmaras sino en sus mochilas. Es similar, aunque
con un propsito totalmente distinto, a la nueva
tecnologa que est desarrollando la empresa israel
Rafael, MatchGuide [2], que se basa en fuentes de video
remotas en tiempo real, tomadas por los soldados que
llevan cmaras en sus cascos y que puede ser utilizada
en reas donde no llegan los GPS. Esto permite tener
imgenes reales y del momento, que son necesarias en
medio de una guerra, donde el territorio puede presentar
peligros o cambios no previstos. Rafael dice tener unos
algoritmos de proceso de imgenes que permite que
cada imagen, an tomada por varias personas desde
diferentes ngulos, pueda hacerse coincidir en tiempo
real, proveyendo precisa focalizacin y prevencin de
situaciones. Quizs la respuesta ms humana est en
Open Street Map, un mapa hecho por la gente, para la
gente, donde los voluntarios trazan su rea con aparatos

de GPS y se dedican a marcar no solo los caminos, sino

los sitios importantes para los lugareos, aunque quizs
no relevantes para las grandes empresas. Es quizs el
mapa ms democrtico que existe, una Wikipedia del
mapeo.
II. OBJETIVOS Y MARCO TERICO
El Centro de Arte Electrnico RIXC (Letonia),
asociados en el Laboratorio de Medios Locativos y
lderes de la iniciativa Mapping Transcultural (TCM)
[3], despus de un ao de trabajo con artistas en Europa
realizaron una serie de presentaciones y jornadas
relativas al tema Medios Locativos (Karosta, Letonia
2003); lo planteado en esas conferencias se podra
sintetizar en que estos medios plantean desde el
ciberespacio, ya imaginado por William Gibson, una
serie de preguntas, cuestiones crticas y prcticas
tendientes a una nueva discusin sobre la conciencia de
la relacin del lugar y la gente, nuevos modelos de
comunicacin e intercambio como as tambin de
vigilancia y control. Surgen nuevas formas de pensar,
hacer y ver, desencadenando interesantes discusiones
sobre lo humano. Algunas de las ideas ms destacadas
fueron:
1) Exploracin de la subjetividad en la cartografa
2) La relacin simbitica del poder
3) Tierras interactivas para el conocimiento, la
planificacin y la comprensin
4) Cuestionar la cartografa clsica y las herramientas
cartogramticas
5) Realidades geogrficas, polticas y comerciales en
un espectro radioelctrico asignado y otras de zonas
marginales libres
6) Los medios locativos en contexto con los medios
tcticos.
A. Nuevas Realidades
Los mapas creados a travs del sistema de
coordenadas cartesiano han sido la herramienta no solo
ms utilizada sino tambin ms alterada en funcin de
intereses determinados. El sistema GPS, Global
Positioning System, actual sistema de satlite en la
creacin de mapas, financiado y construido por el
Departamento de Defensa de EE.UU fue autorizado por
el Congreso de EE.UU en 1973. Utiliza 34 satlites en la
rbita media terrestres que emite un sistema de
microondas, se emplea como herramienta para precisar
el posicionamiento en proyecciones terrestres, as como
para determinar la localizacin, el tiempo y la velocidad
(incluida la direccin) de receptores GPS en tiempo real.
A diferencia del espacio euclidiano, estos mapas
describen objetos en el espacio y no el espacio en s.
Contrariamente a la indiferenciacin geogrfica
planteada en las primeras redes sociales, los medios
locativos buscan referenciar sus objetos de estudio y

7th International Conference on Digital Arts ARTECH 2015

M. Zerbarini et al. / Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y dispositivos en...

crear nuevos y diversos mapas de la realidad. Segn Lev

Manovich [4] podra hablarse no ya de una realidad
virtual sino de una realidad aumentada.
A travs de ciertos proyectos artsticos se pone en
evidencia que
la geografa fsica se revaloriza,
desestimando la idea de simulacro planteada por
Baudrillard [5], - la simulacin del territorio es ms
importante que el terreno en s -, lo ms peligroso de
este concepto, segn Jameson [6] no es que el simulacro
anteceda al territorio, sino que este ltimo se ha vuelto
imposible de cartografiar. Siguiendo la idea de Jameson
puede ser que esta tecnologa nos permita salir de la
confusin actual, ubicarnos como sujetos individuales y
colectivos y ubicar al otro socialmente. La creacin de
mapas es el resultado de una accin individual y su
alteracin segn expectativas individuales, basada en
cartografas personales, generan mapas subjetivos,
mltiples, dinmicos. El territorio se vuelve visible ya
que se trata de espacios activos donde se producen
procesos, sistemas sociales o naturales.
Segn Javier Adolfo Aguirre Ramos [7] se plantean
dos categoras de lugares, el real y el virtual. El virtual o
ciberespacio [8] como el lugar de encuentro y aventura,
centro de conflictos mundiales, nueva frontera
econmica mundial. Si el espacio real se lo piensa como
lugar de identidad, relacional e histrico, un espacio que
no puede definirse de esta forma es un no-lugar [9].
Dentro de esta configuracin se plantean los lugares
concretos y relativos. Los concretos definidos por
coordenadas geogrficas cartesianas, o numricos
electrnicos y los relativos definidos a partir de su
relacin con otra cosa, es decir psico-geogrficos
caracterizados por relaciones subjetivas, culturales e
histricas.
J. A. Aguirre Ramos se pregunta: es posible reconfigurar los no-lugares a partir de la creacin de
acontecimientos virtuales?
B. Cartografas de datos medioambientales
Un ecosistema global podra asociarse a la idea de
infosfera, entendiendo esta ltima como el territorio de
transmisin de la informacin local o global, en un
mundo cartografiado planetariamente a partir de la
informacin circulante. Es la llamada computacin
ubicua, que a travs de diversas tecnologas permite la
gestin de informacin digital en cualquier lugar. El
territorio fsico se transforma en tiempo real en territorio
de la informacin, lo real y lo virtual para dinamizarse y
crear otros paradigmas.
Utilizamos informacin abstracta que tiene
consecuencias reales en la recreacin del mundo.
Entendida la informacin como un organismo vivo que
genera nuevas formas, en nuestro territorio real y/o
virtual, circulan e interaccionan seales de todo tipo.
Existimos inmersos en un constante flujo de datos que
atraviesan laberintos de membranas y generan redes de

7th International Conference on Digital Arts ARTECH 2015

115

comunicacin, materiales y simblicas. Palabras que

generan palabras, mquinas que forman redes,
entrelazan signos, cdigos y lenguajes, morfologas y
comportamientos. Lo social como organismo vivo
tambin se configura como un mapa/red producto de
interacciones mltiples, determinando una corriente de
informacin que posibilita otras formas de conocimiento
y organizacin social.
La geolocalizacin en tiempo real posibilitada por la
informacin satelital, genera una transformacin
dinmica de la informacin re-codificndose en
representaciones
dinmicas
multidimensionales
accesibles a travs de interfases digitales.
Los
resultados no slo se comportan como imgenes sino
que son procesos, trficos de datos producto de la
interaccin entre seres vivos, el espacio, la infosfera en
tanto espacio global y local, creando nuevas relaciones y
conciencia entre las personas y su entorno. Toda
relacin supone novedad, creatividad, mayor
complejidad, se tratara de interpretar el entorno urbano
o natural a travs de formas alternativas de generacin
de datos. Relacionar puntos geogrficos con fotografas
o videos, datos histricos, ancdotas personales son una
prctica casi domstica en la actualidad entre la multitud
de usuarios de las redes sociales. Por eso puede hablarse
de geoetiquetado, la posibilidad de asignar un espacio
determinado a fotografas, textos, videos o audio en
sitios como Facebook, Google Earth, entre otras, que ya
pueden ser directamente realizadas con las cmaras de
fotos con GPS incorporados que incluyen fecha, lugar o
metadatos que se introducen en el documento publicado.
Metodolgicamente son las APIS (Interfaz de
programacin de aplicaciones) las que desde un plano
tcnico posibilitan las acciones referidas. Son las formas
que un programador pone a disposicin de otros
desarrolladores para que puedan interactuar con su
aplicacin o peticionar informacin de sus contenidos y
lo realizan a partir de algunos lenguajes de
programacin apropiados para tal fin. Las Apis fueron
puestas a disposicin del pblico, por primera vez, por
Google en 2005 que populariz su uso, consisten de
archivos JavaScript que contienen las clases, mtodos y
propiedades que se usan para el comportamiento de los
mapas.
III. ALGUNOS ANTECEDENTES HISTRICOS
En 2003 Karlis Kalnis utiliza por primera vez las
palabras Locative Media para referirse a productos y
procesos artsticos que se generaban en el Locative
Media Lab de Riga (Letonia). En el caso que nos ocupa,
el origen fue el ttulo de un taller que tuvo lugar en 2003
en el RIXC, un centro de arte electrnico en Riga
(Letonia), donde se utiliz por primera vez. El trmino
hace referencia especficamente a medios de
comunicacin ligados a un lugar o espacios fsicos que

116

M. Zerbarini et al. / Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y dispositivos en...

desencadenan interacciones y dinmicas sociales. No

es de mbitos comerciales, ni tcnicos donde surge el
trmino sino en mbitos del arte, la comunicacin y la
cultura. En el ao 2006, Tuters y Varnelis clasifican
estos proyectos en anotativos y fenomenolgicos. Los
anotativos se refieren a etiquetar emplazamientos
geogrficos mediante softwares comerciales como el
Google Earth o Google Maps y los fenomenolgicos
rastrean la accin de sujetos vivos en el espacio fsico.
La Internacional situacionista [10] - [12] fue un
grupo de activistas polticos y artistas internacionales
que alrededor de 1957 basaron sus acciones en lo que se
denomin psicogeografas urbanas o ciencia de la
deriva. Se trat de volver a cartografiar el mundo
haciendo visibles las relaciones de capital y poder
subyacentes en la ciudad. Proponen lo que hoy
entenderamos como un modelo en red relacionado a
travs de bases de datos, nuevas tcnicas que modifican
nuestra percepcin del espacio y sus localizaciones.
Otros trabajos artsticos del ltimo siglo podran
pensarse tambin como antecedentes de la produccin
en Medios Locativos, como el Land Art, la
Performance, las intervenciones en el espacio pblico, el
net.art centrando su relacin en lo que estos
movimientos tiene de proceso, de accin y de objeto.
Waag Society, en colaboracin con Polak, cre
Amsterdam Real Time (2002). Se trata de la
visualizacin de mapas mentales de los caminantes de
una ciudad a travs de la observacin de sus
comportamientos. La superposicin de muchos de estos
mapas individuales creaba el diseo colectivo de los
desplazamientos en la ciudad, las preferencias se
visualizaban no por una grilla determinada, sino por el
engrosamiento de lneas de trnsito en las calles de
Amsterdam.
Se puede mencionar tambin el proyecto Milk2003,
en el que granjeros de Letonia podan visualizar a travs
de dispositivos GPS, el trayecto de la leche que se
ordeaba en sus propias vacas - espacio de produccin
(Letonia-) hacia toda la red de comercializacin y
distribucin de la misma (Holanda).
Lozano Hemmer realiz la obra Alzado Vectorial,
donde la interaccin de los usuarios en Internet creaba
un cambio real en el espacio fsico, generando una
escultura lumnica ubicada en la plaza del Zcalo en
Mexico DF, que se iba modificando siguiendo los
diseos propuestos por los participantes on-line.
En el ao 2007, Marina Zerbarini presenta el proyecto
Distancias y Gigantes. Una cuestin de recorrido, y que
fuera preseleccionado en el Espacio de la Fundacin
Telefnica de Bs. As. Se bas en el rastreo satelital de
los elefantes marinos de la Ciudad de Puerto Madryn en
su fase migratoria por medio de microchips. Con los
datos aportados por el satlite se pretenda construir un
mapa migratorio de la especie. El proyecto sigue vigente
y obtuvo el segundo lugar, pero dado que el certamen

cubra slo los gastos de desarrollo de proyectos, no se

avanz dados los altos costos y recursos involucrados.
Los dispositivos GPS tambin fueron usados por
Beatriz Da Costa en su obra The pigeon that blogs del
ao 2006. Se insert un dispositivo GPS a un grupo de
palomas para investigar los lugares por donde volaban y
trazar un mapa de sus recorridos. Un sensor ambiental,
tambin insertado, registraba los niveles de polucin en
el aire que ellas atravesaban. Luego la informacin
obtenida por las palomas era blogueada y difundida por
internet a travs de diferentes aplicaciones y mapas.
Canal Accesible de Antoni Abad, es una accin
basada en la entrega de telfonos mviles a 40 personas
con menor capacidad fsica. Cada una de ellas fotografa
con ese celular cada obstculo con el que se encuentra
para circular en la ciudad que enva mediante un
mensaje a un servidor determinado que aade las
imgenes a un mapa que pretende representar la
dificultad de circulacin de las ciudades mencionadas.
Miranda July (Vermont, 1974), escritora, realizadora
y performer , ha lanzado una aplicacin en la que uno
puede pedirle a otro usuario, aunque no lo conozca, que
transmita un recado en persona y de su parte a un tercer
individuo del que sabe que se encuentra cerca, gracias a
un sistema de geolocalizacin. La aplicacin Somebody
se puede descargar gratuitamente en iTunes. En un corto
realizado por la artista muestra cuatro ejemplos de su
utilizacin, desde pedir matrimonio a una chica
mediante un intercesor, que perfectos desconocidos se
disculpen con una amiga en nombre de otra, que algn
cobarde pueda abandonar a su pareja por la va
subrogada hasta el delirio de una planta pidiendo mimos
a travs de la amante de su dueo. El corto llamado
como la aplicacin, se present en el Festival de cine de
Venecia.
V. NUESTRO PROYECTO
Cada uno de los integrantes del equipo planea la
realizacin de distintas obras/procesos basados en los
mismos dispositivos, desde la robtica, el rastreo de
patos de laguna, hasta las acciones performticas que
involucran al espectador llevndose un objeto consigo y
la accin de un buceador en una playa.
Se trata, a travs de la produccin artstica, de
canalizar una investigacin sobre estos marcos
conceptuales y relativos a los medios locativos
utilizados con fines no comerciales y la realizacin de
dispositivos digitales con estos medios, especficamente
los que gestionan informacin geogrficamente
contextualizada, llamados tambin de rastreo satelital,
interfases digitales que permiten la representacin y la
experiencia del lugar conducentes a nuevas reflexiones
respecto al espacio y el tiempo en las sociedades
contemporneas altamente tecnologizadas.

7th International Conference on Digital Arts ARTECH 2015

M. Zerbarini et al. / Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y dispositivos en...

117

Por ese motivo se hace necesaria la construccin de

un sistema compuesto por un nmero variable de
unidades sensoriales que enven la informacin
capturada por sus diversos sensores al servidor central
de forma inalmbrica. El diseo y desarrollo del
proyecto
permite
comprender
la
lgica
y
funcionamiento de esta tecnologa. Siendo muy
importante para este trabajo bajar los costos para poder
construir varios de los dispositivos que se utilizarn en
el sensado y visualizacin de la informacin.
Como se mencion anteriormente, el estudio, sensado
del espacio, y la aplicacin de unidades sensoriales se
utilizan en ecosistemas y sitios urbanos as como el
diseo de visualizaciones de los datos recopilados y su
posterior utilizacin en obras artsticas.
A. Actividades desarrolladas
De acuerdo a los objetivos y metodologa propuestos
se desarrollaron las siguientes actividades:
1) Preparacin del primer dispositivo con sistemas de
radiofrecuencia (MODULOS DE RF TX) con la
interfaz Arduino (Fig. 1).
2) El desarrollo del lenguaje para Arduino y las
pruebas del alcance de la radiofrecuencia sobre un
terreno hipottico (Fig. 2).
3) Con la incorporacin Del modulo GPS se
reformularon los dispositivos necesarios. Se reemplaz
la comunicacin de Radiofrecuencia (MODULOS DE
RF TX) por la placa XBEE Shield. Esto posibilit que
Arduino
se conecte en forma
inalmbrica
usando ZigBee. Y as se obtuvieron dos dispositivos,
uno emisor que contiene el modulo GPS y otro receptor
conectado a la pc (Fig. 3).
B. Procedimientos realizados
Los pasos han sido:
I. Conectar los dos mdulos, uno a la computadora y
otro con el GPS en forma remota.
II. Obtener los mensajes GPS NMEA en la PC. (GPS
NMEA lenguaje especfico de GPS)
III. Obtener los mensajes GPSN MEA en Arduino
IV. Controlar la salida de mensajes NMEA Standard
V. Obtener los datos, convertirlos y representarlos en
el plano, utilizando el Software libre u-center para la
visualizacin en Google Earth (Fig. 4).
VI. Realizar el primer recorrido con el dispositivo para
obtener las primeras imgenes de un sensado en
movimiento (Fig. 5).
C. Planificacin y proyeccin de eventos
En los prximos meses se prevee:
a. La incorporacin de energa solar para alimentar la
placa remota.
b. Mejorar la programacin para obtener datos en
forma ms espaciada y producir menos consumo de
energa.

7th International Conference on Digital Arts ARTECH 2015

Fig. 1.

Primer dispositivo.

Fig. 2. Desarrollo del lenguaje para Arduino y pruebas del

alcance.

Fig. 3. Arduino se conecta en forma inalmbrica usando

ZigBee, se obtienen dos dispositivos, uno Emisor que contiene
el modulo GPS y otro receptor.

118

Fig. 4.
Earth.

M. Zerbarini et al. / Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y dispositivos en...

Software libre U-Center y la conexin con Google

A travs de dispositivos GPS conectados a distancia

en el cuerpo de 30 patos blancos de laguna, se sensarn
sus movimientos y comportamientos. Otro dispositivo
de radiofrecuencia recibir la informacin que se
visualizar en una instalacin de 30 objetos
desplazndose sobre una superficie arenosa, con
intencin de trazar lneas, fugas, movimientos
superpuestos en base a los desplazamientos reales de las
aves. Se tratar de traducir el movimiento real en una
nueva metfora que re-abra los sentidos y dinmicas de
las imgenes. Se realizar en el espacio delimitado por
el Lago ubicado en el Parque Tres de Febrero de la
ciudad de Bs. As.
C. De bote a bote de Carina Ferrari.
Se colocarn dispositivos GPS escondidos en botes de
alquiler a pedal que se encuentran en el Parque Tres de
Febrero de la Ciudad de Buenos Aires. Un dispositivo
de radiofrecuencia recibir la informacin del
desplazamiento de los mismos en el lago. Los recorridos
de los paseantes se visualizarn en una pantalla,
generando dibujos aleatorios, que al final del ruteo,
delimitarn la superficie total del lago. La huella del
movimiento como metfora de la apropiacin del
espacio.
D. Duras y maduras de Carina Ferrari.

Fig. 5. Primer recorrido y obtencin de las primeras

imgenes del sensado en movimiento.

VI. PROYECTOS DE OBRAS/ PROCESOS

A partir de los dispositivos desarrollados y otros en
vas de desarrollo, se espera producir las siguientes
obras/ procesos de cada uno de los integrantes del
equipo. A saber:
A. Comportamientos + Robots, Instalacin robtica de
Daniel Alvarez Olmedo.
Comportamientos + Robots es un Proyecto Work in
Progress desarrollado en el marco de investigacin, e
intenta mostrar a travs de una Instalacin Robtica una
persistencia
de
comportamientos
colectivos
representados por un grupo de dispositivos robticos
que interactan entre s. A cada robot se le programa
una caracterstica particular de actitud e interactividad
con otros dispositivos robticos, que con una
comunicacin inalmbrica utiliza algoritmos de ruteo
asociados a una red punto a multipunto. La actividad y
posicionamiento de los mismos son monitoreados para
generar una estadstica que d cuenta de las distintas
conductas de sta comunidad de dispositivos robticos.
B. El ms chiquitito se quiso quedar de Marina
Zerbarini.

Se trata de una performance, donde se desparraman en

el piso el contenido de cuatro cajones de manzanas, con
una banqueta en el centro. La performer cuenta historias
familiares referidas al pelado y eleccin de las frutas al
comer. Posteriormente, invita a los espectadores a
embolsar manzanas y llevrselas a sus hogares para
realizar una comida.
Se colocarn dispositivos GPS dentro de algunas
manzanas, de manera de mapear el recorrido de las
mismas, llevadas por los espectadores a sus hogares. Esa
informacin ser captada por un dispositivo de
radiofrecuencia y se visualizarn en pantalla, mostrando
el dibujo que realizan las manzanas desde el lugar de la
perfomance hasta su destino final, generando mltiples
combinatorias de lneas y fugas, en definitiva, de
relaciones entre las frutas, que no deja de ser metfora
de las relaciones de los espectadores entre s.
E. Investigar es un arte de Celeste Snchez Saenz de
Tejada.
Se propone a travs de la performance y su registro
reflexionar sobre la investigacin en artes. El artista en
tanto investigador nato propone una serie de tareas, un
marco metodolgico y una serie de objetivos a cumplir
en pos de un proyecto cuya finalidad es la de producir
una obra de acuerdo con ciertos criterios estticos por l
seleccionados. Mientras intenta seguir estrictamente el
camino trazado se encuentra con una serie de avatares,

7th International Conference on Digital Arts ARTECH 2015

M. Zerbarini et al. / Intersecciones de espacios fsicos y virtuales. Emergencia de nuevos conceptos y dispositivos en...

imprevistos y su propia curiosidad que lo tientan a

salirse del guin llegando a resultados inesperados.
F. Encuentros cercanos de Celeste Snchez Saenz de
Tejada.
Instalacin acutica, sonoro- lumnica compuesta por
cuarenta patos de goma. A travs de los dispositivos
desarrollados de comunicacin inalmbrica, los patos
reciben la informacin que posibilita que los leds
insertos en su interior se prendan y apaguen siguiendo el
ritmo de la msica.
VII. CONCLUSIONES
Por la experiencia realizada, ha sido visible que con el
uso de dispositivos de trazabilidad y seguimiento de
individuos, el espacio virtual se transforma en un lugar
habitable, generando una visin que convierte las
coordenadas en objetos con una identidad determinada.
Estos dispositivos poseen la intencionalidad de hacer
aparecer, desde lo real a lo virtual, o desde lo virtual a lo
real, el espacio abierto en el cual se puede intervenir. Se
intenta construir una nueva mirada sobre una imagen
abstracta, conducente a una imagen globalizadora del
planeta.
La trazabilidad que se genera crea proyectos que
agregan un valor narrativo al recorrido, buscando su
atencin en el espacio que se origina en la accin de
moverse de un lugar hacia otro, a diferencia de los
proyectos que muestran informaciones en la pantalla,
estos proyectos incorporan el tiempo que se produce a lo
largo del trayecto, haciendo real ese espacio-tiempo
virtual dado que son evidencias a partir de los
movimientos de un sujeto fsico en el espacio. El
caminante, en su acto de andar, realiza un acto
performativo, utilizando el mundo material para
desarrollar una historia cotidiana en donde genera
nuevas perspectivas de percibir y usar lo real, dando as
nuevas formas y narraciones, cotidianeidad que produce
encuentros y situaciones que dan lugar a otras
propuestas. Producir y crear en tiempo real en el
mismo lapso- da como resultado un espacio urbano
dinmico y cambiante.
Atento a los costos y la dificultad para la obtencin de
estos dispositivos (desde Argentina) surge una crtica a
la accesibilidad a los mismos. Los artistas que hacemos
uso de estos prototipos de posicionamiento geogrfico,
nos inclinamos
al libre acceso a la tecnologa,
programas de libre acceso, low tech y el acceso libre al
wire-less, impidiendo que toda la informacin de esta
realidad (datos), se encuentre slo a disposicin de
personas con alto poder adquisitivo, equipadas con
tecnologas de alto costo. Esta posibilidad de utilizacin
del espacio debe ser accesible a todos, as puede ser

7th International Conference on Digital Arts ARTECH 2015

119

interpretada y reinterpretada, no solo haciendo notar las

diferencias que demuestran el espacio vivido, sino
generando nuevos contenidos dinmicos histricos en el
tiempo.
REFERENCIAS
[1] S. Garfield, On the map. A mind-expanding exploration
of the way the world looks, New York: Gotham Books,
2013.
[2] A. Egozi. The Ultimate target generatorfor aerial combat
plataforms. Publicado en Ariel View. Arie Egozi on
Israel
Aviation.
22
Setember
2014.
http://www.flightglobal.com/blogs/arielview/2014/09/ulti
mate-target-generator-aerial-combat-pltforms/
Consultado 15/01/2015
[3] TCM Locative Reader. Publicado en DRIVE.
http://parth.wordpress.com/2006/07/25/tcm-locativereader/ Consultado 05/11/2014.
[4] L. Manovich, The poetics of augmented space, (2005),
http://manovich.net/DOCS/Augmented_2005.doc
(accessed August 27, 2012).
[5] J. Baudrillard, Cultura y simulacro, Barcelona: Kairs,
2007.
[6] F. Jameson, Postmodernism, or the Cultural Logic of
Late Capitalism, 1991 Durham: Duke University Press.
Pgs. 52- 54, 1991. [Versin en castellano: F. Jameson,
El posmodernismo o la lgica cultural del capitalismo
avanzado, 2008].
[7] J. A. Aguirre Ramos, Narrativa digital y Cibercultura
en: Medios locativos y no-lugares Oportunidad abierta
para la creacin de acontecimiento. Maestra en Diseo
y Creacin Interactiva Universidad de Caldas,
Departamento de Artes y Humanidades, Manizales,
Colombia, 2009. Consultado 05/11/2012
[8] P. Lvy, Cibercultura. La cultura de la sociedad digital,
Barcelona: Anthropos, 2007.
[9] M. Aug, Los "no lugares" espacios del anonimato. Una
antropologa de la sobremodernidad, Barcelona:
Editorial Gedisa, 2000.
[10] Internacional Situacionista. La vanguardia de la
presencia. Internationale Situationniste. Publicado en
Internationale Situationiste # 8 (1963). Traduccin
extrada de Internacional Situacionista vol. II: La
supresin de la poltica, 2000, Madrid, Literatura Gris. En
altediciones. www.altediciones.com
[11] Internacional Situacionista. El comienzo de una poca.
Traduccin al castellano del artculo "Le comencement
d'une epoque" publicado en Internationale Situationniste,
# 12 (septiembre de 1969, pgs. 3-4, 7-15, 28-32.
Traduccin de Luis Navarro incluida en Internacional
Situacionista (textos completos en castellano de la revista
Internationale Situationniste (1958-1969): vol. 2: La
prctica de la teora, Madrid, Literatura Gris, 2001. En
altediciones. www.altediciones.com
[12] R. Vienet, Los situacionistas y las nuevas formas de
accin en la poltica y el arte, Publicado en el # 11 de
Internationale Situationniste, 1967. Traduccin de Julio
Gonzlez del Ro Rams publicada en La creacin abierta
y sus enemigos: textos situacionistas sobre arte y
urbanismo, Madrid: La Piqueta, 1977.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

121

Media Art in the Age of Digital

Production: Digital Identities
Su Hyun Nam
The Department of Media Study, University at Buffalo, The State University of New York,
Buffalo, NY, 14228 USA
Abstract Along with a brief archeology of
digital media and media art, this paper examines how
technology has embodied the desire of self-identity as well
as transcendence of human experience in digital
environment. In the tandem development of technology
and human perception, digital media has become one of
artistic forms for self-expression in search of ontological
realization that also manifests the status quo of
relationship between human and computational system.
Together with the extension of their being by means of
technology, media artists experiment and identify the
uniqueness intrinsic in new media for the sake of
distinction from it in mainstream culture. By discussing
media art history in the context of technological
advancement, we can reevaluate its implications and
potentials revealed by media art, and reconsider
meanings of exploiting technology in contemporary art.
Index Terms Media art history, art and
technology, digital identity, digital totality, image
processing, immersive environment

I. INTRODUCTION
After the remarkable surge of technological
development during World War II, there was a
movement by scientists and artists to change the
destructive disposition of technology and push it
toward supporting the advancement of knowledge.
Today, technology is a necessity of daily life, and everchanging technology has a profound impact on human
perception and behavior. The evolution of the screen,
one of the most ubiquitous components of modern
technology, has changed the relationship between
media and user, moving from one-way broadcast to
interactive communication via such input devices as
from a mouse to natural user interface (NUI). Recently,
the proliferation of smartphones a pocket-sized
device with a high-resolution touchscreen has come
to represent our contemporary moment and changed
digital media literacy. The invention of new
technologies such as video, the internet and personal
computer has brought about a significant transition
of not only human perception, but also visual art
culture in relation to the awareness of audience and to
the roles of artists in production. Contemporary artists
experiment with divergent forms of digital media to
present not only the possibility of new technologies as
a mediator of self-expression and an extended
7th International Conference on Digital Arts ARTECH 2015

apparatus of human perception, but also the importance

to rethink and identify a value from ephemeral,
obsolete technologies. Within the context of the media
art archeology along with digital media, this paper
discusses the transformation of modern technological
art in relation to its interaction with human, and its
effect on society. By researching their relationship, we
can elucidate how media artists and users establish and
realize their identities in digital system in tandem with
the mutable nature of technology itself.
II. THE CONVERGENCE OF MEDIA
A. Art with Technology
The word Art derives from ars in Latin and
techne in Greek, and the word technique also comes
from techne, whose Latin cognate is ars. At that
time, art and technique did not have a distinction as we
have today. In the 15th century, Leonardo da Vinci tried
to combine his scientific observation with art to
complement his work. Also, in the 1920s, Bauhauss
primary approach toward design was to combine crafts
and fine art with the idea of creating a "total" work of
art. In 1967, artists and engineers in New York
collaborated on media-art explorations at Experiments
in Art and Technology (E.A.T). The notions of
convergence and interdisciplinary work have been
claimed for a long time, and artists have strived to
integrate heterogeneous disciplines within art.
B. Theatre of Totality
Not only in the broad context of art and technology,
many artists, designers and scientists have challenged
the discrete system of media and technology itself
taking a closer look. In 1924, Lszl Moholy-Nagy
developed Theatre of Totality, a new kind of theater
that subverted the traditional theater hierarchy.
Moholy-Nagy wrote The Theater of Totality with its
multifarious complexities of light, space, plane, form,
motion, sound, man and with all the possibilities for
varying and combining these elements must be an
ORGANISM. (Moholy-Nagy 1924, p.22). By
synthesizing the theaters components, the theater itself
becomes an abstract form of artistic expression, and the
system of total theater resembles our body structure

122

S. Nam / Media Art in the Age of Digital Production: Digital Identities

that senses its surroundings with synesthesia. MoholyNagy may have noticed the ecological association
between media and human perception in Theatre of
Totality. It guided a further development of
technologies in relation to human behavior, as well as a
more natural experience of technology with our body.
Such an attempt was further expanded into information
technology after World War II by scientists, who
adopted the human cognitive process to data system.

The invention of the World Wide Web and personal

computers has enabled people to not only navigate
information in nonlinear order, but also to experience
multiple media feedback simultaneously. Consequently,
the advancement of interface, from Command Line
Input to Graphical User Interface (GUI), allows
multimedia experience and more flexible interaction
that enhance the associative human perception together.
Viewers are now allowed to deal with several
happenings together due to GUIs capability of
displaying a number of coexisting windows along with
multisensory interaction. As engaging in multiple
layers of window, viewers cannot be defined with a
single identity in the digital dimension anymore.
D. Multiple Identities in New Media Art

Figure 1. Light Play with Projections from Bauhaus Theater

C. Hypermedia
In the 1962 essay As We May Think, Vannevar Bush
expressed the desire to enact a new direction of
scientific efforts away from destruction and toward an
accessible knowledge system, depicted by the concept
of Memex (Memory Extender). Memex introduced the
initial conception of hypertext, which mimics the
associative processes of the human mind. In 1974,
Theodor Nelson elaborated Vannevars idea in his
book Computer Lib / Dream Machines and expanded
the concepts of hypertext and hypermedia, as nonsequential writing, highlighting the complexity of
interrelationship in human knowledge. To address this,
he
wrote
EVERYTHING
IS
DEEPLY
INTERTWINGLED. In an important sense there are no
"subjects" at all; there is only all knowledge, since the
cross-connections among the myriad topics of this
world simply cannot be divided up neatly. (Nelson
1974, p. DM45)

Media artists are influenced by such a cultural shift,

and they reflect the complexity and multiplicity in their
image composition. Zbigniew Rybczyskis film
Tango (1982) is created with numerous layers that
populate the screen as people perform various actions
in a loop. Layers in his film are used as a metaphor for
human cohabitation and over crowdedness, but also it
denotes the beginning of divergent virtual identities,
occurred by the coexistence of multiple windows,
displaying disconnected contents on a screen. The
crowded space in the film analogous to a personal
computer screen, which is populated by windows and
applications a user unconsciously and consistently
opens. In Peter Campuss Three Transitions (1973), he
wipes his face to erase it, climbs through the rupture in
his body and burns the living image of himself. He
creates a visual illusion by using video technology to
reveal the duality of technology and the psychology of
the self. His video also manifests the virtual multiidentities of a viewer, who switches ones position
among different elements without a conscious
awareness of the phenomenon.

Figure 3. Still images from Tango by Zbigniew Rybczyski

Figure 2. Memex Concept Drawing

In the twenty-first century, the dream of Bush and

Nelson the accessibility and collective nature of
information has been realized, as personal media has
become ubiquitous, and all online information is
7th International Conference on Digital Arts ARTECH 2015

S. Nam / Media Art in the Age of Digital Production: Digital Identities

interconnected along with the evolution of World Wide

Web. A new social structure and new self-identity
needed to be examined by media artists. Like divergent
multi-identities emerged with Graphical User Interface,
the almost limitless accessibility, the deluge of private
information online, and the invisible thread of network
also heralded a new level of self-awareness in
contemporary media arts.
E. Virtual Identity in Digital Dystopia
On one hand, the Internet provides great accessibility
and flexibility in our life. On the other hand, it also
brings about public uncertainty and fear concerning
security and surveillance by authorities, as if the
dystopia with Big Brother in 1984 by George Orwell
came into a reality. The anxiety of the rapid shift along
with fast-growing technology has become one of
subject matters for media artwork to address the critical
disposition and discerning awareness of the Internet.
Josh Harris, a founder of Jupiter Communications and
Pseudo Programs, Inc., is considered one of the ten
most important people in the history of the Internet,
according to entrepreneur Jason Calacanis, who
chronicled New Yorks tech scene in his publication,
The Silicon Alley Reporter. His experimental project is
documented in the film We Live In Public, which
depicts the vulnerability of the human behavior and
emotion under circumstances where they are being
watched 24/7 without any privacy a metaphor for
cyberspace. Media artists also discuss not only the
surveillance, but also anonymity in the virtual
community. Iraqi-born artist Wafaa Bilal is known for
his provocative interactive installation Domestic
Tension. He sets a domestic space in the gallery and
confines himself in the space during the project period.
People can log into his project website to watch him
through a live web cam, chat with him, and shoot a
virtual gun, with data that is transmitted to a physical
paintball gun. By putting himself, as a virtual avatar, in
a representation of cyberspace, Bilal addresses the
awareness of surveillance and the potential danger in
malicious actions in the digital age, and presents the
continuous effect conveyed from virtual to real world.

Figure 4. Domestic Tension by Wafaa Bilal

7th International Conference on Digital Arts ARTECH 2015

123

As our culture becomes more intricate and

interconnected due to globalization and advanced
network technology, not only can ones identity be
diverse and transformative depending on different
given situations, but also a lot of cultural values can be
further intermingled and transmuted together in a
digital space. Artists have strived to reconcile media
environment with human experience by either
emulating human perception in a technological system,
or reflecting their extended identities on a virtual space.
Correspondingly, artists long-standing interest of
humanity and essential identity such as religion,
ethnicity, gender and sexuality has been stretched into
our varying existence in a new social structure emerged
by the advancement of technology.
III.VIDEO ART AND IMAGE PROCESSING
A. The Advent of Video Art
Since its public appearance in the 1960s, video has
introduced not only time as a new artistic medium,
but also a new form of art that includes video sculpture,
electronic image processing, and live performance.
Artists have strived to discover its unique
characteristics so as to differentiate it from mass media.
Furthermore, the invention of video questions the role
of video artists in the process of art production and
their identity as a creator, similar to the agitation of
painters ontology caused by photography. Frank
Popper explains in Art of Electronic Age, four other
categories of video work have played an important part
in the development of this art form: 1) video sculpture,
video environments 2) guerilla video 3) theatrical video
performance 4) experiment with video technology and
equipment (Popper 1993, p.54). In this way, many
video artists have begun to blur the boundaries between
artistic trajectories that include sculpture, engineering,
and performance. The identity of media artist has
become complex and pluralistic while simultaneously
distinguishing them from popular visual culture.
B. Sculpting Video Signal
Image processing, from electronic signals to digital
pixels, is one of the most prominent and consistently
explored areas of video technology research. Many
artists experiment with the plasticity of videos
electronic signal, regarding it as manipulative,
intangible and immaterialized clay. As Woody Vasulka
has said: There is a certain behavior of the electronic
image that is unique. Its liquid, its shapeable, its clay,
its an art material, it exists independently (Vasulka
1973). Vasulka challenges the limit of screen images
and the construction of video frames. He focuses on the
fact that video image is actually a frameless continuum.
Woody and Steina Vasulka combine and swap the raw
material of video and sound signal and noise to

124

S. Nam / Media Art in the Age of Digital Production: Digital Identities

recompose it in the form of one or the other. They also

take another approach of constructing images using
mathematical logic function, which determines how
two images are combined systematically. Inspired by
such experimental practices, those operations are now
commonly facilitated in graphic software, like
Photoshop, as blending tools.
The plasticity of video signal has been explored in
many different ways. While Nam June Paik has
pursued his investigation through all forms of video, he
also developed Magnet TV (1965), applying magnets to
the outside of a TV to alter electromagnetic flow
through cathode ray tubes. Dan Sandins video
synthesizer, Sandin Image Processor (1971-1973),
introduced a new way of mixing video signal in a
fashion similar to audio synthesizers. It provides basic
principles of image processing such as modular, realtime and video processing instruments. Experimental
research accomplished by video artists also led to the
advancement of video graphics in art and cinema
culture, including montage, composition and morphing.
Video art with image processing has suggested the
mutability of the visuals that people are accustomed to
seeing on screen by revealing the inner structure of
video.
C. Image as Numbers
Lev Manovich defines the distinction between new
media and analog media in The Language of New
Media by pointing out, New media is analog media
converted to a digital representation. In contrast to
analog media, which is continuous, digitally encoded
media is discrete () Numerical representation turns
media into computer data thus making it programmable.
And this indeed radically changes what media is.
(Manovich 2001, p.66-68) After the 1970s, most
traditional media photography, film and audio
was converted to digital representation that includes a
frame, pixel, and bitrate. This resulted in the change in
its characteristics from fluid and continuous signal to
discrete and numerical representation. On one hand,
digitization involves loss of information, on the other,
digital image, such as a matrix that consists of a finite
number of pixels as a grid, eases the operation with
mathematical logic function. For instance, the
convolution a mathematical operation on functions f
and g, producing a third function that is typically
viewed as a modified version of one of the original
functions is applied to image matrices in many
different ways to generate various filter effects that
we are now accustomed to using in most digital
imaging software.
D. Video Artist as a Mediator
Beyond the advancement of image manipulation
with software, digital image improves the analysis of
image and computer vision, which makes responsive

environments possible. In the beginning of the 1970s,

Myron Kruger explored the computers potential as a
central component in interactive art, under the
influence of John Cages investigations in chance,
indeterminacy and audience participation. As response
became a medium, an audiences presence in relation
to video art work has been radically changed by
merging their images with digital graphics in real time.
In this environment, video artists, along with machines,
act as a mediator to connect perceived world with a
digital representation.
After numerous experiments and investigations by
media artists during recent decades, artists have begun
to use digital media more skillfully to express their
conceptual, philosophical, and critical ideas. Atta
Kims ON-Air Project superimposes hundreds of
digital portraits, and the multilayered digital image
blurs and eliminates individuality. He uses
superimposing
technique
to
represent
the
impermanence of all beings in the universe as related to
his Buddhist beliefs. Jason Salavon combines a
collection of 64 nights of late night shows starring Jay
Leno, Conan OBrien, and David Letterman. He
coalesces and mathematically averages those videos
into single screens, and reveals overall patterns: how
the shows are arranged, where the talk show hosts
stand, and how they perform their craft. Bill Viola uses
a high-speed camera and extreme slow motion in video
portraits to amplify emotive expression and attract the
viewer's attention to subtleties that might otherwise go
unnoticed without his alteration of speed. Manipulating
the various aspects of video, such as time, image,
movement, and layers, contemporary media artists have
investigated the mutability and contiguous context of
reality and established the unique value of video as an
art form.

Figure 5. The Late Night Triad, Jason Salavon

IV. VIRTUAL ENVIRONMENT: AN EXTENSION

OF REALITY
A. A Desire to Expand the Reality
Places and spaces in relation to our bodies have been
one of the utmost concerns to artists. A landscape has
7th International Conference on Digital Arts ARTECH 2015

S. Nam / Media Art in the Age of Digital Production: Digital Identities

been the most popular subject matter in painting and

photography for hundreds of years, and the invention
of perspective in Renaissance was a groundbreaking
technique of realistic representation. Artists have been
interested in immersing viewers in a fabricated world
via either a realistic expression or a transformation of
reality. Fresco paintings and prehistoric cave painting
can be seen as early attempts to augment reality with
virtual scenery. Artists and engineers have investigated
ways to provide audiences with the illusion and
sensation of first person experience, especially on
Morton Heilings assumption that a scientific
understanding of sense and perception would enhance
an artists expressive power. Many artists explore ways
to dissolve the physical constraints with efforts ranging
from a navigable installation in a space to holographic
images, which create optical illusions through the
wave-front reconstruction process of light. In
contemporary art, the concept of experiencing an
immersive illusion or fabricated world could be
elaborated in support of advanced graphic technologies,
such as hyper-realistic 3-D graphic, real-time rendering
and stereoscopic images.
In The Cloud Dream of the Nine (Kuunong - ),
a 17th Century Korean novel by Kim Manjung, the
illusory nature of life is explained through Song-jins
dream. After Song-jin awakens, his Buddhist master
recounts the philosopher Zhuangzis story of waking
from a dream that he is a butterfly and he is not quite
sure whether the butterfly is the dream, or if the
butterfly is dreaming that he is Zhuangzi. The dreams
of Song-jin and Zhuangzi in this novel describe how an
immersive experience, either in mind or vision, can
provide the viewer with a transcendental impression
and disorient their identities. Similarly, artists strive to
eliminate the distinction between reality and vicarious
experience by providing absorbing visual environments
and transcendental perception.
Inspired by Cinerama an early wide screen system
with three synchronized projectors in 1952,
multichannel projection has been often used by artists
as an environmental display method to transform a
gallery into their immersive, imaginary space, and it
transports spectators to an inhabitable, virtual world. In
Auto-scope (1996), Heike Branowsky created uncanny
landscapes by projecting a pre-recorded video of Paris
and its mirror-reversed image as four-channel video on
wall-sized screens. Not only through a pre-recorded
video, telepresence experience in fabricated spaces has
been extended to simulate virtual worlds using 3-D
computer graphics and elaborated by technological
researches. Electronic Visualization Laboratory (EVL)
has developed Cave Automatic Virtual Environment
(CAVE)
(1992-2001),
which
synthesizes
technologies of rear-projection on a room-sized cube,
high-resolution stereoscopic 3-D graphics and
perspective tracking in navigable virtual reality. Due to
7th International Conference on Digital Arts ARTECH 2015

125

the enhancement of technology, the audience, who

used to be passive and separated from a screen, is now
invited to be inside of the cyberspace.

Figure 6. Viewing the concept car in immersive virtual reality

using the CAVE

B. The Advancement of VR Technology

Along with the visual environmental improvement, a
peripheral device and system for a richer and realistic
tactile experience has been invented. Head-mounted
Display (HDM), a wearable display mounted on a
helmet or goggles, was first invented by Ivan
Sutherland in 1966 and is one of the most prominently
researched display devices. In addition to immersing
the viewer in a visually simulated 3-D environment,
artists and engineers strive to expand sensual, bodily
experience with tactile feedback using wearable
devices like data gloves and with interaction using such
technologies as head tracking system and natural user
interfaces. Morton Heiligs nickelodeon-style arcade
Sensorama (1957), dubbed experience theater,
expanded cinema by displaying stereoscopic 3-D
images in a wide-angle view and provided body tilting,
stereo sound, wind, and aromas during the film.
As a result of the advancement of game technology
since the 1970s, from arcade game to video game
console and online 3-D games, the bulkiness and
heaviness of early devices and interfaces has been
ameliorated, and they have become more affordable.
The accessibility of simulation technology allows new
media artists to not only experiment with cutting-edge
technology as an artistic form, but also work on
interdisciplinary research collaborating with engineers,
programmers and scientists to accomplish creative
technical projects. Since 2005, the support of highresolution graphics and wireless controllers by most of
video game consoles accelerates the further
development of game accessories, and those devices
can be almost effortlessly integrated with computer
programs. Especially, natural user interfaces (NUI),
such as Nintendo Wiimote, Xbox Kinect, and Leap
Motion, demand an actual body movement together

126

S. Nam / Media Art in the Age of Digital Production: Digital Identities

with a VR head mount display with head tracking

system like Oculus Rift. It not only gives media artists
an implement to create a virtual environment with
various forms of interface, but also allows a viewer to
be a user who navigates and controls in the virtual
space with ones body. Now, media art works of VR
provide audiences with realistic experiences in
imagined space, and it brought about new art form such
as game art.
The development of technology in 3-D graphics
draws again artists attention to spaces and landscapes
in digital media, and they can also discover the
mutability of the physical world. Viewers in The
Legible City (1988-1991), by Jeffery Shaw, are allowed
to construct various narratives in their journeys by
navigating a bicycle through a virtual city lined by text
instead of buildings. By converting viewers physical
movement into virtual exploration and immersing their
sight with a projection, his work transports the
spectator to the improbable landscape. The viewers are
encouraged to control, navigate and trigger as a part of
the work in a virtual space, rather than keeping a
distance and remaining still. It enables them to reflect
their presence in the virtual world, and to be present in
both physical and digital space simultaneously.
V. CONCLUSION
New media artists have revealed the complex beauty,
construction and function of technologies by exploring
their possibilities in unique ways. In the age of rapidly
changing technology people always crave new
technology and dispense with the old one shortly
thereafter. There is a need for awareness of the constant
changes of our presence in accordance with such fastpaced digital media, and for reconsideration of a new
social structure within invisible information system,
such as big data and wireless network. To this end, the
work of artists disproves this disposability and subverts
the stereotype by experimenting with technologies in
an unprecedented way. Dan Flavin employed unaltered
commercial fluorescent light for his sculptural objects
to extract ordinary hardware from its utilitarian
context and insert it into the world of high art. Today,
the old standard of fluorescent bulbs is obsolete and
museums and collectors commission custom-made
replicas of vintage lamps and fixtures to conserve his
works. Some museums also strive to resolve technical
issues for the conservation of Nam Jun Paiks work
which consists of old media devices, such as CRT
monitors, floppy-discs and laser-disc playback decks
and sometimes they have to replace old technology
with a new one. Their works urge us on to reexamine
how swiftly the balance among human, technology and
our cultural environment is changed with this
overabundance of new technology. Furthermore, they
raise a host of new questions about the lifespan and

operation of artwork that allow us to recognize an

unseen nature of new media artwork.
In todays deluge of spectacular visual effects from
Hollywood movies and video games, new media artists
discover an unorthodox form by exploring digital tools
in distinctive ways. Media artists exploit technology in
the production of artwork not to compete with the
perfection of cutting-edge technology in mainstream
visual culture, but to discover its creative potentials,
and to consistently reconsider our socio-cultural
identity along with its advancement.

REFERENCES
[1] Bantly, Francisca Cho. Embracing Illusion Truth and
Fiction in The Dream of the Nine Clouds. Albany: State
University of New York Press, 1996.
[2] Baudrillard, Jean. Simulacra and Simulation. Ann Arbor:
University of Michigan Press, 1994.
[3] Benjamin, Walter, and J. A. Underwood. The Work of
Art in the Age of Mechanical Reproduction. London:
Penguin, 2008.
[4] Burguete, Maria. Arts a Science Matter. New Jersey:
World Scientific, 2011.
[5] Chin, Chung. Chin Chung-gwon Ui Hyondae Mihak
Kangui: Sunggo Wa Simyullak'uru Ui Ijungju. 1-p'an.ed.
Kyonggi-do P'aju-si: At'u Buksu, 2003.
[6] Manovich, Lev. The Language of New Media.
Cambridge, Mass.: MIT Press, 2002.
[7] Nelson, Theodor H. Computer Lib; Dream Machine.
And Books, 1983.
[8] Popper, Frank. Art of the Electronic Age. New York:
Harry N. Abrams, 1993.
[9] Robertson, Jean, and Craig McDaniel. Themes of
Contemporary Art: Visual Art after 1980. New York:
Oxford University Press, 2005.
[10] Vasulka, Woody. "Cantrills Filmnotes." Video Art
Review, January 1, 1973.
[11] Orwell, George. 1984. New York : Harper Collins, 2013.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

127

Meio Expositivo: Espao em construo pela Realidade

Aumentada
Giovanna Graziosi Casimiro e Luiz Antonio Moura Neto
Pesquisa em Arte, Tecnologia, So Paulo, So Paulo/SP, 04015-012, Brasil: mestranda em
artes visuais - linha de pesquisa arte e tecnologia, PPGART/Universidade Federal de Santa
Maria; graduando em cincias da computao, Instituto Brasileiro de Tecnologia
Avanada.
Resumo A questo da Histria da Arte
Contempornea est centrada em processos inditos,
frente disseminao da cultura da Interface e do
Software. H uma complex idade de anlise, registro
e preservao, especialmente no campo cultural.
Resultante da cibercultura, da inteligncia coletiva e
do avano da tecnologia binria, a comunicao e a
sociedade se encontram em nveis maiores de
conex o. A web 4.0 e a Internet das Coisas supem
um mundo de possibilidades entre homem e mquina,
a caminho do aperfeioamento no campo da
inteligncia artifical. Esses fatores incidem
diretamente sobre o modo como o homem constri
seu espao e cultura. Os espaos culturais so
bombardeados por possibilidades interativas, as
quais aprox imam acervo e pblico, em processos
participativos, cada vez mais evidentes. Esse
deslocamento de poderes e aes pode ser percebido
atravs do uso da tecnologia de Realidade
Aumentada, em episdios como a exposio
WeARinMoMA, o Sukiennice Museum, e o London
Museum com o aplicativo StreetMuseum. Atravs
desses ex emplos, so avaliados pontos como o ciclo
pblico<>obra<>meio, a consolidao de um Meio
Expositivo, a interface e o processo interativo.
Palavras-chave
realidade
aumentada,
meio
expositivo, arte e tecnologia, histria da arte
contempornea.

I. Introduo: Tecnologia Binria,

Realidade Aumentada e Meio
Expositivo.
Os avanos tecnolgicos do sculo XX
condicionaram a sociedade a uma constante
imerso virtual. Trata-se da realidade vividada
pelo indivduo entre seu presente fsico e seu
presente conectado. A presena da Tecnologia
Binria, enquanto ferramenta das diversas
relaes e aes do presente, torna o espao
um elemento sucetvel deformaes, bem
como a condio do real. Pierre Lvy (2004)
7th International Conference on Digital Arts ARTECH 2015

constata que se trata de uma dimenso da

comunicao, cuja estrutura condiciona a
inteligncia coletiva, cujo compartilhamento
de conhecimentos e dados recproco e
constante. Modifica o modo como a sociedade
se organiza e relaciona, assim como o campo
cultural e criativo, que constri objetos,
sistemas, conexes e promove uma reflexo
acerca da sensibilidade. crucial compreender
que esse processo de reformulao de hbitos
est consolidado e se fortalece a cada
descoberta.
A interface se destaca enquanto
responsvel pela interatividade e proximidade,
quase simbitica, desenvolvida entre homem e
mquina, nas ltimas dcadas. De acordo com
Lev
Manovich
(2002) as
interfaces
computacionais oferecem novas possibilidades
para a arte e comunicao. A digitalizao
cultural no demonstra apenas a emergncia de
novas formas culturais, mas os reflexos da
revoluo numrica sobre a cultura visual. De
acordo com Steven Johnson (2001), o mundo
margem da tecnologia e o mundo margem da
cultura,
agem
como
um
s.
A
transdisciplinaridade

evidente
entre
processos culturais e computacionais, e esse
aspecto tende a crescer medida que houver
mais colaborao e projetos hbridos.
Qualquer analista profissional de
tendncias nos dir que os mundos da
tecnologia e da cultura esto colidindo.
Mas o que surpreende no a prpria
coliso o fato de ela ser considerada
novidade. Poderamos pensar que a vida
de Leonardo da Vinci ou de Thomas
Edison seriam suficientes para nos
convencer de que a mente criativa e a
mente tcnica coabitam de longa data.[1]

128

G. Casimiro and L. Neto / Meio Expositivo: Espao em construo pela Realidade Aumentada

Claudia Gianetti (2006) pensa a

interface como intermedirio e tradutor entre a
linguagem simblica e a numrica. Talvez um
dos primeiros aspectos que aproximem o
homem da mquina seja a forma pela qual ele
a manuseia. As interfaces tcnicas funcionam
de forma semelhante aos meios que os seres
humanos
necessitam
para
comunicar,
resultando no acoplamento de diferentes
sistemas. Graas a capacidade humana de
calcular foi possvel o desenvolvimento da
matemtica e da lgica: a computao resulta
de reas do conhecimento humano como
matemtica, eletrnica digital, lgica de
programao. Ainda a partir da Cultura da
Interface (2001), a paisagem da informao
representa simultaneamente um avano
tecnolgico e uma obra de criatividade, sem
precedentes, capaz de alterar o modo como as
mquinas so utilizadas, e principalmente,
imaginadas.
Portanto, percebe-se a identidade
comum da produo tecnolgica e artstica,
pois ambos se concentram em aes criativas e
renovadoras. Johnson (2001) argumenta que
tecnologia e cultura caminham juntas desde
sempre, pois constroem a experincia humana.
Nesse sentido, a questo dos espaos culturais
atualizados por ferramentas computacionais
vm tona. Se tecnologia e cultura caminham
juntas, porque to poucos espaos culturais
atualizam sua dinmica institucional? No se
trata de uma moda, e sim da identidade
contempornea. Trata-se de uma caracterstica
do publico que consome cultura, nas ltimas
dcadas. preciso pontuar a consolidao da
linguagem binria e dos dispositivos
computacionais junto a arte e a cultura.
No entanto, nos ltimos anos se
percebe uma movimentao renovadora frente
aos espaos culturais. H uma resignificao
do papel do museu, especialmente pelo fato de
espao, tempo e realidade possurem valores
inditos. O espao invadido por fluxos de
dados, se tornam altamente malevel. O tempo,
construdo por tempos bastantes e simultneos,
faz com que no haja um, mas muitos tempos

em comum entre o mundo fsico e o virtual. A

realidade somada a todas as realidades
possveis, e constri um nica rica em
vivncias e percepes. Por essa razo,
conceituar o espao expositivo enquanro
espao, aparenta uma identidade passada. Sem
dvida, pensar o Meio Expositivo pensar o
espao museal, institucional e cultural, tomado
por possibilidades sensveis e interativas.
Torna-se um meio, pois sua condio de
territrio substituda por uma via de dados,
fluxos
informacionais,
experincias
individuais e coletivas. O aspecto multitemporal do museu fortalece o surgimento do
meio. Passado, presente e futuro esto em
trnsito na natureza do museu. A tecnologia
binria tambm evidencia essa passagem
cclica de tempos. A Realidade Aumentada
confirma essa premissa, ao construir sua
existncia a partir da soma de realidades e
temporalidades.
No entanto, para compreender esse
processo, preciso analisar modos de mudana.
Para tanto, so apresentados trs episdios de
reformulao do espao expositivo: a
exposio
WeARinMoMA
(2010-Nova
Iorque), o Sukiennice Museum (Cracvia) e o
aplicativo StreetMuseum, do Museu de
Londres (Londres).
Eles so construdos
enquanto
iniciativas
com
Realidade
Aumentada. Essa tecnologia permite a insero
de objetos virtuais sobre o mundo fsico,
gerando uma variao da presena do interator
e do espao atravs da dinmica
insitu<>influxu.
II. Realidade Aumentada e
especificidades: insitu<>influxu
Com o advento da internet nos anos 90,
as redes informacionais se estabelecem e
avanam enquanto web 1.0 - 2.0 - 3.0 - 4.0.
medida que a interface grfica se torna porttil,
campos de Realidade Virtual e Aumentada se
expandem e popularizam. A possibilidade de
servidores velozes e a internet sem fio,
desencadeiam a construo da chamada
nuvem e a troca de dados constante.
7th International Conference on Digital Arts ARTECH 2015

G. Casimiro and L. Neto / Meio Expositivo: Espao em construo pela Realidade Aumentada

Arquivos armazenados em dispositivos

puderam ser sincronizados a outros
dispositivos, a redes e compartilhados.
O termo Realidade Mista ou Realidade
Misturada pode ser definido como a
somatizao de objetos virtuais gerados por
computador com o ambiente fsico,
viabilizando a conexo de espaos reais,
atravs de imagens e ambientes virtuais. Paul
Milgram e Fumio Kishino (1994) definiram o
conceito de Realidade Misturada (RM) como
"qualquer lugar entre os extremos de uma
Contnua Virtualidade". Cludio Kirner (2004)
afirma que a Realidade Mista permite ao
usurio, ver, ouvir, sentir e interagir com
informaes e elementos virtuais inseridos no
ambiente fsico, atravs de algum dispositivo
tecnolgico. Segundo ele a Realidade Mista
vai alm da capacidade da Realidade Virtual
de concretizar o imaginrio ou simular, pois a
RM incorpora elementos virtuais ao ambiente
fsico, ou o contrrio. No se trata de gerar um
ambiente puramente virtual, cuja dinmica
esquece o mundo fsico do usurio, e sim criar
um ambiente realista a ponto do usurio no
perceber a diferena entre objetos virtuais e
fsicos. Trata-se de uma cena s, sem distino
de elementos.
A
Realidade
Mista
engloba
duas
categorizaes: a Realidade Aumentada e
Virtualidade Aumentada. A primeira ocorre
quando objetos virtuais so colocados no
mundo atual, cuja interface adaptada para
visualizar e manipular os objetos virtuais
colocados no espao fsico. A segunda ocorre
quando elementos fsicos so inseridos no
virtual, cuja interface transporta o usurio para
o ambiente virtual, mesmo que ele veja ou
manipule elementos fsicos ali inseridos.
Segundo Claudio Kirner (2013) o termo
Realidade Aumentada muito confundido com
o termo Realidade Mista. No entanto, o
primeiro compe o segundo, e cada qual
possui especificidades tcnicas. A Realidade
Mista abrange tanto a Realidade Aumentada
quanto Virtualidade Aumentada, e como
Paul Milgram (1994) delimita, pode ser
7th International Conference on Digital Arts ARTECH 2015

129

classificada de acordo com suas diversas

formas de visualizao:
a) realidade aumentada com monitor (no imersiva) que
sobrepe objetos virtuais no
mundo real;
b) realidade aumentada com capacete (HMD) com viso
ptica direta (see-though);
c) realidade aumentada com capacete (HMD) com viso
de cmera de vdeo montada
no capacete;
d) virtualidade aumentada com monitor, sobrepondo
objetos reais obtidos por vdeo ou
textura no mundo virtual;
e) virtualidade aumentada imersiva ou parcialmente
imersiva, baseada em capacete
(HMD) ou telas grandes, sobrepondo objetos reais
obtidos por vdeo ou textura no mundo virtual;
d) virtualidade aumentada parcialmente imersiva com
interao de objetos reais, como
a mo, no mundo virtual.

Especificamente, a Realidade Aumentada

combina objetos fsicos e virtuais no ambiente
real e os executa interativamente em tempo
real. Viabiliza o alinhamento de objetos fsicos
e virtuais entre si e, segundo, Azuma (2001),
aplica-se a todos os sentidos, incluindo
audio, tato, fora e cheiro. Claudio Kirner
(2013) a caracteriza atravs do seguintes
pontos:
a) uma particularizao de realidade misturada,
quando o ambiente principal o fsico ou h
predominncia do atual;
b) o enriquecimento do ambiente fsico com objetos
virtuais, usando algum
dispositivo tecnolgico, funcionando em tempo real;
c) uma melhoria do mundo fsico com textos, imagens
e objetos virtuais, gerados por
computador;
d) a mistura de mundos fsicos e virtuais em algum
ponto da realidade/virtualidade
contnua que conecta ambientes completamente atuais a
ambientes completamente virtuais (Paul Milgran afirma
isso ainda em 1994);

A tecnologia de Realidade Aumentada facilita

a comunicao entre humanos e entre humanos
e mquinas, e alimenta uma srie de camadas
de realidades somadas realidade fsica
comum. Ela viabiliza aplicaes no campo do
ensino, de treinamento e no campo da arte,
enquanto
obra
ou
dinmica
institucional/expositiva. Para sua execuo

130

G. Casimiro and L. Neto / Meio Expositivo: Espao em construo pela Realidade Aumentada

necessrio um objeto fsico com algum tipo de

cdigo/marca ou referncia, possibilitando a
interpretao pelo aplicativo, gerando o objeto
virtual; cmera ou dispositivo de captao e
transmio da imagem do objeto fsico para
que o software seja capaz de interpretar o
cdigo de referncia. Para se construir o objeto
virtual preciso que o objeto fsico esteja
frente ao dispositivo de captura (cmera) e seja
interpretado para enviar as imagens obtidas,
em tempo real, para o software que gerar o
objeto virtual. O programa preparado para
inserir determinado objeto virtual ao fsico,
quase que de forma simbitica.

de ferramentas, que tornam visveis um

conjunto de palavras, imagens, conceitos,
frmulas, diagramas.

Para o desenvolvimento de aplicaes de RA

so combinados softwares a equipamentos
como cmeras digitais, smartphones, GPS. H
pesquisas que indicam que no futuro, ser
possvel expandir o monitor dos monitores
para o ambiente fsico, como em janelas ou
superfcies onde programas e dispositivos
virtuais sero executveis manualmente. De
acordo com o campo da computao, o
funcionamento da RA dividido em sistemas,
classificados pelo display utilizado. Esses
displays variam em Optica Direta, Vdeo ou
Monitor e Projeo.

Cultural e artsticamente, espaos

museais e institucionais representam o vnculo
com a histria da arte, dotados de convenes
e de seu papel legitimador. A definio do
International Council of Museums (ICOM,
2001) para museus de uma instituio
permanente, sem fins lucrativos, a servio da
sociedade e do seu desenvolvimento, aberta ao
pblico e que adquire, conserva, investiga,
difunde e expe os testemunhos materiais do
homem e de seu entorno, para educao e
deleite da sociedade.

A dinmica que se consolida nesse

processo a de insitu<>influxu, pois h uma
transio frentica de elementos. A RM no
ocorre num nico local (insitu) e sim em
muitos deles, de forma fluida (influxu). Ainda
assim, ela capaz de transitar entre o mundo
fsico e o mundo virtual, criando um via
condutora (dinmica insitu<>influxu). A partir
dela possvel compreender os exemplos
analisados neste artigo e as mudanas
estruturais no campo museal, atravs do Meio
Expositivo.
III. Meios expositivos: museus e
espao em reformulao
H uma necessidade humana em
delimitar territrios, determinar fronteiras. No
entanto, o sculo XXI marcado pelo espaoinformao. um ambiente ampliado por meio

A imaginao espacial vm sendo

construda de muitas formas, porm, a
tecnologia binria trs uma noo espacial
particular, cujas terminologias remetem a
ideias de ambiente, cenrio, local (ciberespao,
navegar,
janelas,
arrastar,
etc).
Na
contemporaneiade, o espao passa a servir de
contedo, em se tratando de ciberespao, cuja
arquitetura virtual permite o dilogo entre
mundo fsico e virtual.

No sculo XXI, h mudanas em

relao arquitetura dos museus, fato que leva
transformaes no conjunto funcional. Com
o desenvolvimento da linguagem binria,
surgem os termos museu virtual ou cibermuseu.
Porm, a presena da tecnologia no espao
fsico do museu passa a ser pensada
paralelamente ideia do museu virtual.
medida que o espao se torna uma via de
relaes e dados, se torna o Meio Expositivo.
Ele permite as mais diversas dinmicas entre o
emissor e receptor da mensagem, os quais
trocam de papel constantemente em um ciclo
de recepo e resposta simultaneas,
denominado pblico<>obra<>meio.
Anne Cauquelin (2006) analisa essas
transformaes, e afirma que o real no tem
mais lugar de ser, pois o aqui e o l se
confundem, sua distncia abolida, no
havendo uma linha construda. Ou seja, o
7th International Conference on Digital Arts ARTECH 2015

G. Casimiro and L. Neto / Meio Expositivo: Espao em construo pela Realidade Aumentada

espao parece se perder enquanto territrio e

delimitao fsica, sobretudo, pois o mundo
rearranjado sem um ponto de fuga. O
dispositivo digital atua sobre a forma como
esse espao se constri, afinal, o espao
neutro do dispositivo sem lugar e o lugar
em que age est em hesitao constante entre
sua existncia e seu aniquilamento:
WeARinMoMA (outubro de 2010),
exposio clandestina de realidade aumentada
realizada no MoMA (Sander VeenhofHolanda e Mark Skwarek- EUA), denota uma
remodelao
da
ao
do
museu.
distncia, via GPS, a dupla de artistas
acionou comandos de informtica e fez
com
que
dezenas
de
peas
tridimensionais produzidas por eles e por
outros 30 artistas convidados surgissem
na tela dos celulares e tablets de quem
circulava pelo MoMA naquele dia. (...)
Em vez de se enfurecer com os artistas, a
diretoria do museu aplaudiu o
atrevimento e incorporou as peas
virtuais sua coleo. E, por conta disso,
diversos museus dos Estados Unidos e da
Europa pararam para repensar sua
relao com a tecnologia. Desde ento,
muitos se debruaram sobre a realidade
aumentada
e
lanaram
projetos
vanguardistas. [2]

O MoMA incluiu a exposio clandestina

em seu acervo, evidenciando a possibilidade
de atualizao de seu padro estrutural. Como
uma reao em cadeia, na Europa e nos
Estados Unidos, inciativas similares foram
adotadas em diverss museus e instituies.

Aplicativo de WeARinMoMA - Museum of Modern Art

7th International Conference on Digital Arts ARTECH 2015

131

Curiosamente
o
questionamento
da
obsolescncia do museu est lado a lado com o
desejo de expor em um espao legitimador. O
aplicativo desenvolvido pelos artistas da
exposio
WeARinMoMA,
mapeia
a
arquitetura e sobre ela aplica os objetos
virtuais. Isso faz pensar a questo de como h
camadas de arquiteturs espaciais nesse
processo, pois se trata da (a) da arquitetura do
software sobre (b) a arquitetura fsica do
museu, que gera (c) uma terceira, hbrida, da
ambientao do museu com um novo acervo,
cuja existncia potencial resultado da ao
do visitante. A interface computacional
utilizadas
so
dispositivos
mveis
(smartphones e tablets) e o aplicativo de
Realidade Aumentada desenvolvido pelo
grupo. Por meio da prpria estrutura fsica do
MoMA e as obras permanentes de seu acervo,
possvel visualizar a exposio virtual lado
lado
s
obras
consagradas
do
modernismo. Trata-se de uma proposta de
dissoluo do espao expositivo material e um
convite a instituio revr seu padro. A
interatividade ocorre via obra e o Meio
Expositivo se estabelece no ambiente
institucional, especificamente pois depende da
estrutura
fsica
do
MoMA
como
desencadeadora da dinmica interativa de RA.
O ciclo pblico<>obra<>meio faz com que a
obra visvel por RA no esteja no espao de
modo permanente,
pois se
apropria
momentaneamente da realidade fsica pela
ao do interator.
A partir de ento, diversas instituies
passaram a incorporar em suas dinmicas
espaciais e institucionais possibilidades
tecnolgicas. Entre eles, o Sukiennice Museum.
Equivalente a uma galeria do sculo XIX de
arte polonesa, no Museu Nacional da Cracvia,
desenvolveu a campanha Secrets Behind
Paintings: designada para ampliar o alcance
de pblico, aps um perodo de completa
renovao. Foi desenvolvido o aplicativo de
Realidade Aumentada New Sukiennice, cuja
utilizao trs vida s pinturas ao apresentar
suas histrias por meio de curtas, em que os
personagens emergem de cada uma das obras.

132

G. Casimiro and L. Neto / Meio Expositivo: Espao em construo pela Realidade Aumentada

A interface predominante mobile,

atravs de smartphones oferecidos enquanto
audio-guias para visitao do museu. Para seu
funcionamento, foi desenvolvido o aplicativo
de RA New Sukiennice, cuja utilizao trs
vida s pinturas ao apresentar suas histrias
por meio de curtas, em que os personagens
emergem de cada uma das obras. A
interatividade ocorre via Meio, pois o acervo
se torna parcialmente interativo e o pblico,
ainda que em uma exposio convencional e
analgica, passa a ser interator - no pela obra
- mas sim pela instituio. O Meio se
estabelece em um ambiente institucional.
(evitar as frases repetidas nas anlises)
O ciclo pblico<>obra<>meio coloca o
visitante na condio de participante a partir
do processo interativo. Cada usurio leva
consigo uma experincia nica e informaes
adicionais vivenciadas ao longo da visita, o
que permite que pessoas de todas as idades
possam se aproximar do acervo a sua maneira.
O museu implementa uma ao promocional e
altera sua estrutura convencional para a de
Meio Expositvo, tambm promovendo aes
na rede, como em mdias sociais tais como
Facebook. O tempo-espao se contorce em
nveis variados de sensibilizao e percepo:
cada interator constri por si as relaes e
nveis. A obra de arte conserva sua natureza
como pintura, escultura, porm seu papel
informativo/educativo potencializado de tal
maneira, que sua histria, simbologia,
significado, contextualizao se tornam
altamente acessveis. A concentrao do poder
de conhecimento na instituio passa a ser
compartilhada com o usurio, e ele, a
compartilh-la em rede.

Aplicativo Sukiennice Now - Sukiennice Museum

J
o
Streetmuseum,
aplicativo
desenvolvido pelo Museu de Londres, permite
acesso fotografias de diferentes perodos da

histria da capital do Reino Unido (mais de

200 imagens de seu acervo) - em especial, do
incndio de 1966 - sobrepostas ruas,
construes, pontos tursticos, por meio de um
sistema de GPS que identifica a localizao do
usurio, mapeia a imagem do espao e aplica a
fotografia sobre ele.
Streetmuseum d a oportunidade nica de
uma antiga Londres, enquanto voc
descobre a capital pela primeira vez, ou
revisita seus lugares favoritos. Milhares
de imagens da extenso coleo do
Museu de Londres, com fatos cotiadianos
e histricos (...) Selecione uma
localizao no seu mapa de Londres ou
utilize o GPS para localizar uma imagem
prxima. Aponte sua cmera para uma
rua/cena urbana, e veja a mesma cena
antiga de Londres, oferecendo duas
janelas
simultneas. Deseja mais
informaes? Apenas clique no cone de
acesso para obter fatos histricos. [3]

Aplicativo StreetMuseum - London Museum

A interface computacional so os
dispositivos mobile com acesso a internet sem
fio, com sistema de GPS. Com o aplicativo
instalado, o usurio pode definir a sua
localizao e ativar a imagem virtual sobre a
fsica. A interatividade est nessa ao,
estabelecida pelo interesse do publico e pela
instituio, ao construir uma dinmica no
ambiente urbano atravs do aplicativo. A
interatividade via Meio, e esse caso possui
particularidades, pois com o Meio definido
no ambiente urbano, ele age sobre o acervo de
imagens fotogrficas analgicas, e mais ainda,
sobre os objetos fsicos da cidade. Essa ao,
diferentemente dos casos anteriores, no se d
no ambiente do museu, mas fora dele. Isso
comprova que o Meio Expositivo no depende
da especificidade do ambiente, e sim da
7th International Conference on Digital Arts ARTECH 2015

G. Casimiro and L. Neto / Meio Expositivo: Espao em construo pela Realidade Aumentada

interface e da interatividade. A aplicao de

RM/RA tambm no depende, pois nesse caso
ela construda no ambiente urbano em tempo
real, devido ao uso do GPS como referencial.
O ciclo pblico<>obra<>meio
reforado pela interdependncia entre usurio,
aplicativo e instituio. O Museu de Londres
cria um dispositivo gratuito que permite a
disponibilizao de seu acervo, o qual s
funciona pela ao do interator. O interator
chave para o funcionamento desse ciclo, mas
ele tambm produto desse processo, pois
enquanto interage promove a dinmica do
aplicativo e do prprio museu.
Avaliando o papel de museus,
instituies e espaos culturais, bem como, a
ao do Museu de Londres, do Sukiennice, do
MoMA e dos artistas que utilizam RA em suas
produes, percebe-se a tentativa de abolir
fronteiras. De alguma forma, a arquitetura do
espao reconduzida pela tecnologia digital:
pela subverso, pela reestruturao ou pelo
deslocamento, nos casos analisados. Em se
tratando da ltima categoria exemplificada, h
uma ampliao do acervo para espaos at
ento inatingveis: trata-se de alcanar um
pblico que, nem sequer, est no museu.
Talvez o caminho seja o inverso: o pblico
ser alvo das aes museais interativas em
busca de novas relaes alm do espacial.
Afinal, a interao entre formas passadas e
futuras impele o processo criativo mais do que
o bloqueia.[4]

IV. Consideraes
Sukiennice
e
WeARinMoMA,
Streetmuseum, so exemplos de Meios
Expositivos em consolidao. Eles permitem
avaliar o estgio de conexo entre arte,
tecnologia e instituies culturaiss. Faz
repensar a condio do espao, do tempo e da
realidade. A construo de dinmicas museais
computacionais deve ser entendida como
potencializadora da natureza multi-temporal do
Especialmente
a
conservao,
museu.
educao e comunicao, tm sua ao elevada
7th International Conference on Digital Arts ARTECH 2015

133

interatividade,
gerando
dilogos
pela
contemporneos com seus interatores. Portanto,
no basta compreender a construo histrica
da arte e da tecnologia, mas avali-las
enquanto uma mesma rea: engajada no
questionamento da sensibilidade humana;
dedicada pesquisa minuciosa das questes da
cincia e da cultura; trabalhando em uma
processo museal mais efetivo e atualizado.
Referncias
o
[1] JOHNSON, Steven. Cultura da Interface: como
computador transforma nossa maneira de criar e comunicar.
Rio de Janeiro, Ed. Zahar, 2001:07.
[2]

WeARinMoMA. Disponvel em:

www.sndrv.nl/moma
[3]

StreetMuseum. Disponvel em:

www.museumoflondon.org.uk
o
[4] JOHNSON, Steven. Cultura da Interface: como
computador transforma nossa maneira de criar e
comunicar. Rio de Janeiro, Ed. Zahar, 200: 52.

Bibliografia
CAUQUELIN, Anne. No ngulo dos mundos possveis. So
Paulo: Ed. Martins Fontes, 2010.
JOHNSON, Steven. Cultura da Interface: como o computador
transforma nossa maneira de criar e comunicar. Rio de Janeiro,
Ed. Zahar, 2001.
GIANETTI, Claudia. Esttica Digital. Belo Horizonte, Ed.
Vega, 2006.

KIRNER, Claudio. Fundamentos e Tecnologia de

Realidade Virtual e Aumentada. Pr-Simpsio VIII
Symposium on Virtual Reality. Belm PA, Maio de 2006.
LVY, Pierre. Cibercultura. Ed. 34. So Paulo: 1999.
MANOVICH, L. The language of new media. Cambridge
Mass, 2002.
MILGRAM, Paul, KISHINO, Fumio. A Taxonomy of Mixed
Reality Visual Displays. IEICETransactions on Information
Systems, Vol E77-D, No.12 December 1994.
PISANI Francis , PIOTET Dominique . Como
aWebTransforma o Mundo aAlquimia das Multides. So
Paulo, Ed. Senac, 2010.
SHANKEN, E. A., Art in the information age: Technology
and conceptual art in Leonardo Electronic Almanac 4, No. 35
(2002).
STEVEN, Johnson. A Cultura da Interface. Rio de Janeiro: Ed.
Zahar, 2001.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

135

Narcisos Digitais,
um potencial no contexto da inteligncia coletiva
Rogria Eler
Doutoramento em Mdia-Arte Digital (DMAD) Universidade do Algarve e Universidade
Aberta de Portugal - Universidade Federal de Gois, Brasil (UFG), Bolsa da Coordenao
de Aperfeioamento de Pessoal de Nvel Superior, Brasil (CAPES).

Resumo Nesse trabalho procuro destacar o contexto

influenciado pela mdia em que so reforados o
consumismo e a promoo da autoimagem, tendo como
objetivo compreender o universo das produes de filmes a
partir das visualidades dos videojogos bem como a
apropriao dessas imagens para edio de outras histrias
denominadas fan films. Esse fluxo relacionado ao mito de
narciso contextualizando sua essncia s prticas sociais a
partir das mdias interativas, a partir de propostas
metodolgicas que venham potencializar as aes
intrnsecas inteligncia coletiva em tempos de
convergncia dos meios de comunicao.
Palavras chave Narcisos digitais, inteligncia coletiva,
fan films.

I.

INTRODUO

Inmeros olhos esto voltados para o

fenmeno
contemporneo
das
mdias
interativas, desde as indstrias da produo e
divulgao de produtos, os usurios desse
mercado, at os tericos e pesquisadores
interessados, assim como eu, nos processos de
criao das produes hbridas de apropriaes
e bricolagens decorrentes da popularizao das
mdias pessoais.
Nas ltimas dcadas do sculo XX e nosso
incio do sculo XXI temos visto e conhecido o
processo de transformao do universo
computacional e o fato de estarmos inseridos
nessa cronologia deixa-nos frgeis no tocante a
mensurar e mesmo definir e at conceituar esse
e outros fenmenos em desenvolvimento.
Contudo na fase digital que alguns
paradigmas se rompem posicionando o
interator, antes contemplativo, em frentica
produo e proliferao de trabalhos
independentes.
O Compartilhar ideias, pensamentos,
produes textuais e imagticas ganha, cada
7th International Conference on Digital Arts ARTECH 2015

vez mais, propores gigantescas nas aes de

usurios em rede. Dentre os grupos sociais que
sustentam essas redes esto os denominados
fs, seguidores, de seriados, games, enfim
franquias que dispem seus produtos em vrios
veculos miditicos.
Sobre esse posicionamento dos fs estudos
indicam que as comunidades dos fs no
ciberespao so as primeiras a adotarem o uso
criativo de mdias, e com maior diversidade de
ferramentas a disposio de sua criatividade
[1].
A partir desses poucos exemplos
percebemos que a prtica de produo de
narrativas, por apropriao de imagens e sons,
de maneira individual e colaborativa, uma
crescente
no
contexto
miditico
contemporneo, o terico Henry Jenkins
classifica essa gerao e suas prticas a partir
da Cultura da Convergncia na relao entre
trs conceitos, quais so: convergncia dos
meios de comunicao, cultura participativa e
inteligncia coletiva [2].
Esse ltimo, portanto um conceito
cunhado e desenvolvido por Pierre Lvy, o qual
destaca que a inteligncia coletiva uma
inteligncia
globalmente
distribuda,
incessantemente valorizada, coordenada em
tempo real, que conduz a uma mobilizao
efectiva das competncias [3], e reitera que
todo o saber reside na humanidade. Na
perspectiva de Jenkins acrescenta-se ao
conceito o consumismo como processo coletivo
identificando a inteligncia coletiva como uma
fonte alternativa de poder miditico [2].
Haja vista que o consumismo flerta com as
redes sociais e enlaa sedutoramente seus
seguidores. Esse entorpecimento, em sua

136

R. Eler / Narcisos Digitais, um potencial no contexto da inteligncia coletiva

maioria, propulsiona uma autocontemplao, o

admirar a prpria imagem, o insinuar-se a si
prprio em busca do reflexo do eu mesmo em
outro formato.
No por acaso alguns tericos tem
denominado a contemporaneidade como era
narcsica desde as relaes sociais e de
consumo, como prope Bauman [4]
considerando a natureza lquida proeminente s
prticas
contemporneas
superficiais
e
efmeras at as aes e intervenes motivadas
pelo individualismo e egocentrismo.
Inmeras so as tentativas de elucidar o
mito, datadas desde o sculo XIX at os dias de
hoje, nas mais diversas reas de conhecimento.
Contudo importante ressaltar que a
popularizao do mito enquanto personagem,
no assegurou uma compreenso mais ampla e
uniforme da simbologia envolvida no mito [5]
agregando ao mesmo uma carga pejorativa.
O desenvolvimento das questes que
proponho
relativas
aos
narcisos
contemporneos e sua relao com o contexto
da Arte Computacional, mais em especfico na
esfera digital, tem seu lugar na tese de
doutoramento, ora em andamento.
Nessa oportunidade, portanto no primeiro
captulo, nos deteremos em identificar o
Narciso contemporneo nas prticas digitais e
como essas desenvolvem e se estabelecem nas
redes sociais. No segundo nos aproximaremos
do cenrio de interfaces convidativas e
diferentes plataformas de interao que
ganham, cotidianamente, adeptos interessados
em desenvolver enredos de histrias reais e
estrias ficcionais, no universo conhecido
como fandom e como a transformao,
gradativa, do status de consumidores de mdia
altera-se para participantes interativos e
produtores.
No terceiro captulo perceberemos como os
narcisos digitais esto inseridos s prticas do
ciberespao bem como a importncia de
metodologias que venham potencializar suas
abordagens, como por exemplo a gamificao,
que pode estabelecer relaes relevantes para o
contexto de estudantes universitrios, sobretudo
por ser parte integrante da cultura participativa
no potencial da inteligncia coletiva.
Finalmente algumas consideraes sobre a

pesquisa, que a base desse ensaio, em

algumas apreenses advindas dos grupos de
pesquisa em andamento.
II.

NARCISOS DIGITAIS DESMITIFICANDO O MITO

A narcose de Narciso[6]i considerada por

Burgos como o impacto das tecnologias
miditicas sobre os sentidos e as faculdades
cognitivas dos seres humanos no que se
relaciona com a sua prpria imagem. Assim
como no mito, os homens tm-se deixado
entorpecer e fascinar por qualquer extenso de
si mesmos em qualquer material que no seja o
deles prprios [7].
Na dissertao de Mestrado em Cultura
Visual, que defendi em 2009, sob o ttulo
Imagens de narcisos nas prateleiras do Orkut
[8] foi possvel descrever, problematizar,
algumas aes de usurios da rede social e
perceber at que ponto efetivamente os
indivduos, no contexto da cibercultura,
articulam vises de mundo, subjetividades e
idiossincrasias ou apenas respondiam a
presses do mercado de consumo.
Os usurios, portanto tinham a inteno de
serem vistos, observados e admirados a partir
de seus autorretratos gerados nos mais diversos
lugares, na maioria banheiros e quartos,
sobretudo que possusse um espelho. Conforme
a pesquisa revelou os narcisos contemporneos
estavam nas prateleiras do Orkut expostos
como
diversos
produtos
para
serem
comercializados no mercado de consumo da
imagem.
O narciso contemporneo continua seu
percurso nos inmeros fragmentos espalhados
existentes, contudo no o satisfaz mais o
simples fato de se autorretratar com o objetivo
de serem vistos e admirados nas prateleiras
eles, atravs da natureza liquida conquistaram,
por exemplo, o direito de participarem de
produes, antes destinadas exclusivamente a
esfera profissional, deixando a forma de
passivos contemplativos, e em metamorfose
transformando-se em ativos, no s atores, mas
sobretudo coautores nas produes do mercado
de consumo.
A partir, portanto das relaes metafricas
em relao narcose e metamorfose do Narciso
7th International Conference on Digital Arts ARTECH 2015

R. Eler / Narcisos Digitais, um potencial no contexto da inteligncia coletiva

no contexto tecnolgico contemporneo

destaca-se sua presena atuante, de forma
independente, ocupando espao relevante nas
prticas e elaboraes tecnolgicas nos mais
diversos segmentos.
Os Narcisos digitais, contudo so os sujeitos
que se deixam entorpecer pelo mercado de
consumo, a partir dos produtos de seus
interesses, pelas redes sociais e estimulados
pela perpetuao desse universo se tornam
participantes da dinmica de preservao e
produo no ciberespao. O corpo do narciso
digital mergulha em plataformas em que as
imagens de vrios mundos se fundem no duplo
do eu em movimento, em fragmentos nas
inmeras possibilidades de interao. Os
narcisos digitais, portanto querem ser vistos,
observados e admirados atravs de suas
produes porque nelas ele est refletido.
Esse conceito est para alm da prtica dos
fs que seguem uma franquia, dentre outras
caractersticas, est, sobretudo sob as inmeras
produes criadas em mdias populares
inseridas no ciberespao em looping com os
desafios lanados por outros milhes de
usurios em rede.
O Narciso digital no detm uma
caracterstica pejorativa, sobretudo dentre
aspectos frgeis da contemporaneidade
potencializa seus mergulhos em relevantes
elaboraes poticas autorretratveis em
diversos suportes e de diferentes configuraes.
O narciso contemporneo no tem um fim
em sua morte sendo que essa configura
passagens para vrios outros portais. Os
narcisos digitais continuam seus percursos de
forma fragmentada, tanto se autorretratando
quanto
se
projetando
nas
inmeras
possibilidades no ciberespao a partir das suas
produes. Vrios mundos se fundem,
narrativas com caractersticas de apropriao de
histrias, imagens e sons onde o duplo do eu se
v refletido proporcionando um fluxo de
metamorfoses digitais.
O Narciso contemporneo, portanto no tem
seu fim, como na mitologia grega, destrudo,
mas sim fragmentado e interminvel, pois tm
nos percursos digitais inmeras possibilidades.
As interaes digitais vivenciadas na internet,

7th International Conference on Digital Arts ARTECH 2015

137

funcionam como duplo do eu, projetando ali

uma iluso biogrfica [9].
A flor de narciso no mais a nica imagem
que emerge como representao daquele que
fora, contudo em seu lugar surge outra
identidade, que atende ao projeto de resolver
sua insatisfao, a no conquista de si mesmo,
at que passe por outro portal e surjam outras
no necessariamente como uma lembrana da
imagem original, mas o seu inverso.
Esta iluso cria e recria identidades
conforme suas conquistas e sublimaes
negligenciando, dessa forma, o conhecer a si
mesmo, a fuga do encontro com a prpria
imagem que prediz seu infortnio, na inteno
de perpetuar sua existncia. O Narciso
contemporneo
encontra
na
Arte
Computacional, na fase digital, um campo
prenhe
de
possibilidades
para
suas
idiossincrasias contribuindo para o alargamento
das possibilidades na criao de artefatos
digitais.
III.

NARCISOS DIGITAIS NO FLUXO DA INTELIGNCIA

COLETIVA

importante percebermos quantas reas de

conhecimento esto intrnsecas s prticas dos
narcisos digitais como texto, imagem, udio,
produo, edio em programas complexos
bem como uma adaptao linguagem dos
guetos em rede. Uma de suas armas mais
eficazes, a meu ver, o trabalho em grupo,
perceberam que juntos poderiam alcanar
maiores resultados e assim se fortaleceram.
O alcance dessas obras tamanho que um
nmero relevante de produes de narrativas
so desenvolvidas em colaborao, onde cada
interator em seu espao geogrfico particular,
agrega sua contribuio para a realizao da
proposta tendo como resultado um trabalho de
edio de narrativas de qualidade embora
desenvolvido nas periferias da indstria
miditica.
Jenkins [2] explica que estamos a aprender o
uso da inteligncia coletiva em interaes
dirias
na
cultura
da
convergncia,
principalmente para fins recreativos, mas
brevemente para propsitos mais srios. Essa
considerao j tem lugar em alguns segmentos
de produo coletiva, dentre os quais, as redes

138

R. Eler / Narcisos Digitais, um potencial no contexto da inteligncia coletiva

sociais criadas e mantidas por fs de franquias

de jogos eletrnicos. O envolvimento dos fs
em comunidade vem ao longo dos anos
desenvolvendo produes que os consagraram
sendo conhecidos como produtores de fanzines,
fan fictions fan filmsii, dentre outros. Destacase que tais produtores no tm interesse em
lucros a partir de suas criaes.
Os fan films, mais em especfico para essa
pesquisa, ganharam maiores propores com o
advento da internet banda larga e o surgimento
de sites que possibilitam o repositrio e
divulgao dessas produes principalmente
nas redes sociais onde se encontram os fandom,
ou seja, as comunidades de fs. Embora
desprovidos de intenes lucrativas no
significa que as produes de fan films sejam
de baixa qualidade, ao contrrio.
No universo dos fandom as criaes de
fanfics so conhecidas por sua produo de
carter menos rigoroso, ao contrrio dos fan
films, como explica Luiz, sempre foram mais
restritos e rigorosos, chegando a obter o
reconhecimento dos fs ao considerar suas
propostas como as melhores verses de
determinados personagem de banda desenhada
para a linguagem cinematogrfica.
A dinmica dos fandom movimenta
produtoras reconhecidas que lhes do
visibilidade como, por exemplo, a Lucasfilm,
de George Lucas que premia as melhores
produes de fs com o evento Star Wars Fan
Movie Challenge, que existe desde 2002. O
trabalho conhecido como marco dos fan films
foi o curta Troops, lanado em 1998, foi o
primeiro a conquistar uma grande audincia
graas a internet [10].
H, portanto uma retroalimentao de
narrativas que so promovidas de forma
transmiditica pelas produtoras, em verses
para filmes, videojogos, etc. o que vem gerar
nos fs as mais diversas reaes, seja pelo
contentamento ou pela insatisfao, contudo a
resposta dos fandom, vem na mesma interao,
ou seja a partir dos elementos que compem
suas narrativas.
Um exemplo est registrado no blog Kotaku,
direcionado aos fs de jogos eletrnicos, sob o
ttulo: Final Fantasy XIII-2 Quando a Square
Enix decidiu obedecer aos fs. Nesse texto

percebe-se como os fs da franquia Final

Fantasy se posicionaram contra o diretor, por
causa da troca de diretores, personagens e
mecnica do FF XII, atacando-o nas redes
sociais com requintes de crueldade. O
resultado, portanto foi que no FF XIII-2,
possvel perceber, conforme relato, que o
diretor cuidou de ponto a ponto consertar cada
reclamao feita sobre o jogo anterior [11], e
diante das comparaes, os fs acreditam que
as reformulaes reivindicadas e aplicadas
foram as mais eficientes para a prtica do jogo.
Em cada um desses exemplos e das milhares
produes narratolgicas encontramos um
narciso digital que dimensiona sua criao no
ciberespao. Especificamente em relao aos
amadores em multimdia e suas produes em
vdeo, por exemplo, Jeffrey Bardzell [12]
aponta que no site You Tube so lanados mais
de 65.000 novos filmes, sendo que 2.300
gerados no mbito dos videojogos com relao
ao site Machinima.com.
O alcance da inteligncia coletiva extenso,
independente do seu foco de interesse.
Bardzell, estudioso sobre HCI, Human
Computer Interation, alerta que as produes
independentes

um
fenmeno
em
desenvolvimento contnuo e por isso urgente
e necessrio sugestes e envolvimentos nos
discursos dos estudos culturais bem como
perceber como o envolvimento com softwares
podem melhorar a criatividade de um modo
geral.
Nesse aspecto pesquisadores, artistas,
estudantes que cada vez mais temos fundido
nossas prticas pessoais s nossas vivncias
acadmicas. Nesse fluxo da convergncia
urgente convergirmos tambm o dilogo de
reas de conhecimento, no intuito de fortalecer
a pesquisa, as produes e, sobretudo as
relaes na mediao do conhecimento.
Diante do contexto que discorremos acima
se faz necessrias abordagens metodolgicas
que contemplem dilogos entre os narcisos
digitais, indivduos produtivos, que esto
presentes fisicamente em vrios segmentos
profissionais e educacionais, e em especfico ao
interesse dessa pesquisa no contexto do ensino
superior.

7th International Conference on Digital Arts ARTECH 2015

R. Eler / Narcisos Digitais, um potencial no contexto da inteligncia coletiva

IV.

CONSIDERAES SOBRE OS DESDOBRAMENTOS

DA PESQUISA

A prtica de elaboraes em grupo, a partir

das redes sociais, so uma constante para um
nmero relevante de usurios dentre os quais
estudantes de cursos universitrios em vrias
reas do conhecimento que podem vivenciam
tais experincias a partir da cultura
participativa. Os trabalhos elaborados atravs
de abordagens metodolgicas so contributos
relevantes no que se refere a discutir e destacar
as movimentaes nesses veculos miditicos,
compartilhar saberes, bem como perceber
caractersticas necessrias para que essa
estratgia tenha sucesso no contexto
universitrio.
Nessa perspectiva a pesquisa segue em
direo a metodologias que potencializem as
produes de narrativas, no s do contexto dos
fs, mas, sobretudo do universo dos narcisos
digitais, interatores que cotidianamente criam e
mantm o ciberespao com suas produes.
Nesse aspecto levanto a questo de como
estratgias metodolgicas podem potencializar
os processos de criao e edio de narrativas
digitais no processo de formao de estudantes
universitrios, por exemplo. Vrias so as
relevncias advindas da prtica dessa
abordagem que ora discorremos, visto que
justifica-se o presente projeto para que se
privilegiem a colaborao entre as reas de
conhecimento e os meios populares de
produo dos artefatos digitais que configura a
arte computacional.
Dentre as estratgias metodolgicas
intrnsecas ao contexto da inteligncia coletiva,
destaco, nesse momento, a Gamificao. Essa
que vem sendo discutida, disseminada e
experimentada no mbito educacional como
metodologia a partir de estratgias de jogos,
est, portanto dentre as contribuies que
podemos apreender do fluxo miditico, a partir
da cultura da convergncia.
Tal abordagem metodolgica pode vir fazer
sentido
s
prticas
educacionais
contemporneas tanto para discentes quanto
para o corpo docente em vrias reas do
conhecimento. Para Lee e Hammer, que
trabalham
com
a
metodologia,
essa
proporciona aos professores e estudantes
7th International Conference on Digital Arts ARTECH 2015

139

experincias que atenuam as fronteiras entre a

aprendizagem formal e informal [13].
Nesse aspecto reconhece Massarolo,
pesquisador e professor Universitrio, que
essa tcnica vem ganhando espao, desde
projetos em ambientes de trabalho educao
numa busca de renovar o modelo de ensino
aprendizagem para o atual cenrio social
permeado pelas mdias digitais [14].
No por acaso as movimentaes nesses
veculos configuram em uma das maiores
fontes de desejo da gerao contempornea,
tanto da manipulao de artefatos digitais,
quanto ao destino destas produes de
consumidores consumidos a partir dessas
mquinas.
Os Narcisos digitais continuam seus
percursos de forma fragmentada, tanto se
autorretratando quanto se projetando, a partir
das suas produes digitais, nas inmeras
possibilidades no ciberespao a proporcionar
um fluxo contnuo de metamorfoses
computacionais.
REFERNCIAS
[1] MAGNONI E MIRANDA. Novas formas de
comunicao no sculo XXI: o fenmeno da cultura
participativa (p 103 a 120). In Conexo Comunicao e
Cultura, Vol. 12, n 23, jan./jun. 2013.
[2] JENKINS, H. Cultura da Convergncia. 2 edio.
So Paulo: Aleph, 2009.
[3] LVY, Pierre. A inteligncia coletiva. Para uma
antropologia do ciberespao. Lisboa. Soc. Astria, 1997.
[4] BAUMAN, Zygmunt. Vida para consumo. A
transformao das pessoas em mercadoria. Rio de
Janeiro: Jorge Zahar Editora, 2008.
[5]
NASCIMENTO,
Mrly.
O
narcisismo
contemporneo: da barbrie social tirania ntima. UEM,
2011.
Disponvel
em
<
http://www.ppi.uem.br/Dissert/PPIUEM_2011_Merly.pdf. Acesso em: 09/11/2014.
[6] MEDEIROS, Margarida. Fotografia e narcisismo. O
autorretrato contemporneo. Lisboa. Assrio & Alvim,
2000.
[7] BURGOS, Maria. F. Comunidades virtuais e
avatares: uma remodelagem da realidade (?). In
MEDEIROS, Maria. B. de. (Org.). Arte e tecnologia na
Cultura Contempornea. Braslia. UnB: Dupligrfica,
2002.
[8] ELER, R. Imagens de Narcisos nas prateleiras do
Orkut. Dissertao (Mestrado) Universidade Federal
de Gois, Faculdade de Artes Visuais, 2009.
[9] ALMEIDA, M. I. F. e EUGENIO, O espao real e o
acmulo que significa: uma nova gramtica para se

140

R. Eler / Narcisos Digitais, um potencial no contexto da inteligncia coletiva

pensar o uso jovem da internet no Brasil (p. 49 a 80).

NICOLACI-DA-COSTA. Cabeas digitais o cotidiano
na era da informao. Rio de Janeiro: EDIPUC, 2006.
[10] LUIZ, Lucio. A Expenso da cultura participatria
no ciberespao. Fanzines, fan fictions, fan films e a
cultura de f na internet. VI Simpsio da ABCiber, Rio
Grande
do
Sul,
2012.
Disponvel:
<http://www.cencib.org/simposioabciber/PDFs/CC/Luci
o%20Luiz.pdf.> Acesso em 09/11/2014.
[11] MUCIOLI, F. Final Fantasy XIII-2? Quando a
Square Enix decidiu obedecer aos fs. 02/02/2012. In
Kotaku.
Diposnvel
em
http://www.kotaku.com.br/critica-final-fantasy-xiii-2quando-a-square-enix-decidiu-obedecer-aos-fas/ . Acesso
em: 31/01/2015.
[12] BARDZELL, J. Creativity in Amateur Multimedia:
Popular Culture, Critical Theory, and HCI, in Human
Technology: An Interdisciplinary Journal of Humans in ICT
Environments. Vol. 3, February 2007, University of Jyvskyl,
Finland.

[13] LEE, J. J. e HAMMER, J. Gamification in

Education: What, How, Why Bother? Academic
Exchange Quarterly, 15 (2). 2011. Disponvel em:
http://www.gamifyingeducation.org/files/Lee-HammerAEQ-2011.pdf. Acesso em: 09/11/2014.
[14] MASSAROLO, Joo. C. MESQUITA, D.
Narrativa transmdia e a Educao: panorama e
perspectivas. Novas mdias e o Ensino Superior. Revista
Ensino Superior Unicamp. Edio n 9. 2013. Disponvel
em <revistaensinosuperior.gr.unicamp.br> Acesso em
27/07/20014.
i

Narciso, mito grego, apaixonou-se por si mesmo e nesse

momento firma-se a perseguio ilusria do seu duplo.
No nome Narciso detm a simbologia do sono e da morte,
pois na mitologia ofereciam-se grinaldas para entorpecerse [8].
ii
Fanzines - acrnimo de fanatic magazine, ou revista
de f. Fan fictions, mais conhecidas pelo acrnimo
fanfic, fan fiction pode ser traduzida para portugus
como fico de f. Os fan films so uma derivao das
fanfics que, como o nome indica, envolvem a produo de
filmes por fs.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

141

O Jogo Do Espectacular
Tiago Assis
i2ADS Instituto de Investigao em Arte, Design e Sociedade, Faculdade de Belas Artes
da Universidade do Porto, 4049-021 Porto, Portugal
Resumo Neste texto reflectimos acerca da evoluo
da Sociedade do Espectculo, particularmente na sua
articulao com os dispositivos que entretanto foram
surgindo, nomeadamente as Tecnologias de Comunicao e
Informao. Dessa articulao levantamos questes a
partir de Debord e Baudrillard como a excluso do
humano do seu prprio real e as consequncias ao nvel
poltico e cultural. Nesse sentido insistimos na tentativa de
resgate do directamente vivido de forma a interromper o
Simulacro. Para isso recorremos a Barbrook, Benjamin e
Agamben, de forma a traar um quadro de anlise e
resistncia Ideologia Californiana que domina a nossa
poca sobre o signo do "meio a mensagem".

I. A SOCIEDADE DO ESPECTACULAR
Guy Debord anunciava na Sociedade do Espectculo
a excluso do humano do seu prprio real:
Toda a vida das sociedades nas quais reinam as
condies modernas de produo se anuncia como uma
imensa acumulao de espetculos. Tudo o que era
diretamente vivido se esvai na fumaa da
representao. [1]
A negao da vida tornava-se visvel numa relao
social entre pessoas, mediatizada por imagens [2]. Mas
as ideias de Debord antecipavam questes que
demonstravam a prpria dificuldade de contraargumentar, pelo menos numa lgica cartesiana:
No se pode contrapor abstratamente o espetculo
atividade social efetiva; este desdobramento est ele
prprio desdobrado. O espetculo que inverte o real
produzido de forma que a realidade vivida acaba
materialmente invadida pela contemplao do
espetculo, refazendo em si mesma a ordem espetacular
pela adeso positiva. A realidade objetiva est presente
nos dois lados. O alvo passar para o lado oposto: a
realidade surge no espetculo, e o espetculo no real.
Esta alienao recproca a essncia e o sustento da
sociedade existente. [3]
E complementa na tese seguinte: No mundo
realmente invertido, o verdadeiro um momento do
falso. [4] Baudrillard, leva mais longe a
impossibilidade de argumentao sobre a sociedade que
vivemos:
[A] simulao pe em causa a diferena do
verdadeiro e do falso do real e do imaginrio. O
simulador est ou no doente, se produz verdadeiros

7th International Conference on Digital Arts ARTECH 2015

sintomas? Objectivamente no se pode trat-lo nem

como doente nem como no-doente. [5]
Estas ideias reforam a posio de que a sociedade de
hoje no pode ser vista apenas pelos olhos de um ego
cogito. O plano do sensvel tem que ser resgatado,
temos que recuperar a experincia do "directamente
vivido", a anlise fenomenolgica, um real. Ou ento,
neste
paraso
da
informao,
aceitamos
a
impossibilidade do real, do verdadeiro e do falso e
assumimos o niilismo que emerge na essncia do
Simulacro. O facto que a tal passagem entre o
espectculo e o real est comprometida no Simulacro,
onde, de acordo com Baudrillard, j no h sujeito, nem
ponto focal, s temos informao:
Assistimos ao fim do espao perspectivo e panptico
(hiptese moral ainda e solidria com todas as anlises
clssicas sobre a essncia objectiva do poder) e
portanto prpria abolio do espectacular. [] J
no estamos na sociedade do espectculo de que falam
os situacionistas, nem no tipo de alienao e de
represso especficas que ela implicava. O prprio
medium j no apreensvel enquanto tal, e a confuso
do medium e da mensagem a primeira grande frmula
desta nova era. [6]
As Tecnologias de Informao e Comunicao (TIC)
desenvolvidas no enquadramento poltico da frmula do
"meio a mensagem" sustentam a Ideologia
Californiana [7], que advoga o determinismo
tecnolgico e configura a sociedade actual. No por
acaso que, por exemplo, Kevin Kelly desvaloriza o
papel dos autores perante a inevitabilidade estrutural e o
imperativo da tecnologia. [8] Concordemos ou no com
esta ideia, ela impera na cabea dos coders. Para todos
os efeitos, so os 'autores' que cedem ao determinismo
do Cdigo, through a profound faith in the
emancipatory potential of the new information
technologies. [9] Assim, triunfa o Technium [10] em
que o cdigo domina a criao, relegando o humano
para segundo plano. De uma cultura tyrannically
centered on the author [11] passamos a uma cultura
tyrannically centered on the code.
Considerando a tecnologia como um organismo
autnomo e provido de vida num sentido quase
matemtico e no-espiritual [12], no momento em que
a tecnologia e a informao dominam os nossos
ambientes, mesmo sabendo que so as nossas criaes,
as nossas extenses, mas perante a sua autonomia,
surgem as questes de como as nossas criaes esto a

142

T. Assis / O Jogo do Espectacular

ser mais moldadas pela tecnologia do que por ns.

Como os dispositivos que crimos dominam agora a
criao, relegando-nos para segundo plano e como que
isso est a afectar as artes e a nossa cultura.
Nesta caminhada e na leitura de Agamben,
apercebemo-nos de que h uma experincia directa com
que podemos contar, a experincia da prpria essncia
lingustica:
[A] poca em que vivemos agora tambm aquela em
que se torna pela primeira vez possvel para os homens
terem a experincia da sua prpria essncia lingustica
no deste ou daquele contedo da linguagem, no
desta ou daquela proposio verdadeira, mas do
prprio facto de se falar. A poltica contempornea
este desvastador experimentum linguae, que em todo o
planeta desarticula e esvazia tradies e crenas,
ideologias e religies, identidades e comunidades. [13]
Neste momento, na impossibilidade de distinguirmos
o verdadeiro e o falso, temos que nos agarrar
abertura que a expropriao da linguagem nos permite, a
experincia da prpria linguagem e o prprio facto de
se falar. Embora reconheamos que a localizao
objectiva do poder se tenha perdido, h uma srie de
sinais acerca das classes que se tornam dominadoras, de
como somos governados atravs de regimes
democrtico-espectaculares e nos dirigimos para a
alienao do ser lingustico, o desenraizamento de cada
povo da sua morada vital na lngua. [14]
Apropriarmo-nos da nossa experimentao lingustica
o desafio ao poder do momento, mas, temos que
perceber onde se manifesta o espectculo e quais os seus
upgrades no mundo da informao. Kevin Kelly d-nos
pistas importantes, entusiasmado com a mente da
colomeia, com a ideia de auto-governao das massas,
d-nos um exemplo do espectculo de Loren Carpenter:
Las Vegas, o cenrio no podia ser melhor para o que
pretendemos explicar, a multido tem umas varinhas
com um sinal verde de um lado e vermelho do outro. No
ecr gigante essas varinhas correspondem aos pixeis, o
pblico apercebe-se que quando vira para o ecr a
varinha, o pixel assume a cor correspondente. Passa um
antigo videojogo, Pong o primeiro grande sucesso
comercial, que consiste numa espcie de ping-pong
jogado por duas barras rectangulares. A multido,
dividida a meio controlava cada uma das barras,
'votando' com as varinhas: vermelho movia a barra para
cima e verde movia a barra para baixo. E assim se
entretinha uma multido neste fantstico espectculo
interactivo. A multido aprende depressa e Carpenter
acelera a bola, de modo a subir a fasquia e continuar o
entusiasmante desafio. A acelerao, sobre o que se
debrua Virilio na sua dedicao dromologia, [15]
uma das grandes tcnicas de controlo e alienao. Mais
desafios se seguem at ao de um simulador de voo,
Kelly descreve os desafios de forma magnfica e
entusiasmante, at ao silncio da multido a controlar o
avio de forma perfeita. Voar funciona sempre como a

metfora perfeita do sonho, que cala e silencia as massas

num sono prolongado. As comparaes com a natureza
so mais uma vez inevitveis, como o voo dos pssaros
e Kelly refora assim, a sua ideia de auto-governao
por via da tecnologia. Mais uma vez, sem esconder o
seu neoliberalismo, sugere que ningum est no controlo
e s a mo invisvel governa. [16] Partindo dos
princpios que Kelly apresenta, podemos afirmar que faz
todo o sentido com o que dissemos at aqui, a nossa
clara divergncia na apreciao do resultado. A
suposio de ningum estar no controlo, facto
aparentemente positivo, pode tambm significar o
benefcio de alguns em detrimento de muitos. O que
achamos mais relevante nesta experincia, no a mo
invisvel que emerge das massas, mas como as massas
so facilmente controladas por essa invisibilidade. E nas
crises econmicas, que supostamente s determinadas
ideologias resolvem, torna-se muito fcil aqueles que
beneficiaram da mo invisvel ocuparem o lugar dela,
tornando visvel o totalitarismo invisvel que entretanto
se formou.
O espectculo de Loren Carpenter o prottipo dos
espectculos modernos. Ou pelo menos, uma evoluo
do valor de culto e exposio.
Na Obra de Arte na Era da Sua Reprodutibilidade
Tcnica, Walter Benjamin apresenta-nos o valor de
culto e valor de exposio como dois plos de
recepo da arte. [17] Do ponto de vista da produo
artstica, ela teve incio ao servio do culto, mas com a
emancipao das prticas artsticas do mbito ritual, a
possibilidade de valor de exposio aumenta. Benjamin
d o exemplo do valor de exposio da fotografia, em
que comeava a afastar, em todos os aspectos, o valor de
culto. Agamben retoma o conceito de valor de
exposio:
Na oposio marxista entre valor de uso e valor de
troca, o valor de exposio insinua um terceiro termo
que no se deixa reduzir aos dois primeiros. No
valor de uso porque aquilo que exposto , enquanto
tal, retirado da esfera do uso; no valor de troca
porque no mede, de nenhum modo, uma foratrabalho. [18]
No presente espectculo ciberfordista, o valor de
exposio ganhou a especificidade de 'interactividade',
que no mais do que, uma representao/simulao da
troca e do uso. Para alm do valor de exposio no se
reduzir ao da troca ou do uso, ele oculta a sua
expropriao pois a simulao impede essa constatao
por via da interactividade. A catarse a que hoje
assistimos nos espectculos torna o pblico num
consumidor da aco por meio da hiper-realidade. O
espetculo pode sair da sua prpria esfera e capturar a
economia, a cultura a sociedade etc. E tudo que possa
ter valor de troca ou de uso dilui-se no valor de
exposio por via da interaco. Esta interaco a
experincia da expropriao da prpria experincia, em
que tudo est programado ou programvel. A

7th International Conference on Digital Arts ARTECH 2015

T. Assis / O Jogo do Espectacular

interaco a simulao da aco por intermdio do

cdigo, o humano mimetiza uma possibilidade que a
mquina j antev no seu programa. E se no estiver
previsto, o gesto imprevisto captado pelo programa j
ser previsvel na vez seguinte. O mapa precede o
territrio, o Simulacro precede o mapa, o Simulacro
precede o Simulacro. Nesta era celebramos o culto da
informao, onde a crena tem como mito o real e
porque j no o reconhecemos, uma religio sem mito,
a religio mais real e intangvel que alguma vez existiu.
Em todos os cultos desta religio, cavamos a
expropriao do real, a expropriao do uso, da troca,
dos territrios, do tempo e da linguagem. O real foi
expropriado! sagrado e improfanvel, qual o rito que
o reproduz?
Agamben na sua procura sobre as relaes de
correspondncia e oposio entre jogo e rito encontra
num estudo de Benveniste o seguinte:
A potncia do acto sagrado escreve Benveniste
reside precisamente na conjuno do mito que enuncia
a histria e do rito que a reproduz. Se a este esquema
ns comparamos o do jogo, a diferena mostra-se
essencial: no jogo, apenas o rito sobrevive, e no se
conserva mais que a forma do drama sagrado, na qual
todas as coisas voltam sempre ao incio. Mas foi
esquecido ou abolido o mito, a fabulao em palavras
ricas de significado que confere aos atos o seu sentido e
a sua eficcia. [19]
O jogo, sempre correlacionado com o rito, a aco
atravs do qual reproduzimos no Simulacro, o sagrado
real, ao mesmo tempo, que o desactivamos. Neste
sentido o real -nos devolvido pelo simulacro, mas sem
a potncia para desvios, para novos mundos, para outras
realidades. [20] desta expropriao do real que
falamos e no de estranhar que o jogo ganhe, a partir
dos videojogos, o protagonismo na alienao, na
expropriao da experincia e do tempo na actual
sociedade. Mundos virtuais de persistncia, redes
sociais, vdeo-jogos online de multiplayers, jogos srios,
realidade aumentada etc. estes so alguns dos
paradigmas da sociedade do jogo espectacular. O real
passou a mito e celebramos atravs destes paradigmas o
culto do real no Hiper-real. A origem perdeu-se. Todos
os momentos de estranheza, em que as coisas aparecem
de forma surpreendentemente diferentes do Simulacro,
no so considerados como real, mas so considerados
mistrios por resolver. Numa linguagem mais cientfica
e apropriada, apenas so considerados: problemas. Bug
do real, ou mistrios, que sero resolvidos com mais
tecnologia, mais resoluo e mais dados no Hiper-real.
Alis, esse o jogo e hbito supremo dos coders, um
retorno ao real apenas para a constante comparao com
o Hiper-real, at indistino entre real e Simulacro. O
jogo tornou-se no enunciado do real.
O Simulacro no s a simulao da sua origem, a
impossibilidade de a reconhecer como tal, a justaposio
da origem com o fim. Com o Simulacro, o humano ficou

7th International Conference on Digital Arts ARTECH 2015

143

excludo do seu real, no pode haver criao real, tudo

simulao, a criao no Simulacro reside em acrescentar
detalhe e resoluo no Hiper-real. Tudo isso fundamenta
o determinismo tecnolgico e a excluso do humano
como autor ou criador de algo, o humano deixa de ser
criador de mundos, ele um arteso que se encarrega de
tornar mais hper o j Hiper-real na precesso dos
simulacros. Essa actividade de hiper-realizao entre
humano e simulacro, assim como, a relao social entre
pessoas, mediada pelo Hiper-real. Aquilo que
chamamos de interactividade no Hiper-real, tem sempre
um hper interposto, uma simulao que desdobra o
meio, onde a suposta aco simulada: trata-se de uma
hiper-interactividade. O indivduo est de facto s e
isolado porque tem sempre um hiper-meio entre ele e os
outros indivduos, o jogo no Hiper-real a habituao
ao isolamento do indivduo numa hiper-colectividade.
Na verdade o jogo no mais do que a origem de todos
os hbitos [21], disse Walter Benjamin e algo se perdeu
entre o jogo da partilha de informao e o hbito da
informao partilhada. As redes sociais que se
proclamam libertadoras e portadoras de uma maior
colectividade, no so redes de indivduos que lutam por
um comum isso j lhes foi expropriado so redes
de individualismos, que lutam pelo individualizador que
o Hiper-real. preciso usar estas redes como
potenciadoras do real e dos seus desvios e no apenas do
Hiper-real. Neste aspecto, analisemos as seguintes
hipteses:

Para uma comunidade em processo

identitrio e de emancipao, trata-se de
reenraizar a tecnologia na sua cultura e lngua.

Mas, se j pouco resta da cultura, se o

nosso nico destino comum a alienao do ser
lingustico, o desenraizamento de cada povo da
sua morada vital na lngua [22], ento
caminhemos para a singularidade do qualquer,
sem pressupostos nem identidade. Ento,
entremos bem fundo no Simulacro e conduzamos
a linguagem prpria linguagem, assim, talvez
venhamos a sair ilesos do seu paraso. [23]
Neste artigo oscilamos entre estas duas hipteses e
uma terceira, que tem a ver com a experincia da
correlao das duas: A experincia entre um serqualquer com a da cultura e lngua, que no cessa de
resgatar a sua identidade consciente da sua imploso.
Esta foi a tenso base para a nossa tentativa de
interromper e sair do Simulacro.
Entendamos que esta possibilidade de sada, implica a
sada do jogo e dos seus hbitos, implica interromper o
Technium. Como sair do hbito, quando o hbito se
virou para o jogo em si? Como sair do Simulacro,
quando ele triunfa na prpria ideia de jogo como a
experincia de vida no Simulacro? Estamos com certeza
num extremo da alienao em que o jogo o
desdobramento do espectculo numa forma hiperinteractiva. O Hiper-real o jogo transformado em

144

T. Assis / O Jogo do Espectacular

hbito sem qualquer relao com a sua origem. o rito

como origem do prprio rito, deixando definitivamente
a prpria ideia de mito para fora da hiper-realidade.
Como os filsofos anteciparam, o sonho no pode ser
realizado, mas ao ser realizado no Hiper-real, terminou
com a capacidade de sonhar de todos os que a ele se
submetem. Separou todas as utopias do real para o
Hiper-real e a, separado do real e simultaneamente
justaposto, no h dificuldade em alcan-las, a regra :
esquecer o real para que todos o celebremos no culto do
universalismo no Hiper-real. O sonho vira objectivo no
Hiper-real, tudo se torna operativo e essa
operatividade que pretensamente transformar o real e.g.
mais transparncia e liberdade na rede e haver mais
transparncia e liberdade na sociedade real.
No podemos contrapor abstractamente o jogo com a
actividade social efectiva, porque ele o desdobramento
daquilo que j havia sido desdobrado na sociedade do
espectculo: O Hiper-real uma relao social entre
pessoas, mediatizadas pela hiper-interactividade j
pouco disto pode ter a ver com o real.
A contemplao e consumo na sociedade do
espectculo no disfaravam a alienao numa espcie
de ausncia de aco e passividade do espectador. Mas a
imagem ao desdobrar-se no Hiper-real, cortou
definitivamente com a experincia da vida: A hiperinteractividade simula aco e experincia, separando o
humano do real e impossibilitando a distino entre real
e Hiper-real. O alicerar no conhecimento, na
informao e na aco colectiva de salvao, ilude a
crena e a origem desta sociedade. Se ligar o real com o
Hiper-real pode ainda ser possvel, ento ser na origem
dos dois que podemos procurar as suas relaes. E
precisamente por isso, a proposta de estudo que
deixamos com este artigo uma mitologia (ou mesmo
Teologia) sobre a origem da hiper-realidade, do
Simulacro e desta sociedade de informao. E como em
todos os mitos e toda a origem, procuramos em primeiro
lugar na linguagem, neste caso em particular,
procuramos na linguagem das TIC e nos seus profetas.
certamente junto deles que perceberemos o mito por de
trs da sociedade do jogo espectacular.
Ser importante perceber como a teoria dos jogos,
em grande parte formulada por John von Neumann, se
tornou um paradigma dominante na nossa economia e
sociedade e, simultaneamente, como os contributos de
Nobert Wiener para a ciberntica foram apenas seguidos
na sua base operativa esquecendo a viso econmicosocial como por exemplo:
Let us remember that the automatic machine, whatever
we think of any feelings it may have or may not have, is
the precise economic equivalent of slave labor. Any
labor which competes with slave labor must accept the
economic conditions of slave labor. It is perfectly clear
that this will produce an unemployment situation, in
comparison with which the present recession and even
the depression of the thirties will seem a pleasant joke.
[24]

Mais do que o entendimento dos profetas que

configuraram a sociedade de hoje, de Marx a Freud, de
Wiener a McLuhan, temos que compreender a sua
inteno ou intencionalidade perante os problemas que
diagnosticaram. Aquilo que os moveu e as suas
inquietudes, mais do que as solues enunciadas.
Porque esses problemas persistem e ganharam outra
dimenso. A explicao e a captura das ideias pelos
dispositivos e mecanismos de poder baseiam-se na
interpretao e instruo da interpretao, das supostas
solues e direces. Esse desvio e vulgarizao,
fundamentalmente quando no mais do que isso,
ignora o problema e a sua origem, torna-se no rito, ou
mesmo, no jogo. O rito e jogo a continuidade na
operatividade das solues que j aboliram, ou esto
margem do problema. Essa operatividade divorcia-se e
desarticula-se do problema e daquele que o pensou
inicialmente. Ironicamente, muitas vezes capta os
termos e designa o nome desse pensador, numa corrente
doutrinria puramente fetichista. Do Marxismo
passamos ao McLuhanismo
A excluso do humano do real torna-se visvel quando
nada mais resta do que a operatividade. A vida humana
j no se ope morte, j no a desafia, nem cria
espaos alm desse limite, apenas se reduz na operao
de sobrevivncia, como todos os outros seres vivos. Este
o lugar, ou a selva, que o determinismo tecnolgico
nos reserva. A criatividade, supostamente presente como
valor na tica hacker, uma iluso, ou simulao, sob o
determinismo do cdigo reduzida sua operatividade. O
coder escolhe sobre as mltiplas possibilidades do
cdigo e no contexto de massas de prossumidores as
mltiplas possibilidades so decididas pela maioria na
multido.
Simultaneamente,
cada
vez
mais
determinados contextos artsticos so reduzidos ao
technofetiche.
Neste artigo lutamos pelo domnio do humano sobre a
tecnologia e no da tecnologia sobre o humano. Melhor
dizendo, a tcnica precisamente o domnio, no da
tecnologia, mas da relao entre o humano e o seu
mundo. Lutamos pelo humano criador de mundos e no
pelo polidor do Hiper-real. Queremos interromper e
sujar o Simulacro com o real desviante. A rede
certamente uma ferramenta poderosa para todos os
lados, mas, quando a apologia se tornou a comunicao
e informao per si, a rede tem tambm que funcionar
em oposio a ela. Estamos perante um dispositivo de
dimenso instrutria gigantesca e necessrio a
emancipao contra essa instruo. A materializao da
rede implica sujar a informao com o real. Implica
colocar o real como a morte da rede, da informao e da
comunicao. Implica reenraizar as TIC na nossa
morada vital: a lngua. Este o jogo do momento no
plano poltico.

7th International Conference on Digital Arts ARTECH 2015

T. Assis / O Jogo do Espectacular

AGRADECIMENTOS
Agradecemos a Fernando Jos Pereira pela realidade
que acrescentou s nossas discusses.
REFERENCES
[1] G.
Debord,
A
Sociedade
Do
Espetculo,
eBooksBrasil.com p. 8, 1994.
[2] Ibid., 8.
[3] Ibid., 9.
[4] Ibid., 9-10.
[5] J. Baudrillard, Symbolic Exchange and Death, pp. 9-10,
London: Sage Publication, 1993.
[6] Ibid., 43-44.
[7] R. Barbrook, and A. Cameron, The Californian Ideology
- the Hypermedia Research Centre - University of
Westminster
2011,
no.
20/08/2011
(1995).
http://www.hrc.wmin.ac.uk/theory-californianideologymain.html
[8] K. Kelly, What Technology Wants. pp. 131-155, New
York: Penguin Group, 2010.
[9] Barbrook, op. cit.
[10] Kelly. op. cit. 11-17.
[11] R. Barthes, Image-Music-Text. p. 143, New York: Hill
and Wang, 1978.
[12] K. Kelly, Out of Control: The New Biology of Machines,
Social Systems, and the Economic World. p. 97 New
York: Basic Books, 1995.
[13] G. Agamben, Profanaes, p. 65, Lisboa: Edies
Cotovia, 2005.
[14] Ibid., 64.
[15] P. Virilio, A Velocidade de Libertao, Lisboa: Relgio
Dgua, 2000.
[16] Kelly, op. cit. 10-11.
[17] W. Benjamin, Sobre Arte, Tcnica Linguagem E Poltica.
pp. 70-73 Lisboa: Relgio D'gua, 2012.
[18] Agamben, op. cit. 129-130.
[19] G. Agamben, Infncia E Histria - Destruio Da
Experincia E Origem Da Histria, p. 84. Belo
Horizonte: Editora UFMG, 2008.
[20] J. Baudrillard, O Crime Perfeito, p. 39, Lisboa: Relgio
D'gua, 1996.
[21] Benjamin, op. cit. p. 147.
[22] G. Agamben, A Comunidade Que Vem. p. 64, Lisboa:
Editorial Presena, 1993.
[23] Ibid., 65.
[24]
W. Norbert, The Human Use of Human Beings:
Cybernetics and Society. p. 162, Boston: Da Capo Press, 1988.

7th International Conference on Digital Arts ARTECH 2015

145

146

T. Assis / O Jogo do Espectacular

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

147

Projeto Flappy Crab: um jogo educacional

para o ensino da Msica
Cristina Gomes*, Mauro Figueiredo**, Jos Bidarra* e Jos Gomes*
*Centro de Investigao em Artes e Comunicao, Universidade Aberta, Lisboa, Universidade do Algarve,
Faro, Portugal; **Centro de Investigao Marinha e Ambiental, Universidade do Algarve, Faro, Portugal

Resumo Este artigo apresenta um jogo

educacional, o projeto Flappy Crab, destinado ao ensino
de contedos programticos relacionados com a disciplina
de Educao Musical. Fazendo uso de processos tais como a
gamification e o remix, pretende avaliar os possveis
impactos que a sua utilizao porventura possa ter na
aprendizagem e desenvolvimento de competncias
relacionadas com a memria auditiva, a discriminao
qualitativa de alturas de sons musicais (em uma tessitura de
uma oitava com ponto central nos 440 Hz), a identificao
visual dos smbolos da notao musical e respetiva
organizao segundo as regras gramaticais da grafia
sonora. O jogo est a ser introduzido junto de um grupo de
cerca de 30 adolescentes, durante um perodo de,
aproximadamente, 6 meses, ao longo dos quais sero
recolhidos dados; todavia, no presente artigo, far-se- j a
resenha dos dados preliminares at data recolhidos. Neste
artigo falaremos igualmente, ainda que de forma sucinta, do
motor de jogo utilizado no desenvolvimento desta aplicao
educativa, o UNITY.
ndice de Termos Jogo educativo, gamification,
remix, mashup, memria auditiva, discriminao de alturas,
pitch, UNITY.

I. INTRODUO
Parece indiscutvel que o paradigma cultural do sculo
XXI assenta na informao digital. Omnipresente em
todos os aspetos da nossa sociedade, mais ainda com a
enorme flexibilidade introduzida pelos dispositivos de
computao mvel, leves, transportveis e poderosos, a
informao digital envolve-nos como uma teia,
possibilitando redes de comunicao nunca antes
imaginadas. Na atualidade todos dispomos dos arquivos
da biblioteca de Alexandria distncia de um pequeno
toque no ecr do nosso telefone [1]! Todavia, sobretudo
no campo educacional e no domnio do ensino bsico (2.
e 3. ciclo), grande parte dos processos de
ensino/aprendizagem ainda se fazem com base em
metodologias tradicionais, algumas recorrendo a
artefactos
arqutipos
to
simpticos
quanto
desatualizados como o quadro de ardsia ou o giz. Urge,
portanto, rever prticas de modo a realizarem-se as
atualizaes requeridas pela sociedade ciberntica, tanto
mais que os alunos em tudo produtos do seu tempo j
no se revm nestes processos pedaggicos pouco ou
nada relacionados com as suas prticas vivenciais
7th International Conference on Digital Arts ARTECH 2015

quotidianas. necessrio investir em novos processos de

aquisio de conhecimentos, sobretudo quando
diretamente relacionados com as tecnologias de
informao e comunicao, nomeadamente com recurso
a estratgias tais como a gamification e/ou o remix, dado
que ambos esto presentes tanto nos processos educativos
(formais ou informais) quanto em toda a envolvncia da
sociedade moderna.
Este artigo prope-se fazer a apresentao do prottipo
da aplicao educativa Flappy Crab, uma verso
criativa do jogo Flappy Bird, da GEARS Studios,
desenvolvida com o game-engine UNITY. Embora
desenvolvido para plataformas mveis tais como
smartphones e tablets, o jogo ser editado igualmente em
uma verso capaz de correr em dispositivos fixos tais
como, por exemplo, desktop computers (computadores
de secretria); esta verso foi pensada de modo a facilitar
a utilizao do Flappy Crab em ambientes de
aprendizagem formal, tais como a sala de aula ou o
Centro de Recursos Educativos (CRE) da escola. Os
resultados preliminares do estudo sero igualmente
apresentados dado que, embora ainda em curso,
permitam discernir algumas linhas tendenciais.
O artigo que aqui se apresenta est organizado do
seguinte modo: na primeira parte discutiremos tpicos
diretamente relacionados com a fundamentao terica
subjacente ao jogo, aqui se incluindo as possveis
aplicaes de estratgias tais como a gamification ou
remix em processos educativos e, especificamente, no
ensino da msica. De seguida, apresentaremos a
aplicao educativa Flappy Crab, falaremos do seu
desenvolvimento e, sumariamente, do motor de jogo que
lhe subjaz, e discutiremos os resultados preliminares at
data recolhidos. Na ltima parte do artigo lanaremos
propostas de trabalho futuro, tecendo algumas
consideraes sobre o impacto deste tipo de atividades
pedaggicas.
II. ESTRATGIAS DE GAMIFICATION, REMIX E
MASHUP EM EDUCAO

O conceito de gamification relativamente recente;

todavia, a sua vincada adeso realidade quotidiana temno imposto como uma das ideias mais relevantes dos
ltimos anos [2] [3] [4]. Trata-se de uma estratgia que

148

C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes / Projeto "Flappy Crab": um jogo educacional para o ensino da Msica

tem por objetivo aplicar a mecnica dos videojogos a

outra tipologia de atividades com a pretenso de alterar
comportamentos. Quando utilizado em contexto
educativo, o processo de gamification passa por integrar
dinmicas prprias do jogo em atividades letivas e/ou
objetos didticos tais como testes, questionrios,
exerccios, jogos-educativos, etc., com o intuito de
incentivar a motivao, o cometimento e a participao.
Neste contexto, fulcral definir com exatido o que se
entende por mecnica do jogo; esta poder-se- definir
como o conjunto de regras e de recompensas que tornam
a atividade ldica numa tarefa satisfatria e motivacional,
ou, por outras palavras, trata-se dos aspetos que tornam o
jogo desafiante e educativo ou qualquer outra emoo
que a atividade gamified deseje evocar. As dinmicas
de jogo mais comuns [2] incluem:
Pontos: excelentes motivadores, podem ser usados
para premiar os jogadores (estudantes, quanto em
contexto educacional) ao longo dos vrios nveis ou
dimenses da atividade ludificada (gamified). De
facto, o gosto pela recompensa parece ser uma
caracterstica humana comum, de tal forma
prevalente que mesmo o sistema simblico de pontos
nos faz experienciar sentimentos de ganho [5] [6].
Nveis: alguns autores [7] referem-se-lhe como uma
espcie de fronteira entre diferentes etapas, de forma
que os utilizadores (ou alunos) os podem usar como
indicadores de um estatuto superior, controlando o
acesso a contedos de bnus que possam estar
disponveis apenas para os jogadores que atingiram
determinados parmetros.
Desafios, crachs, trofus: a introduo de objetivos
aporta
finalidade
ao
jogo,
dando
aos
utilizadores/estudantes a sensao de que esto a
investir o seu esforo em uma atividade com
propsitos pr-definidos. Em contexto educativo,
estes desafios devem basear-se nas competncias que
queremos desenvolver, sendo igualmente essencial
premiar os jogadores sempre que estes se superem
atravs de bonificaes simblicas, tais como
crachs, emblemas ou trofus.
Quadro de vencedores ou leader boards: em
atividades ludificadas (gamified), o quadro dos
utilizadores melhores qualificados tem por funo
seguir e exibir comportamentos desejveis, usando-se
a hierarquia da pontuao para induzir a integrao da
competncia pretendida. Os leader boards so de
grande importncia enquanto promotores da
motivao extrnseca na medida em que aportam
fatores tais como o desejo e a aspirao ao processo
ludificado.
A gamification gera processos de metacognio e
autoaprendizagem, ajudando a construir solues
criativas em situaes de ausncia de motivao
intrnseca, factor de importncia vital em todos os tipos
de aprendizagem e ainda maior em contextos de literacia

musical [8] [9]. De facto, com o modelo dos quatro

fatores para o desenho de atividades educativas, ARCS,
proposto por John Keller (Fig. 1), pode-se analisar com
grande acuidade o grau de motivao gerado atravs da
imerso em atividades gamificadas [3]. Este modelo tem
por objetivo introduzir uma metodologia baseada na resoluo
de problemas em processos de desenvolvimento de atividades
educativas motivacionais.

Fig. 1. Modelo ARCS de John Keller. Imagem recolhida em

http://arcmit01.uncw.edu/erg1602/Glossary.html.

Finalmente, importa salientar que, de certa forma, o

sistema educativo sempre utilizou a gamification nos
processos de ensino/aprendizagem. A avaliao de testes
escritos atravs de um sistema quantificado pode ser
perspetivada como uma espcie de pontuao; por outro
lado, transitar de ano letivo apresenta grandes similitudes
com a concluso de um determinado nvel e at mesmo o
diploma de final de curso se pode equiparar ao crach ou
ao trofu que se obtm no videojogo, pois todos eles so
formas equivalentes de gratificar o sucesso [2]. Embora
sendo um exemplo concreto de sistema gamificado, a
avaliao tradicional no parece motivar particularmente
os alunos. Todavia, pensamos que talvez o processo de
ensino/aprendizagem e particularmente, devido s suas
caractersticas nicas, o ensino da msica, possam
beneficiar de melhorias atravs da introduo de
estratgias de gamification, sobretudo se estas forem
mediadas pelas novas tecnologias de comunicao e
informao e associadas aos mais recentes dispositivos
de computao mvel.

7th International Conference on Digital Arts ARTECH 2015

C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes / Projeto "Flappy Crab": um jogo educacional para o ensino da Msica

III. REMIX E MASHUP

Na sociedade moderna, os indivduos recusam-se ao
papel de recetores passivos, ambicionando ser
protagonistas da prpria ao cultural. Produzem, criam,
misturam e recriam contedos recorrendo a tcnicas tais
como o remix e o mashup, tornando-os artefactos
originais, marcados pela personalidade individual de
quem os produziu [10].
As tcnicas de remix e de mashup remontam aos
primrdios do sculo XX, podendo ser ligadas a
experincias grficas de grandes artistas tais como, por
exemplo, Pablo Picasso. Tais tcnicas, reduzidas a um
papel secundrio enquanto expresso artstica, viram-se
crescer em importncia e visibilidade com o advento da
internet e das novas tecnologias digitais, dado que estas
facilitaram em muito a mixagem de contedos culturais.
O mashup, por sua vez, refere-se combinao no s
de contedos mas tambm de funcionalidades de vrias
provenincias externas com o objetivo de criar uma nova
entidade atravs de processos tais como a alterao, a
recombinao, a manipulao e at a cpia. Atravs da
ao criativa do mashup, os contedos originais adquirem
nova identidade cultural, se bem que possam continuar
identificveis, porm sujeitos a um novo enquadramento
simblico. As tcnicas de remix e de mashup so muito
apreciadas pelos nativos digitais pelo que, na atualidade,
so de uso corrente [11].
No jogo educativo Flappy Crab, usamos tcnicas de
remix e de mashup em diversos domnios: na ideia do
jogo, sobretudo no que respeita aos nveis intermdios,
clonada do imensamente clebre jogo Flappy Bird; no
aspeto visual, construdo com imagens open source e at
no personagem principal o caranguejo Flappy
concebido a partir de partes de diferentes imagens. Por
outro lado, os nveis de bnus so uma recriao do
famoso jogo infantil SimonSays, desta feita organizado
como uma variao musical destinada a desenvolver
competncias ao nvel da memria auditiva e da
discriminao de alturas.
IV. DESENVOLVIMENTO DO PROJETO
O processo de gamificar um objeto didtico radica
nos objetivos que se pretendem atingir, pois estes
determinam todo o processo criativo. Assim sendo, na
etapa prvia ao desenvolvimento do jogo educativo
Flappy Crab, procedemos a diversas pesquisas,
nomeadamente:
Visualizando e realizando a anlise de vrios mobile
games com o objetivo de determinar qual o modelo
de jogo mais apropriado para implementar o
storyboard que havamos imaginado.
Uma vez escolhido o modelo de jogo tornou-se
necessrio decidir qual o game engine (aplicao de
desenvolvimento) a utilizar; depois de analisarmos
7th International Conference on Digital Arts ARTECH 2015

149

vrios, acabamos por escolher o UNITY, dado a sua

robustez e flexibilidade, mas sobretudo pela
introduo de novas capacidades para os jogos 2D a
partir da verso 4.3.
Ponderamos igualmente quais os contedos
didticos relacionados com a aprendizagem da
msica que teriam maior vantagem em serem
trabalhados a partir de tcnicas de gamification,
acabando por nos decidirmos pelos aspetos
relacionados com a grafia musical, com a
discriminao das alturas (pitch) e com a memria
auditiva.
E, finalmente, pesquisamos mtodos interativos de
ensino e aprendizagem, sobretudo se relacionados
com tcnicas de gamification e de remix.

Dado que em Portugal a disciplina de Educao

Musical de carcter obrigatrio apenas no 2. ciclo de
escolaridade, decidimos que o jogo se deveria dirigir a
um pblico-alvo preferencial com idades compreendidas
entre os dez e os doze anos de idade. O jogo tem como
objetivo principal promover a aprendizagem da msica,
facilitando a entrada dos utilizadores/alunos em um
estado de flow, pois este, segundo a teoria e o modelo
proposto por Csikszentmihlyi, faz com que during an
optimal experience, the person enter in such
psychological state where he or she is so involved with
the goal driven activity that nothing else seems to mater
[8]. A mecnica do jogo pretende otimizar processos
aprendizagem informal, sobretudo se relacionados com
os smbolos da notao/ grafia musicais (figuras rtmicas,
notas, pautas e pontuao gramatical), da discriminao
de alturas de sons compreendidos entre os 261 Hz (d4) e
os 523 Hz (d3) e a memria auditiva, pelo que o
desenvolvemos com base nos sete princpios de design
conceptual propostos por Priebatsch (2010). Assim,
O jogo inclui sistemas visuais de controlo,
corporizados em um indicador da pontuao [12];
O jogador tem um retorno imediato relativo sua
progresso, pois sempre que recolhe uma figura
musical ou evita um obstculo recebe um reforo
positivo atravs de uma mensagem sonora. O
mesmo acontece quando perfaz a pontuao
necessria para passar ao nvel de bnus;
Os nveis intermedirios funcionam como objetivos
de curto prazo, fazendo a mediao entre etapas que
apenas apelam ao e outras onde o foco se
concentra no raciocnio e na memria auditiva;
So oferecidos prmios aps a realizao de
determinadas tarefas, corporizando-se estes no
acesso aos nveis de bnus [9] e
Introduziu-se um elemento de incerteza na medida
em que o acesso aos nveis de bnus aleatrio e
este variam, podendo ter diferentes mecnica e
jogabilidade [12].

150

C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes / Projeto "Flappy Crab": um jogo educacional para o ensino da Msica

Uma vez estabelecidos o tipo de jogo, a aplicao de

desenvolvimento, as competncias alvo e a tipologia
didtica, tornou-se necessrio desenvolver uma histria
(storyboard) que tornasse o jogo aliciante mas no
demasiado simples, inconsequente ou infantil. Dado que
o mar uma entidade sempre presente no imaginrio
coletivo nacional, escolhemos por cenrio uma paisagem
costeira que ao longo do jogo vai mudando consoante a
progresso do personagem principal. Este tem por misso
percorrer os oceanos do mundo para encontrar a lendria
ilha da msica.
V. INTERAO E MECNICA DO JOGO
A interao com o jogo faz-se diretamente atravs de
um pequeno toque no ecr da plataforma mvel ou com
um clique do dispositivo apontador (rato) nos
computadores de secretria (desktop ou laptop). Este
gesto mantm o personagem (Flappy) em constante
movimento para a direita evitando que contacte com
qualquer outro objeto do jogo e assim tenha que
recomear o nvel. O nmero de vidas do jogador
ilimitado, funcionando como um jogo revivalista de tipo
arcade (com uma mecnica aproximada do
BubbleBoble da TAITO), onde o jogador no pode
gravar a progresso e sempre que morre reinicia o
processo.
No so necessrios pr-requisitos para jogar, apenas
um pequeno perodo de adaptao em consequncia de
possveis variaes relacionadas com a sensibilidade da
interface dos dispositivos mveis ou fixos utilizados. No
primeiro teste de usabilidade [13] realizado, verificou-se
que em mdia nenhum dos jogadores teve dificuldade em
perceber a mecnica do jogo, at porque esta reproduz a
de uma muito conhecida mobile application da GEARS
Studio.
Todos os nveis tm por tema de aprendizagem a
msica, pretendendo-se que o jogador desenvolva
capacidades ao nvel da discriminao de alturas, da
memria auditiva e da grafia musical. A jogabilidade da
aplicao no est condicionada por conhecimentos
prvios, embora a familiaridade com os smbolos da
grafia musical e do lxico sonoro ocidental possam ser
um factor a considerar para a envolvncia emocional do
utilizador. Ao longo do jogo vo sendo disponibilizadas
ajudas, mas estas tm de ser expressamente solicitadas,
dado que se pretende que o jogador/aluno treine
competncias de autonomia e capacidade de raciocnio.
O jogo apresentado em trs cenrios. O menu de
entrada (Fig. 2) faz a distribuio do jogo e possibilita a
escolha dos nveis; uma vez iniciado o jogo, atravs do
pulsar de um boto interativo, o jogador/aluno pode
sempre regressar ao menu de entrada atravs do boto
Quit disponvel em todos os cenrios.
No primeiro nvel intermedirio so apresentados ao
jogador as figuras rtmicas na forma de itens bonificados
que se devem ir recolhendo enquanto se evitam os

Fig. 2.

Jogo educativo Flappy Crab: menu de entrada.

obstculos (sargaos); estes vo surgindo ao longo do

nvel sempre com velocidades e posicionamento
aleatrios (Fig. 3).

Fig. 3. Jogo educativo Flappy Crab: primeiro nvel

intermedirio.

Quando o jogador atinge uma pontuao igual a 250

pontos, passa para o primeiro nvel de bnus, sendo-lhe
veiculado um reforo positivo atravs de uma mensagem
sonora. Os nveis de bnus podem ser de duas
tipolgicas:
Na primeira, ao iniciar o jogo o utilizador/aluno vse confrontado com a audio de uma srie aleatria
de quatro ou mais sons de alturas diferentes que
deve memorizar e repetir atravs do pulsar das
quatro conchas (que simulam de forma criativa as
teclas de um instrumento musical) de cores
contrastantes [vermelho (d4), amarelo (mi4), azul
(sol4) e verde (d5)] que esto em primeiro plano no
cenrio. Sempre que se consegue repetir uma srie
de sons, sobe o nvel de dificuldade, sendo-lhe
proposta nova srie acrescida de um som
relativamente anterior, ou seja, se a srie
duplicada pelo jogador tiver quatro sons, a seguinte
ter cinco e assim sucessivamente (Fig. 4). Este
7th International Conference on Digital Arts ARTECH 2015

C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes / Projeto "Flappy Crab": um jogo educacional para o ensino da Msica

151

nvel. Podem-se realizar tantas tentativas quantas as

necessrias para completar a tarefa; uma vez esta
realizada, ouve-se um reforo auditivo, marcando
este a passagem a um novo nvel intermedirio.
Este, embora mantenha a mecnica atrs descrita,
ter sempre um cenrio diferente, de forma a
incentivar o utilizador a fazer o acompanhamento
do storyboard do jogo e a envolver-se
emocionalmente com o mesmo.
VI. DESENVOLVIMENTO DA APLICAO

Fig. 4. Jogo educativo Flappy Crab. Nvel de bnus da

primeira tipologia; apela aquisio de competncias
relacionadas com a memria auditiva e a discriminao de
alturas.

nvel incentiva a memria auditiva e a

discriminao de sons de altura diferente,
competncias que embora inatas no so intuitivas
e constituem uma das maiores barreiras para todos
aqueles que pretendem desenvolver a capacidade
dita ouvido absoluto. Neste nvel possvel
rastrear a evoluo cognitiva do aluno relativamente
s duas capacidades supracitas de forma
quantitativa e qualitativa.
O segundo nvel de bnus (Fig. 5) prope uma
pequena melodia, grafada segundo as regras da
escrita musical padro que o jogador/aluno ter que
reescrever, tambm a partir de um teclado simulado

Fig. 5. Jogo educativo Flappy Crab. Nvel de bnus da

segunda tipologia; apela aquisio de competncias
relacionadas com a memria auditiva e com a escrita musical.

com conchas. Desta feita, o utilizador dispe apenas

dos oito sons da escala diatnica maior (sem
acidentes, sejam sustenidos ou bemis) e do
exemplo visual/auditivo que lhe dado ao iniciar o
1

Application Programming Interface (em portugus: Interface de

Programao de Aplicaes)
7th International Conference on Digital Arts ARTECH 2015

O projeto foi desenvolvido com o motor de jogo

UNITY, v.4.3 em linguagem de programao C# e com
concurso do plugin Playmaker v. 1.6.6, da Hutong
Games. Tem verses para plataformas mveis com
sistemas operativos Android, iOS, Windows ARM e
standalone (em formato 1024x768) para PC, Mac e
Linux. Os objetos udio utilizados foram editados para
formato Wave e Mp3 com o programa de distribuio
gratuita Audacity.
O motor de jogos UNITY, de distribuio gratuita na
verso no profissional, caracteriza-se por uma interface
simples e de fcil aprendizagem onde as vrias
ferramentas disponibilizadas aparecem de forma
explcita e qusi intuitiva. Com uma rea de trabalho
dividida em diferentes janelas (views), passveis de serem
reorganizadas segundo as preferncias do utilizador,
oferece cinco espaos principais; a rea onde se
desenvolve a cena, a rea onde se pode visualizar o jogo
desenvolvido, a rea chamada Hierarquia onde esto
listados os objetos do jogo, a rea do Projeto onde vo
sendo organizadas todas as pastas e arquivos criados e a
rea denominada Inspector, a partir da qual se podem
alterar as caractersticas dos objetos do jogo: o nico
parmetro que partida acompanha todos os objetos o
Transform, comportando a informao sobre a
posio, rotao e escala do mesmo. Posteriormente,
podem-se adicionar e manipular componentes tais como
capacidade de udio, propriedades de corpo rgido ou a
tipologia da renderizao final.
Nas verses mais recentes, este motor de jogos passou
a integrar a possibilidade de editar objetos em ambiente
2D, incluindo a capacidade de importar imagens grficas
(aqui denominados sprites), o que facilitou em muito o
desenvolvimento de jogos revivalistas, sobretudo
emulando as tipologias ldicas dos anos 80 e 90 do sculo
XX. Por outro lado, passou a integrar a possibilidade de
exportar as aplicaes desenvolvidas diretamente para
plataformas tais como Android ou Windows ARM
Windows Store sem mediao de nenhuma outra API1.
Devido ao seu editor visual e possibilidade de exportar
diretamente para outras plataformas, o uso do motor
grfico UNITY acelerou consideravelmente o

152

C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes / Projeto "Flappy Crab": um jogo educacional para o ensino da Msica

desenvolvimento do jogo educativo Flappy Crab,

demonstrando ser adequado s necessidades de produo
previstas pela storyboard e pelos objetivos inicialmente
delineados.
VII. APRESENTAO E ANLISE DOS
RESULTADOS PRELIMINARES

Os testes individuais foram realizados de modo

informal, tendo sido os dados recolhidos por processo de
observao direta. Os testes iro decorrer durante um
perodo de seis meses, tendo neste momento decorrido
apenas um sexto desse perodo (de 15 de setembro a 15
de outubro). O grupo de teste manter-se- a fim de se
observar a evoluo ao nvel da aquisio de
competncias. Neste momento, devido ao reduzido
nmero de observaes, ainda no se podem inferir
resultados de parmetros comportamentais tais como a
motivao, a satisfao ou o tempo individual mdio de
jogo. Todavia, j se podem percecionar tendncias no que
concerne aquisio de competncias ao nvel da
memria auditiva e da discriminao de diferentes
alturas, na medida em que tais dados so passiveis de
serem quantificados.
de salientar que, durante a execuo dos testes
realizaram-se quatro observaes, uma por semana, em
uma aula de 45 minutos notou-se que, ao longo do
tempo, os utilizadores obedeciam a uma curva de
aprendizagem crescente (Grfico 1).

Grfico 1. Resultados referentes capacidade de memorizao e

discriminao por aluno, aqui designados pela sigla S01 a S24
(Sujeito 01 a Sujeito 24) obtidos aps quatro observaes.

Os resultados tomam maior visibilidade se os

observarmos traduzidos em mdia atravs de uma curva
de tendncia exponencial (Grfico 2).
A partir destes dados preliminares podemos concluir
que se registam evolues ao nvel das competncias
observadas, sobretudo no domnio da memria auditiva e
discriminao de alturas pois os utilizadores/alunos
duplicaram a sua capacidade inicial relativamente aos
dois parmetros. Relativamente motivao, foram

Grfico 2. Resultados em mdia, referentes capacidade de

memorizao e discriminao obtidos aps quatro observaes,
apresentados segundo uma linha de tendncia exponencial.

observados indicadores de forte adeso por parte dos

alunos: estes demonstram gostar da atividade e, a partir
da primeira sesso, perguntam de forma recorrente
quando vo voltar a ter oportunidade de jogar. Portanto,
ainda que numa fase inicial de desenvolvimento, este
artefacto pedaggico o jogo Flappy Crab parece
apresentar um impacto significativo no desenvolvimento
de competncias especficas no domnio do ensino da
msica.
Como trabalho futuro, continuaremos a recolha de
dados a fim de consolidar ou inferir as concluses
preliminares que atrs se referiram.
VII. CONCLUSO
Neste artigo fizemos a apresentao do prottipo da
aplicao educativa Flappy Crab, uma verso criativa
do jogo Flappy Bird, da GEARS Studios, desenvolvida
com o game-engine UNITY. Discutimos as implicaes
de estratgias tais como a gamification e o remix no
ensino, bem como eventuais aplicaes na construo de
objetos didticos, nomeadamente no domnio especfico
do ensino da msica, sui generis em muitos aspetos quer
pela natureza da sua escrita nica quer pela sua entidade
metafsica e intemporal.
Uma vez apresentados os resultados preliminares do
estudo parece ser possvel discernir algumas linhas
tendenciais, indicadores de evolues ao nvel da
aquisio de competncias de memorizao e
discriminao auditiva, sendo que, at ao momento, os
utilizadores obedeceram a uma curva de aprendizagem
crescente. Como trabalho futuro, propomos continuar os
testes j iniciados, de modo a confirmar ou inferir os
resultados obtidos.
AGRADECIMENTOS
Agradecemos aos alunos que testaram o Flappy
Crab e ao Centro de Recursos Educativos da AEPLEBLB, Matosinhos, onde o jogo est instalado em
permanncia.

7th International Conference on Digital Arts ARTECH 2015

C. Gomes, M. Figueiredo, J. Bidarra and J. Gomes / Projeto "Flappy Crab": um jogo educacional para o ensino da Msica

REFERNCIAS
[1]
[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

C. R. Cavalcanti, Da Alexandria do Egito

Alexandria do Espao, Braslia: Thesaurus, 1996.
J. J. Lee e J. Hammer, Gamification in
Education: What, How, Why Bother?, Academic
Exchange Quarterly, p. 146/151, March 2011.
K. M. Kapp, The Gamification of Learning and
Instruction - Game-based Methods and Strategies
for Training and Education., San Francisco:
Pfeiffer, 2012.
S. Deterding, K. O'Hara, M. Sicart, D. Dixon e L.
Nacke, Gamification: Using Game Design
Elements in Non-Gaming Contexts, em CHI
2011, Vancouver, 2011.
M. Witt, C. Scheiner e S. Robra-Bissantz,
Gamification of Online Idea Competitions:
Insights from an Explorative Case, em
INFORMATIK 2011 - Informatik schaftt
Communities, Berlin, 2011.
E. Llagostera, On Gamification and Persuasion,
em XI SBGames - Game for Change, Braslia,
2012.
M. Fuchs, S. Fizek, P. Ruffino, N. Schrape e Ed.,
Rethinking Gamification, Lneburg: Meson
Press, 2012.
M. Csikszentmihalyi, Flow. The Psichology of
Optimal Experience, New York: Harper and
Row, 1990.
M. Wu, Gamification 101; The Psychology of
Motivation, [Online]. Available:
http://lithosphere.lithium.com/ts/buildingcommunity-the-platform/gamification-101-thepsychology-of-motivation/ba-p/21864. [Acedido
em 23 Setembro 2014].
M. Katz, Recycling Copyright: Survival &
Growth in the Remix Age, New York:
HeinOnline, 2009.
M. E. Buzato, D. P. Silva, D. S. Coser, N. N.
Barros e R. S. Sachs, Remix, mashup, pardia e
companhia; por uma taxonomia multidimensional
da transtextualidade na cultura digital., Revista
Brasileira Lingustica, Out./Dez. 2013.
S. Priebatsch, Ted Talk, 2010. [Online].
Available:
http://www.ted.com/talks/seth_priebastsch_the_g
ame_layer_on_top_of_the_world.html. [Acedido
em 28 Julho 2014].
J. Nielsen, Desingning Web Usability: The
Practice of Simplicity, New York: New Riders
Publishing Thousand Oaks, CA, USA, 1999.
K. Kristian, Educational Game Design:
Experiencial gaming model revised., 15 Maio
2010. [Online]. Available:

7th International Conference on Digital Arts ARTECH 2015

153

http://amc.pori.tut.fi/publications/EducationalGa
meDesign.pdf. [Acedido em 24 Setembro 2014].
[15] G. McPherson e A. Gabrielson, The Science &
Psychology of Music Performance, Oxford:
Oxford University Press, 2002.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

155

Serious gaming: how gamers are solving real world problems

Patrcia Gouveia
Interactive Media Faculty (Games and Animation), Kristiansand, Agder, 4678, Norway
Noroff University College (NUC)
ABSTRACT In this article we state that serious gaming
can be used to help solve real world problems in education
and health care. Serious gaming, which aims to merge digital
and real world social environments, can be also instrumental
to enhance connectivity among communities. The main
statements and ideas developed in this paper are inspired in
concrete projects and actions in the field of serious games,
game based learning, transmedia experience and alternate
reality games1. The purpose of this research is to review some
literature and projects in serious gaming as future
inspirations for the creation and production of a serious game
design applied to education and/or health. The approach
adapted in this paper is connected with methodologies used in
communication sciences/design where it is presented a state of
the art of the field before starting creating and developing a
game prototype. The main motivation of this paper is to
present a consistent body of projects to inspire future
research in this area.

INDEX TERMS serious games, game based learning,

transmedia experience and alternate reality games.

I. Introduction
Video games have great potential to help solve real world
problems (McGonigal, 2011) and to contribute to 21st
century educational challenges (Gershenfeld, 2014).
Game-based learning is still little used in European
colleges and universities due to some suspicious concerns
related to video games history. Popular media discourse
connecting digital games with violence, war and improved
military performances have stoop on the way of a more
complex evaluation of their principles and the
understanding of these playful platforms as useful spaces
for learning. Military serious games, i. e., games applied
to increase shooting, geographical orientation and skills
on land war2 contrast with other military platforms which
aim is to enhance soft skills and diplomatic negotiations3
1

Previous research on alternate reality games included in this

paper was published in Portuguese in a Brazilian conference
ebook (cf. Gouveia, 2013).
2
cf. Americas Army games releases since 2002.
3
cf. Defence Gaming, an initiative from the Swedish Defence
Materiel Administration (FMV), the Swedish Defence Research

7th International Conference on Digital Arts ARTECH 2015

among players or to help people overcome traumatic

experiences4. For the past years many schools, mainly of
psychology, began using Augmented Reality (AR) games
to help patients overcome post traumatic real world
experiences and traumas, from war and World Trade
center victims to simpler animal phobias.
Games such as SimCity (EA, 1989), Sims (EA, 2000) or
Spore (EA, 2008) helped people think about urban
environments and city management (SimCity), social
relationships (The Sims) and biological and interplanetary
structures (Spore). These games are good examples of
Will Wrights intentions and mode of thought his
agenda to help people understand and solve real world
situations and to improve their long term thinking.

II. Serious Gaming

On their technical report Serious Games An Overview
(HS-IKI-TR-07-001,
2007)
Tarja
Susi,
Mikael
Johannesson and Per Backlund, from the School of
Humanities and Informatics of the University of Skvde in
Sweden, state that Serious games can be applied to a
broad spectrum of application areas, e.g. military,
government, educational, corporate, healthcare. For these
authors, a key question, when discussing serious games,
is what the concept itself actually means. It seems that
literature is consensual in assuming that a core meaning
for these applications could be that serious games are
(digital) games used for purposes other than mere
entertainment. For the previously quoted researchers:
Another question of interest concerns the claimed
positive effects of such games, or of applications from
related and sometimes overlapping areas such as
elearning, edutainment, game-based learning, and digital
Agency (FOI) and the Swedish National Defence College (FHS)
to study, research and explore the conjunction of computer and
video games world and the military (Susi, Johannesso and
Backlund, 2007: 20).
4
For an overview of this field please cf., as an example, the
virtual reality environment at the University of Southern
California (https://news.usc.edu/66721/usc-alums-use-virtualreality-to-treat-anxiety-disorders/).

156

P. Gouveia / Serious gaming: how gamers are solving real world problems

game-based learning. In addition to obvious advantages,

like allowing learners to experience situations that are
impossible in the real world for reasons of safety, cost,
time, etc. (Corti, 2006; Squire & Jenkins, 2003), serious
games, it is argued, can have positive impacts on the
players development of a number of different skills.
Even so, it is not the case that all games are good for all
learning outcomes (van Eck, 2006). A third question of
interest concerns the actors involved, e.g., researchers,
game developers, and the consumers, and their roles in
this developing market. (Susi, Johannesso and
Backlund, 2007: 2)

Recently, serious games were created to help us solve

some 21st century educational challenges. Quandary
(LGN, 2012) from the Learning Games Network in the
USA, won the prize game of the year from the Games
for Change 2013 USA competition. In Quandary,
players aged 8 and up shape the future of a new society
while learning how to recognize ethical issues and deal
with challenging situations in their own lives. Players lead
a new human colony on a distant planet. They must make
difficult decisions in which there are no clear right or
wrong answers but important consequences to
themselves, to others in the colony and to the planet
Braxos. Players develop skills such as critical thinking,
perspective-taking and decision-making. Quandary
provides a framework for how to approach ethical
decision-making without telling players what to think.
(LGN, 2012).
The Collegeology Games Project, a collaboration of the
USC Rossier School of Educations Pullias Center for
Higher Education and the USC School of Cinematic
Arts Game Innovation Lab in California, created Mission:
Admission (CGP, 2012), a Facebook game designed to
help students to virtually experience the demands of the
college application process and empowers them with the
skills and knowledge they need to apply, get into and pay
for college. Students guide their avatars through the
process of meeting with college advisors, choosing the
types of schools to apply to (including four-year,
community and technical colleges), scheduling community
service and sports activities, applying for scholarships and
financial aid and requesting recommendation letters (Cf.
Jenkins, 2012). This project aims to help low-income
youth to get into college.
Nowadays a renewed community of game artists, designers
and programmers, create transmedia experiences using fun
theory or gamification, i. e., the art of applying game
design techniques in different contexts (Gouveia, 2013), as
a tool to engage people and generate DIY practices
(Dezeuze, 2010) which could motivate people to act and
participate in a meaningful way. Gabe Zicherman argues

that gamification is the process of using game thinking and

mechanics to engage audiences and solve problems
(Zicherman, 2014). According to Karl M. Kapp the term
gamification was coined in 2002 but only gain attention
around 2010 (cf. the video What is Gamification? A Few
Ideas online).
For Sebastian Deterding, in his article Eudaimonic
Design, or: Six Invitations to Rethink Gamification
published in the Rethinking Gamification book, game
design holds valuable principles for making even the most
mundane activity more engaging and this field, according
to the author, has a long history in human-computer
interaction, design, and education, regularly re-emerging
under names like funology, ludic design, serious games,
game-based learning, or playful interaction (Deterding
forthcoming a). Its most recent iteration has come to be
known as gamification: using game design elements in
non-game contexts (Deterding et al. 2011). (Deterding,
2014: 305-06)
Games such as Reality Ends Here, from Jeff Watson,
Simon Wiscombe and Tracy Fullerton (USC, 2012) and
Picture the Impossible (RIT, 2009) were made to engage
students and communities in their real world lives. In
Reality Ends Here game designers aimed to teach
University of Southern California Cinema students two
basic courses, one in cinema history and the other in video
production. In Picture the Impossible, a game made in a
partnership by the Lab for Social Computing, from the
Rochester Institute of Technology, and the Democrat and
Chronicle newspaper (2009), the aim was to engage
citizens in a creative social exchange stimulating them to
participate in several activities that included web casual
games, exergames, i. e., games mixed with physical
exercise in public spaces, and intellectual challenges from
the newspaper.
As Indrek Vainu states in his article Gaming is getting
serious, in a good way in the Helsinki Times Newspaper:
An excellent example of serious gaming is educational
gaming where, for example, iPad games are used to teach
kids basic concepts in mathematics. Finnish awardwinning gaming company SkillPixels teaches kids aged
4-8 with their SmartKid game to complete preschool, 1st
and 2nd grade mathematics curriculum. Children train
their characters through the game and the better the kids
solve math puzzles, the smarter their character gets. The
concept is based on the world-renowned Finnish
educational curriculum and parents can actually keep
track of their child's progress through the app. In
addition, you have many other games such as Mushy
Rooms, which is a learning game where kids raise

7th International Conference on Digital Arts ARTECH 2015

P. Gouveia / Serious gaming: how gamers are solving real world problems

awareness about local nature, or OutCatch, a GPS-based

outdoor location game. (online, 16.10.04)

In Norway DragonBox, the game that secretly teaches

Algebra (We Want to Know, 2012), is an interactive game
based learning tool to help kids, from 5+ and 12+ years
old, solve equations by turning mathematics into
something intuitive and motivating, game like. The same
company also created and produced DragonBox, elements,
a game which teaches the fundamentals of geometry
through entertaining, exploration and discovery.

III. Alternate reality games

Other category of games, named alternate reality games
(ARGs), combined online and offline environments to
involve players in a shared fiction where they can test
various soft skills such as creativity, communication and
team work capabilities. In this trend we can quote Evolve
(World Bank Institute, 2010), Playing with Poetry
(Gouveia et al. 2010), Investigate your MPs Expenses
(The Guardian, 2009), Superstruck, Invent the Future
(IFF, 2008) and World without Oil (ITVS, 2007). They are
all good examples in this trend of using game play design
techniques applied for knowledge, enhancing social skills
and creativity.
In World without Oil (WWO, Play it before you live it)
players were involved in a fictional world history that
challenged them with the following questions: What if an
oil crisis started on April 30, 2007 - what would happen?
How would the lives of ordinary people change? Let's play
"what if?" and find out. (cf. project website). In this
context, participants began by reading a set of stories and
to research what other players were saying about the oil
crisis. After that they were able to report how this crisis
was affecting their lives and what they could do to
overcome such an occurrence. Stories appeared in blogs,
videos, images, emails and voice mails and reported
accurately what participants were thinking and doing to
change their lives. People could use all the available
means and media they wanted to tell their stories. Later,
the WWO team read the various contributions and linked
them to the ARG website. The best stories appeared on the
top of the list created for that purpose. One thousand and
nine hundred people registered on the website of the game
and one thousand and five hundred stories were submitted.
The game ended in June 2007.
Superstruck, Invent the Future was another game project,
an ARG, designed and developed by the Institute for the
Future in the United States of America. This game
involved eight thousand players between September and

7th International Conference on Digital Arts ARTECH 2015

157

November 2008. Superstruck asked players to participate

in a massively multiplayer forecasting game that included
four separate missions. The first mission (MISSION #1)
players were required to join the online community. In the
second mission (MISSION #2) players were asked to
think about who they will be in 2019, and then fill out a
survival profile to create their future identity. The goal was
for players to have fun, but keep it real and not to invent a
fictional character. The third mission (MISSION # 3:
Discover the Superthreats) implied learning what these
super threats were. Players should watch breaking news
from the future to find out what the year 2019 might be
like on planet Earth. This was delivered to players in a
series of short videos of three minutes each. Finally, the
fourth mission (MISSION # 4: Adopt a Superthreat) goal
was for the player to examine five potential threats,
namely, quarantine, ravenous, power struggle, outlaw
planet and generation exile. After visiting the information
blocks for each possibility, players start investigating the
future. In each block of Superthreat hub, the participants
could read a full report on the specific threat, could
contact community leaders and even find out what other
players were discussing (cf. Project website).
Evoke is a social game for the Web created by the World
Bank Institute to encourage people from all over the world
to think creatively on solutions to some of the most crucial
problems that humankind faces nowadays. The first season
of this project began on March 3rd and ended on May
12th, 2010. Participants who stood out in its first season as
social innovators and business leaders won awards such as
scholarships and others. This playable environment
induced players to participate in a diverse set of missions
such as solving the shortage of food in Tokyo or the
shortage of water for one in every six people on the planet,
and even studying issues such as the only 20% of 128
world economies where women and men have equal rights,
among many other examples created in this game context.
Evoke is a game of perception about the global reality that
turns players into members of a community that shares the
same interests and strives to solve contemporary problems
in real and concrete world locations.
In June 2009 more than 20 thousand British cooperated in
a game called Investigate your MP's Expenses. This game
was created by newspaper The Guardian to investigate
one of the largest scandals in the history of the English
parliament. The project led to the resignation of some
members of parliament (MPs) and caused effective
politic reforms. Following numerous public complaints
about mistakes in MPs invoices and bill costs, the
newspaper decided to create a game that led to the
investigation, by ordinary citizens, of documents made
available by the British state. Because the paper's editors

158

P. Gouveia / Serious gaming: how gamers are solving real world problems

knew that it would take too long for their journalists to

investigate the copious invoices from the database
provided by the state, which consisted of more than one
million documents, they decided to set up the
investigation as a "crowdsourcing", which is a term
coined by journalist Jeff Howe in 2006.
Crowdsourcing requires the hiring of a crowd to do a job.
So, Guardian board of editors invited a wider group of
people to participate in a collaborative project. Wikipedia
was created in the same way; many people working
collaboratively for the same purpose. Through a website,
designed by Simon Willison, any person was able to
scrutinize and to catalog the state invoices, looking for
incriminating documents and thus work as willing
researchers for the newspaper. The game consisted of four
distinct steps. The first one was to "find a document", the
second was to "decide what type of document it is (e. g.,
sheet or other expenses)", the third to "transcribe the
items" and, finally, the fourth step encouraged people to
"make some specific comments on why the application
needs further scrutiny. This game culminated in the
analysis of more than seventeen thousand documents that
were cataloged in the first eighty hours by about 20
thousand players who participated in this experimental
game (McGonigal, 2011: 220-24).
In Brincar com a Poesia [Playing with Poetry] players
were invited to visit a set of locations in Oeiras, a city
nearby Lisbon. The project team called on people to incite
them to play an ARG: participants should visit the city
library and play with sensors enabled interactive audio
installations and eight Flash games in a multimedia
facility. Additionally, players should also visit a thematic
park, one with a collection of sculptures depicting famous
Portuguese poets, so they could find the correct answers
for questions posed online. Thus, players had to explore
real world places and participate in an interactive play
which ran online and offline during one month.
In such a context, participants explored Portuguese poetry
by responding to eight different real world tasks, playing
poetry flash games and performing a set of actions that
certified them to some rewards (a photo camera,
Portuguese poetry books, t-shirts and mouse pads).
Participants who successfully responded to all of the eight
online questions would unblock videos and small audio
poetry files. Players were yet challenged to write poems,
submit photos and, ultimately, a jury decided on the
rewards. An article, titled "Playing with Poetry, a
Portuguese Transmedia Experience and a Serious ARG",
about the participatory experience in this project, was
selected for the 2nd International IEEE Consumer

Electronic Society Games Innovation Conference at the

City University of Hong Kong in December 2010.
Afterwards the project was shown in an IGIC 2011 Special
Session with the title, Alternate Reality Games, Urban
and Serious Play, in the Third International IEEE
Consumer Electronic Society Games Innovation
Conference in Chapman University, Orange County,
California, 2011.
III. Casual Revolution
In his book Serious Games, Clark C. Abt, states Games
may be played seriously or casually. We are concerned
with serious games in the sense that these games have an
explicit and carefully thought-out educational purpose and
are not intended to be played primarily for amusement.
And the author continues, this does not mean that serious
games are not, or should not be, entertaining. (Abt, 1987
[1970]: 9) Serious games can be entertainment, as Abt
argues, but the main goal of serious gaming experiences
are beyond entertainment. We also have to take into
account the strangeness of the serious game concept for
some game scholars and designers like Gonzalo Frasca.
Stating that there are serious and non serious games can be
weird for game studies scholars. As Frasca suggests: The
seriousness of games depends on the subjective values
of the designer and the player, so the use of this term is
only advisable as a casual term denoting the creators
intentions for the game. (Frasca, 2007: 26)
The idea of considering that each singular game is very
serious in players mind and perspective, even when it
hasnt a serious agenda in it, is a very old one and it was
previously stated by Johan Huizinga. According to
Huizinga,
To our way of thinking, play is the direct opposite
of seriousness. At first sight this opposition seems
as irreducible to other categories as the playconcept itself. Examined more closely, however,
the contrast between play and seriousness proves to
be neither conclusive nor fixed. We can say: play is
non-seriousness. But apart from the fact that this
proposition tells us nothing about the positive
qualities of play, it is extraordinarily easy to refute.
As soon as we proceed from "play is nonseriousness" to "play is not serious," the contrast
leaves us in the lurch-for some play can be very
serious indeed. Moreover we can immediately
name several other fundamental categories that
likewise come under the heading "non-seriousness"
yet have no correspondence whatever with play.
(Huizinga, 1955 [1938]: 5)

7th International Conference on Digital Arts ARTECH 2015

P. Gouveia / Serious gaming: how gamers are solving real world problems

As Jesper Juul states, the casual games revolution, i. e.,

games that can be played in informal ways in physical and
digital spaces, is also a reinvention of players and gaming
itself. Casual games design is more inclusive and can make
us think about forgotten lessons from the past and the
present, which may explain why such games like Solitaire,
Tetris and Wii Sports are so popular among different
cultures and people. It seems obvious that players can
easily manage their playing time as they recognize game
interfaces from previous experiences within these simple
games. This may even lead us to question some existing
prejudices towards hardcore video game players, seen as
nerds and socially inept, and generate more plasticity in
their relationship with new game environments since even
hardcore gamers can turn themselves into casual gamers.
This factor can also alter the mentality of some developers
and game producers and help remove stigmas related to
digital games, making it easier for us all to say, yes, we
play (Juul, 2010: 63).
According to Juul, Finnish game researcher Aki Jrvinen
has proposed that the reason were often emotional when
playing simple games is that pursuing goals is very
emotional for us in general. Our pursuit of game goals
makes the playing of games emotional even if we cannot
point to any emotional content in the rules of a specific
game. One can extend this notion to multiplayer games by
thinking about how goals work in social contexts: players
play for personal goals, are aware of the goals of other
players, and the sharing understanding of intentionality
makes game actions socially meaningful (Juul, 2010:
126). After playing a game together it seems that people
feel more close to each other, in this state of emotional
flow common interest communities can arise.
We consider that ARGs are inclusive spaces where
players can learn how to deal with various media,
different communities and genders. In these mixed media
environments, players can interact with action and
narrative in order to design their own fiction and stories in
real time. They can help solve real world issues and create
communities which can contribute to solve educational
and/or health problems. Serious gaming can be useful to
shape our present world with new creative and
collaborative strategies.
ARGs are interactive narratives that take advantage of the
real world in order to create platforms that typically
involve multiple media and entertainment elements. The
stories of these games are built in accordance with the
actual actions of the participants through a storyline
created by the game designers or puppet masters (cf.
Gouveia, 2009). These playful interactive spaces use
several technologies as tools for organizing the social

7th International Conference on Digital Arts ARTECH 2015

159

fabric and they are built using various media (websites,

videos, mobile devices, audio files, print posters and
flyers, t-shirts, among many other possibilities). Such
projects are different from other playable entertainment
titles because they do not involve the creation of an
escapism experience but rather propose an incursion to
amend the reality of players.
Thus, players must participate in the solution of a
problem and therefore significantly alter the surrounding
reality. This kind of playable artifact leads us to a
platform where the design is generated on the fly and is a
more satisfying process for participants to invest as they
can expand their social connectivity and alter the game
progress (McGonigal, 2011: 125). The ARGs are usually
played by participants that can withdraw from them
something positive which can contribute to a change in its
actual experience. These are not games to escape reality
but rather to let players improve through them and be able
to transform their human condition. As an experimental
field, ARGs were created in the United States in the last
decade where they have more impact, although there are
some experiences in other countries including Portugal
(cf. Gouveia, 2010).
Many urban game play settings and experiences involving
multiple strategies and environments were created to
generate greater participation among people after the dark
diagnosis from the MIT sociologist Sherry Turkle, in her
Alone Together book, from 2011. Nintendo created the U
game device to increase social relationships among players
inspired by Sherry Turkle ideas and concepts. Before that,
in Europe, projects such as Rexplorer, 2007/08, an
interactive mobile & cross-media cultural heritage
adventure game for tourists, placed in a city museum in
Germany (Regensburg), to Lummo Blocks, 2010, and City
Fireflies, 2011, both from the Medialab Prado faade in
Madrid, were visionary creations with similar strategies.
In Portugal projects such as Playing with Poetry (Gouveia
et al, CMO/Movlab, 2010), created with students
participation from two Portuguese universities, aimed to
augment social connection in public spaces. Playing with
Poetry was an alternate reality game (ARG), as stated
previously, which involved physical (a library and a theme
park) and digital (an online platform where players could
answer puzzles and play flash games about Portuguese
poets) spaces. These are expressive artefacts of pervasive
games, a curious form of culture, which exist in the
intersection of phenomena such as city culture, mobile
technology, network communication, reality fiction, and
performing arts, combining bits and pieces from various
contexts to produce new play experiences (Montola,
2009:7).

160

P. Gouveia / Serious gaming: how gamers are solving real world problems

V. Participatory Culture
Since software knowledge and game engines are more
available nowadays, we can also notice a boom in
participatory practices where people find themselves
through the web, work together without even meeting in
real life, and find financial support for their projects also
through social and crowd funding platforms such as
Kickstarter (cf. Antrophy, 2012). Many indie projects
were enabled by a short team of artists, sometimes
supported by their families (for more information about
these production strategies, please, cf. the Indie Game, the
movie, from 2012, where projects such as The Meat Boy,
design by Edmund McMillen, programmed by Tommy
Refenes and released in 2010; FEZ, created by Phil Fish
and released in 2012; and Jonathan Blows classical Braid,
2008-10, are presented) or by national foundations, like
Limbo (Play Dead, 2010), a puzzle game from Danish
company Playdead. As Markus Persson, the Minecraft
(2009) creator, states in The New Yorker Magazine: The
power balance in the video-game industry is shifting in
favor of independent creators in 2012, the Xbox 360
version of Minecraft overtook Activisions blockbuster
Call of Duty: Modern Warfare as the most played game on
the system. According to Persson, this benefits players
more than anybody: The more studios that can remove
themselves from the publisher system, the more games that
will be made out of love rather than for profit. (Parkin,
2013: online).
Serious gaming can use the same kind of strategies as
these independent creations are using nowadays and in this
manner can help change real world problems. Serious
gaming can use disposable knowledge software and game
engines as indie industry does to create experimental
projects applied to education, healthcare and enhancing
social connectivity. Serious gaming can find financial
support for innovative projects also through social and
crowd funding platforms such as Kickstarter. These
possibilities can help explore new trends in gaming
environments with a serious design agenda.
VI. Serious gaming applied
to healthcare
In The Guardian article, How online gamers are solving
science's biggest problems. A new generation of online
games don't just provide entertainment they help
scientists solve puzzles involving genes, conservation and
the universe, Dara Mohammadi shows yet another way in
which players are engaged, by helping scientists do their
job (Mohammadi, 2014: online).

Accordingly to Indrek Vainu, in his previously quoted

article, serious gaming can play
an increasing role in healthcare, and neurogaming
is one example of that. Pharmaceutical giant Pfizer
made an announcement this year that it has formed
a partnership with Akili labs to test the use of a
mobile video game for detecting early signs of
Alzheimer. The goal of the trial is to actually
validate Akili's game, where the player navigates a
character on a platform around a series of
obstacles, as a biomarker for potential use in
Alzheimer's trials. Finland has strengths in
neuroscience, and its research has been also
featured in the NeuroGaming Expo held in San
Francisco, where the gaming and research field
meets to discuss new solutions to problems in
healthcare. Direct healthcare, non-medical and
indirect costs of brain disorders cost Europe almost
800 billion a year. No wonder game developers
are turning their heads to that market as it poses a
lot of challenges and opportunities. (Vainu, online,
16.10.14)
Remission, the original cancer-fighting game, Remission 2,
Six Games, Countless Ways to Fight Cancer and
Remission 2, Nanobots Revenge (Hopelab, 2006, 2012 and
2013) is a collection of digital games that help cancer
patients fight their disease. These games put players inside
the human body and let them pretend they are fighting
cancer using several weapons like chemotherapy,
antibiotics and the bodys natural defences. The main idea
aims to motivate players to stick to their treatments by
boosting self-efficacy and positive emotions and by
shifting attitudes about chemotherapy. The design team of
these games used scientific studies with cancer patients
and qualitative user research to create a friendly
environment that applied playful techniques to serious
gaming.
As stated in the Hopelab website: In 2014, Re-Mission 2:
Nanobots Revenge, the cancer-fighting mobile app for
iOS and Android, won a prestigious Parents Choice Gold
Award and a Common Sense Media Award, receiving the
highest rating for learning potential and engagement.
These awards mean a great deal to HopeLab and the entire
team that helped build Re-Mission 2, including medical
professionals, game developers, and most importantly
young cancer patients. Were grateful for their input and
expertise. (Hopelab statement online)
The adventure game Plan-It Commander (Ranj, Janssen
Pharmaceutica/Healthy Solutions, Yulius Academie and

7th International Conference on Digital Arts ARTECH 2015

P. Gouveia / Serious gaming: how gamers are solving real world problems

the Flemish Society for Parents of Children with ADHD

[Vlaamse vereniging voor ouders van kinderen met
ADHD]) targeted children, aged 8-12 years, with ADHD.
A playable version of ten missions was released since
September 2012 but only in June 2013 the Dutch version
of the game became commercially available. According to
the game website:
This marks the start of a new phase in the continuing
development of the game. A clinical follow-up study will
measure the progress of a new group of over 200
children within the full version of the game. The study
will concentrate on the impact of the game on the
children's day-to-day lives. Do the skills trained in the
game have a measurably positive effect on day-to-day
functioning? Which elements have most impact? These
results constitute a unique opportunity and a significant
step in scientific research into the efficacy of serious
games. (Game website information available online)

Plan-It Commander investigates how the lives of these

children might be made a little easier by means of a
serious game. This game received the Best Health Game
Award in a Fun & Serious Game Festival in 2013.
Conferences such as Games for Health, Exploring the
intersection of videogames + health, started in USA but
spread into Europe recently with the title Games for Health
Europe. The aim of these events is to support community,
knowledge and business development efforts to use
cutting-edge games and game technologies to improve
health and health care. Their goal is to bring applied
gaming and healthcare together in order to contribute to
more advanced healthcare across the globe. (cf. Games
for Health Europe website)
VII. CONCLUSION
It seems consequential that the application of playful
techniques in an innovative and creative way can help us
address the challenges of our present world and be useful
to scrutinize specific and real questions (the game
Investigate your MP's Expenses is an example). We can
use game design to challenge our world views on
particular issues (World Without Oil could be a concrete
source of inspiration) or playful design techniques to
create games with serious agendas connected to healthcare
(ReMission games, created to help cancer patients fight
their disease, and Plan-It Commander, for children, aged
8-12 years, with ADHD, give us a statement for future
research).
Serious gaming could be applied to different fields of
expertise, from education (Quandary, DragonBox, among
other educational experiments) to healthcare and scientific

7th International Conference on Digital Arts ARTECH 2015

161

research (games that help detecting early signs of

Alzheimer are just a first stage of future possibilities). We
are persuaded that serious gaming can contribute to change
real world problems and engage players in team work that
develops their communication and social skills. Using
game techniques we can generate greater complexity in the
analysis of real problems because we are able to see many
different points of view (Superstruck, Invent the Future
and Evoke are just some concrete games that explore this
trend) and playful environments can contribute to create
communities of interest that meet in real spaces and not
just online (Playing with Poetry, Rexplorer, Lummo
Blocks and City Fireflies as possible experiences).
Finally, the creation and implementation of game based
learning in universities and colleges in Europe and
elsewhere can contribute to engage students in new forms
of interactions (Reality Ends Here and Picture the
Impossible are inspirational game play platforms which
use this technique), can help students experience the
demands of the college application process empowering
them with new skills to face it (Collegeology Games
Project as an example of the trend) and can contribute to
create awareness and care among human beings.
Mark Honigsbaum in his The Guardian article named
Are medical apps on your smartphone good for your
health? questions: What do we give up and what do we
lose when health becomes nothing more than a stream of
physiological outputs, a set of data to be parsed and
quantified by algorithms managed by faceless medical
providers? (Honigsbaum, 2014)
Even if games are being used in health care just for
diagnosis, patients entertainment or to enhance their
resilience and quality of life we still need a lot more
research in this area to be able to make statements about
possible conclusions besides the obvious. That said, we
can say that serious games can be used to produce valuable
effects on patients life in terms of disease knowledge,
social connectivity, attention span within the game to
distract from pain, among other possibilities, but we
cannot yet make further statements. Supperbetter, a game
created by Jane McGonigal in 2012, try to help you
achieve your health goals or recover from an illness or
injury by increasing your personal resilience.
Resilience means staying curious, optimistic and motivated
even in the face of the toughest challenges. (cf.
Superbetter game website statement)
Equal concerns could be expressed in terms of education
deliveries and intentions when we apply gameful
techniques to learning environments. The gamification of
education could be part of the gamification of labour, as

162

P. Gouveia / Serious gaming: how gamers are solving real world problems

Mathias Fuchs puts it in his article Predigital Precursors

of Gamification, published in the book Rethinking
Gamification (Fuchs, 2014). Besides the marketing
seductive idea of using game techniques like goals, badges
and gadgets, in other contexts like, for example, work,
health or educational environments, gamification as a
longer history in fun theory applied to humanities in
general and arts in particular. We have to be aware, as
Mathias Fuchs states in the previously quoted article, that
some gamification strategies are quite close to what
Pamela Lyndon Travers, Mary Poppins author, states in
the following rhyme in the Disney movie: In evry job
that must be done / There is an element of fun / You find
the fun, and snap! / The jobs a game! (Travers 1934)
(Fuchs, 2014: 121). Mary Poppins song A spoon full of
sugar is a very good metaphor to express some concerns
of how things in serious gaming can serve very different
purposes and goals and that we have to be careful before
we make statements about the future of this field.
Gamified systems, as Sebastian Deterding argues, in his
previously quoted article, are deployed for activities
happening within mandatory and consequential contexts
(such as work or formalised education), they run the risk
of being perceived as electronic whips that effectively
reduce rather than enhance motivation, enjoyment, and
performance. Playfull meaning in serious gaming is not the
opposite of gold farming, i. e., to work with games
systems.
Even if all the games and play environments quoted in this
article have their own literature about player/user
experience and did some documented research in that
particular area we still need to create more experiences
and projects to proper cover this field of expertise
otherwise we risk encouraging just other methods to
deliver sugar-candy practices that only help the medicine
go down in a more delightful way as in Mary
Poppins/Travers song. But even just that worth our care
and attention and we shouldnt dismiss these valuable
contributions as mere palliatives.
This article aims to contribute to further research in the
field of serious gaming with an accurate state of the art for
the future development of a game design research project.
Player/user experience and game usability are, for now,
beyond the scope of this paper even if we are aware of
major contributions in these fields to insert players
experiences and contexts in game play environments.
These areas will be used in future time when we create a
first game prototype to test user motivation and
engagement.

REFERENCES
[1] Abt, C. C., Serious Games, New York, Viking Press, 1987
[1970].
[2] AA.VV., (ed: Fuchs, M. et al.). Rethinking Gamification,
Meson press, Hybrid Publishing Lab, Leuphana University
of Lneburg, Germany, 2014.
[3] Anthropy, A., Rise of the Videogame Zinesters: How
Freaks, Normals, Amateurs, Dreamers, Drop-outs, Queers,
Housewifes and People Like You Are Taking Back an Art
Form, Seven Stories Press, NY, 2012.
[4] Deterding, S., Eudaimonic Design, or: Six Invitations to
Rethink Gamification. In AA.VV., (ed: Fuchs, M. et al.).
Rethinking Gamification, Meson press, Hybrid Publishing
Lab, Leuphana University of Lneburg, Germany, pp. 30531, 2014.
[5] Dezeuze, A., The Do-it-yourself Artwork, Participation
from Fluxus to New Media, Manchester University Press.
Manchester & NY, 2010.
[6]

Frasca, G.. Play the Message: Play, Game and Videogame

Rhetoric, a dissertation submitted in partial fulfilment of
the requirements for the degree of Doctor of Philosophy
(Ph.D.) at the IT University of Copenhagen, Denmark,
2007. In
http://www.powerfulrobot.com/Frasca_Play_the_Message_PhD.p
df (accessed 03.2014).

[7]

Fuchs, M., Eudaimonic Design, or: Six Invitations to

Rethink Gamification. In AA.VV., (ed: Fuchs, M. et al.).
Rethinking Gamification, Meson press, Hybrid Publishing
Lab, Leuphana University of Lneburg, Germany, pp. 11940, 2014.

[8] Gershenfeld, A., Mind Games, Video Games could

Transform Education. But first game designers, teachers
and parents have to move beyond both hype and fear.
Scientific
American, February, 2014: pp. 40-45, 2014.
[9] Gouveia, P., Transmedia experience and the independent
game industry: the renascence of old
school visual and artistic techniques [Esperincia
transmedia e a indstria de jogos independente (indie): o
"renascimento" de expresses artsticas e visuais do tipo
"old school""], Petry, A. S., Trindade, E., Petry, L. C.,
Llano, N., (2013), (ed. by), Communication and Social
Antropology Seminar [Comunicao e Antropologia
Social], Internacional Seminar from the ICCI Network
[Seminrio Internacional de Rede ICCI Imagens da Cultura
Cultura das Imagens]. ECA, USP, So Paulo, Brazil, pp.
78-89. (e-book). ISBN 97885879632.In
http://www2.eca.usp.br/redeicci/ebook/ebook_ICCI_2013.pdf,
2013.

[10] _________, Playing With Poetry a Portuguese

Transmedia Experience and a Serious ARG. In GIC 2010
Proceedings, 2nd International IEEE Consumer Electronic

7th International Conference on Digital Arts ARTECH 2015

P. Gouveia / Serious gaming: how gamers are solving real world problems

Society Games Innovation Conference, Hong Kong, China,

ISBN: 978-1-4244-7179-9, pp. 150-56, 2010.
[11] _________, Narrative paradox and the design of alternate
reality games (ARGs) and blogs. In ICE-GIC 09
Proceedings, First International IEEE Consumer
Electronics Society Games Innovation Conference,
Imperial College, South Kensington, London, pp. 231-38.
In
http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=
5293585&isnumber=5293574&tag=1, 2009.
[12] Honigsbaum, M., Are medical apps on your smartphone
good for your health? In
http://www.theguardian.com/society/2014/mar/10/medical
-apps-tricorder-healthcare-technology, 2014.
[13] Huizinga, J., Homo Ludens, The Beacon Press, Boston,
1955.
[14] Jenkins, H., Can a Game Help Low-Income Youth Get
into College?: An Interview with Colleagology Games
(Part One), 2012. In http://henryjenkins.org/2012/10/cana-game-help-low-income-youth-get-into-college-aninterview-with-colleagology-games-part-one.html
(accessed 02.2014).

[22] Vainu, I., Gaming is getting serious, in a good way,

2014. In http://www.helsinkitimes.fi/columns/columns/mytwo-cents/12410-gaming-is-getting-serious-in-a-goodway.html / (accessed 10.2014).

CASE STUDY GAMES:

[1]

[17] Mohammadi, D., How online gamers are solving science's

biggest problems. A new generation of online games don't
just provide entertainment they help scientists solve
puzzles involving genes, conservation and the universe,
2014. In
http://www.theguardian.com/technology/2014/jan/25/onlin
e-gamers-solving-sciences-biggest-problems (accessed
02.2014).
[18] Montola, M., Stenros, J., & Waern, A., Pervasive Games,
Experiences on the Boundary Between Life and Play
(Theory and Design), Morgan Kaufmann, Burlington MA,
2009.
[19] Parkin, S., The Creator, The New Yorker, magazine,
April 2013.
[20] Susi, T., Johannesson M., and Backlund, P., Serious
Games An Overview, 2007. In
http://www.scangames.eu/downloads/HS-IKI-TR-07001_PER.pdf (acessed 10.2014).
[21] Turkle, S., Alone Together, why we expect more from
technology and less from each other, Basic Books, New
York, 2011.

7th International Conference on Digital Arts ARTECH 2015

AA.VV., Americas Army, 2002.

In http://www.americasary.com/ (accessed 10.2014).

[2] AA.VV., Superstruct, 2008.

In http://archive.superstructgame.net/ (accessed 02.2014).
[3]

AA.VV., Picture the Impossible, 2009.

In http://picturetheimpossible.com/ (accessed 02.2014).

[4]

AA.VV., World Without Oil, 2007.

In http://www.worldwithoutoil.org/metahome.htm
(accessed 02.2014).

[5]

CGP, Mission: Admission, 2012.

In https://apps.facebook.com/missionadmission/
(accessed 02.2014).

[6]

Gouveia et al. Playing with Poetry, 2010.

In https://www.facebook.com/pages/Brincar-com-aPoesia/122540744451197. (accessed 02.2014).

[7]

Hopelab Foundation. ReMISSION, 2006.

In http://www.re-mission.net/ (accessed 10.2014).

[15] Juul, J., A Casual Revolution, Reinventing Video Games

and Their Players, Cambridge, Mass.: MIT Press, 2010.
[16] McGonigal, J., Reality is Broken, why games make us
better and how they can change the world, The Penguin
Press, New York, 2011.

163

[8] Hopelab Foundation, ReMISSION 2, 2012.

In http://www.re-mission2.org/games/#/home
(accessed 10.2014).
[9]

Hopelab Foundation, ReMISSION 2,

Nanobots Revenge 2013.
In http://www.remission2.org/games/#/nanobots_revenge
(accessed 10.2014).

[10] LGN, Quandary, 2012. In http://www.quandarygame.org/

(accessed 02.2014).
[11] McGonical, J., Superbetter. In
https://www.superbetter.com/ (accessed 10.2014).
[12] Ranj, Plan-It Commander, 2012_13.
In http://www.ranj.com/content/werk/plan-itcommander#.VEiqfWB03IV (accessed 10.2014).
[13] Watson et al., Reality Ends Here, 2012.
In http://reality.usc.edu/ (accessed 02.2014).
[14] WBI., Evoke, 2010.
In http://www.urgentevoke.com/ (accessed 02.2014).
[15] WWK., DragonBox, 2012.
In http://wewanttoknow.com/ (accessed 10.2014).

164

P. Gouveia / Serious gaming: how gamers are solving real world problems

MOVIES / VIDEOS
[16] Wright et al., Spore, 2008. EA.

[1]

Pajot, l. and Swirsky, J., Indie Game: the movie, 2012.

[17] Wright et al., The Sims, 2000, EA.

[2]

Kapp, M. K., What is Gamification? A Few Ideas. In

https://www.youtube.com/watch?v=BqyvUvxOx0M, 2014
(accessed 12.2014).

[3]

Zichermann, G., The Future of Creativity and Innovation

is Gamification: Gabe Zichermann at TEDxVilnius.
In https://www.youtube.com/watch?v=ZZvRw71Slew,
2014 (accessed 12.2014).

[18] Wright et al., Sim City, 1989, EA.

CONFERENCES:
[1]

Games for Health Europe. In

http://www.gamesforhealtheurope.org/ (accessed 12.2014).

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

165

Sistemas de Realidade Aumentada como Ambientes para

a Dana: Anlise de dois Experimentos

M. Misi1, C. Heijens2
1

Universidade Federal da Bahia (UFBA), Brasil, Programa de Ps-Graduao em Dana, Eltrico

Grupo de Pesquisa em Ciberdana (CNPq), Slash Art Tech Lab Amsterdam
2

Slash Art Tech Lab Amsterdam

Resumo

Esse artigo apresenta a nossa

experincia na criao de experimentos de Dana em
interface com Realidade Aumentada, como parte dos nossos
estudos de Ps-doutoramento no Programa de Psgraduao em Dana da Universidade Federal da Bahia,
Brasil, entre os anos de 2014-2015. Nossa inteno aqui
ressignificar noes tradicionais de composio em dana,
propondo como coreografia a criao de ambientes, uma
assemblage de arquitetura e movimento, em sintonia com as
proposies tericas de Johannes Birringer [1].
Palavras-chave dana, digital, interatividade,
realidade aumentada, ambiente.

I. INTRODUO
Esse artigo uma anlise descritiva de dois
experimentos realizados na interseo entre dana e
realidade aumentada como parte dos nossos estudos de
Ps-doutoramento intitulado Dana e Realidade
Aumentada: Prticas, Tcnicas e Poticas. Estes estudos
foram realizados entre 2014-2015 no Programa de Psgraduao em Dana da Universidade Federal da Bahia,
Brasil, em colaborao com o Slash Art Tech Lab,
Amsterdam (Holanda) e o Eltrico Grupo de Pesquisa
em Ciberdana (CNPq, Brasil), sob superviso da Profa.
Dra. Ludmila Pimentel (UFBA, Brasil). Neste trabalho,
ns apresentaremos os elementos constituintes desses
experimentos mapeamento, programao de software,
produo de imagens e/ou de udio, captura de espao e
corpos fsicos, interfaces interativas, coordenadas
espaciais virtuais para propor, em ltima instancia, uma
nova abordagem para composio em dana, que aqui
denominamos de dana digital.
II. REALIDADE AUMENTADA
Em termos tcnicos, a Realidade Aumentada (RA)
uma tecnologia que permite a integrao do mundo

7th International Conference on Digital Arts ARTECH 2015

material com contedo virtual, criando ambientes

hbridos e interativos em tempo real. Segundo Ronald
Azuma [1] (1997), existem trs qualidades determinantes
de um sistema de RA: 1) combinao entre o real e o
virtual, 2) interatividade em tempo real e, 3) realizao
em trs dimenses. Assim, o que fundamental para que
um sistema de RA funcione adequadamente que integre
essas qualidades de modo que alcance como resultado um
alto grau de realismo na integrao dos elementos virtuais
justapostos ao ambiente fsico.
Podemos considerar sistemas de RA como uma
variao da Realidade Virtual (RV), sendo que enquanto
a RV refere-se a possibilidade tecnolgica de mergulhar
em um mundo totalmente sinttico, gerado por
computador, em sistemas de RA o ambiente real no
completamente suprimido, ao contrrio, desempenha um
papel dominante.
A Realidade Aumentada incorpora suplementos
sintticos ao ambiente real, portanto, os trs elementos
necessrios para criar um sistema de RA, so: espao
fsico real, contedo virtual (imagem, vdeos, textos), e
softwares que gerem a visualizao e a interao entre os
contedos. O software deve processar o registro da
imagem do espao real, ou seja, a imagem do espao
fsico detectada pela cmera deve ser traduzida pelo
software em informao de suas coordenadas espaciais
para que num segundo momento possa justapor
elementos virtuais a essas coordenadas.
Existem trs tipos de RA, os quais adotam diferentes
tcnicas: 1) RA baseado em reconhecimento de imagem
(quando um marcador de imagem, por exemplo QR code,
colocado em objetos ou superfcies do espao real para
ativar o software a nestes justapor imagens de objetos
virtuais); 2) RA baseado em coordenadas geogrficas
(quando a posio de objetos na tela de computadores,
smartphones, tablets, calculada usando a coordenada
geogrfica do usurio, diversas tecnologias possibilitam
isso, seja os GPS, Wifi ou GPRS, Compass e
Accelerometer); 3) Realidade Aumentada Espacial
doravante nesse artigo denominada RAE (quando feito

166

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

um mapeamento do espao fsico e a partir deste

mapeamento cria-se masks nas quais so superpostas
imagens digitais para modificar superfcies de objetos ou
paisagens reais). A principal diferena entre RA e RAE
que RAE aumenta objetos ou ambientes do mundo real
sem o uso de mostradores como monitores, headmounted
displays, ou handhold devices. Em RAE o mostrador no
fica associado a cada usurio individualmente, podendo
ser usufrudo por grupos de usurios, ou por um pblico
participante que pode interagir colaborativamente.
Contemporaneamente, todo smartphone j conta com
softwares de RA, e vrios aplicativos esto disponveis
para o usurio, com funes dirigidas ao dia a dia, como
o Across Air, um navegador 3D que fornece informao
sobre pontos de lazer e entreteninmento. Ao posicionar o
smartphone em qualquer direo, o usurio v na tela em
geotagged entries fotos de restaurantes, cinemas e hotis.
Para os programadores, o Cyberlink Youcam, Metaio AR
creator, e o Layar Interactive Printing, so alguns
exemplos que esto bastante em uso no setor de
Informao Comunicao e Tecnologia (ICT). Alm do
rpido crescimento na produo de aplicativos, pesquisas
voltadas a criao de melhores dispositivos para a
interao do usurio esto tambm em curso. culos
RIFT, como o Google goggles ou o Atheer so
dispositivos criados especialmente para aplicativos de
RA e usam tecnologia de reconhecimento de imagem
para prover informao sobre logotipos, landmarks,
barcodes ou QR codes. Como podemos ver, a RA, mais
do que uma tecnologia, uma mdia, representa um modo
de interao com o mundo. Ao programar um sistema de
RA o que se cria um ambiente imersivo e interativo, que
pode ser implementado para usos diversos. Em nosso
campo de investigao, conforma-se como um espao de
explorao de ideias coreogrficas dentro do conceito de
coreografia como criao de ambiente proposto por
Birringer.
III. DANA DIGITAL
A Dana digital demanda um pensar coreogrfico
diferente do modo tradicional de composio em dana e
seus modos de fruio, as quais no contemplam suas
especificidades tcnicas, nem to pouco suas prticas e
poticas. Como afirmou Birringer , j em 2003, como a
msica antes, a dana estendeu seu alcance e coreografia
agora abrange espao, escultura, luz, projeo de vdeo,
sensores e processamento de sinal digital interativo em
tempo real [2] A dana digital uma modalidade
contempornea de arte eletrnica interativa e como tal,
incorpora ideias composicionais e instrumentos, tais
como cmeras, vdeo-projetores, microfones, sensores,
sintetizadores ou softwares, buscando explorar novas
formas de experimentao artstica entre o real e o virtual.
Ns estamos particularmente interessadas nesse campo
de experincias aberto pela interface dana e tecnologia

digital. Como aponta Andr Lemos [3], a hibridao

(espao, tempo, corpo) parece ser o paradigma das artes
eletrnicas [...] Ela permite um movimento contnuo de
passagem do espao fsico ao eletrnico, do corpo fsico
ao corpo-prtese, do tempo subjetivo e individual ao
tempo imediato (real).
Como categorias de dana digital temos hoje as
performances intermdia, a dana telemtica, as
performances instalaes interativas, e o vdeo dana.
Performances intermedia permitem que o performer faa
alteraes em som e luz, no palco ou em vdeos, como
resultado de seu movimento. Na maioria das vezes, esse
tipo de performance aplica cmeras de vdeo ou outros
tipos de sensores para capturar o movimento do
danarino; estes dispositivos produzem os inputs usados
para alimentar o software, que converte os movimentos
em som, luz ou padres grficos. Esses padres so ento
projetados no cho do palco, paredes ou qualquer tipo de
superfcie que a coregrafa escolha.
J a Dana Telemtica, que tambm considerada por
ns como uma possibilidade da Dana digital promove a
possibilidade de encontro virtual entre danarinos
remotos; a experincia do pblico consiste em assistir
uma danarina em um espao fsico, que est interagindo
com outra danarina em um espao remoto. Isto permite
para o pblico e bailarinos habitar um duplo espao, o
real e o virtual. Performance Instalaes Interativas, por
sua vez, so instalaes com captura de vdeo, udio e
sensores de peso, que se comunicam com um software
programado para traduzir a entrada dos sensores em
termos de sada de udio ou imagens. Ao contrrio de
Performances Intermidias ou Dana Telemtica,
Performance Instalaes Interativas dependem do
pblico para acontecer; o movimento do corpo do
pblico que desencadeia a exibio de imagens, luzes ou
som. Por fim, temos o Videodana, na qual danarino
interage com a cmera de vdeo e a composio feita na
ps-produo, no trabalho de edio. Essa abordagem
permite perspectivas diferentes sobre o corpo que dana
e promove efeitos cinestsicos para o pblico, de acordo
com a perspectiva tomada durante as filmagens. O
pblico no interage diretamente com a imagem. Em
todas essas sub-categorias de dana digital o tratamento
do espao incorpora s coordenadas fsicas as
coordenadas virtuais; o corpo danante passa a incarnar
esse espao hbrido, e tambm se virtualiza. Alm disso,
o corpo danante no mais apenas o corpo humano do
danarino, mas outros corpos, materiais ou virtuais, que
compem o movimento coreogrfico e os corpos hbridos
entre o humano e o digital. Para o pblico, por fim, a
forma de fruio no se d pela apreciao da plstica da
forma em movimento, mas pelo engajamento em uma
experincia na qual a interatividade a palavra de ordem.
Como podemos constatar, a Dana digital sempre
interativa, algumas vezes em relao a fruio esttica,
outras vezes em relao a suas prticas, tcnicas e

7th International Conference on Digital Arts ARTECH 2015

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

poticas durante o processo de criao e/ou seus produtos

finais.
Contemporaneamente, podemos definir coreografia
em Dana digital como uma forma de composio
dedicada a criao de ambientes hbridos interativos, e
sobre esse prisma que a interface dana e realidade
aumentada se mostra um terreno frtil para investigao
artstica, tanto em termos poticos quanto estticos.
IV. INTERFACE DANA E RA
Brian Mullins e Gaia Dempsey, na introduo do livro:
Understanting Augmented Reality, de Allan Craig [4],
afirmam que a realidade aumentada um meio,
composto por um conjunto de tecnologias, combinadas
com um conjunto de convenes de contedo. A maneira
que as pessoas experimentam realidade aumentada
diferente de tudo que veio antes e, portanto, requer novos
modelos de pensamento e processos de produo [5].
Craig, por sua vez, prope olharmos para a RA como
implemento arquitetnico, mas afirma tambm que a
realidade aumentada intermedia ideias entre seres
humanos e computadores, entre seres humanos e seres
humanos, entre computadores e computadores [6].
Segundo o autor, ns lemos livros, assistimos filmes,
ouvimos msica. No caso da RA, deve-se ter em
considerao que o tipo de engajamento que essa mdia
promove interativo, e, portanto, a forma de interao
d-se atravs de uma experincia multi-sensorial. Essa
forma de experincia que a RA promove ao participante
o engajamento em uma atividade que se instaura no
mundo real com a superposio de informao digital;
ns imergimos em um ambiente hbrido, entre o real e o
virtual, no qual interagimos com elementos virtuais como
se estes fossem parte do nosso mundo fsico.
Birringer usa o termo "interatividade" em dana digital
no que concerne a dois fenmenos: em primeiro lugar,
"interao como um conceito espacial e arquitetnico
para performance, e em segundo lugar, no sentido de
atuao colaborativa com um sistema de controle em que
o movimento (ou ao do performer) capturado por
cmeras ou sensores e usados como input para ativar
outras propriedades dos componentes de mdias como
vdeo, udio, midi, texto, grficos, filmes, imagens
digitalizadas, etc" [7].
Quando colocamos em interface o conceito de
Birringer sobre dana digital e o conceito de Craig sobre
realidade aumentada evidenciamos que ambos
descrevem conceitos espaciais e arquitetnicos e/ou
sistemas de intermediao de relaes entre atores,
humanos ou no-humanos. A relao entre Dana digital
e RA est nesse espao de experincia que ambas
promovem, um espao hbrido, construdo entre o real e
o virtual, no qual ideias so intermediadas.
Ns sugerimos que a complexidade dos sistemas
envolvidos em ambientes de dana digital e de realidade

7th International Conference on Digital Arts ARTECH 2015

167

aumentada devam ser programados para operarem

segundo a noo da ciberntica de segunda ordem, de
Heinz Von Foster. Cabe aqui um pequeno parnteses para
expor esse conceito.
Segundo Ludmila Pimentel [8], a Primeira Ciberntica
se dedicou a entender os processos operacionais na
organizao dos sistemas, isto , suas metas, propsitos e
funcionamento. Buscava-se melhores resultados nos
procedimentos de regulao e controle entre corpo e
mquina, proporcionando a comunicao de sistemas de
naturezas diferentes. Tal teoria preconizava que algumas
funes no controle e processamento de informaes
entre mquinas e humanos e na sociedade em geral
podem ser equivalentes e formalizadas sob os mesmos
modelos e leis matemticas. Assim, a Ciberntica se
tornaria uma cincia sobre a troca de mensagens dentro
de um campo mais vasto que inclui no apenas o estudo
da linguagem, mas tambm o estudo das mensagens
como meios de dirigir a maquinaria e a sociedade, o
desenvolvimento de mquinas computadores e outros
autmatos [9].
J a Ciberntica de Segunda Ordem, como explica
Pimentel [8] passou a incluir a lgica recursiva, e a autoreferncia na teoria, agregando o observador externo do
sistema anlise da pesquisa, propondo verificar a
ocorrncia de fenmenos que incluem aspectos
subjetivos em circuitos fechados. O observador no
passivo aos acontecimentos do mundo, est imerso no
sistema observado, incluindo suas experincias e suas
impresses ao perceber o mundo. um observador
participante que percebe a si, no momento em que
percebe o sistema trocar informaes. O sistema
observado tambm toda a subjetividade que faz parte do
observador. Informaes exteriores ao sistema e
interiores ao corpo participam sem hierarquizao da
mesma observao, operando sob a condio de executar
trocas de informaes o tempo todo e simultaneamente;
no possvel separar as partes do sistema, o observador
responsvel por sua observao.
Von Foerster [10] ampliou o conceito de circularidade
proposto na Primeira Ciberntica, passando a atribuir a
esse processo a capacidade auto-organizativa de
determinados sistemas, pois, ele reage aos desvios
externos, alterando sua prpria estrutura, para retornar ao
equilbrio. Isso significa que o sistema autnomo e
busca a estabilidade. Quando o sistema desestabilizado
deve-se levar em conta que a partir das crises iro ocorrer
processos de crescimento e aprendizagem em toda
estrutura envolvida. A organizao de Von Foerster
prope uma autonomia no sistema, baseada na autoreferncia do observador; este produz para si mesmo um
tipo de comunicao especfica, envolvendo as
dimenses sensoriais do corpo, em uma linguagem que
conecta o orgnico e o no orgnico[8].
Podemos inferir e concluir, que s se aplica o conceito
de circularidade nos sistemas cibernticos de segunda

168

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

ordem quando o observador interfere no sistema e viceversa. Isso implica em uma atividade auto-organizativa
prpria do sistema, em que a comunicao acontece de
forma cclica: se o sistema no receber uma resposta do
observador, para o que foi comunicado, o sistema se
autorregula, se reorganiza e estimula o observador para
que este, atravs de uma ao corporal, envie uma nova
resposta ao sistema.
Nos parece que o desafio da dana em realidade
aumentada seja buscar essa forma de relao entre os
componentes dos sistemas de forma a construir
ambientes interativos inteligentes, onde a comunicao
entre o pblico e/ou performer e os espaos e objetos
virtuais possa efetivamente ser estabelecida em via de
mo dupla.
V. ESTTICA INTERATIVA: PERFORMATIVA E
RELACIONAL
A interatividade o objetivo e consequncia de um
sistema de realidade aumentada em interface com dana
digital e o modo de fruio que tais trabalhos artsticos
promovem se d atravs da experincia. Nas tradies
estticas modernas, impe-se a distino sujeito-objeto, o
que compromete o entendimento da natureza relacional
da experincia.
Torna-se premente o desenvolvimento de um conceito
esttico adequado para a anlise de trabalhos de arte
digital interativos. Alguns autores vm se debruando
sobre essa tarefa, como Katja Kwastek [11], que publicou
recentemente o livro: Asthetics of Interaction in Digital
Art, no qual desenvolve uma proposta esttica para
interatividade a partir da discusso sobre aspectos como
espao real e espao de dados, estruturas temporais,
perspectivas instrumentais e fenomenais e a relao entre
materialidade e interpretabilidade. Outro autor que vem
trabalhando sobre esse tema, Simon Penny [12], em seu
ensaio Towards a Performative Aesthetics of
Interactivity, prope que as dimenses cognitivas e
fenomenolgicas da interao so cruciais para o
desenvolvimento de uma teoria esttica que contemple a
arte interativa. Segundo o autor, nas prticas culturais,
distinguem-se dois modos paradigmticos de interao, o
instrumental e o enativo. O modo instrumental considera
a instituio de um link como uma forma de ir de A para
B, onde A e B so objetos, e a transio entre esses dois
objetos instantnea, no se constituindo como um
evento. Essa viso corrobora com a esttica moderna em
sua distino sujeito-objeto.
Para ns, a perspectiva instrumentalista, ao considerar
a interao como um link entre dois objetos, submete a
anlise da arte interativa a observao dos objetos que
constituem a obra, separadamente, deixando de lado
exatamente o principal, que a negociao de sentidos
que se estabelece no processo da experincia.

J o modo enativo considera que no chegar ao

destino o que interessa, mas sim a cadeia de eventos que
se desdobra no processo temporal que constitui a
experincia. Ns entendemos, em concordncia com
Penny, que esta abordagem descreve com acuidade a
interatividade na arte. Para o autor, uma maneira de
pensar sobre obras interativas que elas podem fornecer
um contexto em que o engajamento com o trabalho
constri uma condio que requer ao para ser resolvida;
nos quais artefatos e efeitos so dispostos espacial e
temporalmente, de forma a incentivar a formulao de
novas ideias. A temporalidade do processo inevitvel, e
seu design constitui uma espcie de enacionismo
sinttico.
Nicolas Bourriaud [13], curador e pesquisador, tem
desenvolvido uma teoria em torno do aspecto relacional
da arte contempornea que vem a corroborar com a
perspectiva performativa de Penny. Segundo Baurriaud,
a esttica relacional no uma teoria da arte, mas uma
teoria da forma, e prope que ao analisarmos as prticas
artsticas atuais ns devemos pensar em formaes, ao
invs de pensar em formas. Segundo o autor: "ao
contrrio de um objeto que fechado em si mesmo pela
interveno de um estilo e uma assinatura, a arte hoje
mostra-nos que a forma s existe no encontro e na relao
dinmica entre uma proposio artstica e outras
formaes, artsticas ou no." [14]
Ele afirma que a arte contempornea em suas diversas
formas de interatividade, essencialmente relacional. Em
suas palavras: Todo trabalho de arte uma proposta de
um mundo compartilhado e o trabalho de todo artista
um pacote de relaes com o mundo, gerando outras
relaes, e assim por diante, ad infinintum. [15] E
continua: A forma de uma obra de arte produz-se a partir
de uma negociao com o inteligvel, que conferido
atravs dele, para ns. Atravs dele, o artista embarca em
um dilogo. A prtica artstica, portanto, reside na
inveno de relaes entre a conscincia.
Ns propomos, portanto, pensar o modo de fruio da
dana digital em termos de uma esttica da interatividade,
que performativa e relacional. Esse modo esttico o
que propomos ter em considerao ao analisarmos os
experimentos realizados em nossos estudos de psdoutoramento sobre as tcnicas, prticas e poticas da
dana em interface com realidade aumentada, assim
como os trabalhos desenvolvidos por outros artistas que
sero apresentados a seguir.
V. PRTICAS, TCNICAS E POTICAS EM DANA
EM RA E RAE

Faremos, neste item, uma breve revisitao a histria

da interface entre RA e Dana, antes de expormos no
prximo item os nossos experimentos.

7th International Conference on Digital Arts ARTECH 2015

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

O International Tanztage Mnster, em maio de 2010,

criou Spacing, um trabalho de dana em Realidade
Aumentada Espacial (RAE) feito a partir de uma projeo
na fachada de 70X20 m2, de um prdio em Munique,
Alemanha. Dana, grficos, som e arquitetura foram
unidos no que podemos chamar uma dana digital sitespecific. O desenvolvimento dos grficos tinha como
foco uma interpretao espacial que se fazia atravs da
presena e do movimento dos danarinos reais, que
inauguravam aberturas de espaos ao moverem-se,
criando, portas, janelas, corredores e passagens virtuais.
V-se, nesse trabalho, a dana como ambiente, um
desenho arquitetnico que cria uma interdependncia
entre os corpos e os espaos projetados, em tempo real,
transformando o espao fsico atravs do movimento. Em
nossa apreciao, esse trabalho em RAE traduz
elementos de coreografia para um conceito arquitetnico.
A projeo abrangia todo o campo de viso do pblico,
que situado em uma pequena ruela, tinha que virar-se
para os lados para acompanhar as transies dinmicas
do espao (ambiente) sempre em transformao
projetado ao seu redor, fazendo com que a realidade fsica
se transformasse e ganhasse outros contornos e texturas.
Nesse trabalho, a interatividade foi determinada pelo
posicionamento do pblico em relao ao prdio, fazendo
com que eles pudessem ver diferentes cenas a depender
de onde se situassem, embora o movimento do pblico
no determinasse essas mudanas. O trabalho no podia
ser visto em sua totalidade, apenas partes podiam ser
visualizadas dado a relao entre a distncia do pblico e
a extenso da fachada. A escolha de angulaes e as
modificaes de formatos, proporcionaram ao pblico
uma experincia interativa similar ao vdeo-dana, com a
diferena que a tela de projeo, nesse caso, tinha uma
escala de dimenses muito maiores do que uma tela
convencional, a fachada, e que as projees simulavam
tridimensionalidade.
A programao do sistema de RAE como prtica
construda dentro do processo de criao coreogrfica
nos parece ter sido determinante da potica da obra, que
contou com uma equipe interdisciplinar formada por
engenheiros eletrnicos, danarinos, iluminadores,
cmera men, cengrafos, e toda uma equipe de
profissionais dedicados a transformar uma superfcie
vertical em um ambiente coreogrfico no qual imagens
de danarinos reais so projetados como objetos virtuais,
construindo trajetrias, em tempo real, em um ambiente
aumentado.
A performance instalao interativa Treachery of
Sanctuary, de Chris Milk, que estreou em So Francisco,
em 2012, na Fort Mason, no programa intitulado The
Creators Project, um outro exemplo de trabalho que
consideramos estar na interseo entre Dana digital e
RA. Esta instalao composta de trs telas brancas que
elevam-se acima de um espelho d'gua, o pblico
interage com sua sombra, como se tivesse entrado na

7th International Conference on Digital Arts ARTECH 2015

169

frente de uma luz brilhante; um bando de pssaros

aparece na parte superior do painel de forma que a
sombra e os pssaros se misturam nas imagens, o corposombra gerado cria asas, voa, desintegrado, e se refaz
ao final.
A interao com o pblico construda a partir de um
sistema de intermediao de informao digital, atravs
de sensores de vdeo captura, um Kinect, e para projeo
das imagens foi usado o software Unit 3D. O movimento
do pblico gera transformaes na sua sombra projetada,
esse corpo duplo gera objetos virtuais, ou seja os
pssaros, que se espalham na profundidade ampliada que
as telas criam no espao fsico da instalao.
Nesta performance instalao interativa, o processo de
criao se conforma a partir da programao de um
sistema de RAE de extrema dinamicidade em termos da
interao com o pblico. Aqui, se v claramente a noo
de enacionismo sinttico, de Simon Penny, aplicada
como princpio fundador da potica da obra.
A programao foi desenhada de forma a promover ao
participante uma experincia em um ambiente imersivo
no qual a interao se constri temporalmente, em uma
cadeia de eventos que se desdobram a partir de seus
movimentos. Pode-se notar tambm que o tipo de
comunicao entre o participante e o sistema parece ter
sido pensada e planejada, de acordo com o conceito de
circularidade da ciberntica de segunda ordem, como um
processo de comunicao no qual ambos, participante e
sistema, so responsveis por retroalimentar as
mensagens. Na instalao, se o participante no se
movimentar, os pssaros no misturam-se a sua sombra,
mas, em um comportamento auto organizativo, voam na
profundidade do espao virtual.
Um exemplo mais voltado pra a rea acadmica foi o
DansAR 01 & 02, um projeto realizado numa colaborao
entre Jeannette Ginslov, Sknes Dansteater, Living
Archives at MEDEA, Susan Kozel, Daniel Spikol e
estudantes de mestrado do Departamento de Cincias da
Computao da Universidade de Malm, Sucia. A
experimentao reuniu coreografia, vdeo-dana,
performance ao vivo e produo tecnolgica. A
coreografia criada por Molody Putu para quatro
danarinos do Grupo Aktiva Tjejer foi filmada por
Jeannete Ginslov, que editou com esse material oito
videos-dana, os quais foram ento importados para um
aplicativo de RA, o Aurasma. Os vdeodanas foram
apresentados em AR no foyer do teatro. o pblico
dirigia a tela dos seus smartphones em direo a QR
codes expostos nas paredes e assim podia ver os
vdeosdana projetados em 3D sobre diversos locais do
espao fsico do foyer.
Neste trabalho podemos evidenciar a abordagem
esttica relacional de Baurriaud [13]. Aqui, a composio
coreogrfica somente se completa quando o pblico ao
passear pelo foyer, vai escolhendo assistir este ou aquele
vdeodana. Vemos tambm o aspecto performativo da

170

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

interao, desde que as trajetrias do pblico criam

caminhos entre-cortados que vo conformando no espao
fsico uma forma coreogrfica.
Esse projeto faz parte de um projeto maior, o Living
Archive: Enhancing the role of the public archive by
performing memory, open data access, and participatory
design, fundado pelo Swedish Research Council e
desenvolvido pela Universidade de Malmo, sob direo
de Susan Kozel. O projeto tem como meta atender aos
desafios hoje impostos pela digitalizao da sociedade no
que concerne a herana cultural e as prticas de
arquivamento que esto sendo transformados pelo
desenvolvimento das tecnologias atuais. A RA, como nos
referimos anteriormente, uma mdia que est se
disseminando rapidamente, levantando a necessidade de
voltarmos nossa ateno para os novos modos de
experincia que esta promove e as repercusses dessas
transformaes na vida em sociedade, na cultura, e nas
artes.
Vemos aflorar novas formas poticas na interseo
Dana digital e RA. A explorao desse meio nos leva a
experimentao de suas possibilidades atravs de um
estudo prtico, o qual iremos relatar no prximo item.
Nosso interesse dissecar os elementos de realidade
aumentada aplicada composio em dana.

imerso foi deslocada da fisicalidade, trazendo

questionamentos acerca de conceitos fenomenolgicos
sobre embodiment e percepo, que nos interessa
investigar em um prximo momento. Em segundo lugar,
tnhamos que decidir qual seria o ambiente representado
na maquete. Decidimos por um tema familiar nossa
comunidade interpretativa, uma rua com caractersticas
do centro histrico de Salvador. A potica dos dois
experimentos ficou, portanto, determinada a partir dessas
primeiras decises. Todo o processo de criao foi
dedicado a criao de estruturas pequenas e delicadas, em
um trabalho feito de perto, na ponta dos dedos.
A maquete foi desenhada e construda em perspectiva
para dar maior profundidade, trata-se de uma maquete
real, construda com madeira, de uma rua (ficcional),
com casas de estilo colonial portugus. Um modelo em
escala normalmente usado para representar um novo
design ou conceito situado em uma realidade j existente,
neste caso, ns queramos apresentar uma fico de uma
realidade, como poderia ser no Brasil hoje em dia. No
uma representao de uma rua real, mas uma
representao de possveis opes e escolhas feitas por
um pas e seus habitantes. Sugere as influncias da
colonizao no sculo XVI, bem como os impactos da
modernizao dos tempos atuais.

VI. UMA MAQUETE PARA OS EXPERIMENTOS

Antes de descrever os dois experimentos que
realizamos na interseo Dana digital e realidade
aumentada, nesse estudo de ps-doutorado: o Maquete
AR, no qual desenvolvemos um sistema de RA baseado
em reconhecimento de imagem; e o experimento Is this
Brazil?, no qual desenvolvemos um sistema de RAE
(mapping projection), gostariamos de apresentar algumas
consideraes em relao ao planejamento e preparao
para que pudssemos dar incio aos mesmos.
Pensando em questes logsticas, decidimos construir
uma uma maquete para que funcionasse como um
prottipo para os experimentos. O uso da maquete de fato
facilitaria a nossa prtica, reduzindo custos e optimizando
o processo de investigao, pois, poderamos trabalhar
dentro do estdio, sem precisarmos nos deslocar para um
local externo com todos os equipamentos e aparatos
tcnicos e tecnolgicos necessrios para desenvolver os
experimentos.
O processo artstico, no entanto, se mescla s investidas
tcnicas e questes de contedo surgem logo no primeiro
momento. Primeiro, a ideia de construir uma maquete
para trabalhar com realidade aumentada trazia
implicitamente um paradoxo, pois, um ambiente de
realidade aumentada miniaturizado implica no fato de
no podermos adentr-lo fisicamente, desafio que
optamos por aceitar. Ns vislumbramos que essa
limitao criou um terreno criativo frtil, pois a noo de

Figure 1: Maquete de uma rua ficcional. Material: madeira,

papel e tinta. Concepo e desenho: Mirella Misi. Execuo:
Chris Heijens.

A maquete foi feita com uma perspectiva ligeiramente

deslocada do que seria o correto dentro das leis de
perspectiva (um nico ponto de vista) para motivar o
pblico a mover-se em torno da mesma, buscar diferentes
ngulos de viso, olhar de perto os detalhes, imergir
naquele universo. Acreditamos que ao estimular esse
olhar atento, a maquete poderia inspirar o pblico a
imaginar possveis estrias e eventos e ter uma impresso
pessoal deste destino conceitual.
VI. EXPERIMENTO 1: MAQUETE AR
7th International Conference on Digital Arts ARTECH 2015

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

O primeiro experimento, a Maquete AR, consistiu na

criao de uma animao grfica em 3D a ser superposta,
com um software de RA, ao ambiente fsico da maquete.
A prtica, portanto, foi dividida em duas produes: criar
a animao grfica e criar o software.
A animao seria ento visualizada, atravs da captura
de uma cmera de vdeo, em uma tela de projeo.
Optamos por iniciar pela criao do software, e usamos
dois objetos virtuais que mais tarde seriam substitudos
pela animao.
Na figura 5, pode-se ver, do lado direito, a maquete e
uma cmera de vdeo sobre um suporte. Do lado
esquerdo, um monitor com a imagem capturada pela
cmera que apresenta parte da maquete e pairando sobre
a mesma dois objetos virtuais tridimensionais, uma bola
azul e um cubo preto. Essa foto demonstra que a cmera
captura a imagem da maquete fsica, e comunicando-se
com o software de realidade aumentada que
programamos, l o sinal do cdigo QR e processa como
output, no local do cdigo, a superimposio dos objetos
virtuais.

171

automaticamente transforma o arquivo em pdf no

formato padro de cdigo QR. Por fim, o cdigo foi
lanado no site Artoolkit Marker Generator Online Multi
(flash.tarotaro.org/blog/2009/07/12/mgo2/) para ser
reconhecido e gerado como marca padronizada RA. Os
cdigos foram depois colocados no programa
Vectorworks, para serem ajustados tridimensionalmente
para funcionarem na maquete, pois, desde que esta em
perspectiva, o cdigo deveria tambm seguir a mesma
linha.

Figura 2: cdigo QR antes e depois de colocado em

perspectiva.

VIII. EXPERIMENTO 2: MAQUETE RAE, OU, IS

THIS BRASIL?
O segundo experimento, a Maquete RAE, a qual
passamos a intitular Is this Brasil? quando terminamos o
processo de criao, trata-se de um sistema de realidade
espacial aumentada, tambm conhecido como projection
mapping. A tcnica para esse tipo de trabalho fazer um
mapeamento da superfcie tridimensional, definindo as
linhas dos contornos dos objetos, e nestas superfcies
delineadas aplicar texturas, com projeo de luz ou
imagens de vdeo, de forma a modificar as cores e
padres dos objetos originais.
Figura 3: objetos grficos (bola e cubo) superpostos maquete
com software de realidade aumentada.

Para programar o software de RA baseado em

reconhecimento de imagem que daria visibilidade aos
objetos virtuais, trabalhamos com o programa
Processing, seguindo o guia de estudo proposto por Tony
Mullen (2011), em seu livro: Prototyping Augmented
Reality, com o uso NyARToolkit Java class, da livraria de
ferramentas ARToolKit. Essa livraria, criada por
Hirokazu Kato, nos anos 1990, uma excelente opo
para desenvolvimento de RA, pois tem uma linguagem
accessvel para designers e artistas com conhecimento
bsico de linguagem de computao e pode ser baixada
de graa no seu computador (www.processing.org). Para
a criao dos cdigos QR para ativar o programa RA,
tambm de acordo com o guia de Mullen, desenhamos o
cdigo no programa de desenho grfico GIMP, salvando
em JPEG, e depois o formatamos no software Artoolkit
Marker (www.roarmot.co.nz/ar/) o qual, on-line,

7th International Conference on Digital Arts ARTECH 2015

Figure 4: experimento 2 - Is this Brazil?

Ns criamos as mscaras no programa Adobe premire

pr, um programa de edio de vdeo que tem a
possibilidade de manipulao de recortes de imagem para
as mscaras, assim como de insero de texturas, sejam

172

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

elas de vdeo ou de programas grficos, como o Poser e

o Arkaos vj, que foram os que usamos. Os recortes de
vdeos podem ser ajustados aos tamanhos e posies das
mscaras e podem tambm ser transformados em todas as
potencialidades que o programa oferece de manipulao
de imagem.
Ns fizemos um mapeamento diferente dos
tradicionais, que cobrem completamente a superfcie das
fachadas ou funcionam apenas como uma tela imensa em
fachadas de casas reais. O nosso mapeamento
privilegiou os detalhes, delineando criteriosamente as
linhas e volumes de cada casa, suas janelas, portas e
telhados para que com as mscaras pusssemos dar
nfase, separadamente, a cada um desses recantos. Alm
disso, programamos as mscaras com luzes e/ou recortes
de vdeos exclusivamente dedicados a dar contedo ao
plano narrativo das projees do sistema de realidade
aumentada espacial. Portanto, aqui no se tratou de fazerse aparecer e desaparecer superfcies inteiras de fachadas,
desmoronando, dissolvendo, reconstruindo, etc., como
comum ver-se em sistemas de RAE, mas de criar um
roteiro dramatrgico a partir de um plano narrativo.
Nosso interesse verificar a possibilidade de criao
de ambientes interativos no apenas a partir da promoo
de um espao de experincia, mas a partir da promoo
de um espao imagtico que estimule a imaginao
atravs de uma sequncia de eventos que se
desencadeiam temporalmente. A maquete nos ofereceunos a possibilidade de criar uma atmosfera, um ambiente
fictcio, no qual pudemos desenvolver uma dramaturgia
atravs do jogo de imagens e luzes. A dinmica das
mudanas de luz e texturas que passeiam sobre as casas,
os telhados, a rua, o cu, constroem a narrativa. Na
introduo, simulamos o ciclo do dia, do amanhecer ao
anoitecer, com uma luz que muda de temperatura,
cobrindo toda a superfcie da maquete. No
desenvolvimento, simulamos o movimento da noite.
Iluminamos primeiro uma janela, depois outra, depois
uma casa inteira, e assim por diante, com a ideia de
coreografar uma dana feita de luzes coloridas que hora
pulam de uma janela para outra, da rua para um telhado,
hora se espalham pelas fachadas de todas as casas de um
lado da rua. So introduzidas as projees de recortes de
videos de pessoas caminhando, de pessoas danando hip
hop, de rituais de candombl, de cenas dramticas
representando sentimos coletivos como medo, alegria, ou
violncia. Em um crescendo, aumentam-se as reas
cobertas pelas mscaras, a intensidade das cores, a
dinmica de mudanas e a complexidade dos padres de
texturas. No desfecho, simula-se o fim da noite, levando
as projees ao cu iluminado de estrelas.
Essa potica do detalhe, do cuidado com os cantos, dos
espaos aumentados, miniaturizados, colocados em
nfase, nos recordou estudos criativos que realizamos
anteriormente com o livro de Gaston Bachelard, A
Poetica do Espao [16], no qual o autor faz um tratado
sobre as imagens desencadeadas a partir dos espaos.

Bachelard estabelece relaes entre o universo potico e

o imaginrio, a partir das imagens do espao, dentre eles,
da simbologia das imagens da casa. Em suas palavras, a
casa uma das maiores foras de integrao para os
pensamentos, as lembranas e os sonhos do homem
[17].
Para o trabalho final, que estaremos concluindo em
abril de 2015, juntaremos os dois experimentos aqui
descritos. A animao grfica em RA ser integrada ao
mapping projection.
IX. CONCLUSO
Uma nova abordagem para composio em dana
digital demanda uma investigao sobre suas tcnicas,
prticas e poticas. Ns buscamos, nesse artigo,
contribuir para essa investigao, apresentando nossas
experincias e reflexes no processo de criao de
experimentos artsticos na interface dana e realidade
aumentada.
Os experimentos aqui descritos ilustraram os
elementos de composio da dana digital em realidade
aumentada. Pudemos ver que estes diferem dos
elementos de composio para dana convencional. Os
elementos tempo, espao e movimento na dana digital
incorporam uma segunda camada, a do espao virtual,
com corpos virtuais, que devem ser programados em
relao ao tempo e ao espao da ao dos atores (pblico
performers) e dos actantes (objetos grficos, telas,
sensores, sistemas). A interao entre todos esses
elementos representa uma diferena crucial da forma de
composio em dana convencional.
Ns propomos uma esttica interativa, relacional e
performativa para a dana digital e constatamos que a
realidade aumentada, enquanto mdia interativa, constitui
um terreno frtil de exploraes.
AGRADECIMENTOS

Os autores gostariam de agradecer ao Programa

PNDB-CAPES, ao Programa de Ps-Graduao em
Dana, da Universidade Federal da Bahia (UFBA), a
Professora Dra. Ludmila Pimentel, ao Eltrico Grupo
de Pesquisa em Ciberdana (CNPQ/CAPES) e ao Slash
Art Tech Lab.
REFERNCIAS
[1] J.
Birringer.
Dance
and
Interactivity.
In:
http://art.ntu.ac.uk/performanceresearch/birringer/dai.htm
Accessed in 2005.
[2] [1] p.1.
[3] A. Lemos. Cibercultura: Tecnologia e vida social na
cultura contemporanea. Porto Alegre, Editora Sulina,
2008, p.183.

7th International Conference on Digital Arts ARTECH 2015

M. Misi and C. Heijens / Sistemas de Realidade Aumentada como Ambientes para a Dana

[4] A. B. Craig, Understanding Augmented Reality: Concepts

and Applications, Waltham, Elsevier, 2013.
[5] T. Mullen. Prototyping Augmented Reality: The Art and
Science of Creating AR. Indianopolis - Indiana, John Wiley
& sons, 2011.
[6] [4] p. 1.
[7] [1] p.2.
[8] L. Pimentel. Entrevista via e-mail.
[9] N. Wiener. Cybernetics or control and communication in
the animal and the machine, Massachusetts, The Mit Press,
1948.
[10] H. V. Foester. Understanding understanding. Essays on
cybernetics and cognition. Urbana, University of Illinois,
2003.
[11] K. Kwastek. Asthetics of Interaction in Digital Art,
Massachusetts, The MIT Press, 2013.
[12] S. Penny. Towards a Performative Aesthetics of
Interactivity, in: Fibreculture Journal, 19 pp. 72-109. Ulrik
Ekman The Open Humanities Press, Sydney, Australia,
2011.
[13] N. Bourriaud, Relational Aesthetics, Les Press du reel,
paris, 2002.
[14] [12] p. 21.
[15] [12] p. 22.
[16] G. Bachellard, A Potica do Espao, So Paulo, Editora
Martins Fontes, 1993.
[17] [15] p. 26.

7th International Conference on Digital Arts ARTECH 2015

173

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

175

SUBVERSO E FALSA INTERFACE COMO POTICA

NA ARTE INTERATIVA
Milton Terumitsu Sogabe
Instituto de Artes, Universidade Estadual Paulista, So Paulo, SP, Brasil.
Resumo A subverso sempre est presente na arte em
vrios aspectos da produo e construo potica. No
contexto da arte-tecnologia tambm est presente atravs da
subverso das funes dos dispositivos tecnolgicos. Nesse
contexto nasce o conceito de Falsa Interface, atravs da
observao e produo de instalaes interativas mediadas
pela tecnologia digital. A Falsa Interface no uma
Interface Tecnolgica que permite ao pblico a interao
com um sistema digital, mas um recurso potico,
geralmente um aparato ou objeto artesanal com o qual o
pblico interage com a obra de arte, que se configura como
um sistema. A Falsa Interface apresenta uma conexo com
o campo sensvel da Interface Tecnolgica. O pblico se
relaciona ludicamente com a Falsa Interface e a Interface
Tecnolgica passa despercebida, em segundo plano, embora
seja ela que capte a atuao do pblico e envie os sinais para
o sistema, retornando em forma de um novo evento.
Palavras-chave Interface, falsa interface, subverso.

I. INTRODUO
A arte uma rea do conhecimento que acontece num
campo de liberdade, onde o livre pensar e a criatividade
solicitam a subverso em vrios aspectos. A prpria
histria da arte uma histria da subverso dos modos de
ver e representar o mundo. O artista um indivduo aceito
e caracterizado pela sociedade pelo seu modo subversivo
de ser, pois desempenha um papel essencial para a espcie
humana, que perceber de forma diferente a realidade
estabelecida, e com isso ajudar a construir outras
realidades mais complexas para a nossa sobrevivncia.
Coerente com esse contexto, o artista tambm tem a
licena potica, que permite a subverso das normas da
linguagem, para extrapolar o que as palavras significam, e
dizer o indizvel. A comunicao tem o objetivo de utilizar
o signo, de uma maneira que produza o mesmo efeito na
mente de todos, como uma conveno, para que no haja
interpretaes diferentes, porm a arte subverte o signo,
atravs da maneira como o apresenta, passando outras
informaes e interpretaes que no aquelas que o signo
deveria representar. A forma com que uma palavra
apresentada pelo artista, que explora as qualidades
materiais e visuais na sua construo, pode produzir outros
significados que diferem do significado usual.
A histria da arte contempornea praticamente uma
constante subverso, da qual Duchamp um dos

7th International Conference on Digital Arts ARTECH 2015

principais representantes, utilizando objetos do cotidiano

fora de suas funes habituais.
No contexto da arte-tecnologia essa atitude tambm
est presente, desde o incio com a Arte Cintica quando
os artistas utilizavam mecanismos com outras funes que
no para as quais tinham sido fabricadas. A Videoarte tem
na distoro da imagem televisiva, um paradgma da
subverso do uso dessa mdia. O uso de fotocopiadoras
pelos artistas pura subverso do sistema, gerando novas
imagens diferentes do original. E assim foi com o uso
do facsimile, da televiso de varredura lenta, do
videotexto, do videogame, e de todos os meios de
comunicao que os artistas fizeram uso.
Na arte interativa mediada pela tecnologia digital, um
dos aspectos subversivos est na maneira inusitada como
os artistas usam os dispositivos tecnolgicos,
principalmente as interfaces, que definem a forma de
participao do pblico, e colocam-se como um elemento
fundamental para se pensar as obras interativas.
II. SUBVERSO DOS DISPOSITIVOS TCNICOS
A prpria histria da mdia, no contexto artstico
uma histria da subverso, no uso e na linguagem das
diversas mdias que surgem. Embora na fotografia e no
cinema os artistas tenham explorado as possibilidades de
uso, na denominada videoarte, onde encontramos uma
produo mais subversiva, com os artistas alterando as
imagens do monitor, quebrando, enterrando, sobrepondo
monitores, invertendo as cameras, criando linguagem e
explorando os equipamentos sem nenhuma regra ou norma
preestabelecida. A mesma atitude foi com os outros meios
utilizados na arte-telecomunicao em geral.
No contexto da arte interativa no diferente, pois a
atitude do artista, com sua percepo no normatizada, v
o potencial presente nos dispositivos tcnicos, e explora
outras possibilidades l existentes, subvertendo a funo
para a qual foi fabricada.
Segundo Simondon [1]A inveno no feita para
atingir um fim, realizar um efeito previsvel
anteriormente, a inveno realizada ocasio de um
problema, mas os efeitos de uma inveno ultrapassam a
resoluo do problema, graas superabundncia de
eficcia do objeto criado quando ele realmente

176

M. Sogabe / Subverso e Falsa Interface como Potica na Arte Interativa

inventado e no constitui somente uma organizao

limitada e consciente de meios em vista de um fim
perfeitamente conhecido antes da realizao.
Um alto-falante pode ser encontrado em diversas
obras, de diferentes artistas e em cada obra pode ter sido
utilizado de uma maneira, revelando as inmeras
possibilidades de uso desse dispositivo, para alm da sua
funo official para a qual foi fabricado. Em
Spiderbytes [2], do artista Lars Lundehave Hansen, cada
alto-falante apoiado sobre 4 lpis transformando-se em
pequena criatura que se movimenta pelas frequncias de
som recebidas, deixando rabiscos pelo caminho.

Fig. 1- Subverso potica de um dispositivo tecnolgico.

Spiderbytes - Lars Lundehave Hansen.

Martin Klimas [3] um fotgrafo que na sria Eu

vejo algo que voc no ouve, pinta no espao com sons, e
registra imagens congeladas de tintas coloridas danando
sob a vibrao de sons do tmpano de um alto-falante. J
Paulo Vivacqua [4] utiliza alto-falantes das mais diversas
formas em instalaes, esculturas e objetos com diferentes
configuraes. E assim poderamos seguir descrevendo
exemplos de outras obras com utilizao inusitadas de
alto-falantes ou o mesmo com qualquer elemento que
escolhermos.
Com as instalaes interativas o mesmo ocorre na
utilizao diversificada dos dispositivos, atuadores e
programas computacionais. Porm, nosso foco aqui ser a
interface, pois o elemento que permite ao pblico a
interao com o sistema constituinte da obra.
II. INTERFACES
A questo da interatividade e do design de interfaces
ultrapassou o campo da engenharia e ganhou uma
amplitude, sendo explorado pelos artistas, a relao

homem/mquina atinge questes sociais, poticas e

conceituais. H mais de 40 anos os artistas desenvolvem
obras nesse contexto, como Peter Weibel, um dos
pioneiros da arte interativa. [5]
So as interfaces que possibilitam ao pblico uma
participao atravs de sua presena fsica e de alguma
ao frente a uma dada situao colocada na obra pelo
artista, que o autor, o propositor intelectual da
experincia.
A experincia do corpo presente, percebendo,
refletindo, admirando, agindo num processo contnuo, se
coloca como um paradgma da arte interativa. A maior
parte de nosso conhecimento sobre a realidade acontece
atravs da experincia indireta, conhecida atravs dos
signos, atravs da comunicao da experincia por outros.
Se quisermos entender o significado de uma palavra,
podemos encontr-la no dicionrio e aps a leitura
entenderemos o seu significado, mesmo que no
experienciemos o fato em si. Quem jamais passou pela
experincia de sentir saudades, pode entender o
sentimento lendo o significado da palavra. Nosso intelecto
e os signos nos possibilitam essa capacidade. Na arte
interativa, com o envolvimento corporal, o penso, logo
existo cartesiano completado com um pensar com o
corpo todo, envolvendo as sensaes e aes corporais
tambm. A viso sistemica presente no elimina
elementos, mas soma, podendo haver reflexo,
contemplao, ao e sensaes, como acontece no nosso
processo de vivncia no dia a dia.
O corpo solicitado em todos os seus aspectos, como
um sistema completo, e no s como um ser visual ou um
ser pensante. Vemos o corpo do pblico na arte mimtica,
na arte abstrata, e na arte participativa, com psturas
corporais, gestualidades e atitudes diferenciadas na
interao com cada tipo de obra.
Na Arte Interativa o corpo da obra se transforma com
as atuaes do corpo do pblico, ou seja, o corpo do
pblico constituinte do corpo da obra, que configurada
como um sistema vivo e no mais como um objeto ou um
espao. O artista pensa o corpo do pblico como elemento
da obra, no processo de criao.
As interfaces neste contexto so dispositivos
tecnolgicos que captam alguma informao do ambiente
e enviam para o computador, que atravs de um programa
executa atividades que o artista definir. No cotidiano
mais comum nosso contato com interfaces como o teclado,
o rato, os quais clicamos e enviamos tarefas para o
computador que nos responde gerando letras, nmeros,
fazendo clculos e outras atividades usuais.
Nas obras interativas estas atividades geradas pelo
contato com as interfaces, podem ir de uma simples reao
do sistema, como ligar e desligar um equipamento,

7th International Conference on Digital Arts ARTECH 2015

M. Sogabe / Subverso e Falsa Interface como Potica na Arte Interativa

funcionando como um interruptor, at relaes mais

complexas utilizando-se de algortmos genticos, onde o
sistema se desenvolve no processo, gerando resultados
diferentes e inesperados a cada situao. No
consideramos com isso, que o grau de complexidade de
interao utilizado defina a qualidade da obra, que envolve
outros elementos numa relao mais complexa com a
potica da obra.
As possibilidades de interao da obra com o pblico
so exploradas no contexto da arte-tecnologia, dentro de
uma viso sistmica, em conjunto com os conceitos
presentes na obra. Ao mesmo tempo, as interfaces tornamse cada vez mais invisveis, no sentido do usurio no
precisar de um conhecimento prvio para a sua utilizao,
podendo apenas usar os movimentos corporais, a voz, o
olhar ou outras funes. O aspecto ldico nessa interao
acontece atravs da forma, do design de como a interface
se apresenta para a atuao do pblico.
Pensar a criao de uma instalao interativa
implica pensar as interfaces que a compe. Na busca por
interfaces naturais, adotam-se dispositivos no
convencionais que se aproximem de objetos do cotidiano
das pessoas, transformando-os em interfaces de interao.
Ao se utilizar de objetos fsicos em contextos artsticos
como interfaces, o artista faz com que os processos
computacionais paream invisveis. [6]
Com a tecnologia digital existente, podemos captar
informaes do meio ambiente, do corpo humano, do
mundo vegetal, animal e mineral e de outros elementos da
realidade atravs de diversos tipos de sensores, que de
certa maneira materializam as manifestaes fsicas desses
elementos. Podemos captar do meio ambiente a
temperatura, a umidade, a direo e velocidade do vento, a
luminosidade, os sons, as ondas eletromagnticas, a
quantidade de pessoas, o movimento dos carros, dados da
Internet etc. Assim como podemos captar do ser humano,
o peso, a altura, o batimento cardaco, a temperatura, as
ondas alfa do crebro, o movimento, a voz, o olhar etc.
As plantas podem dizer se precisam de gua ou luz,
atravs de sensores conectados terra ou s razes que
enviam informaes a um computador. Essas situaes
permitem uma ampliao para outras dimenses de
dilogo com e sobre a realidade.
Nesse dilogo com o meio ambiente e os elementos
nele existentes vamos construindo um sistema de
comunicao, onde tudo est interligado e se
manifestando. Esse fenmeno conhecido por termos
como, computao pervasiva ou computao ubqua,
termo definido por Mark Weiser, em 1988, ou pela
Internet das Coisas, termo cunhado por Kevin Ashton,
em 1999. A tecnologia est sumindo, tornando-se
invisvel, penetrando nas coisas, e certamente com o

7th International Conference on Digital Arts ARTECH 2015

177

desenvolvimento da nanotecnologia isso acontecer com

uma velocidade maior, provocando um grande impacto
nas nossas vidas.
A arte interativa est dentro desse contexto e torna-se
um produto dessa viso sistmica, relacionando eventos,
aes, ambientes, objetos e seres humanos como um
sistema formado por vrios subsistemas, para se pensar o
mundo.
O mundo animal, vegetal, mineral, objetual e
tecnolgico esto conectados e dialogando atravs de uma
linguagem intermediada e traduzida pela tecnologia
digital, para a reflexo e compreenso do ser humano.
Embora todos esses aparatos tecnolgicos captem
certos aspectos da realidade, os artistas sempre subvertem
as funes originais para que esses aparatos foram
construdos, revelando outras possibilidades de uso
existentes neles e ampliando a realidade.
A declarao de Vilm Flusser [7] sobre a mquina
fotogrfica, tem relao com a forma com que os artistas
lidam com esses aparatos tecnolgicos:O fotgrafo
manipula o aparelho, o apalpa, olha para dentro e
atravs dele, afim de descobrir sempre novas
potencialidades. Seu interesse est concentrado no
aparelho e o mundo l fora s interessa em funo do
programa. No est empenhado a modificar o mundo,
mas em obrigar o aparelho a reveler suas
potencialidades. O fotgrafo no trabalha com o
aparelho, mas brinca com ele.
Gilbert Simondon aponta que o objeto tcnico possui
outras funes para alm daquele que foi fabricado,
existindo uma margem de indeterminao no seu
funcionamento, na qual o artista atua:
O verdadeiro aperfeioamento das mquinas, aquele que
se pode dizer que eleva o grau de tecnicidade, no
corresponde a um aumento de automatismo, mas ao fato
de que o funcionamento de uma mquina contm certa
margem de indeterminao. esta margem que permite
mquina ser sensvel a uma informao exterior. [8]
Com todos esses recursos tecnolgicos, a interao no
acontece apenas entre homem/mquina, mas podemos
encontrar obras que relacionam vrios elementos,
dependendo da rea de interesse de cada artista. So
frequentes a interao de objetos, imagens e ambientes
que se transformam interagindo com informaes geradas
pela Internet, ou com manifestaes climticas captadas
por um sensores. Plantas interagem com o meio ambiente
e se manifestam atravs de sons ou imagens, sem
necessariamente ter a interao com o pblico.
A interface pode captar alguma ao corporal mais
energtica e enviar ao programa para atualizar um novo
evento, mas por outro lado o programa tambm pode
produzir um novo evento smente quando a interface no

178

M. Sogabe / Subverso e Falsa Interface como Potica na Arte Interativa

enviar informaes, ou seja quando o pblico ficar quieto,

sem que a interface capte alguma informao. A ao ou
no ao do pblico est relacionada com a potica da
obra.
O tempo de retorno das aes do pblico na instalao
tambm relativizado, podendo acontecer em tempo real
ou deslocado, produzindo percepes diferenciadas de
tempo/espao.
O grau de percepo da interao tambm um fator
explorado, dependendo dos objetivos da obra, cuja
interface pode funcionar como um interruptor, deixando
claro como, quando e o que a interao provoca, at graus
mais complexos, nos quais no percebemos a nossa
interao com os eventos. Nessa gama de possibilidades,
um jogo ldico pode ser utilizado com o pblico, atravs
da sua relao com as interfaces.
Mas encontramos tambm um jogo com as interfaces,
no qual o artista cria um recurso geralmente artesanal,
atraindo o pblico e fazendo-o pensar que esse recurso a
interface com a qual o sistema recebe as informaes e
provoca as modificaes no ambiente. Denominamos este
recurso de Falsa Interface.
IV. CONCEITO DE FALSA INTERFACE
As instalaes artsticas interativas tm utilizado os
mais variados tipos de interfaces tecnolgicas, das mais
variadas formas, explorando as maneiras do pblico
interagir com o sistema. A interface apenas um dos
elementos do sistema, que em conjunto com outros
elementos, alm do pblico configura a obra. As
interfaces tecnolgicas so utilizadas diretamente em
contato com o pblico ou intermediadas atravs de algum
elemento, que denominamos aqui de Falsa Interface. Ela
no um elemento decorativo ou suprfluo, sendo
utilizada das mais variadas formas, e sempre adaptada ao
conceito da obra. Nesse caso o pblico se relaciona
diretamente com a Falsa Interface e no
intencionalmente com a interface tecnolgica. A Falsa
Interface a construo de algum elemento fsico,
geralmente um recurso artesanal, que se torna o centro de
ateno para a interao, deixando a interface tecnolgica
em segundo plano e muitas vezes despercebida (invisvel).
A Falsa Interface atua mapeando as reas sensveis
da interface tecnolgica, construindo com isso, uma
relao indicial entre as duas, o que permite o pblico
atuar numa e ativar a outra.
A falsa interface pode mudar a forma de atuao
corporal do pblico solicitada pela interface tecnolgica,
pois as caractersticas da Falsa Interface podem ser
diferentes, embora estejam relacionadas fisicamente com a
sensibilidade da interface tecnolgica. Podemos ter um

sensor de movimento das pessoas no ambiente e ao

mesmo tempo utilizar objetos (Falsa Interface) que
estimulem o pblico a produzir um som, porm ser o
movimento do objeto com a mo do pblico e no o som
que enviar uma informao ao sistema, pois o sensor
utilizado de movimento e no sonoro. Mas a produo
de som participar da construo potica, embora no seja
o definidor da interao tecnolgica. Caso a interface
utilizada fosse um sensor sonoro, os objetos no
funcionariam como uma falsa interface, pois teriam a
funo de produzir sons diretamente para interface
tecnolgica. Estas diferenas so essenciais para o
processo criativo da obra.
No caso do sensor de presena que capta o movimento
do pblico e envia sinais para o programa realizar algum
evento no ambiente, o gesto do pblico pode funcionar
apenas como um interruptor invisvel, sem relao do
gesto com o evento. Nesse sentido a criao de uma Falsa
Interface pode produzir um significado na relao da
atuao do pblico com o evento.
O convite ao pblico para a interao pode no ficar
claro muitas vezes, ou por falha no projeto ou por
definio do artista, que cria um jogo com o pblico, que
pode ter sentido ou no, dependendo do contexto todo da
obra.
A forma de interao no deve ser indicada por um
manual ou texto explicativo, mas sim pelo design ou pelo
contexto, que deixa sinais do convite interao, quando
assim o artista desejar. Presenciamos em muitas intalaes
o pblico pulando, gesticulando, falando, quando a
interao no acontece por nenhuma dessas atividades, e
porque a forma de interao est incompreeensvel na
estrutura da obra. A Falsa Interface pode surgir como
uma estratgia, alm de soluo potica, para atrair o
pblico para a forma de interao.
Abaixo apresentamos um esquema da estrutura de um
sistema interativo utilizando uma Falsa Interface.

Fig. 2- Esquema de sistema interativo utilizando uma Falsa

Interface.

7th International Conference on Digital Arts ARTECH 2015

M. Sogabe / Subverso e Falsa Interface como Potica na Arte Interativa

Nesta estrutura a pessoa interage com a Falsa

Interface construda para criar um centro de ateno,
como um convite interao, embora o input para o
sistema no seja enviado por ela e sim pela interface
tecnolgica que capta a atuao do pblico, no momento
que este se relaciona com a Falsa Interface. O sistema
retorna uma nova situao para a pessoa, que de alguma
forma vai entender o resultado como consequncia de sua
relao com a Falsa Interface, construindo um
significado e uma potica.
O termo Falsa Interface uma denominao
construda sob o aspecto de que imita uma interface
tecnolgica, mas no opera como uma, no sentido de
captar uma informao e enviar ao sistema. Nesse sentido
falsa pois ocupa o lugar da outra, sem desempenhar suas
funes.

179

sons, relacionados s diversas reas no campo de viso da

cmera.
Outra obra que utiliza o mesmo recurso de Andr
Damio, denominada Crack4 [10]

V. EXEMPLOS DE FALSAS INTERFACES

Para podermos entender melhor o conceito de Falsa
Interface trazemos alguns exemplos.
A instalao de David Rokeby denominada Very
Nervous System [9] participante da mostra no MAC-USP
em So Paulo, em 1995, como parte do evento Arte no
Sculo XXI, consistia em uma sala vazia com duas linhas
de barbantes esticados de um ponto, no meio da sala, para
outros dois pontos, na parede oposta, formando um
tringulo, na altura do teto, com vrios pedaos de
barbantes pendurados neles. Para uma obra no contexto da
arte-tecnologia, ela parecia muito artesanal contendo s
barbantes pendurados. Porm, quando o pblico
ultrapassava o espao delimitado pelo barbante, alguns
sons aconteciam. As pessoas ultrapassavam com as mos,
com o p e entravam no espao delimitado pelos
barbantes, percebendo que os seus movimentos produziam
diferenciados sons. Aquele espao delimitado por
barbantes ganhava um novo aspecto e significado para a
interao do pblico. Porm, os barbantes no tinham
nenhuma funo tecnolgica, mas sim potica. O que de
fato aqueles barbantes estavam fazendo era materializar,
delimitar o campo de viso de uma cmera, que formava
aquele ngulo, saindo de um ponto da parede onde estava
localizada e captando tudo o que acontecia no seu ngulo
de viso.
De fato, quem enviava a informao para o programa
no computador era a cmera e no os barbantes, porm a
maneira como os barbantes estavam estruturados no
espao, construa uma conexo direta com o campo visual
e o funcionamento da cmera, que era a interface
tecnolgica e captava o movimento do pblico, enviando a
informao para um programa, que acionando os diversos

7th International Conference on Digital Arts ARTECH 2015

Fig. 3- Publico interagindo com a Falsa Interface.

Crack4 de Andr Damio.

Encontramos uma clavinova em um canto de uma sala,

com 9 quadrados brancos e alguns cdigos dentro desses
quadrados organizados no piso em 3 linhas e 3 colunas,
em frente clavinova.
Quando pisamos em um dos quadrados um som
acontece e medida que vamos pisando em outros
quadrados, outros sons so ativados, construindo uma
composio. Como se fosse um jogo de amarelinhas, o
pblico comea a se movimentar e a produzir uma msica.
Da mesma forma que a cmera em Rokeby, h uma
pequena cmera localizada discretamente, quase
imperceptvel, no meio da clavinova, que enquadra os
nove quadrados na sua rea de viso. Mesmo que o
pblico visualize a cmera, ela fica em segundo plano e os
quadrados com cdigos que se tornam o elemento com o
qual vo brincar e interagir com a obra.
Estas so apenas duas obras que tomamos como
exemplos para entendermos melhor como a Falsa
Interface est presente na obra, mas podemos encontrar
vrias obras interativas que fazem uso de recursos
semelhantes, como um recurso potico.

180

M. Sogabe / Subverso e Falsa Interface como Potica na Arte Interativa

VI. CONSIDERAS FINAIS

REFERENCES

Embora tenhamos ressaltado a possibilidade de uso do

recurso potico da Falsa Interface, isso no desmerece
ou invalida a utilizao direta das interfaces tecnolgicas,
muito pelo contrrio s enriquece a diversidade de formas
de pensamento que a arte provoca. A maioria da obras
interativas faz mais o uso direto das interfaces
tecnolgicas na interao com o pblico, do que
intermediado atravs de algum outro recurso, como a
Falsa Interface. Existem outras instalaes onde a
interao no com o pblico, mas com outras
possibilidades, ou interaes mistas com o ser humano e
com outros elementos conjuntamente. Metacampo [11]
uma instalao do Grupo SCIArts, que funciona com o
resultado da presena do pblico em conjunto com
informaes climatolgicas.
A proposta de uma explorao do espao existente nas
instalaes de arte, traz com a tecnologia digital um
espao que primeiramente parece vazio, porm as
interfaces transformam esse espao, tornando-o cheio, de
uma outra materialidade sensvel, onde o pblico atua.
Nesse sentido as instalaes continuam explorando o
espao, mas agora um outro tipo que se configura como
um espao sensvel, conectando tudo que nele existe.
O que a arte-tecnologia tem feito explorar ao
mximo as possibilidades criativas no uso das tecnologias,
extraindo o potencial existente nelas, percebendo e
refletindo sobre novos aspectos da realidade. Nesse
processo no h normas e nem verdades, apenas h uma
diversidade de vises que enriquecem a capacidade
criativa humana.

[1] Gilbert Simondon, Du mode dexistence ds objets

techniques. Aubier Montaigne, Paris, 1969.
[2] Lars
Lundehave
Hansen,
Spiderbytes.
In
http://monoeffect.com/index.php/works/recent/spiderbytes.
Acedido em 10/10/2014.
[3] Martin Klimas, Ich sehe was, was du nicht horst. In
http://www.martin-klimas.de/de/index.html. Acedido em
10/10/2014.
[4] Paulo Vivaqua. In http://paulovivacqua.com/. Acedido em
10/10/2104.
[5] C.Sommerer, L.C. Jain and L. Mignonneau, The Art and
Science of Interface and Interaction Design. Heidelberg:
Springer Verlag, 2008.
[6] Alexandra Cristina Moreira Caetano, Paisagens
sinestsicas: processos criativos com dispositivos de
biofeedback. In
http://www.anpap.org.br/anais/2013/ANAIS/comites/pa/Ale
xandra%20C%20M%20Caetano.pdf. Acedido em
15/10/2014.
[7] Flusser, Filosofia da caixa preta. So Paulo: Hucitec,
1985.
[8] Gilbert Simondon, Du mode dexistence ds objets
techniques. Aubier Montaigne, Paris, 1969.
[9] David Rokeby, Very Nervous System In
http://www.davidrokeby.com/vns.html. Acedido em
20/10/2014.
[10] Andr Damio, Crack4. In http://vimeo.com/47125643.
Acedido em 20/10/2014.
[11] Grupo SCIArts, Metacampo. In
http://www.emocaoartficial.org.br/pt/metacampo/. Acedido
em 24/10/2014.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

181

Transforming pixel hierarchies: the new materiality of the city

image
Linda Matthews and Gavin Perin
School of Architecture, University of Technology, Sydney, New South Wales, Australia
Abstract The imaging of the contemporary
city is a reflection of proprietary and civic ambitions and
concerns. Referencing a series of tests that draw upon the
urban webcams optical scan-order patterns, the paper
reveals how their incorporation within the architectural
surface can disrupt the cameras capacity to create either a
coherent, legible image or one that privileges selective
areas of content. As a result, the paper shows how the
numerical basis of the digital image establishes a direct
and predictable relationship with the citys viewed surface
such that any narrativist interpretation or representation
of urban space can be forestalled.
Index Terms Representation, raster, scan,
camera, faade.

I. INTRODUCTION
While the advent of linear perspective geometry
liberated representation from earlier cumbersome
pictorial techniques it also opened up the opportunity for
personal ideology to be introduced into the imagemaking process. The newfound ability to represent the
visible world according to systematised mathematical
principles meant that this rational and repeatable
procedure was not only highly portable and
distributable, but it also instigated a powerful syntactic
relationship between the viewer and the picture plane.
Irwin Panofsky [1] describes the viewing condition
established by linear perspective geometry as symbolic
in the sense that the observers optical and physical
relationship to the viewed surface ensures a
predetermined apperceptual outcome, much in the same
way as the arrangement of words within a sentence
determines the value and trajectory of semantic intent.
Importantly, perspective geometry draws upon
particular aspects of human perceptual procedures to
accomplish the symbolic distribution of the visual
relational field. With shape being the most dominant
component of the human visual system (HVS),
Renaissance examples reveal that the gaze trajectories
of perspectival representation relied directly upon the
natural optical saliency of architectural angles and sharp
curves to delineate a forward trajectory along the ideal
diagonal line from the paintings vanishing point. This
construct thus ensured that the paintings narrative
would unfold in a specific and predetermined way. The
development of film and the moving image in the 20th
century saw a continuation of the narrativist tradition
associated with perspective-based image-making, but, as
7th International Conference on Digital Arts ARTECH 2015

Walter Benjamin argues, it co-opted different optical

procedures for the reception of image content from that
of its static pictorial counterpart. The camera introduces
us to unconscious optics as does psychoanalysis to
unconscious impulses. [2] Because the optical scanning
process of the HVS (saccadic motion) establishes an
internal cognitive model that serves as a basis for the
viewers planned perceptual actions, the viewing of a
scene is highly dependent upon the enactment of this
model in the form of the viewers goals beyond the
next fixation. [3] Analogously, in film, this means that
the integration of successive shots can be guided by
narrative-based expectations. For Benjamin, the
collective effect of this new camera technology was not
only to distribute the representation of space as a series
of multiple fragments, but also to open up a new set of
optical conditions that relate directly to this spatial
multiplicity, the multiple fragments which are
assembled under a new law. [2] It is thus the imagemaker who can choose to co-opt technology to apply
these laws either in support or in contestation of the
narrativist model.
The representation of the city has long had an
analogous, historical reciprocity with the role of
architectural form in the urban narrative. In the
contemporary city the influence of the image-maker is
evidenced by the appropriation of scanpath trajectories
that mimick the HVS, maximising image saliency to
produce a minimal discrepancy between robotic and
human vision. In architectural (and Benjaminian) terms,
this then also opens up the opportunity to engage the
citys form in the application of the new laws of
fragmentary urban space and the optical peculiarities
that operate within this context. With the city now
presented by the distributed digital camera webcam
network as a series of viewed surfaces, the appropriated
procedures of the HVS thus become the ground where
the architectural outplayings of these news laws can be
investigated.
This paper discusses how the procedures of new
digital viewing technologies can offer the architect new
materials and techniques that might delineate the
operation of these new laws. By directly referencing the
webcams appropriation of the technical procedures of
the HVS to deliberately manipulate the viewed surface,
the paper shows how the data-based nature of the digital
image can be indexically linked to the construction of
the citys viewed surface. Referring to recent tests that
draw upon the optical scan order patterns within

182

L. Matthews and G. Perin / Transforming pixel hierarchies: the new materiality of the city image

technical camera protocols, the paper shows how the

transposition of these optical patterns from a micro to a
real scale as building faade surfaces allows the
architect to control a buildings Internet reception.
Furthermore, through the strategic introduction of these
saccadic patterns into a buildings surface as new
hyper-pixel arrangements, the tests reveal how these
digital mirrors disrupt the cameras capacity either to
create a coherent, legible image, or to inscribe it with a
viewing hierarchy that privileges selective areas of
content. Thus, by drawing the observers attention to the
constructed nature of the viewed surface, any narrativist
or singular representation of urban space is dismantled.
II. IMAGE SENSOR ARCHITECTURES
The geometry of the IP network webcam assembles
the basic image unit, the pixel, into groups to which
integer values of both colour and luminosity are
assigned. [4] The cameras image sensor uses various
architectures to convert the analogue electrical light
charge into a digital value, and all of these processes
involve the encoding, decompression and subdivision of
information into sequences of scan lines or raster
scanning. [5], [6] The procedure of ordering of pixels by
rows is a highly strategic one whose direction and
vertical retrace action are controlled by a predetermined algorithm based upon saccadic scanpaths of
the HVS and programmed to produce, above all, a
smooth, moving image. Many variations of this scanorder code also enable the process to isolate and
prioritise image regions of specific interest, which
further attests to the availability of this image-making
system to intervention by those whose interests it serves
to promote a particular type of iconic city view.
Digital cameras focus incoming light onto a lightsensitive, solid-state sensor comprising a rectangular
array of equidistant discrete light-sensing elements or
photo-sites. Each photo-site then becomes electrically
charged in direct proportion to the amount of light that
strikes it over a given time period.1 [8] The IT-CCD
design referred to in this paper, comprises legible strips
of photo-sites located either horizontally or vertically in
the array to transfer the accumulated charges. The
Interline transfer sensor uses either 2:1 interlaced
scanning or progressive scanning to display a video
image on an electronic screen, which it does by
scanning each row of pixels in a particular order and
1
The tests undertaken in this paper refer to technology using
CCD rather than CMOS image sensor architectures for imageprocessing. While both methods utilise a scanning process to
convert the electrical charge into a digital value, the CCD
sensor has ten times more light sensitivity than CMOS sensor,
which has poorer dynamic response. (The human eye can see
objects under a light condition of 1Lux whereas the CCD
sensor exceeds the capacity of the eye: under approximately
0.1 3Lux). [7]

orientation. The interlaced scanning technique described

here uses two fields to create a frame: one containing
the odd lines and the other containing the even lines of
the image. [9]
III. SCAN PATTERN ADAPTATION STRATEGIES
Access to the diverse range of scanning strategies
employed by proprietary camera hardware and software
manufacturers is not commonly available. However,
Klette and Rosenfeld [10] refer to at least six varieties
that include a selective version of the standard zigzag
raster scanning sequence used in interlaced scanning.
Also Cantonis discussion of artificial vision technology
procedures presents a wide range of scan patterns based
upon two distinct strategies: deterministic space-filling
paths and random paths, the latter drawing upon the
saccadic eye movements of the HVS. [11]
Three deterministic patterns were used as a basis for
the test to represent the most tightly controlled imagescanning techniques for the production of a highly
legible and curated image. (Fig. 1) This type of pattern
would thus theoretically produce the fewest
undesirable artefacts as well as have the capacity to
target specific areas of interest. Also these particular
pattern types open up the possibility of revisiting cells to
enable even higher levels of image scrutiny and
curation. [11] Relying upon a principle of vastly
increased scale, the tests would then adapt these three
patterns, extrapolated from their original micro context
within the camera, and redeploy them as mirrored
architectural faade elements. These hyper-pixel
mirror arrangements of the buildings faade elements
would then test for any interference with the cameras
pre-determined internal scanning mechanism, which
would be evidenced by the legibility of the ensuing
image.
The first pattern selected represents a standard raster
scanning sequence which also happens to correlate with
the documented scanning sequence of interline transfer
or CCD sensors [12]. The second pattern visits only
adjacent cells on a 4- or 8-connected neighborhood
where the scanning sequence commences from the
centre of the image. This pattern means that pixels with
high autocorrelation values are covered, leading to
image compression; and the third is a recursive Zpattern based upon a hierarchical approach
corresponding to the projection of the binary tree-data
structure. [11]
The intention here was to identify which mirrored
scan order pattern would create the highest level of
disruption to the resulting image and to tabulate these
effects upon the cameras reception of the surface
according to variations in both pattern and orientation.
This would then offer the architect a calculable way of
drawing attention to the constructed nature of the
webcam image through the adjustment of the effect of a
7th International Conference on Digital Arts ARTECH 2015

L. Matthews and G. Perin / Transforming pixel hierarchies: the new materiality of the city image

buildings surface, and by disrupting the intended

smoothness and stability of the urban narrative. Also,
the tests show that digital geometrys capacity to be
operative across an infinite range of scales and to be
assembled into highly controllable and repeatable pixel
patterns means that these new pattern assemblies are
able to be linked indexically to the optical effects of the
built surface.
IV. SCAN ORDER TESTS
A. Test2 Strategy
The results of the individual patterns were processed
in two ways: firstly, simply by empirical observation,
and secondly by using Photoshops luminosity
assessment function. The fragmented version of each
pattern was not included in the quantitative assessment
of luminosity transmission to ensure the same quantum
of luminosity was being tested.
All three patterns were positioned in front of the
camera in the exact mirror arrangement of the original
scan order patterns referred to above. These were then
rotated 45 to interfere deliberately with any correlation
between the camera scanning pattern and its counterpart
faade element and to act as a control for the
horizontal position. A third discontinuous or fragmented
variation of each rotated pattern was then introduced to
further intervene within any pre-determined scanning
pattern legibility.
B. Test Results
Pattern 1: standard raster scanning sequence: At
the lower end of the cameras zoom range (between 1x
and 20x or f-1.8 and f-3.3)3, this pattern was almost
2
The tests were conceived and conducted by one of the
authors of this paper using a Sony SX43E Handycam Digital
Video Recorder. This technology is comparable to the
Kintronics Long Range IR PTZ surveillance camera. For the
purpose of these particular tests, the areas of operational parity
are as follows: both cameras have CCD sensors which use
interlaced scanning and both have a zoom capacity of 60x.
The scan-order patterns were cut from 3mm opaque black
acrylic squares and then placed individually in front of a single
LED light source: a 30W Par 64 RGB LED to simulate the
type of building light emission conditions that would operate
at night within an urban context. The camera was then placed
at a distance of eight metres from the image plane. The light
source was located directly behind the image plane at a
distance of .5 metres. This represents a scaled approximation
of the standard Internet camera viewing distance from a
brightly lit image source where a relative scale of 1:10
operates. i.e. the eight metre image plane distance in the test
correlates with an eighty metre distance in an exterior
environment. Similarly, the scan-order pattern elements used
are 360mm2, correlating with a typical building faade element
of 3.6 m2.
3
The link between the zoom action of the camera and specific
f-stop or lens aperture increments means that any disruptive

7th International Conference on Digital Arts ARTECH 2015

183

illegible in its horizontal orientation. (Fig. 3) Also, of

particular significance is the fact that while this issue
improved in the mid-range of the zoom trajectory, at the
high end of the cameras zoom range (f-6) it was unable
to resolve the pattern at all. The camera produced
instead a constant fluctuation in the focusing action
while attempting unsuccessfully to capture the object.
(Fig. 3) Paradoxically however, the 45 rotated version
of this pattern was far more legible than its horizontal
counterpart throughout the cameras entire zoom range
producing a pattern of highly definition (with the
exception of the very low end of the zoom trajectory,
between f-1.8 and f-2.3. although even in this range the
rotated version had more clarity). (Fig. 4) The third
combination of the previous two patterns showed this
pattern to be diminished at the lower end of the
cameras zoom range, but resolved and legible at the
high end.
Pattern 2: 4- or 8-connected neighborhood
scanning sequence: At the lower end of the zoom range
[between 1x and 20x], this pattern was almost
indistinguishable in its horizontal orientation, however,
unlike Pattern 1, this problem resolved at the higher end
of the cameras zoom range to produce a fairly clear
image. Furthermore, just as in the case of Pattern 1, the
45 rotated version produced a very different result from
the horizontal version of the pattern, where it produced a
clear, legible image throughout the cameras entire
zoom range. The combination of the previous two
patterns once again produced a result somewhere
between them.
Pattern 3: recursive Z-pattern scanning sequence:
Just as in the case of the previous two patterns, this
pattern was almost indistinguishable in its horizontal
orientation at the lower end of the zoom range. Also, as
in the case of Pattern 2, this resolved at the higher end
of the range to produce a moderately clear, legible
image. Once again, as in the case of Patterns 1 and 2,
the 45 rotated version of this pattern produced a clear,
legible image throughout the cameras entire zoom
range. The combination of a 45 rotation and a
discontinuous pattern produced similar results to the
horizontal version of this pattern. At the lower end of
the zoom range, the pattern articulation was almost
indistinguishable, however this condition resolved at the
higher end of the range to produce a moderately clear,
legible image.
Finally, in the case of all three patterns tested, there is
also a defined zone within the cameras f-stop range
between f-2.3 and f-3.3, which is critical to pattern
legibility. Within this zone the pattern gradually
characteristics that occur within the image due to the
introduction of scanning patterns can be accurately identified
and tabulated. Furthermore, this also establishes a predictable
link between the assembly of the image and the construction
of the architectural surface.

L. Matthews and G. Perin / Transforming pixel hierarchies: the new materiality of the city image

184

emerges and disappears in both the inward and outward

zoom trajectories respectively. (Fig. 2)
C. Test Summary
The results of the tests show that both pattern type
and orientation are critical factors in the cameras ability
to receive and interpret digital data relating to the
representation of shape in the image. In all patterns, the
horizontal presentation of the pattern to the camera (the
mirror image of the original scan order pattern)
produced consistently greater levels of disruption to the
cameras capacity to produce a clear and legible image
than any other orientation. This was particularly evident
in Pattern 1, the slit pattern, based on the standard raster
scanning sequence, where the camera was unable to
resolve the image for the majority of the cameras zoom
trajectory. (Fig. 4)
However, in direct opposition to this, the 45 rotation
of each pattern to the camera produced consistently
greater levels of image clarity and legibility than any
other orientation. (Fig. 4)
Finally, another significant result of the tests is the
identification of a zone of pattern emergence, a brief
yet critical moment within the cameras zoom path in
the middle of the zoom range where the viewer is able
to understand pattern salience and thus the distinctive
relationship between objects within the viewed content
of the image. (Fig. 2)
V. PROJECTIVE ARCHITECTURAL OUTCOMES
With the types of repetitive behaviours seen in these
tests evident across a range of extrapolated patterns that
are directly linked to predictable saccadic protocols of
the HVS, the opportunity to further tie them to the
viewed material surface is presented. Furthermore, what
is really at stake here for the architect then is precisely
the type of surface effect, and its role within the greater
urban representation, that the re-application of these
protocols as material surface makes possible.
To provide some practical examples of this, if the
intention were to disrupt a clear presentation of a
buildings faade across the full extent of the webcams
zoom trajectory, then Pattern 1, the horizontal slit
pattern based upon a standard raster scanning pattern,
would be the ideal choice. Furthermore, within an urban
context, the introduction of a 45 rotated version of the
same pattern to the faade of a building in an adjacent
location would, because of the extreme clarity of this
version of the pattern, draw attention to and enhance the
effect of its horizontal counterpart. This then starts to set
up a series of predictable faade articulations that
strategically deploy different versions of the same
pattern in order to vary faade legibility. Importantly,
these degrees of visibility are directly tied to known and
pre-determined increments of the cameras zoom
trajectory. In this way the architect is able to introduce a

series of articulated patterns into the structure and

material of a buildings surface that work directly
against the creation of a stable image of urban space.
Examples of the ways in which these patterns might be
strategically applied to a building faade in conjunction
with the increments of the cameras zoom trajectory can
be seen in Figure 5.
VI. CONCLUSION
To return to Walter Benjamin, by identifying
repetitive behaviours that pertain to the fragmented and
distributed presentation of urban space, the rules for its
assembly and role within the urban narrative thus begin
to be understood. Importantly, so too the relationship of
these rules to the construction and role of architectural
form within this narrative also begins to emerge.
Extending Benjamins thesis into a modern digital
context, if the role of the image-maker is to penetrate
the web of reality, [2] then the architects role is to
draw attention to the constructed nature of image
content rather than to slip into compliance with the
promotion of any iconic or utopic urban narrative.
For this reason then, the results of the tests
summarised above begin to suggest new ways in which
this narrative might be able to be avoided, or indeed,
completely
disrupted.
The
extrapolation
and
incorporation of selected technical camera protocols
directly into the urban surface would thus provide a
means whereby the production of a stable, smooth
representation is not only avoided, but also whereby
variations and progressions in a buildings clarity can be
selectively determined by the architect according to its
location within the cameras f-stop range. This then
instigates a predictable, indexical link between the
assembly of the image and the construction of the citys
surface.
In this respect then, by acknowledging the new law
[2] that presides over the fragmented space presented by
contemporary digital viewing technology, the architect
is able to draw upon this technologys direct
appropriation of HVS protocols to ensure that these do
not exclusively reflect the promotion of any singular or
individual ideal. Only under these circumstances can the
perception of urban space remain an ongoing and open
negotiation between the technology that represents this
space and the generative processes that underpin its
architectural content.
References
[1] E. Panofsky, Perspective as Symbolic Form, New York:
Zone Books, 1991.
[2] W. Benjamin, The Work of Art in the Age of Mechanical
Reproduction, USA: Classic Books, 2009.
[3] J. E. Hochberg, M. A. Peterson, B. Gillam, and H.
Sedgewick, In the Mind's Eye: Julian Hochberg on the

7th International Conference on Digital Arts ARTECH 2015

L. Matthews and G. Perin / Transforming pixel hierarchies: the new materiality of the city image

[4]

[5]
[6]
[7]

[8]
[9]

Perception of Pictures, Films, and the World, USA:

Oxford University Press, 2007. p. 400.
J. Zeimbekis, Digital Pictures, Sampling, and
Vagueness: The Ontology of Digital Pictures, The
Journal of Aesthetics and Art Criticism, vol. 70, no. 1, pp.
4353, 2012. p. 44.
J. D. Foley, A. van Dam, S. Feiner, and J. Hughes,
Computer Graphics: Principles and Practice, Reading,
Mass: Addison-Wesley, 1995.
H. Kreugle, CCTV Surveillance: Analog and Digital
Video Practices and Technology, Amsterdam: Elsevier
Butterworth Heinemann, 2007.
CCD vs CMOS in Video Surveillance Cameras,
VSTAR. 2011. <http://www.hkvstar.com/technologynews/ccd-vs-cmos-in-video-surveillance-cameras.html/>
(accessed 27/11/ 2012).
Anatomy of a Camera, National Instruments, 2012.
<http://www.ni.com/white-paper/2703/en#toc5/>
(accessed 27/11/ 2012).
Image Scanning Techniques, Axis Communications,
2012.
<http://www.axis.com/products/video/camera/progressive
_scan.htm> (accessed 27/11/ 2012).

7th International Conference on Digital Arts ARTECH 2015

185

[10] R. Klette, and A. Rosenfeld, Digital Geometry:

Geometric Methods for Digital Picture Analysis,
Amsterdam, Boston: Elsevier, 2004.
[11] V. Cantoni, 3C Vision: Cues, Contexts, and Channels,
London; Waltham, MA: Elsevier, 2011.
[12] Y. Wang, J. Ostermann, and Y-Q Zhang, Video
Processing and Communications, USA: Prentice-Hall,
2002.

186

Fig. 1.

L. Matthews and G. Perin / Transforming pixel hierarchies: the new materiality of the city image

Scan order patterns used in tests.

Fig. 2. Transitional range of pattern legibility between f-2.3 and f-3.3.

Fig. 3. f-stop sequence of Pattern 1 in horizontal orientation showing the cameras inward zoom trajectory and the
progression towards an illegible and unstable pattern at f-6. Video sequence showing the inability of the camera to
resolve Pattern 1.

Fig. 4.

f-stop sequence of Pattern 1 in 45 rotated orientation showing legibility of pattern throughout zoom trajectory.

7th International Conference on Digital Arts ARTECH 2015

L. Matthews and G. Perin / Transforming pixel hierarchies: the new materiality of the city image

Fig. 5.

187

Application of tested scan order patterns to hypothetical building faades at f-1.8 aperture (top), the furthest
extent of the cameras zoom range; f-3.3 (middle), mid-range; and f-6 (bottom), the closest extent of the
zoom range, showing the variation in the cameras response to the faade pattern according to these
increments.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

189

Um Exemplo de Cibercorpo na Dana: A Performance e o

Pensamento de Isabelle Chonire
Ludmila Martinez Pimentel1 e Isa Sara Rego2
1
Escola de Dana da Universidade Federal da Bahia (UFBA), Programa de PsGraduao em Dana, Eltrico Grupo de Pesquisa em Ciberdana (CNPq),
Coordenadora e Bolsista PIBID-UFBA (CAPES), Brasil.
2
Laboratrio baco Grupo de Pesquisas Interdisciplinares sobre Tecnologia na
Educao (CNPq), Programa de Ps-Graduao em Educao da Universidade de Braslia
(UNB), Brasil, Secretaria de Estado de Educao do Distrito Federal (SEEDF), Brasil.

Abstract Propomos que existe um novo corpo

para se danar na Contemporaneidade a partir do advento
das tecnologias digitais; a essa nova categoria chamamos
aqui de cibercorpo. Mas o cibercorpo no nasce do vazio,
ou do efmero, o cibercorpo possui antecedentes histricos,
em nossa proposio, nos movimentos artsticos do
happenings, body art e da performance. O Cibercorpo
tambm se constri e se baseia na tradicional e histrica
interface entre corpo e linguagem da Dana, assim que
utilizamos a coregrafa e performer Isabelle Chonire
como nosso exemplo da categoria de cibercorpo na Dana.
Index Terms
Corpo, Ciborgue, Dana,
Tecnologia, Performance.

I. INTRODUO
Contemporaneamente incide sobre o corpo um dos
pilares do paradigma da hibridizao nas artes, para
Fernanda Bruno [1] a arte tecnolgica vem
problematizando os limites e as fronteiras do corpo em
duas linhas: a intruso da tecnologia que reconfigura o
espao interno e externo do corpo alm de sua relao
com a tcnica e os processos de amplificao e
ramificao do corpo no espao externo, j que o corpo
pode, atravs de dispositivos tecnolgicos, multiplicar
suas capacidades de expresso, afeco e conexo, para
alm da pele e dos limites naturais, ou seja, a
tecnologia anima e redimensiona o corpo,
reconfigurando o humano (BRUNO, p.107).
Entretanto podemos evidenciar quer que seja no
campo da dana, quer que seja no campo das artes no
geral, no momento contemporneo a relao corpotcnica se constri de forma to intensa que a tcnica
deixa de habitar a extremidade ou exterioridade do
corpo. E, assim com a tcnica a arte ingressa no corpo
(BRUNO, p.99). tambm incisivo que o que est em
evidencia na atualidade so trabalhos que promovem o
acoplamento corpo-mquina ou corpo-rede nos quais o
corpo do artista dialoga com sensores, eletrodos,
dispositivos robticos, computadores e sistemas de
comunicao (BRUNO, p.105), explicitamos assim
que est em jogo novas possibilidades de expresso
estticas e poticas. Consequentemente se h novos
jogos de construo artsticas novas estticas e poticas
tambm surgem novas categorias de corpo a serem
7th International Conference on Digital Arts ARTECH 2015

investigadas. Evidenciamos que o corpo h muito tempo

objeto tcnico de manipulao, transformao e
produo artstica. Este corpo-objeto acoplado e
interfaceado com a tecnologia, que o modifica em suas
propriedades materiais. nele que reside a experincia e
a criao, lugar convidativo pesquisa cientfica e
artstica. Ao diversificar-se, atravs das tecnologias
digitais, o corpo potencializado no apenas como
locus de exerccio de proezas tecnolgicas, mas tambm
territrio de novas construes artsticas, de novos tipos
de artes, que questionam os limites anteriores e que
demarcam nossa experincia corporal e humana.
Para propormos o nosso conceito de cibercorpo,
primeiramente revisitaremos alguns movimentos
artsticos anteriores Contemporaneidade, para
evidenciarmos assim que a Arte contempornea se
caracteriza, bem como esses movimentos precursores a
ela, em colocar o corpo no centro das investigaes
estticas contemporneas, tornando-o como principal
objeto/tema a ser investigado; as novas artes questionam
o corpo, o discurso do corpo, as fronteiras do ultrahumano, evidenciado tambm nas performances
contemporneas de Dana.
II. ANTECEDENTES HISTRICOS DO CIBERCORPO
Para mapear historicamente os movimentos artsticos
percussores da nossa proposio de cibercorpo,
iniciaremos essa trajetria com os movimentos
artsticos do happening nos anos 60, da body art dos
anos 70 e da performance dos anos 80 e sculo XX.
Recorrendo primeiro a Jorge Glusberg [2] que ressalta
que o denominador comum entre o happening, body art
e a performance o desfetiche do corpo humano,
trazendo-o sua verdadeira funo: a de instrumento da
humanidade. No intento de elucidar a performance
podemos defini-la como algo que ainda no foi
nomeado, que carece de uma tradio, ou de lugar nas
instituies uma espcie de matriz de todas as artes.
Essa matriz teria sido iniciada por Yves Klein em 1962
quando ele torna seu corpo como protagonista da obra,
na sua clebre obra O Salto no vazio, evidenciando a
condio do corpo na Contemporaneidade: ser

190

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

confrontado em seus limites, em sua condio de

existncia, em sua materialidade especfica.
Glusberg considera como sendo movimentos
precursores da performance, o kabuki, o n, o
Futurismo, o Dadasmo, o Surrealismo e a Bauhaus.
Contudo, a performance se torna um gnero artstico
independente a partir do incio dos anos setenta do
sculo XX, e citando alguns exemplos histricos
referendamos a John Cage em 1952 com o espetculo
multimdia Untitled Event, cuja proposta era a fuso de
cinco artes (o teatro, a poesia, a pintura e a msica),
conservando entretanto a individualidade de cada
linguagem e, ao mesmo tempo, constituindo essa unio
tambm como uma nova linguagem artstica, surge
assim uma nova arte.
Cage estava propondo junto a nomes marcantes da
poca como Cunningham, Rauschenberg, David Tudor,
Mary Richards e Charles Olsen, uma verdadeira
collage de mdias, um exerccio inicial de arte hbrida
ou Media art. A importncia de Cage na reviso
histrica do corpo, para propormos o conceito de
cibercorpo, que ele aplicava suas ideias sobre acaso e
determinao, dois conceitos norteadores do processo
de criao artstica contempornea, em corpos humanos
e no em outra materialidade, ele distribua partituras
do corpo com momentos de ao, quietude e silncio,
constituindo assim o happening como uma nova arte
naquele momento. Uma declarao de cinquenta
artistas da poca (1965) traz definies mais precisas
sobre o gnero: O happening, para eles, articula sonhos
e atitudes coletivas, no sendo nem abstrato nem
figurativo, no trgico, nem cmico, renovando-se a
cada ocasio.
Com o happening temos o fim da separao entre os
limites estabelecidos anteriormente entre atores e
pblico, desconstruindo essa forma clssica de
relao/interao entre os artistas e o pblico. J a
body-art pode ser tragicamente inscrita quando os
artistas Brus, Mhl e Schwarzkogler, pertencentes ao
Grupo de Viena, nos fins dos anos 60, se
automutilavam chegando at a morte propriamente dita,
como foi o caso de Schwarzkogler, morto aos 29 anos
em consequncia das repetidas flagelaes o qual se
submeteu.
No caso da body-art a presena fsica do artista,
expondo seu prprio corpo servio da arte, o ponto
mais limtrofe para com as outras vertentes da
performance. Merleau-Ponty descreve a relao com o
corpo: em se tratando do meu prprio corpo ou de
algum outro, no tenho nenhum outro modo de
conhecer o corpo humano seno vivendo-o. Isso
significa assumir total responsabilidade do drama que
flui atravs de mim, e fundir-me com ele (apud
GLUSBERG, p.39). Com esse justificativa de MerleauPonty estabelecemos que na body-art, est implcito o
vo sacrificial da arte, onde a imolao a que nos

propomos em cena, nos faz mudar de estado, lugar e de

existncia humana.
Com
a
performance
teramos
uma
proposio/resposta de relocar as artes do campo das
artes para o campo das necessidades humanas bsicas, e
nesse momento da dcada de 80 que surgem novos
conceitos que integraro posteriormente o conceito da
Ciberarte, ou Media art como alguns autores utilizam,
conceitos como collage, hibridizao, interatividade,
participao do pblico (coautoria). O corpo est ainda
mais em evidncia na linguagem da performance e junto
com outras duas variveis, o espao e o tempo,
constituem os pilares do paradigma das artes
contemporneas. Podemos definir performance como
cerimnias sem Deus, rituais sem crenas
(GLUSBERG, p.51), em que o corpo humano torna-se
objeto/instrumento dctil de simbologias, lugar
primordialmente de trabalho. A essncia da
performance que ela no trabalha com o corpo e sim
com o discurso sobre ele, havendo um processo de resemantizao do corpo. Este processo de resemantizao inicia-se com os movimentos naturais
do corpo para numa fase posterior haver a apropriao
destes pelas formas de arte tradicional, como a dana, o
teatro e s depois, numa ltima fase afinal surgem que
uma ressignificao e ressemantizaao do corpo, vindo
dar origem performance como linguagem artstica.
Seria funo da performance promover o
questionamento de dogmas anteriores tocando a
interioridade do sujeito e pondo em crise sua
estabilidade, estabilidade esta que se fundamenta na
repetio normatizada pelas convenes. A performance
vem com a inteno de questionar o desenvolvimento
normal estereotipado, as convenes, os cdigos
institudos.
O artista prope ao receptor um questionamento do
seu prprio corpo, estabelecendo-se a um fenmeno: a
arte-corpo-comunicao. Na performance, o corpo
humano aparece como metfora para todas as
manifestaes de Arte contempornea, tornando-se
suporte semntico que vai servir de eixo fundamental
para a experincia. Assim, a performance resignifica o
corpo historicamente elevando ele categoria do
espetculo em si. Formam-se novas concepes do
corpo, j que nesta forma artstica, o corpo no
concebido para atender formalidades previstas, sendo
sim um objeto, mas de carter particular, um objeto
semitico, objeto-fonte de mensagens e no uma
mensagem em si mesmo. E justamente a partir de
novos territrios habitados pelo corpo na Arte que se
prepara o terreno e o limbo para a construo do
cibercorpo.
Para ns, fundamental perceber essa ressignificao
do corpo que acontece na performance porque ela que
influncia, contamina e faz surgir o conceito de
cibercorpo na Arte contempornea e na Dana,
evidenciando permormers-ciborgues como Stelarc,
Orlan, Isabelle Chonire, Anaisa Franco, entre outros.
7th International Conference on Digital Arts ARTECH 2015

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

III. A PROPOSIO DO CONCEITO DE CIBERCORPO

Propomos afinal que performance, a body-art e o
happening vo favorecer uma nova categoria para o
corpo, o cibercorpo, j que esses movimentos assim
como a prpria Arte contempornea possui carter
transgressor, pois se prope a investigar o prprio
corpo, apresent-lo nu dedicar-se a observar suas
funes intimas, investigar suas potencialidades sexuais,
seu perfil moral, transgredir um dos principais tabus da
sociedade, que regula cuidadosamente, por meio da
proibio, a distino entre corpo e alma
(GLUSBERG, p.100).
Os ciberartistas, como os da performance, rompem
com a estrutura anterior de codificao das artes,
incitando uma minuciosa investigao dos ritmos
internos do corpo, das relaes que o artista constri a
partir dele, seus cdigos e tempos prprios, elaborando
uma nova retrica artstica.
Considerando as performances como transgresses
dentro de uma cultura em que o corpo cotidianamente
condicionado as converses vigentes, e alienado de si
prprio, desde os anos 90 o corpo vai continuar sendo
questionado,
revisto,
revisado,
interrogado
e
transgredido por outros tipos de insero artstica, j
citados aqui por Bruno [1], inseres essas que cada vez
mais aproximam arte-cincia-tecnologia. Estamos
inseridos numa realidade quotidiana imersa na
digitalizao do mundo [3], no qual o corpo no
mais s o biolgico; a hibridizao com as novas
tecnologias permite que atualmente habitemos o
cibercorpo.
O corpo sempre foi um dos lugares da tcnica,
substrato de insero para ela, mais do que isso,
simultaneamente ponto de sada e chegada para a
criao artstica. No processo evolutivo da humanidade,
estivemos sempre potencializando o corpo, absorvendo
tcnicas, numa tentativa primeira de sobrevivncia, mas
que vai at o almejado ideal da imortalidade. A Dana
tambm contribui para este papel de evoluo, j que faz
o corpo evoluir por meio de suas tcnicas. Autointitulando-se delirante e, poderamos acrescentar,
apocalptico, Jean Baudrillard [4] evidencia que o corpo
na Contemporaneidade vive o estgio da ps-orgia, e
afirma que outrora o corpo foi metfora da alma; depois,
foi a metfora do sexo; hoje, j no mais metfora de
coisa nenhuma e sim o lugar da metstase, do
encadeamento maqunico de todos os seus processos, de
uma programao infinita, sem organizao simblica,
sem objetivo transcendente, na pura promiscuidade
consigo mesmo, que tambm a das redes e dos
circuitos integrados.
Para Baudrillard, o destino do corpo tornar-se
prtese, e assim surgem, na Contemporaneidade, corpos
mutantes, transexuais, Baudrillard exemplifica alguns
mutantes: O ectoplasma carnal que a Cicciolina
encontra-se com a nitroglicerina artificial de Madonna
ou com o charme andrgino e frankensteiniano de
Michael Jackson. So todos mutantes, travestis, seres
7th International Conference on Digital Arts ARTECH 2015

191

geneticamente barrocos, cujo visual ertico esconde a

indeterminao gentica(BAUDRILLARD, p. 28).
Revistamos tambm as proposies de Marshal
McLuhan [5], para atentarmos sobre a proposio dele
de uma generalizao sobre as extenses do corpo,
considerando que tudo do ser humano, o seu corpo
biolgico e mental, realiza rbita em torno dele mesmo,
na forma de prteses mecnicas ou informticas.
Refletindo ainda sobre a relao mquina x
humanidade, usamos a pergunta de Baudrillard: Sou
um homem, sou uma mquina? para fomentarmos
nossas discusses. Acreditando no haver mais resposta
para essa questo antropolgica devido incerteza
nascida do aperfeioamento das redes maqunicas, ele
mostra que, na relao com as mquinas tradicionais,
no h ambiguidade, a humanidade alienada pela
mquina; j neste novo estgio o corpo forma com as
novas tecnologias um circuito integrado: Vdeo,
televiso, computador, minitel so, tanto quanto lentes
de contato, prteses transparentes que esto como que
integradas ao corpo at fazer parte dele geneticamente
(BAUDRILLARD, p.66).
Para ns, Baudrillard apocalptico porque acredita
que neste estgio de excessiva comunicao, de tanta
transparncia a seu ser gentico, biolgico, ciberntico,
o corpo torna- se alrgico at a sua sombra. (...) Tornase seu anticorpo (BAUDRILLARD, p.129). Por isso,
essa relao humanidade x mquina, para Baudrillard,
canibal (BAUDRILLARD, p.50), pois ao mesmo tempo
que a tecnologia integra, absorve, imita, tambm devora
o corpo humano.
Para compormos o nosso conceito de cibercorpo
recolhemos algumas ideias do urbanista francs Paul
Virilio [6] traduzindo este mesmo patamar como um
processo de construo de um metacorpo atualizado
no momento contemporneo. Em que consiste esta nova
etapa do metacorpo de Virilio? Habitamos um corpo que
vive outro estgio de evoluo biolgica e tecnolgica,
no mais darwiniana, onde existe um suporte biolgico
ineficaz para as necessidades contemporneas, por isso
permite a intruso fisiolgica, a intruso intraorgnica
de prteses e micromquinas.
Mais do que apenas transplantes, o metacorpo de
Virilio depsito das nanotecnologias. Sendo nutrido
no s pela qumica da boa nutrio e por
anabolizantes, mas por pastilhas inteligentes, capazes de
permitir implantes de softwares que possibilitam a
programao
de
nossas
ondas
cerebrais:
superexcitamento/tranquilizao. Virilio nos descreve
um corpo com formas precisas: sem excesso de peso,
com melhores reflexos, uma infraestrutura corporal que
favorece a conduo eltrica, por isso um corpo
condutor e retilneo, fazendo aluso infraestrutura do
estdio, do hipdromo, do aerdromo, aparelhado assim
para suportar a velocidade necessria conduo das
ondas eletromagnticas.
No caminho da espcie superespcie humana, h
possibilidades de prolongamento da vida til de cada

192

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

ser humano, atravs de prteses e implantes

tecnoprogramveis. Com a substituio de rgos
ineficientes ou incapacitados como, por exemplo,
joelhos, tornozelos, tendes, atualizamos nossa
condio
humana,
superamos
incapacidades
tecnobiolgicas anteriores. Para Virilio, isso revela uma
ideologia sanitarista, o corpo estaria vivendo uma
supervitalidade biotecnolgica, diminuindo cada vez
mais as diferenas entre a humanidade e as mquinas.
As mquinas no estaro em nossa superfcie corporal e
sim intra-organicamente acopladas em nossos rgos,
sistemas, aos nossos softwares naturais.
Possumos corpos hbridos, categoria essa que aqui
intitulamos de cibercorpo, para insistir que vivemos
novos estgios corporais devido ao advento das
tecnologias digitais. Mais do que apenas mutantes
biolgicos, o momento do hbrido, quando os
componentes biolgicos e tecnolgicos compe o
metacorpo proposto por Virilio e que tem
concordncia com o ciborgue proposto primeiramente
por Donna Haraway [7] e atualizado por Andr Lemos
[8] e que aqui nos interessa e nos auxilia na construo
do nosso conceito de cibercorpo.
O hbrido corpo-mquina tem sua histria no mbito
da discusso acadmica e de pesquisa que remonta a
meados do sculo XX, e dentro de fico cientfica,
imagens na literatura e do cinema, a partir da dcada de
1960. O que estamos propondo que o ciborgue de
Haraway habita o cibercorpo. E atravs desse corpo
atualizado e potencializado por meio das tcnicas de
aprimoramento fsico, por implantes e prteses que
pretendem corrigir funes avariadas do corpo, e
tambm por conexes permitidas por servios
informticos e telecomunicacionais , que o ciborgue est
inserido na sociedade. O ciborgue de Haraway traz no
conceito a construo de um discurso crtico sobre os
poderes
hegemnicos,
materializando
novos
significados para a natureza, corpo humano e as relaes
de diferena. Alm disso, o conceito lana luz sobre a
viso de Haraway para uma cincia emancipatria.
Haraway [7] reconhece que o ciborgue derivado de
tecnologias desenvolvidas em meados do sculo XX,
incluindo as tecnologias de comunicaes e tecnologias
mdicas, como pesquisa de prteses e da biotecnologia.
A complexidade constitui um meio til para entender
os processos de virtualizao/atualizao. tambm um
instrumento til para entender as mudanas sociais no
mundo, pois desafia as suposies dicotmicas entre o
eu/outro, mente/corpo, cultura/natureza, corpo/mquina,
civilizado/primitivo, realidade/aparncia, todo/parte,
agente/instrumento, o que se faz/o que feito,
ativo/passivo, certo/errado, verdade/iluso, total/parcial.
Para Haraway, as tecnologias do corpo que produzem
o sujeito moderno esto se tornando mais frgeis e esto
sendo gradualmente substitudas por tecnologias de uma
ordem inteiramente diferente. Os limites que
proporcionavam configuraes de poder e hierarquia
esto a dissolver-se. Em seu lugar esto surgindo novos

tipos de limites, fluidos e imprecisos, que rompem com

os anteriores dualismos modernos.
Iniciamos estabelecendo que na Contemporaneidade
vivemos reflexos de um longo processo anterior, um
processo simbitico entre o corpo humano e o artificial,
entre sntese biolgica humana e sntese artificial das
mquinas e organismos cibernticos. A evoluo da
espcie humana e o desenvolvimento das sociedades
acontece devido aos inmeros processos de
artificializao que j modificaram nossos corpos ao
longo da histria corporal humana, e portanto esse
processo no implica num pensar dicotmico entre
corpo e artificialidade. Segundo Lemos (1999), no
estgio contemporneo, vivemos um processo de
ciborgizao do corpo, que justamente a
possibilidade que o corpo tem de evoluir do estgio
natural (que, por exemplo, vive a natureza) e construir
uma segunda ordem artificial, seria portanto
artificialidade um componente do gnero humano.

IV. O CIBERCORPO NA DANA

Para o professor Andr Lemos surpreendente o
primeiro homem que, l na Pr-Histria, construiu sua
arma, sendo o mais antigo ancestral dos ciborgues, j
que este o momento primeiro em que humanidade e
tcnica se amalgamam. A partir da, o corpo cada vez
mais se ciborgiza. no espao da civilizao do virtual
que se insere o ciborgue. Eles vivem num mundo
digitalizado, binrio, onde h lugar para a desordem,
para o inesperado, para os bits, para o sinttico, para o
virtual. Lemos, a partir das ideias propagadas por
Haraway [7], define ciborgue como um hbrido de
ciberntica e organismo e acrescenta: os ciborgues s
podem existir num mundo traduzido em informaes,
tempo real e ciberespao, ele simboliza todo o processo
simbitico no qual vive a cultura contempornea com o
advento das tecnologias do virtual [8].
Para Haraway, somos todos quimeras, hbridos de
mquinas e organismo: em resumo somos todos
ciborgues [7]. Antes de Haraway, Lemos registra que o
cientista em engenharia biomdica, Manfred Clynes,
criou o termo ciborgue como organismo ciberntico
para traduzir a unio entre o orgnico e o maqunico,
ou a engenharia de uma unio entre sistemas orgnicos
separados (LEMOS, op.cit). O conceito aparece
tambm em clssicos da fico cientfica, como na
histria de Arthur Clark, The City and the stars (1965),
nos replicantes de Blade Runner (1982), ou ainda em
Robocop (1987) e na srie O Homem de seis milhes de
dlares na dcada de setenta, mas muitos veem
Frankstein de Mary Shelley como o primeiro ciborgue
(LEMOS, op.cit).
Dentro do processo de virtualizao que vive o corpo
na cultura contempornea, o corpo tambm
7th International Conference on Digital Arts ARTECH 2015

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

modificado, alterado. Lemos mostra que o corpo vive o

estgio da ps- modernidade como um corpo virtual das
tecnologias digitais, metade carne, metade ciberespao.
E o corpo, que sempre foi um espao de experincia,
torna-se espao das novas experincias tecnolgicas e
artsticas. a partir dessa reviso histrica do corpo nas
Artes, olhando especificamente para o happenings, a
body-art,
a
performance,
como
movimentos
antecedentes da categoria de cibercorpo na dana, e nos
utilizando dos conceitos de ciborgue de Haraway e
Lemos, de metacorpo de Virilio e de um corpo ps-orgia
de Baudrillard, que constitumos e propomos para o
cibercorpo.
Em concordncia com estes pressupostos, Rosanne
Stone [9] deixa claro que o corpo passa por uma
releitura em seus significados quando se encontra com o
ciberespao, j que: conceitos como distncia,
dentro/fora, mudam de significado e at o corpo fsico
toma novos sentidos e frequentemente vem alterando
significados(1992). Stone ressalta que a interao do
indivduo com o ciberespao, criando mltiplas e
diferentes identidades, pode alterar a vida deste
indivduo quando ele estiver off-line. Em sntese, corpos
construdos virtualmente na net, identidades nela
assumidas traro consequncias s identidades, tambm
corpreas, dos indivduos.
Alterando as construes de corpo da atualidade, o
cibercorpo une as proposies de metacorpo de Virilio
[6], do ciborgue de Haraway [7] e Lemos [8] e do corpo
ps-orgia proposto por Baudrillard [4], que nasce do
encontro do biolgico com os implantes, prteses,
nanotecnologias, como tambm estas novas construes
de corpos totalmente virtuais propostas por Stone, em
que poderamos assumir outro sexo, forma,
personalidade, identidade; assim sendo nosso cibercorpo
um hbrido dessas proposies anteriores, um hbrido
que agrega e que ao mesmo tempo complexifica a
categoria de corpo contemporneo.
A ciborgizao do corpo na dana veio aplanando o
terreno para aquilo que chamamos de artes do
cibercorpo. Considerando Loie Fller (1862-1928)
como uma grande artista, que percursoramente
evidenciou o ciborgue na dana, o recorte estabelecido
nesse captulo pretende dar nfase ao Cibercorpo na
dana, at apresentar o Cibercorpo da artista Isabelle
Chonire. Conforme os conceitos aqui explicitados, o
corpo tende virtualizao [10].
O que estamos argumentando a potencializao da
capacidade expressiva do corpo na dana, que se faz
acompanhar pela transformao mtua do corpo com o
mundo contemporneo. Isso nos faz pensar que a
sapatilha de ponta, criada por Filipo Taglioni, e os
mecanismos de suspenso utilizados em Les Sylphides,
as mquinas de voar, primeiramente introduzidos pelo
coregrafo Charles Didelot nos bals romnticos no
final do sculo XVIII, exemplificam o uso de aparatos

7th International Conference on Digital Arts ARTECH 2015

193

no digitais, que, com suas prprias regras, condicionam

o corpo at os limites das suas potencialidades [11].
Queremos dizer que essas tecnologias tambm
interferem na configurao do corpo, entretanto
compreendemos que o ciborgue na dana surge da
condio poltica de transgresso, emancipao da
representao, interdisciplinaridade, em simbiose com a
tecnologia. O conceito de tecnologia empregado para
se referir no somente dimenso dos aparatos, mas
para se embutir s questes fenomenolgicas dos feitos
humanos veiculados por uma tcnica especfica. O
artista comea a utilizar a tecnologia no seu processo
criativo, transferindo a sua funo tcnica para a funo
esttica. Nesse sentido, a ciborgizao reconhecida
como tendncia constante na histria recente da dana,
enquanto dinmicas de ruptura e ironia, que se
formaliza em virtualizaes do corpo.
Com um figurino que girava em torno do seu corpo, a
bailarina e atriz Loie Fller transformava-se em diversas
imagens, como uma borboleta, uma flor ou uma chama
de fogo, virtualizando seu corpo. Desde que seus braos
no foram suficientes para chegar ao final do seu
figurino expansivo, a artista estendeu seus braos com
bastes e passou a controlar seus longos vestidos,
construdos e patenteados para esse fim. Como se fosse
para ilustrar o Manifesto Ciborgue de Haraway (1985),
escrito e publicado no sculo seguinte, seus ideais
estticos foram fundados no poder da corporalidade do
movimento, uma abordagem ativa do ciborgue no palco.
Destacamos, novamente, a importante colaborao
existente entre o compositor John Cage (1912- 1992), o
coregrafo Merce Cunningham (1919-2009) e o artista
visual Robert Rauschenberg (1925-2008), que
trabalharam juntos no Black Mountain College, na
dcada de 1950, e trouxeram profundas contribuies
para as artes do corpo. Sob influncia da pedagogia de
Jonh Dewey (1859-1952), do movimento Dad e da
esttica de Marcel Duchamp, foi uma das primeiras
escolas a salientar a importncia do ensino de artes
criativas em gnero experimental. Esses artistas foram
influenciados pela corrente cujo esprito subversivo
esteve ligado ao Dadasmo. Compreendemos o
movimento Dadasta como um movimento aspirante a
ciborgue (assim como a Bauhaus) por possuir forte
referncia s fronteiras borradas, na busca da arte
hbrida. O desejo de romper com os limites entre as
vrias possibilidades artsticas era uma das principais
caractersticas do movimento, alm disso, a irreverncia,
o carter irnico, o uso de tecnologias mecnicas e a
utilizao de diversas formas de expresso artstica na
composio da obra de arte ditavam as bases do
Dadasmo.
Em pouco tempo o computador ocupou lugar especial
nas obras desse trio. Nesse sentido, Variations V, de
1965, foi um marco para a relao dana e tecnologia
analgica, por ser a primeira obra performativa com

194

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

todas as caractersticas multimdia. O espao da

performance era ocupado por redes de clulas
fotoeltricas que, quando ativadas pelos movimentos
dos bailarinos, produziam efeitos de luz e sons
correspondentes, que ligavam e desligavam os rdios de
banda curta e as fitas cassetes com rudos gravados. Pela
convergncia da luz, do som e do corpo no espao
podemos dizer que esse trabalho tambm pioneiro em
ambientes interativos, uma vez que bailarinos em
movimento interagiam com os sensores de sons e luz
dispostos no espao.
Esse colapso nos limites entre o biolgico e a
mquina faz parte do imaginrio contemporneo em que
vivemos. Ainda nos caberia dizer que estes conceitos de
metacorpo para Virilio, ciborgue para Haraway e
Lemos, e cibercorpo para as autoras, tem correlao
com a ideia de virtualizao do corpo que nos props
Pierre Lvy [10]. Para ele, o ciberespao propicia uma
virtualizao do corpo, redimensionando-o; o que
ntido perceber que, a partir das tecnologias digitais
est em exerccio uma nova reestruturao nos conceitos
e fronteiras do corpo, do sujeito, com o mundo, com a
net.
O corpo vem absorvendo um gradual processo de
transformao para se reconfigurar e se inscrever nas
novas comunidades do ciberespao e nas redes de
relacionamento. Se antes precisvamos do nossos
corpos para estarmos inseridos na realidade, neste
momento j nos transformamos em ciborgues, e
precisamos tambm das tecnologias contemporneas
para podermos habitarmos , assim a Contemporaneidade
com os nossos cibercorpos. este hbrido
contemporneo que vem sendo curiosamente
investigado por diversos artistas, dentro de uma linha
histrica evolutiva, se o artista j vinha questionando o
corpo desde o happening, da body-art e da performance,
no substrato cibertecnolgico, os artistas utilizam o
cibercorpo, e portanto tambm na Dana; a Dana
invade e investiga essa nova categoria corporal, o
cibercorpo.

V. O CIBERCORPO DE ISABELE CHONIRE

Uma das coregrafas que produz esse hbrido de

dana e novas tecnologias na Contemporaneidade, que
aqui chamamos de cibercorpo, a canadense Isablle
Choinire. Fundadora e lder da companhia Le Corps
Indice, em Montreal, no Canad, cujas atividades esto
voltadas para a explorao da relao performance e
tecnologia, a abordagem artstica integra a diluio das
barreiras disciplinares, sua pesquisa est concentrada na
atual reflexo do pensamento tecnolgico da
performance de dana. A partir de estudos dos
elementos culturais, seu trabalho baseado nas

estratgias de renovao da experincia sensorial e

perceptiva.
Choinire reflete e percebe que sua produo artstica
influenciada pela pesquisa terica que realiza,
justificando que a dana talvez o mais adequado meio
para abrir por si prprio esse mundo de novas
possibilidades porque a dana envolve corpo, espao e
tempo neste caminho contemporneo que se insinua
[12]. As principais colocaes de Choinire aqui
estudadas e que muito nos interessam so em relao a
este lugar primeiro e depositrio da tcnica da dana: o
corpo. Tambm nos prope um encontro entre o nosso
corpo biolgico e o corpo sinttico, este ltimo criado e
mantido pela linguagem dos computadores.
O corpo da performer Choinire aquele corpo
constitudo de um emaranhado de fios, sensores e
tambm de carne. Em seu corpo, corre sangue mas
tambm eletricidade, informaes, dados que transitam
dela para a mquina, formando um sistema semitico e
simbitico. Para fundamentar seu trabalho, ela se baseia
dos conceitos tericos do filsofo Franois Laruelle
[13]. Laruelle revela o corpo como a essncia, a causa e
a ltima instncia da tecnologia. O corpo definido pela
experincia vivida e por uma identidade indivisvel, ou
seja, no alienado pelos instrumentos que utiliza, nem
se transforma em objeto. Choinire contrape assim a
teoria de Laruelle de Marshall McLuhan, j que para
ela, a viso da tecnologia como uma extenso do corpo
de McLuhan pressupe uma reversibilidade e um
eventual desaparecimento do corpo, o que ela no
refora nem acredita acontecer nessa nova experincia
corporal.
Choinire considera que os tempos tecnolgicos
colocaram nossos anteriores limites e fronteiras em
questo, quando fomos afrontados com a crtica da
continuidade temporal anunciada pelo Cubismo e,
agora, pelo imaginrio gerado pelos computadores. Com
isso, surge uma conscincia particular do universo
corporal, em que o corpo agora tem acesso a vrios
espaos
simultaneamente,
apresentando-se
em
diferentes nveis (...) uma estratificao expressa atravs
de um investimento tentacular de espaos e corpos,
criando uma amplificao e proliferao sensorial [12].
Sob o conceito dos Corps Indice, Choinire produziu
diversas performances na qual trabalhou como diretora e
performer artstica. Essas investigaes corporais lidam
com uma virtualidade sensual que Choinire chamou de
rotisme lectronique. Em Le Partage des peaux I
(1994), obra tambm ficou conhecida como
Communion. Atravs do seu ttulo a obra revela a unio
das peles: a natural e a sinttica em um s corpo e
atravs da captura do ritmo do corpo, Choinire usa o
movimento para recuperar dados do corpo e transformlo em imagens de vdeo e sons. Choinire dana com
um corpo virtualmente projetado. Choinire exibe o
corpo atual e o digital, interfaceados em

7th International Conference on Digital Arts ARTECH 2015

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

interdependencia, revelando uma obra eminentemente

ciborgue. A concepo para a realizao dessa
performance foi a ideia de ritual de passagem, e, nesse
caso, Choinire usa do hbrido corpo-mquina para
buscar a ideia de ritual de passagem do corpo atual ao
corpo digital. A ideia de ritual est implicada na obra,
assim, a comunho entre corpos se apresenta como uma
espcie de orao, ritual e mantra

195

do virtual tecnolgico contemporneo. A sensao de

estarmos dentro de um meio e ser surpreendido por ele,
ou seja, poder ver, escutar, sentir de forma semelhante
ao meio natural. Choinire explica que, para que
acontea esta transferncia do corpo para o universo
virtual, tambm necessrio a pele transitria
(mediating skin), ou seja a conexo do corpo com os
sensores de dados (data suit). Esta conexo propicia
uma amplificao da corporeidade: a interao entre o
tecido corporal, o monitor de vdeo/computador e a tela
de projeo do vdeo engendra um processo de
reconhecimento, aprendizagem e, finalmente, uma
amplificao da corporeidade (CHOINIRE, 1993).

Fig. 1. Le Partage des Peaux I, Isabelle Choinire (1994),

Le Corps Indice.

A segunda verso desta obra, em ingls Communion

(Le partage des peaux II, 1995-1998), uma
performance que tem atrado muito sucesso e aclamao
ao redor do mundo. Levando em conta estas ltimas
consideraes de Choinire entendemos que a partir
deste momento o ato de coreografar transforma-se,
porque requisita esta conscincia especfica de
componentes microscpicos do corpo, tornando esse ato
um acontecimento dentro do corpo, na carne, na pele,
mas tambm fora, atravs dos intermedirios da pele
eletrnica. No encontro entre conexes naturais,
biolgicas e conexes sintticas (eletrnicas), prope-se
uma nova percepo psquica e sensorial ao
performance. Por meio desta possibilidade, Choinire
oferece uma viso da tecnologia como algo que reflete o
sensvel, o fluido, o hiperorgnico e tambm neste tipo
de experincia que se abrem espaos para a explorao
de novos horizontes para a Dana.
Outros aspectos importantes so dimensionados por
Choinire, como explica a coregrafa, na Dana
alcanamos diversos nveis de imerso: na dana
temos acesso a diferentes nveis de conscincia assim
como de corporeidade [12]. Atravs do treino,
possibilita-se o acesso a estgios alterados de
conscincia, a que ela chama de inteligncia fsica.
A imerso o primeiro estgio necessrio realizao
destas novas experincias estticas, seria esta
capacidade que possumos um dos elementos essenciais
7th International Conference on Digital Arts ARTECH 2015

Fig. 2. Exemplo dos cibercorpos gerados nas performances

de Isabelle Choinire, Le Corps Indice.

Este processo comea com o corpo do performer,

atravs de sua pele tecidual, que a sua primeira
experincia de exterioridade, para depois esta pele se
transformar numa tela transitria. Os dados captados da
pele tecidual so transmitidos para o computador atravs
do data suit dando-se o processo de transferncia dos
dados humanos para os computadores. Em sntese, a
pele tecidual transforma-se em informao mediante a
captura feita pelo data suit que, em seguida, entra em
contato com a pele sinttica.
Choinire explica que a pele se transforma numa tela
e a tela por sua vez em membrana, que seria uma outra
superfcie transitria, outra zona cutnea que consegue
dialogar com o computador. Poesia e teoria se
encontram no experimento de Choinire.
A imagem obtida atravs do data suit carrega a
memria da carne, j a tela quer comunicar a
excitabilidade da membrana realizando o encontro entre
as peles. Neste processo, marcas so produzidas no
corpo do danarino, marcas que registram o encontro
entre a pele humana e a tecnolgica. Estas marcas no
tm relao com o processo doloroso da escarificao
mas com sua inscrio cultural e tecnolgica no corpo:

196

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

a pele como a primeira marca de nossos

ancestrais pr-histricos, assim como em
sociedades no-ocidentais, embora tenha
delegado sua funo para a parede, painel ou
lona (ou tela), permanece sensitiva como um
tipo inconsciente de criao artstica, a qual
nunca
foi
totalmente
reprimida,
que
erradamente manifesta a si prpria, embora
atravs de um erro de linguagem, com suas
tonalidades de angstia e erotismo. [14]

Estas marcas corporais seriam, para Choinire, uma

constatao da necessidade de sempre retornarmos ao
corpo original, uma forma de revelar as retransmisses
que existem entre os tecidos naturais e artificiais. O
retorno ao corpo original tambm assinalado por
Rosanne Stone [9].
quando ela afirma que
importante relembrar que a comunidade virtual originase e deve retornar para o mundo fsico, material (...)
mesmo na era do domnio tecnossocial, a vida vivida
atravs de corpos(STONE, 1992).
Na obra La demence des anges (1999-2005) seu
interesse est na alterao e na mutao do corpo
quando esse projetado com o auxlio das redes
informticas. Segundo Choinire, esta obra um duo da
dana que envolve dois espaos geogrficos que podem
ser localizados a milhares de quilmetros um do outro.
Que outras grafias so produzidas no corpo de
Choinire a partir de seus experimentos/espetculos?
Recordamos pessoalmente que, ao assistirmos ao
espetculo Communion na Sala do Coro do Teatro
Castro Alves, em dezembro de 1996, em muitas cenas,
Choinire estava imersa numa profunda escurido, em
oposio aos moldes tradicionais de uma iluminao
para um espetculo de dana, escurido esta, necessria
para que se pudesse projetar os danarinos virtuais,
que totalizavam a cena juntamente com ela. Esta
imerso num meio sem luz requer e desenvolve no
performer outras habilidades no necessrias prtica
tradicional de dana; requer a ativao e o
aprimoramento de outros recursos sensoriais que no s
os recursos ticos tradicionais.
A relao do performer com o corpo outra j que,
por meio da tecnologia, o performer tem algumas de
suas capacidades sensoriais reestruturadas ou ampliadas.
A amplificao se insere, para Choinire, num ltimo
estgio da experimentao, a partir das retransmisses
que acontecem entre as peles, a amplificao seria o
processo de passagem, do resultado do dilogo entre as
peles, visualizadas no monitor do computador, para a
grande tela de projeo de vdeo que Chonire utiliza
em seus espetculos. A questo principal no espetculo
Communion revelada por este encontro das peles
natural e sinttica, compondo assim um novo corpo
tcnico, o cibercorpo como propomos, pela unio
destas duas possibilidades altamente eficientes,
hierarquizadas e diferenciadas, que encontram, no nov

meio eletrnico, o dilogo entre elas. Tanto corpo como

o
computador
so
estruturas
cibernticas
complexamente desenvolvidas para, em simbiose, se
encontrarem e produzirem o cibercorpo.
O que se constri com estas novas prticas cnicas
no apenas uma amplificao corporal como nos
prope Choinire. A constatao nos parece bvia
mesmo este espetculo tendo acontecido em finais da
dcada de 90 e mesmo assim nos serve para
construirmos a seguinte reflexo: h um novo corpo
para se danar na Contemporaneidade. Este corpo, que
j teve registros de tantas outras tcnicas humanas,
inclusive tcnicas de dana, tambm depositrio de
novas inscries, tornando-se cada vez mais lugar de
inscrio da tecnologia digital, e claro que isso
implicar em mudanas tambm na linguagem da dana,
como ocorreu em outros momentos de sua histria,
inclusive possibilita a construo de novas estticas e
poticas para a Dana.
A prpria Choinire nos pergunta: Que corpo est
em questo aqui? (CHOINIRE, 1993). Estamos
falando de um s corpo, indivisvel e no reduzvel, um
corpo que no pode ser visto como um pedao subjetivo
da mquina ou do sistema. A questo para Choinire, e
aqui se torna a nossa questo, de que a tecnologia no
a descrio cientfica de um estado inerte das coisas, e
sim um modo de representar, simular o mundo em sua
consistncia e resistncia com o qual a cincia responde
aos seus propsitos. O corpo age no mundo sem sair de
si mesmo, sem imitar os princpios efetivos do mundo,
sem se identificar com o que assumido por todas as
filosofias da tecnologia. Seria este tipo de causalidade,
para Choinire, o significado e a causa remetendo-se
ele prprio (o corpo).
O corpo se insere num outro estgio espacial onde no
existe dentro e fora, comeo ou fim. Choinire nos
indaga se no seria este corpo produzido na interseco
de corpo e computador, que apenas existe pelo virtual de
uma relao numrica e sua eletroluminescncia,
tambm semelhante aos corpos de luz que chamamos de
anjos?
Com tantas suposies e indagaes, Choinire afirma
que as mquinas tm ampliado o que a natureza j
oferece. Chonire sintetiza o estgio corporal vivido: a
tecnologia reflete nossa imagem, mas por meio de uma
reflexo transformada a qual simultaneamente reflete o
que ns somos e o que gostaramos de nos transformar
(CHOINIERE,1993).

VI. CONCLUSO
A figura metafrica do ciborgue habita um
cibercorpo, e esse cibercorpo est inserido na realidade

7th International Conference on Digital Arts ARTECH 2015

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

contempornea, e portanto tambm na dana

contempornea.
Talvez o que realmente diferencie o cibercorpo do
anterior corpo do performer que, antes, as tcnicas
corporais iam moldando-o, delineando seus msculos,
especializando-o em determinada linguagem, e os
sentidos, a percepo espacial e a conscincia do
movimento eram usados de uma forma j estabelecida.
Neste momento, parece que se requisitam diferentes
funes aos sentidos: uma hiperviso ou uma viso
fornecida pelo aparato tecnolgico, como o caso dos
capacetes virtuais; novas referncias espaciais a partir
de projees virtuais (no mais apenas referncias
concretas); uma conscincia minuciosa, microscpica,
do movimento, pela sua anlise atravs de softwares,
uma percepo corporal que no se restringe ao corpo
fsico, cabendo ao danarino incorporar suas extenses
digitais, sua amplificao virtual, seus parceiros
sintticos; pois propomos aqui que as tecnologias
digitais complexificam o atual estgio corporal.
Concordando com as proposies de Choinire e nos
valendo do corpo que ela cria em seus espetculos e
performances para ilustrarmos o nosso conceito de
cibercorpo na Dana, acrescentaramos que h muito
tempo que somos seres hbridos, organismos
simbiticos entre componentes orgnicos e artificiais. O
novo deste momento est em danarmos com esses
novos corpos ampliados pela tecnologia digital, criando
assim uma nova performance corporal, e ainda no so
reflexes que terminam e se findam e resolvem nesse
artigo, temos ainda questes a respeito dessa nova
categoria de cibercorpo e suas outras aplicaes
Dana.
As tecnologias amplificam e redimensionam o corpo,
sendo que o corpo uma tecnologia primeira, altamente
avanada, e as tecnologias partem e retornam a ele.
Acreditamos que, por meio da Dana e da tecnologia
digital, possamos alcanar profundas e novas
experincias corporais, levando-nos a estgios que
transformem nossas percepes, abrindo assim novos
territrios e nos permitindo, inclusive, renovar antigos
rituais; portanto conclumos que nesse estgio vivemos
sim uma experincia que se encarna no corpo e nao
nos tira dele, o que equivalente para ns ao conceito
de embodiment (palavra originalmente em ingls) que
traduzimos aqui como encarnao, tornar carne, tornar
corpo, em concordncia com as idias e experimentos
de Choinire.
AGRADECIMENTOS
As autoras agradecem ao Programa PIBID-UFBA, a
CAPES, ao Programa de Ps-graduao da Escola de
Dana da UFBA, ao Eltrico Grupo de Pesquisa em
Ciberdana (CNPq) e em especial a performer e
coregrafa Isabelle Choinire.

7th International Conference on Digital Arts ARTECH 2015

197

REFERNCIAS
[1] F. Bruno, Membranas e interfaces, IN: Vilaa, N.,
Ges, F., Kosovski, (org.) Que Corpo esse? Novas
perspectivas, Rio de Janeiro: Mauad, 1999.
[2] J. Glusberg,
A arte da performance, So Paulo:
Perspectiva: 1987.
[3] N. Negroponte, A vida digital, So Paulo: Cia das Letras,
1996.
[4] J. Baudrillard, A Transparncia do mal: ensaio sobre os
fenomenos extremos, So Paulo: Papirus, 1990.
[5] M. McLuhan, Os meios de comunicao como extenses
do homem, So Paulo: Cultrix, 1974.
[6] P. Virilio, Do super-homem ao super excitado, IN: A arte
do motor, So Paulo: Estao Liberdade, 1996.
[7] D. Haraway, A Ciborgue Manifest: science, technology
and socialist-feminism in the late 1980s, New York:
Routledge, 1991.
[8] A. Lemos, Bodynet e netciborgues: sociabilidade e novas
tecnologias na cultura contempornea In: RUBIM, A.,
BENTZ, I., PINTO, M. (Org.) Comunicao e
sociabilidade nas culturas contemporneas. Rio de
Janeiro: Vozes, 1999.
[9] R. Stones, Will the real body please stand up? Boundary
stories about virtual cultures. In: BENEDIKT, M.
Cyberspace: first steps. Massachusetts: MIT Press, 1992.
[10] P. Lvy, O que o virtual. So Paulo: Editora 34, 1996.
[11] I. Santana, Corpo aberto: Cunningham, dana e novas
tecnologias. So Paulo: Editora Educ, Editora da PUC,
2006.
[12] I. Chonire, The body beyond his limits: the encounter
of the real and the syntetic flesh. In: International
Festival of Performing Arts, Montreal, Quebec, Canad,
Conferncia em 05/02/1996.
[13] F. Laruelle, Lessence de la technique: Nouvelles
technologies, un art sans modles? Paris: Art Press/H.S.,
1991.
[14] I. Chonire, Sharing Skins: A dancers reflection on her
work with virtuality. Inter Art, Qubec, n.58, p.199.

198

L. Pimentel and I. Rgo / Um Exemplo de Cibercorpo na Dana: a Performance e o Pensamento de Isabelle Choinire

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

199

Vdeo-instalao para a Interpretao de Tradies Regionais

Antnio Brito(1), Rui Leito(2), Joo M. F. Rodrigues(3), e Adrito Marcos(1)
(1)
Centro de Investigao em Artes e Comunicao, Universidade Aberta, Lisboa, Portugal
(2)
Universidade do Porto, Faculdade de Engenharia, Porto, Portugal
(3)
Vision Laboratory, LARSyS, CIAC, Universidade do Algarve, Faro, Portugal
Resumo A videoarte, ou vdeo arte ou vdeo-arte
uma forma de expresso artstica que utiliza a tecnologia
do vdeo em artes visuais. Numa ligao estreita com o
universo das Artes Digitais, este artigo pretende relacionar
prticas definidas entre o video e a instalao, numa
procura constante de novos modos de expresso artstica
com interfaces naturais. Apresenta-se o desenvolvimento
de dois artefactos, conduzidos em ciclos de reflexo-ao e
que resultam na realizao de uma vdeo-instalao sobre
atividades relacionadas com a produo do linho no
concelho de Paos de Ferreira. Levanta-se a possibilidade
que a tecnologia estimula uma aproximao das
populaes. Neste sentido, poder ser um excelente meio
promocional da herana cultural, abrindo novos caminhos
participao do pblico e possibilitando deste modo
preservar e difundir tradies culturais de forma a que
estas no se percam no tempo.
Palavras-chave

Vdeo-instalao,
Videoarte,
interatividade, arte digital, hipermdia, documentrio
interativo.

I. Introduo
O motor da sociedade conduzido por um imperativo
de novidade perptua. Se ainda ontem a aglomerao
urbana opunha uma populao intramuros a uma
populao exterior, atualmente a concentrao
metropolitana apenas ope os seus moradores no tempo
[1]. Tempo este que cada vez se identifca menos com as
culturas das cidades, altera a memria coletiva e que
contribui para a instaurao de um presente permanente
que nos afasta da memria e onde o passado deixa de
existir. Tudo presente. Consequentemente verifca-se
que grande parte das pessoas que ainda detem o saber de
tradies regionais, so ja de idade avanada e cada vez
em menor numero. Torna-se por isso urgente assegurar a
criacao de um acervo videografico que possibilite
preservar esta memoria e difundir estas praticas de
modo a que nao caiam no esquecimento. Por outro lado,
levanta-se a hipotese de utilizar a tecnologia como
forma de estimular uma aproximacao da populacao mais
jovem, dada a sua apetencia pelo digital e pelas novas
formas de comunicar e interagir, aliadas ao genero
documentario como uma das mais poderosas e eficientes
formas de comunicar historias nao ficcionadas da
realidade.
Neste sentido, procura-se a articulao de uma
pesquisa com a concepo de dois artefactos criativos de
caracter pratico, seguido de um plano de trabalho que
cronologicamente foi cruzando e interligando as
7th International Conference on Digital Arts ARTECH 2015

questes tcnicas com as tericas em ciclos de refexoao, que conduziram aos artefactos que compem a
vdeo-instalao.
Deste modo procurou-se fazer uma analise da vdeoinstalao e da videoarte [2] subjacente, concentrando as
tematicas e as estratgias narrativas que potenciaram
novas formas de comunicao assentes no binmio
obra-observador,
procurando
incorporar
o
observador/fruidor num processo de pensamento. A
investigao neste contexto podera constituir uma maisvalia, especialmente considerando a area da promoo
da herana cultural, pois possibilita conceber e
desenvolver linhas de experimentao tecnolgica na
forma de instalaes que permitam o reavivar da
memria dos mais antigos e que cative o interesse do
publico mais jovem. Visa-se portanto investigar,
conceber, experimentar e implementar dois artefactos
tecnolgicos que permitam estimular a interpretao de
atividades que tem vindo a cair em desuso.
Neste sentido este artigo apresenta a concepo e
desenvolvimento assim como a implementao de um
artefacto tecnolgico com base no estudo de uma area
emergente da criao artstica contemporanea, a partir
da linguagem videografca e cinematografca numa
perspetiva interativa. Face aos artefactos fnais, os
espectadores/visitantes so convidados a participar na
obra com o intuito de a fazer evoluir na sua componente
diegtica e no seu caracter mais expressivo e artstico.
Deste modo, este artigo pode contribuir para futuros
desenvolvimentos neste campo, abrindo caminhos
suportados por estratgias de divulgao de saberes e
tradies, quer atravs das instalaes de vdeo, quer por
documentarios interativos como meio de difuso.
Na seco seguinte introduz-se os conceitos gerais e
apresenta-se a reviso da literatura com os projetos mais
representativos, tendo em conta os casos onde existe
uma interface com caracteristicas inovadoras e que
possam servir de inspiracao para futuros projetos. Na
terceira seccao apresenta-se a preparacao e o
desenvolvimento, e e feita uma descricao do processo de
desenvolvimento conceptual dos artefactos criados. Na
secao 4 de implementacao descreve-se o processo de
instalacao dos dois artefactos a implementar, assim
como a apresentacao pblica e a sua divulgacao. Na
secao 5 apresentam-se os resultados e a analise dos
mesmos. Na ltima secao, sao apresentadas as
concluses, as consideraces finais e trabalhos futuros.

200

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

II. Conceitos Gerais e Estado de Arte

O termo video-instalacao e composto por duas
palavras que conferem o seu conceito de interatividade.
Cada um dos termos e caracterizado por uma serie de
elementos, que em conjunto fazem da instalacao de
video uma pratica artistica de interatividade hibrida e
uma ponte entre a arte e a tecnologia. E precisamente
esta natureza hibrida que e responsavel por uma serie de
particularidades, que torna necessario redefinir alguns
termos relacionados com o audiovisual da forma como o
conhecemos. Na origem de todo o campo artstico que
engloba o conceito de vdeo-instalao encontra-se a
videoarte, uma corrente intimamente ligada a televiso e
a tecnologia vdeo. De uma forma global podemos
defnir a corrente da videoarte como uma forma de
narrar e fazer propostas que se sobrepem as emoes
do espectador e que o levam a refetir sobre si [3].
Entende-se por videoarte toda a obra na qual
utilizada a tecnologia vdeo na sua totalidade ou
parcialmente no formato digital, e onde a criao
audiovisual apresenta uma intencionalidade claramente
artstica [2]. Ja a inteno artstica aquela que adiciona
um conteudo experimental extra (formal, potico,
flosfco, etc.) a criao audiovisual em si, servindo-se
da utilizao de recursos narrativos, tcnicos, estticos
e/ou conceptuais, e que no tem uma funo meramente
comunicativa ou informativa [4].
Na literatura existem inumeraveis exemplos de
instalaces, Rune Stone (2014), uma video
instalao desenvolvida pelo coletivo dinamarques
noparking [5]. A instalao apresentada no museu
Martin Gropius-Bau consiste numa pedra interativa na
qual os visitantes podem escrever uma mensagem, a
partir de uma ecr sensvel ao toque. As mensagens so
exibidas em alfabeto Runico, mas transformam-se em
latim, quando o visitante se aproxima da pedra.
Jeffrey Shaw (1988-1991) apresentou The Legible
City [5], uma instalacao interativa onde o utilizador
recorre a uma cidade virtual, cujos edificios sao palavras
que simbolizam distintos lugares e ruas de uma cidade
de forma verbalizada. A interface esta formada por uma
bicicleta estatica, que percorre com a acao fisica de
pedalar e girar o manipulo, os diferentes lugares da
cidade. Existem diferentes verses do artefacto para
cada uma das cidades percorridas: Amesterdao,
Manhattan e Karlsuruhe.
Luc Courchesne (1997) apresentou a Paysage n 1
[6], uma instalacao constituida por um video
panoramico interativo para mltiplos utilizadores,
composto por quatro computadores interligados, alguns
com comandos para navegar, tendo tambem microfones
e detetores corporais. O visitante situa-se no centro de
uma paisagem panoramica em que se projetam
acontecimentos que decorrem num parque, gravados
durante um periodo de 24 horas. Aparecem personagens
com as quais o utilizador deve interagir, seja por voz ou

mediante o uso do cursor do computador, selecionando

perguntas pre-determinadas. A finalidade e de tratar e
manter o dialogo com a personagem virtual e assim se
avanca ate ao fim do loop. E um tipo de interacao com
navegacao imersiva, gracas as telas que rodeiam o
utilizador.
Rafael Hemmer apresentou Body Movies [7], uma
instalacao de grandes dimenses (entre 400 e 1800
metros quadrados), que e composta por projeces de
centenas de retratos tirados na cidade atraves da
utilizacao de projetores controlados roboticamente.
Estas imagens sao apenas visiveis no espaco
determinado pela sombra do visitante, podendo ter uma
projecao vertical de 2 a 25 metros, em funcao da
distancia a um foco de luz. Um sistema de video
vigilancia projeta novos retratos quando todos os
visitantes/utilizadores se situam em frente ao foco de
projecao, convidando o pblico a ocupar o espaco e a
continuar a formar a obra.
Levin e Lieberman apresentaram Interactive Bar
Tables [8]. Esta instalacao foi um dos grandes
exemplos de ecras multitoque em arte interativa. O ecra
e um habitat de criaturas que interatuam e respondem
mediante o comportamento e ao toque no ecra. As
criaturas saem se alguem chega e em contacto com um
copo, rodeiam-no. Tambem se pode tocar nos lagartos
noutras partes do ecra, possibilitando estabelecer um
fluxo de comunicacao entre elementos dispersos pela
area do mesmo.
Joseph Hyde (2013) apresentou Me and my shadow
[9], uma instalao interativa telematica, pensada para
ser projetada simultaneamente em quatro cidades do
mundo. Na instalao captada a presena do
participante atravs de telepresena e seguimento dos
movimentos do espectador de cada cidade conectada
em rede e em tempo real, possibilitando uma interao
entre todos os participantes. E na sua essencia um
paradigma de ambiente visual e colaborativo. As
sombras de cada utilizador projetam-se no espao,
possibilitando aos restantes desenhar atravs dos
movimentos formas organicas. E neste contexto que
surge a inteno de criar dois artefactos que, embora
distintos, se complementem na forma como comunicam
o mesmo tema.
III. Planifcao das vdeo-instalaes
Do ponto de vista metodolgico, o projeto baseia-se
fundamentalmente numa perspetiva qualitativa,
estruturado num caso de estudo orientado para o
desenvolvimento de um artefacto de videoarte ou vdeoinstalao e num cenario de uso concreto atravessado
por ciclos de refexo-desenvolvimento. Para Marcos
[10], a arte digital suportada por tres conceitos
basilares: a aleatoriedade, a virtualidade e a
interatividade. Neste contexto as diferentes etapas de
evoluo do artefacto sucederam-se desde o
7th International Conference on Digital Arts ARTECH 2015

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

levantamento de estado-de-arte a recolha de dados e a

documentao sobre o local onde foi implementado,
fazendo referencia ao conceito de A/r/tografa como
metodologia de desenvolvimento e investigao.
Partindo de uma viso primordial (theoria), o
artefacto, na sua funo de auxiliar na interpretao do
ciclo do linho, pode assumir diferentes formas com o
recurso a diferentes tipos de tecnologias ou abordagens.
Assim, numa fase inicial do processo de criao, foram
realizados os primeiros esboos e desenhos da
mensagem do artefacto, de forma a potenciar o
propsito da sua realizao, contemplando elementos
grafcos adicionais, tais como texto, audio ou fotografa,
e aliando a apreenso esttica a inovao tecnolgica
atravs da experimentao.
Numa segunda fase de experimentao pratica
(praxis), atravs da explorao das ferramentas, meios
de viabilizao e tecnologia existentes para a
concretizao do conceito inicial, procurou-se num
processo iterativo fazer a reviso e a melhoria dos
esboos, tendo em conta os cuidados de usabilidade e os
critrios de comunicao de acordo com os fundamentos
semiticos e lingusticos. Numa fase fnal do
desenvolvimento e materializao do artefacto (poesis),
estando a construo defnitiva do artefacto, foram
revistos os diversos processos de funcionamento do
artefacto e implementados novos aspetos a serem
melhorados de forma a potenciar a sua prpria
funcionalidade at a fase de concluso do mesmo.
O desenvolvimento destes dois artefactos surge com o
objetivo de veicularem informao em torno da tematica
do ciclo do linho e pela relao de complementaridade
que existe entre ambos.
O artefacto 1, Fragmentos da Memria foi pensado
tendo em vista a sua exposio atravs de uma projeo
em quadro multimdia, pela vantagem de ter dimenses
superiores as da televiso, de poder ser visionado por
um maior numero de pessoas em simultaneo, e ao
mesmo tempo fornecer uma area de interao intuitiva,
v.d. Fig.1.
Visto que o suporte vdeo possui caractersticas que
agrupam imagem e audio, isso permite-nos transmitir
um maior numero de pormenores sobre o trabalho do
linho, alm de possibilitar a introduo dos cantares que
so uma caracterstica intrnseca dos seres em que se
espadelava o linho. Neste contexto, alm da recolha de
vdeos ou testemunhos que descrevam ou demonstrem
as diferentes etapas do ciclo do linho, pretendeu-se
realizar vdeos com narrativas de curta durao que
possibilitassem o seu visionamento de forma aleatria,
sem que se perdesse com isso o seu sentido diegtico
necessario para que o espectador consiga estabelecer
uma relao de ordem entre eles.
Deste modo, o participante numa contnua interao
com a obra assume um papel da construo da prpria
narrativa em funo das suas preferencias. Tendo estes
pressupostos por base, comeamos por fazer um
7th International Conference on Digital Arts ARTECH 2015

201

levantamento do esplio videografco, fotografco e

sonoro, que pudesse ja existir no concelho com registo
de recriaes de atividades relacionadas com o ciclo do
linho. Aps essa etapa, fez-se a analise das lacunas que
os vdeos continham e estabeleceu-se contato com as
pessoas que pudessem dar um testemunho do processo e
das diferentes etapas do linho, desde a sementeira at ao
tecido como produto fnal. Com isso, foram realizados e
editados todos os vdeos que constituem o documentario
interativo:
(a) Vdeo com as fotografas do cultivo, da recolha e o
posterior tratamento do linho, so resultado de uma
iniciativa levada a cabo pela Junta de Freguesia de
Sanfns no ano de 1995. As fotografa so de domnio
publico e foram cedidas pela Junta de Freguesia para
digitalizao e utilizao em projetos sem carater
comercial.
(b) O vdeo da espadelada, tal como as fotografas,
so uma iniciativa levada a cabo em 1995 pela Junta de
Freguesia de Sanfns, tendo sido convidadas diferentes
pessoas que sabiam trabalhar o linho. Foi cedida pela
Junta de Freguesia uma cassete VHS com o registo
dessa espadela. Foi tambm adicionada uma cano da
espadelada que se realizou nesse ano, no seguimento das
etapas posteriores a colheita e secagem do linho.
(c) O vdeo Tradies (com Senhoras da Raimonda)
foi realizado com o Centro Social e Paroquial de
Raimonda em Paos de Ferreira, visto nesta instituio
existirem varias pessoas que ja tinham organizado e
participado numa espadelada. Neste contexto procedeuse a recolha de testemunhos entre as participantes, na
descrio do ciclo de produo e da transformao do
linho.
(d) O vdeo com Senhora de Frazo foi realizado a
uma moradora do Concelho de Penafel com grande
experiencia na tradio da produo do linho.
(e) O vdeo da recriao da espadelada foi o resultado
da colaborao com o Rancho Folclrico Independente
da Citania de Sanfns, na organizao de uma
espadelada. Deste modo, no dia 25 de novembro de
2012 decorreu uma espadelada na sede do Rancho
Folclrico, que contou com a participao dos seus
elementos para recriar alguns dos cantares tradicionais
relacionados com o tratamento do linho.
Para o desenvolvimento do interface do documentario
interativo a escolha recaiu no aplicao Korsakow,
devido a permitir a sua execuo ao nvel local,
independente de uma ligao a internet. O software
Korsakow [11] foi lanado em 2000 pelo alemo Florian
Thalhofer e desenvolvido para os sistemas operativos
Windows e MacOS. Esta aplicao foi projetada para o
desenvolvimento de interfaces que possibilitem a juno
de blocos de flmes, assim como a sua parametrizao e
controlo. Uma das suas vantagens o seu
funcionamento ao nvel local, independente de uma
ligao a internet.

202

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

Figura 3 - Esquema da arquitetura geral do artefacto 2.

Figura 1 - Esquema da aquitetura geral do artefacto 1.

Deste modo, aps a edio e a exportao dos vdeos

com cerca de 4 minutos cada um, utilizou-se o software
Korsakow como forma a desenvolver o interface para
interligar e apresentar os vdeos e possibilitar a interao
do utilizador com recurso a um quadro interativo (v.d.
Fig. 2). O desenvolvimento do interface realizado
atravs da confgurao de Smallest Narrative Unit
(SNU), uma designao que atribuda a todos os video
a serem apresentados quando se inicia o documentario.
Um ou mais SNUs podem ser defnidos como os
primeiros a iniciar, embora de forma aleatria.
Posteriormente so desenvolvidas as miniaturas de prvisualizao dos restantes vdeos, que esto interligados
por meio de keywords. Deste modo possvel defnir a
ordem dos vdeos, o numero de visualizaes que cada
um deles pode repetir e se algum deles conclui o projeto.

Figura 2 - Editor de interface do programa Korsakow [11]

Aps a parametrizao da aplicao procede-se a

exportao do projeto que gera um fcheiro index.html.
Numa ultima etapa feita a interligao do projeto
exportado pelo Korsakow e projetado num quadro
interativo. A comunicao entre o computador e o
quadro interativo realizada por intermdio do driver
que fornecido pelo fabricante do quadro, e que
possibilita a calibrao da area de projeo com a
superfcie tatil relativa ao toque.

O segundo artefacto, Traje Interativo, teve como

objetivo a necessidade de despertar e cativar a ateno
do visitante para o vestuario onde utilizado o linho
como produto fnal, de forma a compreender todo o
processo de produo. Neste sentido desenvolveu-se um
artefacto que reagisse ao movimento de entrada de
pessoas no espao e que levasse o visitante a interagir
com ele. Deste modo, desenvolveu-se uma instalao
que espelha o movimento do visitante envergando o
referido vestuario. O visitante assume o papel de fruidor
da obra atravs do espelhar dos seus movimentos,
possibilitando uma maior ateno aos pormenores do
vestuario; ver Fig. 3.
Relativamente aos sensores de deteo de movimento
e interao com sistemas digitais, a escolha recaiu sobre
o Microsoft Kinect [12], pelo facto de ter sido
nativamente projetado e calibrado para a escala humana.
Outro fator a existencia de uma maior diversidade de
aplicaes
e frameworks, alm de uma vasta
documentao tcnica [12] e fruns que possibilitam
apoio ao desenvolvimento. O Kinect incorpora uma
camara RGB e um emissor IRDA que possibilita fazer
uma leitura de uma imagem em profundidade, e realizar
a deteo e o mapeamento de movimento.
Existe um conjunto alargado de bibliotecas de suporte
para o Kinect produzidos paras diferentes sistemas
operativos. A escolha recaiu para OpenNI - Open
Natural Interaction [13], pela compatibilidade com o
MacOS, sistema operativo que se utilizou no decurso do
desenvolvimento. A par disso, um dos principais
membros da OpenNI a PrimeSense (Primesense,
2014), uma empresa que na altura do desenvolvimento
do projeto estava por detras da tecnologia usada no
Kinect, tendo disponibilizado as suas prprias
bibliotecas em formato de cdigo aberto. Funciona
como middleware, o que facilita o acesso e utilizao de
equipamentos como o Microsoft Kinect.
Por ultimo, utilizou-se o Animata [14], um software
de animao em tempo real que foi projetado para
criao de animaes interativas (Fig. 4). A
peculiaridade deste software de que a animao
(movimento de personagens e alteraes de fundo)
gerada em tempo real, tornando possvel uma interao
contnua. Esta funcionalidade tambm permite que
7th International Conference on Digital Arts ARTECH 2015

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

sensores fsicos ou camaras possam controlar a

animao de personagens. A escolha deste software
recaiu na sua simplicidade de utilizao e por ser open
source.

Figura 4 - Ambiente de desenvolvimento com software

Animata [14].

Para que o computador comunique com o Kinect,

necessaria a instalao de drivers que identifquem o
hardware e e de um software que faa a leitura e
processamento das coordenadas recolhidas pelo Kinect
em formato OSC, v.d. Fig. 5. Neste caso recorreu-se ao
OSCeleton [15], que envia os dados para o Animata de
modo a possibilitar interao com a imagem projetada e
o controlo dos diferentes elementos do objeto, atravs
do mapeamento das articulaes.
Como o Animata necessita das coordenadas OSC
num formato especfco, necessario a adio no
parametro "-k" ("kitchen" mode) ao carregar o
OSCeleton. Deste modo, o OSCeleton executado a
partir de uma linha de comandos no terminal do Sistema
Operativo, fcando desde esse momento a fazer a leitura
dos dados OSC transmitidos pelo Kinect quando deteta
alguma pessoa. Esses dados em formato OSC tem a
informao do esqueleto e das varias articulaes que
esto mapeadas na fgura. Por fm, atravs do software
Animata que se gera o movimento da personagem na
imagem; para mais detalhes consultar [16].
Com a utilizao de sensores e de interfaces
obra/observador, o espectador convidado e instigado a
participao e ao movimento, combinando as passivas
posies do espectador de cinema e do espectador da
galeria numa experiencia de maior imerso que
extrapola a mera iluso.
IV. Execuo das vdeo-instalaes
O espao escolhido para a realizao da vdeoinstalao um dos edifcios do atual Parque Urbano da
Cidade de Paos de Ferreira. Esse espao foi
inicialmente projetado em meados dos anos 50 para
7th International Conference on Digital Arts ARTECH 2015

203

servir como espao de cultivo agrcola e produo de

laticnios, sendo ainda hoje conhecido por Agraria.
Dadas as caractersticas do espao e aps contactos com
a Patrium (Associao de Defesa e Divulgao do
Patrimnio) e elementos do Pelouro da Cultura da
Camara Municipal, foi conseguida a cedencia do espao
e o apoio logstico, nomeadamente no emprstimo dos
equipamentos necessarios para a realizao da vdeoinstalao. Neste contexto, foi realizada e apresentada
uma proposta com o layout de distribuio dos
artefactos pelo espao do edifcio.

Figura 5 - Parametros OSC no programa Animata.

Figura 6 - Em cima, espaco da exposicao. Em baixo, imagens

da visita de algumas pessoas e interacao com o artefacto "traje
interactivo".

Na parte superior da Fig. 6 apresenta-se o espao da

exposio e na parte inferior a visita por algumas
pessoas e a interao com o artefacto traje interativo.
A confgurao dos elementos no espao da exposio
foi disposta de forma a privilegiar a sua
contextualizao. Com esse intuito, manteve-se apenas
uma das portas do edifcio aberta de modo a favorecer
um percurso circular em que os visitantes ao
regressarem ao ponto inicial passassem por todos os
elementos. Na entrada do edifcio fcaram dispostas as
sementes de linho, seguidas dos artefactos que
documentavam por ordem de trabalho, todas as suas

204

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

fases, desde a sementeira at a tecelagem. As areas

relativas a cada uma das etapas foram identifcadas e
legendadas, fcando o quadro interativo (artefacto 1) na
area central da exposio e o traje interativo (artefacto
2) na parte fnal, enquadrado com o processo de
tecelagem do linho, v.d. Fig. 6, primeira linha. Esta
disposio teve como objetivo avaliar o interesse dos
visitantes em cada uma das etapas, tendo em conta o
tempo por estes despendido entre os artefactos
interativos, e os elementos e utenslios para trabalhar o
linho.
Foi tambm disposto um album com fotografas de
atividades, relacionadas com o ciclo do linho, numa
mesa prxima da porta de entrada, de forma a
possibilitar que os visitantes passem por ai ao entrar e ao
sair do espao. O album serviu tambm para uma
melhor analise da ateno e do tempo que os visitantes
disponibilizaram a este formato analgico e, por outro
lado, as fotos e vdeos disponveis atravs do
documentario interativo.
A divulgao da vdeo-instalao passou pelo
desenvolvimento de um cartaz e pela projeco de um
video promocional nos dias que antecederam a
exposio com informao das datas a realizar. A
apresentao publica teve lugar nos dias 7 e 8 de
setembro de 2013 num dos edifcios do Parque Urbano
da Cidade de Paos de Ferreira. Para contextualizar os
dois projetos no tema do ciclo do linho, houve o apoio
da Associao Paos 2000, que disponibilizou utenslios
utilizados no processo de trabalho do linho, bem como
de linho nas suas diferentes etapas, nomeadamente de
toalhas de linho que serviram para decorar algumas das
mesas existentes no espao.
O documentario interativo (artefacto 1) foi projetado
num
quadro
multimdia
e
simultaneamente
disponibilizado num portatil, onde foi instalado o
software de controlo do quadro (A-migo V1.0), de modo
a proceder a calibrao do mesmo. Relativamente ao
traje interativo (artefacto 2), foi retroprojetado em tela
translucida, atravs de computador, projetor e a Kinect.
Ambos os projetos partilharam o mesmo espao. O
documentario interativo (artefacto 1) teve o papel de
demonstrar as diferentes etapas do ciclo do linho, desde
a sementeira at a espadelada, possibilitando, assim,
uma interpretao complementar dos elementos
expostos relativos ao linho. Dessa forma, possibilitou-se
ao visitante aceder a cada uma das etapas desse
processo, bem como ter acesso a testemunhos e
descries dos processos por parte de outras pessoas,
enriquecendo esta experiencia com os cantares da
espadelada.
O traje interativo (artefacto 2) fcou colocado num
lugar que coincide com o fm dos elementos expostos,
que demonstram a evoluo das etapas do ciclo do
linho, coincidindo assim com a etapa posterior, a
tecelagem do linho. Este projeto teve como principal
funo demonstrar a aplicao do linho como matria-

prima no vestuario, servindo a interao do visitante

para espelhar os movimentos deste e, desse modo,
captar a ateno para os pormenores do traje.
V. Resultados
A instalao foi visitada por aproximadamente 200
pessoas de varias faixas etarias, que demonstraram
interesse e grande interao quer com o vdeo interativo,
quer com o traje interativo. De um modo geral, houve
uma resposta positiva, verifcando-se que diversas
pessoas permaneceram dentro do espao da instalao
por perodos de tempo superiores a 20 minutos.
No ambito do documentario interativo, foram diversas
as pessoas que ao verem as espadeladas, identifcaram
varias das canes a presentes, tendo recordado
algumas das vivencias que tiveram nesses tempos, em
que tambm participaram. Dando-se o caso, de no
seguimento disso, voltarem mais tarde acompanhadas
com outros familiares e amigos, para darem a conhecer
os trabalhos expostos (Fig. 6, ultimas duas linhas).
Um dos modos de analise dos resultados foi realizado
atravs da observao do comportamento dos visitantes
pelo percurso que realizaram no espao da exposio.
Coexistindo nesse espao os dois artefactos
desenvolvidos na vertente digital, com a verso
analgica dos utenslios de trabalhar o linho, amostras
de linho das varias etapas pelas quais passa, juntamente
com albuns de fotografas que documentam os diferentes
estagios do processo, e de atividades realizadas por
idosos no ambito do trabalho desenvolvido pela
associao Paos 2000, tornou-se possvel ter um
elemento de comparao na analise das preferencias dos
visitantes. Neste contexto verifcou-se serem poucos os
visitantes que se prenderam aos textos descritivos que
legendavam os utenslios e a etapa a qual dizia respeito
uma determinada fase do linho que ai estava exposto,
tendo alguns casos demonstrado indiferena ao referido.
Atendendo ao numero de pessoas que interagiu com o
documentario interativo, nomeadamente com o vdeo
das fotos que descrevem as diversas etapas do ciclo de
trabalho do linho, em comparao com o equivalente em
formato analgico, foi possvel verifcar que poucos
visitantes folhearam o album de fotos.
Verifcou-se tambm que alguns dos visitantes,
embora no tenham interagido com o documentario
interativo, no foram contudo indiferentes ao artefacto
que lhes espelhava o movimento. Neste ultimo caso,
ouviram-se por vezes comentarios que demonstravam
terem reparado nas caractersticas do vestuario da
pessoa retratada, a fgura do artefacto com o traje de
tecido de linho.
Motivador e interessante foi tambm estar perante um
projeto que, nascendo para as pessoas, teve uma adeso
signifcativa (mais de 200 visitas em dois dias), em
comparao com outras atividades (mdia de 50 visitas
diarias) que tem vindo a decorrer no mesmo espao,
7th International Conference on Digital Arts ARTECH 2015

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

tendo por base o feedback dos tcnicos da Camara

Municipal. Dado o curto espao de tempo em que o
projeto esteve em exposio, esta pensado que este
possa vir a ter um percurso itinerante, percorrendo as
freguesias do concelho e outros edifcios publicos de
Paos de Ferreira, nomeadamente a Biblioteca
Municipal, a sede da Associao Paos 2000, bem como
algumas escolas do concelho.
Os oito vdeos que compem o documentario
interativo incorporam, cada um, uma narrativa
autnoma. Possibilitam atravs de diferentes
conjugaes construir diferentes histrias e formam um
todo, que superior a soma das partes. Neste contexto,
tornou-se possvel percecionar que os diversos vdeos
foram selecionados de acordo com as preferencias
pessoais de cada um e, atravs de conversas informais
com varios visitantes, apurou-se que grande parte dessas
escolhas recaam sobre os aspetos e/ou etapas que
desconheciam do ciclo do linho.
Verifcando-se ser comum que as pessoas que
comeavam pelos vdeos da sementeira eram as que, de
um modo geral, desconheciam por completo o processo
da produo do linho, selecionando de seguida os vdeos
de outras etapas que lhes pareciam ser subsequentes,
saltando no entanto os vdeos das entrevistas que
relatavam o processo do trabalho com o linho.
O feedback obtido ao longo dos dois dias de
apresentao publica do projeto, levou a que inumeros
responsaveis de instituies locais, nomeadamente da
Biblioteca Municipal, Associao Paos 2000 e da
Camara Municipal, manifestassem interesse em
futuramente acolher esta instalao nos seus espaos.
Este facto e o manifesto interesse da populao, tendo
em conta a forte adeso e o elevado numero de
visitantes, levam a acreditar que este tipo de projetos
fulcral na mobilizao social em torno destas tematicas,
nomeadamente dos mais jovens, em que a tecnologia
um meio com o qual mais se identifcam e que os atrai.
VI. Concluses
Os dois projetos desenvolvidos tem como elemento
comum o facto de proporcionarem uma nova
experiencia ao espectador atravs da conjugao do
vdeo e a interao e, assim, possibilitar um papel mais
ativo na explorao dos artefactos atravs das
preferencias individuais. Estes projetos permitiram uma
refexo em torno da videoarte, no que concerne a sua
especifcidade e a forma como atravs de praticas que
envolvem a edio no-linear e a vdeo-instalao,
potenciam uma multiplicidade de discursos que
facilitam a difuso de saberes. O sucesso da experiencia
e o deslumbre dos visitantes faz-nos acreditar que as
artes digitais so uma mais-valia como elemento de
atrao para divulgao de tradies e de saberes. O
recurso a esta arte, para alm de possibilitar o contacto
7th International Conference on Digital Arts ARTECH 2015

205

com um maior numero de pessoas, chega tambm a um

espectro etario mais alargado.
Como melhorias a implementar vemos a explorao
de outros nveis de compresso e resoluo dos videos
de forma a potenciar-se a internet como outro meio de
difuso do documentario. Possibilitava uma utilizao
autnoma e alternativa ao quadro multimdia, tendo o
web browser como forma de interao. Relativamente
ao traje interativo, vemos a possibilidade de desenvolver
diferentes gneros de trajes, de modo a possibilitar mais
opes de escolha e logo uma melhor contextualizao
das vestimentas.
Atendendo ao objetivo principal, o de desenvolver um
projeto que promovesse a transmisso de saberes e
tradies com recurso da interatividade, conclui-se que a
componente multimdia aliada a interatividade potencia
a transmisso e divulgao de saberes. Cativam quer as
pessoas mais jovens que desconheciam a tematica, quer
as mais idosas que, embora conheam o ciclo de
trabalhar o linho, aproveitaram para rever o processo a
partir de uma nova perspetiva.
A importancia do documentario na construo e
divulgao do conhecimento foi a de possibilitar uma
participao ativa de uma determinada comunidade, e de
preservar a imagem e o audio para que no se percam no
tempo. A vdeo-instalao surgiu-nos como uma
plataforma ideal para o trabalho de memria e narrao
de histrias. Dessa forma, a videoarte como uma forma
de expresso artstica que utiliza a tecnologia do vdeo
em artes visuais possibilita uma diferente inter-relao
entre a imagem e o observador. No espao utilizado para
a exposio, o projetor criou uma condio de encontro
entre dois espaos, o da imagem e o espao em que esta
se projeta. O observador/fruidor teve um papel
aglutinador na obra, pois atravs da experiencia se
transformou num elemento ativo. Esta obra aberta
caracterizou-se numa infndavel rede de ligaes em que
o centro se perdeu, e o artista e observador foram
simultaneamente leitores e criadores de narrativas.
O projeto foi por isso capaz de reformular propostas
estticas com implicao cada vez maior nos sentidos
dos seus espectadores, enquanto meio que prope
noes de apresentao, imerso, memria e deduo.
Se por um lado, o espectador foi chamado a viver e
repensar na sua condio social, por outro reforada a
consciencia em torno da obra, modifcando a vivencia
em torno desta forma de manifestao artstica.
Como trabalho futuro este projeto pode ser um ponto
de partida para a difuso para outras areas do saber
popular e em atividades agrcolas como a produo do
centeio e do milho, as desfolhadas, ou mesmo pelos
processos artesanais de produo de vinho. Podem ser
exemplo disso as vindimas e o processo de pisar as
uvas, atividades que tem vindo a desaparecer com a
adoo de processos industriais, como o caso da
entrega das uvas as cooperativas e da produo do milho

206

A. Brito, R. Leito, J. Rodrigues and A. Marcos / Vdeo-instalao para a Interpretao de Tradies Regionais

largamente destinada a transformao direta para o

consumo e para as raes de animais.
As concluses resultantes da analise apresentada neste
artigo levantam questes que podem constituir em
trabalhos futuros pontos importantes para o
desenvolvimento de novas instancias dos artefactos, a
partir dos quais se podero colocar novas questes de
investigao. Neste sentido podera possibilitar adicionar
novos elementos a linha de investigao e ajudar a
levantar novas questes.
Agradecimentos
Este trabalho parcialmente suportado pela Fundao
para a Ciencia e Tecnologia pelos projetos LARSyS
(P e st - OE/ E EI / LA 000 9/ 20 13) e C I AC ( P Est OE/EAT/UI4019/2013).
Referencias
[1] P. Virilio, O espao crtico e as perspectivas do tempo
real, Editora 34, 1993.
[2] C. Manasseh, The Problematic of Video Art in Museum,
1968-1990. Cambria Press, 2009.
[3] B. Furht, Handbook of Multimedia for Digital
Entertainment and Arts. Springer Science & Business
Media, 2010.
[4] M. Lovejoy, Digital Currents: Art in the Electronic Age.
Routledge, 2004.

[5] Interactive installation in Berlim, http://noparking.dk/?

p=1672&lang=en. 20-Jan-2015.
[6] S. Bordini, Appunti sul paesaggio nellarte mediale.
postmediabooks, 2010.
[7] J. Brouwer and A. Mulder, TransUrbanism: Arjun
Appadurai, Arjen Mulder, Knowbotic Research, Lars
Spuybroek, Scott Lash, Rafael Lozano-Hemmer, Andreas
Ruby, Edward Soja, Rem Koolhaas, Brett Steele, Roemer
Van Toorn, Mark Wigley. V2_ publishing, 2002.
[8] A. Cameron and F. Menenghini, The art of experimental
interaction design. Systems Design, 2004.
[9] S. Broadhurst and J. Machon, Identity, Performance and
Technology: Practices of Empowerment, Embodiment
and Technicity. Palgrave Macmillan, 2012.
[10] Marcos, Aderito, Instanciando mecanismos de
a/r/tografia no processo de criacao em arte
digital/computacional., in INVISIBILIDADES: Revista
Iberoamericana de Pesquisa em Educacao, Cultura e
Artes ISSN 1647-0508. Vol. 3 (set.2012), p.138-145.
http://hdl.handle.net/10400.2/2204.
[11] Korsakow, http://www.korsakow.org. 05-Oct-2014.
[12] Kinect, http://www.microsoft.com/enus/kinectforwindows. 05-Oct-2014.
[13] Openni, http://structure.io/openni. 05-Oct-2014.
[14] Animata, http://animata.kibu.hu. 05-Oct-2014.
[15] OSCeleton, https://github.com/Sensebloom/OSCeleton.
05-Oct-2015.
[16] How does Kinect work?,
http://gaming.stackexchange.com/questions/7532/howdoeskinect-work. 05-Oct-2014.

7th International Conference on Digital Arts ARTECH 2015

207

Short papers

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

209

A Kinect Game in the VirtualSign Project: Training and

Learning with Gestures
Paula Escudeiro*, Nuno Escudeiro*, Rosa Reis*, Ana Bela Baltazar*, Pedro Rodrigues*, Jorge
Lopes*, Marcelo Norberto*, Maciel Barbosa**, and Jos Bidarra***
*Engineering Institute of Oporto, Portugal; **Faculty of Engineering, University of
Oporto, Portugal; ***CIAC, Universidade Aberta (Open University), Lisbon, Portugal
Abstract This paper presents the development
of a game aimed at making the process of learning sign
language enjoyable and interactive, using the VirtualSign
Translator. In this game the player controls a character
that interacts with various objects and non-player
characters with the aim of collecting several gestures from
the Portuguese Sign Language. Through the connection
with VirtualSign Translator the data gloves and Kinect
support this interaction and the character can then
represent the gestures. This allows for the user to visualize
and learn or train the various existing configurations of
gestures. To improve the interactivity and to make the
game more interesting and motivating, several checkpoints
were placed along game levels. This provides the players
with a chance to test the knowledge they have acquired so
far on the checkpoints, after performing the signs using
Kinect. A High Scores system was also created, as well as a
History option, to ensure that the game is a continuous and
motivating learning process.
Index Terms Kinect game, game development,
educational content, educational game, Portuguese Sign
Language.

I. INTRODUCTION
In this day and age, games and simulations create
remarkable opportunities to overcome the scarcity of
educational digital content available for the hearing
impaired community. Furthermore, freedom of choice,
challenge, participation, transparency, integrity,
collaboration, fun, speed, and innovation should become
a part of students learning experiences. In this context,
playing games may be an important aspect of learning
as this generations game-playing experiences are more
widespread than the game-playing experiences of
previous generations. The interest in gaming for
educational purposes has increased over the last decade,
with researchers identifying key pedagogical features
that make good games inherently strong learning tools.
What underlies the allure of games? Educational game
researcher James Gee [1] shows how good game
designers manage to get new players to learn their long,
complex, and difficult games. A well-designed game
entices players into the reality of the game world and
keeps them there until the goals of the game have been
met [2]. Gee points out that incorporating appropriate
challenges that are doable, and other widely accepted
effective learning principles that are supported by
7th International Conference on Digital Arts ARTECH 2015

research in cognitive science, are in fact a large part of

what makes good games motivating and entertaining
[3].
Making these opportunities available to those who
endure handicap and disabilities is a core concern in
todays society and a must to promote equity and
inclusion. In this work we propose a new approach by
using a game to make the process of learning sign
language enjoyable and interactive. In this game the
player controls a character that interacts with various
objects and non-player characters with the aim of
collecting several gestures from the Portuguese Sign
Language. The character can then perform these
gestures himself. This allows the user to visualize and
learn or train the various existing gestures. The user
interacts with the game through data gloves and a
Kinect device. To raise the interactivity and to make the
game more interesting and motivating, several
checkpoints were placed along game levels. This
provides the players with a chance to test the knowledge
they have acquired so far on the checkpoints, after
performing the signs using Kinect. A High Scores
system was also created, as well as a History option, to
ensure that the game is a continuous and motivating
learning process.
II. THE GAME
The project consists of a didactic game about
Portuguese Sign Language, where the player can enjoy
the game while learning gestures simultaneously [4].
The VirtualSign Translator has been connected to the
game [5] in order to make it more interactive, more
appealing, and more effective using the translator Kinect
and gloves.
The main objective of this project is to facilitate the
learning of the Portuguese Sign Language and to
improve the dexterity of those who already know it,
making learning a pleasant experience.
The deaf community in Portugal has around 100 000
individuals and yet the digital content available for this
community is still rather scarce. With this project, not
only we are promoting knowledge for this restricted
community, but we are also encouraging other people to
learn and become able to better understand this
community [6].

210

P. Escudeiro et al. / A Kinect Game in the VirtualSign Project: Training and Learning with Gestures

The game is played in first person view, so the player

controls a character in a specific scenario.
Each map represents a level and each level has
several scattered objects, through the map for the player
to interact with, most of those objects are gestures. All
objects collected by the player will be stored in his
inventory and can be accessed at any point during the
game. Most of these gestures and objects can be used
through the inventory; the character will then perform
the gesture so that the user can visualize how it is done,
either automatically at checkpoints or by clicking them
in the inventory.
To progress in the game the player must collect all the
gestures scattered around the level [7]. The faster the
player manages to collect all the gestures the higher his
score will be.
The player may choose to play using Kinect but he
must have first obtained all the gestures in the level and
perform them.
Our research showed that there are some projects
related to this theme/area but none of them implies an
automatic bidirectional translation process in a game as
this does, therefor making this project very innovative.
Some of the related work is described below.
A. CopyCat
The game CopyCat is the most similar project in
comparison to ours. It consists of a game where sign
language gestures need to be executed properly in order
to proceed. The movement analysis is done through
gloves with sensors. However, the researchers from the
CopyCat project have published a video where they
show their intention to use Kinect for movement
detection.
B. ProDeaf
ProDeaf is an application that does the translation of
Portuguese text or voice to Brazilian gesture language.
The objective of the ProDeaf is to make the
communication between mute and deaf people easier,
making digital content accessible in Brazilian gesture
language.
C. Kinect Sign Language Translator in Beijing
University
Researchers in China have created the Kinect Sign
Language Translator, a prototype system that
understands the gestures of sign language and converts
them to spoken and written languageand vice
versa. This project was a result of collaboration,
facilitated by Microsoft Research, between the Chinese
Academy of Sciences, Beijing Union University, and
Microsoft Research Asia, each of which made crucial
contributions.

D. Faceshift
This programme analyses facial expressions, namely,
the orientation of the users head and eyes. The
information analysed by the application is used to
animate virtual characters that can be used in videos or
games.
E. MoVER
MoVER (Movement in Virtual Environment for
Rehabilitation), a Serious Game that simulates
physiotherapical movements through challenges to
perform virtual tasks using the human body. This
project was developed in the University of So Paulo.
III. APPLICATION REQUIREMENTS
In this section the functional and non-functional
requirements of the application are described.
Functional requirements represent the features available
to the user.
A. Functional Requirements
The functional requirements were identified in the
early stages of development of the project, and include
the following:
1. Start Menu, where the player can choose the type
of game he wants (with or without Kinect), consult
the options or exit;
2. Options Menu, where you can change the graphics
quality, volume, save or load the game and see the
table of high scores.
The game requirements within the levels are:
- Handling and controlling of the character;
- Interacting with NPCs (Non-Player Characters);
- Consulting the inventory and use the items in it;
- Interacting with map objects;
- Accessing to the above options menu.
B. Non-Functional Requirements
Regarding non-functional requirements, our work
focused on the following:
1. Usability
Usability is the ease of use of the application and its
accessibility to the user [8].
With this in mind during the project design it is
expected the interface to be fairly intuitive, allowing for
easy adaptation and learning. The user interfaces must
be simple so anyone can use them easily.
The character controls are simple, and throughout the
game there are explanations of what needs to be done.
The accessibility is guaranteed because it is only
necessary to run an executable file in order to play while
Kinect is not in use.

7th International Conference on Digital Arts ARTECH 2015

P. Escudeiro et al. / A Kinect Game in the VirtualSign Project: Training and Learning with Gestures

While playing using the Kinect, two applications are

required as well as the necessary drivers, and also
assuring that the Kinect is properly plugged in.
2. Performance
The gaming performance is always a factor of the
utmost importance, because the response time from the
game to the user is always immediate, any delay or
decrease of the number of frames per second can affect
the gameplay making the game frustrating rather than
fun.
To maintain the performance this game was tested to
never run less than 60 frames per second on a computer.
The essential functions must be constantly executed and
the code must be optimized to avoid waste of resources.
Besides the code, all the factors that constrain the
performance of the game should be taken into account,
such as textures, bumps, and number of vertices of the
3D models among others.
The connection to the VirtualSign translator is
instantaneous and there is no delay from the moment of
the translation of the preformed gesture to the moment
its receive in the game. Therefor the player wont notice
any delays while preforming the gestures.
IV. GAME ARCHITECTURE
For this project two applications were developed, the
game application in Unity 3D and the interface that
connects the virtual sign translator to Unity. The
interface was developed in Microsoft Visual Studio.
The project was divided into layers, given its high
degree of complexity.
At the top level there is the interface. The user can
access all the functionalities of the project through this
layer. This layer is responsible for forwarding the
actions of the user to the next layers.
On the lower level there are three layers. The sockets
layer is responsible for linking the Unity game
application to the Kinect that is why this layer is below
the interface in order to provide the layer above with the
player input. Another layer of the lower level is is the
game engine; this layer is responsible for the execution
of the game itself, representing the functions of Unity.
Finally, there is the business layer, which is where the
game functions are available to the player. Figure 1
shows the layers of game.

Fig. 1. Layers of game)

7th International Conference on Digital Arts ARTECH 2015

211

For the development of this project it was decided to

start with the implementation of the basic functionality
and then proceed to the animation of the character,
which was later replaced by an animated avatar now
available at the GILT research group (Graphic
Interaction and Learning Technologies).
In the development of this project a draft was first
developed implementing the basic functionalities, as
shown in Figure 2. Following this the players avatar
was animated, however it was eventually replaced by
the one provided by GILT.

Fig. 2. Scenario of the basic functionalities of the game

After having a basic scenario created the development

phase of the scripts started.
All the translations are handled by the VirtualSign
Translator therefore its not referenced in the game
architecture as it is an different application. The sockets
as mentioned before are responsible for the connection
between the two applications and the information is
transferred from one to another instantaneously.
For this application the official Unity Sockets
example was adapted, and a window was created where
the user could see the connection status. This window is
set to run on the thread so it does not
directly affect the performance of the recognition
application.
To make the connection with Kinect the IP address
and port are needed. This information is sent to the API
and this will make the connection, which will return a
message acknowledging the success or failure of the
operation. This API is entitled SharpConnect.dll. This
DLL file was slightly modified in order to work
properly based on the functionalities that were
developed. After the connection is established, the
information from Kinect is received and analysed. Then
we get the confirmation that it is (or not) the information
to be expected. If it is not, then the user will be notified
of what gesture he did and which gesture was expected.
It will be possible to proceed only when the user
manages to perform the requested gesture correctly. He
or she has then learned and trained the requested
gesture, according to the sign language system.

212

P. Escudeiro et al. / A Kinect Game in the VirtualSign Project: Training and Learning with Gestures

V. GAME PLAY
The first functionality developed was the inventory.
The inventory stores the items acquired by the player
and provides access to them at any time.
Following that, the scripts to interact with the objects
were created. These scripts were optimized so they
could be later reused for multiple objects without having
to change the code [2].
Having been established some objects on the map
with the script to be added the inventory proceeded to
the creation of this graphical interface.
The map has objects and those objects contain scripts,
which allows them to be added to the inventory of the
player. Creation of the graphical interface was then
started.
The inventory consists of forty-two spaces that are
empty upon initialization. With the inventory set up and
ready to receive the objects that the user can acquire, the
handling of collisions with these objects was created in
order to detect when the user is within a reasonable
distance to perform the interaction.
There are also various non-player characters and
interactive objects that will give information to the
player about quests he must accomplish in order to
obtain new gestures. This quests will ask the player to
retrieve a certain gesture and use it in a specific situation
such as using water to put off a fire, where the player
will have to perform the water gesture near the fire
object in the scene. There is always feedback provided
to the user so that he knows what and when to do
perform a gesture.
Players scores are incremented during the game as
they acquire new gestures. The shorter the time it takes
between the acquisitions of two objects, the greater the
score. If the delay is less than one minute, one hundred
points are acquired, if it is between one and two
minutes, fifty points are acquired, if the delay exceeds
two minutes, twenty-five points will be obtained
regardless of time spent. Figure 3 shows the score of
game.

be developed in C# on the Microsoft Visual Studio

environment for compatibility reasons.
The VirtualSign application detects and translates the
gestures that the user makes, saving the one with higher
probability of success. With this in mind we needed
access to this part application code in order to be able to
send the necessary content to Unity. The connection
method used was the Socket as Unity supports .NET
Framework. For this connection the use of an API that
makes the connection in Unity and Development was
needed. An application where relevant text would be
sent was also developed.
These gestures are then sent to the game and the
player visualises them on the checkpoints so that he
knows whether he is performing correctly or not. When
all the gestures of the checkpoint are performed
correctly the user can then move on to the next area of
the level.
VI. CONCLUSION
The implications for understanding the relationship
between games and learning are that games need not be
defined as an essential instrument or a type of content
but as contemporary human creations whose forms and
meanings are strategic for education, more specifically
concerning the hearing impaired community.
The selection of this target population is due to the
growing number of students with special needs who
complete the elementary and high school and come to
higher education. This situation demands for new means
that allow these individuals to have easy access to
educational digital content. In order to motivate them
towards the learning process we have created a game
that combines the sign language learning process with
the pleasant feeling of playing a digital game.
We believe this is a great time to take on the
challenge of adopting new digital media, serious games
and interactive simulations. However, the development
of a game is always a complex task and many
adversities were faced along the way. A lot of effort and
time were needed to face challenges and solve
problems, but a fair amount of knowledge was acquired
during this process.
ACKNOWLEDGEMENT

Fig. 3. Score of the game

After finishing the structure of the game, the

development of the application to use with the Kinect
was started. Since this application would be an
adaptation of the VirtualSign project, it was necessary to

This work was supported by the Engineering Institute

of Oporto and GILT (Graphics, Interaction and Learning
Technologies) under grant No. 60973089, a project FCT
(Fundao para a Cincia e Tecnologia).
REFERENCES
[1] J. P. Gee, What video games have to teach us about learning and
literacy, New York: Palgrave Macmillan, 2003.

[2] K. Salen & E. Zimmerman, Rules of play: Game design

fundamentals. Cambridge, MA: MIT Press, 2004
7th International Conference on Digital Arts ARTECH 2015

P. Escudeiro et al. / A Kinect Game in the VirtualSign Project: Training and Learning with Gestures

[3] J. P. Gee, Situated language and learning: A critique of

traditional schooling, New York: Routledge, 2004.

[4] I Reyes, Comunicar a travs del silencio:las posibilidades de la

lengua de signos, Universidad de Sevilla, 2005.

[5] D. Catue, Programming with the Kinect for Windows: Software

Development Kit, Microsoft, 2012.

[6] A. Herrero-Blanco and V. Salazar-Garcia, Non-verbal

predicability and copula support rule in Spanish Sign Language.
In: de Groot, Casper / Hengeveld, Kees (eds): Morphosyntactic,
2005
[7] M. Prensky, Digital Game-Based Learning, New York:
McGraw-Hill, 2001.
[8] I. Holm, Ideas and Beliefs in Architecture and Industrial design:
How attitudes, orientations, and underlying assumptions shape
the built environment, Oslo School of Architecture and Design.,
2006

7th International Conference on Digital Arts ARTECH 2015

213

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

215

A Narrativa Transmedia em Contexto Extracurricular

Ana Cristina dos Santos Marques, Universidade Aberta, Lisboa, [email protected]
Nelson Zagalo, Universidade do Minho, [email protected]

Resumo

O presente artigo assenta no

pressuposto de que na grande parte das escolas existem
atividades extracurriculares que permitem trabalhar com
os alunos fora do contexto da aula, desenvolvendo temticas
transversais a diversas reas do conhecimento e da
aprendizagem adquirindo a forma de Narrativas
Transmedia. Parte ainda do princpio de que as artes so o
principal elemento potenciador da criatividade, marcando
de modo singular a Narrativa Transmedia.
Termos-chave Arte e tecnologia, visual age,
educao visual, narrativas transmedia.

I. ESBOANDO: AS ARTES NA ESCOLA

principal preocupao dos agentes educativos, cujo
privilgio o contacto direto com os jovens alunos, a
promoo de meios e mtodos pedaggicos que
conduzam ao estmulo da criatividade. Embora a
criatividade seja um fator para que se apela comumente
em todas as reas de ensino, tm sido as artes (visual,
musical, literria, performativa, dramtica, entre outros
exemplos) que maior interesse acolheram no contexto do
estudo dos meios e mtodos que proporcionam o
desenvolvimento
da
criatividade.
Situemo-nos no ensino secundrio, na escola portuguesa
atual, inserida numa cultura europeia que se pretende
global1 e que aplica metas aos seus currculos,
estabelecidas pelo Ministrio da Educao2. Assistimos
juno sob a forma de agrupamento de escolas em
ncleos que incorporam tendencialmente vrios
estabelecimentos de ensino, com nveis escolares entre o
Jardim de Infncia e o Ensino Secundrio. Estas escolas,
1

No sentido de aumentar a eficcia da cooperao europeia

encetada, o Conselho Europeu, realizado em 12 de maio de
2009, definiu um quadro estratgico para o desenvolvimento
dos sistemas de educao e formao at 2020 nos diferentes
pases da Unio Europeia. () Os objetivos estratgicos
definidos para o perodo de 2010/2020 so os seguintes: 1.
Tornar a aprendizagem ao longo da vida e a mobilidade uma
realidade; 2. Melhorar a qualidade e a eficcia da educao e
da formao; 3. Promover a igualdade, a coeso social e a
cidadania ativa; 4. Incentivar a criatividade e a inovao,
incluindo o esprito empreendedor, a todos os nveis da
educao e da formao. [8]
2
O Ministrio da Educao estabeleceu Metas
Curriculares sujeitas a discusso pblica e que revogaram o
documento Currculo Nacional do Ensino Bsico
Competncias Essenciais [3].

7th International Conference on Digital Arts ARTECH 2015

por vezes distantes fisicamente, vivem realidades

curriculares distintas e inserem-se em comunidades
desiguais. Apesar desta diversidade, o ensino continua a
basear-se numa estrutura curricular fechada, centrada na
avaliao e cumprimento de matrias. A exceo, neste
sistema, reside nas atividades extracurriculares,
potenciadoras de exploraes e desbravamento de
caminhos vedados pelo currculo e estanquicidade de
horrios.
O crescimento da prtica das atividades de caracter
extracurricular nas escolas nos anos mais recentes tem
diversas justificaes. Eccles e Gootman (2002) referem
a sua importncia no desenvolvimento dos jovens,
essencialmente a nvel social, cognitivo, emocional e
fsico dos alunos. Por outro lado, o convvio com a
realidade das escolas permite-me algumas afirmaes.
Um aspecto incontornvel aquele que est relacionado
com a necessidade de ajustar a rotina escolar dos jovens
com a organizao da vida familiar e os aspetos
econmicos inerentes. Por outro lado, verifica-se a
necessidade de manter os jovens num ambiente favorvel
aprendizagem, relacionando com esse facto o cultivo
de valores de cidadania, educativos e morais, ocupando o
seu tempo livre construtivamente. Acrescenta-se ainda o
aspeto
motivacional
dos
professores
que,
frequentemente, sentem necessidade de desenvolver
prticas exteriores sala de aula, situao mais frequente
entre professores das artes. Estes aspetos motivacionais
so fundamentais para o envolvimento nas atividades
extracurriculares.
Na prtica, a instituio de ensino frequentemente
responsvel pela estanquidade da criatividade,
adestrando indistintamente os alunos no sentido de
cultivarem e basearem o seu progresso em competncias
gerais e comuns, em vez de os acompanhar na descoberta
do seu potencial pessoal e particular, individual3. A
importncia das artes no currculo aflorada no
Currculo Nacional do Ensino Bsico Competncias
Essenciais: As Artes so elementos indispensveis no
desenvolvimento da expresso pessoal, social e cultural
do aluno. So formas de saber que articulam imaginao,
razo e emoo. Elas perpassam as vidas das pessoas,
3

() os sistemas educativos tendem a centrar-se em certos

tipos de anlise crtica e raciocnio, nomeadamente em palavras
e nmeros. Por mais fundamentais que sejam, e inteligncia
humana no se reduz a elas. (Robinson, 2010).

216

A. Marques and N. Zagalo / A Narrativa Transmedia em Contexto Extracurricular

trazendo novas perspetivas, formas e densidades ao

ambiente e sociedade em que se vive. () A educao
artstica no ensino bsico desenvolve-se,
maioritariamente, atravs de quatro grandes reas
artsticas, presentes ao longo de trs ciclos:
Expresso Plstica e Educao Visual;
Expresso e Educao Musical;
Expresso Dramtica/Teatro;
Expresso Fsico-Motora/Dana.4
A arte/educao artstica pode, assim, ser dinamizadora
de mltiplas prticas, cultivando a criatividade e o
envolvimento
dento
da
comunidade
escolar.
Urge considerar as recomendaes proferidas pela
UNESCO World Conference on Arts Education, em
particular, Noting that the development, through Arts
Education, of an aesthetic sense, creativity and the
faculties of critical thinking and reflection inherent to the
human condition is the right of every child and young
person.
fundamental ter sempre presente a visual age5 em que
se transformou o quotidiano do indivduo do sculo XXI.
Although many digital tools rely on sound and text,
most disseminate images, and youths who spend a third
of their waking hours in front of a screen are saturated
with images. The ubiquity of images in young peoples
lives has transformed the way they learn and perceive
the world. And their use of images has created a demand
for new skills to enable all young people to make sense of
the visual world.6
Este conceito destaca a importncia que tem, no
panorama presente, e principalmente para os jovens, a
utilizao dos meios digitais e eletrnicos de
comunicao na escola, em particular fora da sala de
aula. O relacionamento entre as diversas reas do
conhecimento possvel atravs dos equipamentos
tecnolgicos, sendo a informtica o ponto de ligao.
Fazendo a adio das artes com a tecnologia e a
transportarmos para as narrativas transmedia,
encontraremos a frmula para uma interao efetiva,
ampliando os fatores comunicacionais e a relao afetiva
entre os diversos elementos da comunidade escolar.

Currculo Nacional do Ensino Bsico Competncias

Essenciais, 2001, ME [1].
5
Learning in a Visual Age, The Critical Importance of Visual
Arts Education, Advocacy White Papers for Art Education [2].
6
idem [2].

II. DEFININDO CONTORNOS: A NARRATIVA

TRANSMEDIA

The secret sauce comes from our ability to

integrate art, music, and literature with the
hard sciences7
Dada a relevncia e expanso da presente cultura digital
e as necessidades sentidas no terreno, evidencia-se a
urgncia em dotar a escola de alternativas que permitam
compreender, analisar e reconstruir as realidades
comunicacionais.
Partindo das premissas de Frazel (2010), as narrativas
so importantes tanto no pensamento lgico e
matemtico, como em competncias lingusticas. O autor
salienta tambm alguns aspetos que so beneficiados
nesse enquadramento: criatividade e inovao;
comunicao e colaborao; pesquisa e fluncia de
informao; pensamento crtico, resoluo de problemas
e tomada de deciso; cidadania digital e aptides para
operar e conceber em tecnologia. Parece-nos importante
propagar a cultura participativa perspetivada por Jenkins
em
2006
e
foment-la
nas
escolas, por forma a obter-se um grau de interao
elevado nas diversas reas que compem estas
comunidades, focalizando na produo de alunos e de
professores, construir espaos de criao colaborativa
alargados (simultaneamente palco de expresses
coletivas e partilha de experincias), promovendo a
interao social. Esta circunstncia cultivada pelas
plataformas tecnolgicas que, num nico canal,
permitem a integrao de vdeo, texto, imagem, som,
televiso e rdio. Esta apropriao de diversos media
contribui para uma linguagem fragmentada formada por
elementos que, recolados, criam um universo harmnico;
transmedia storytelling represents a process where
integral elements of a fiction get dispersed systematically
across multiple delivery channels for the purpose of
creating a unified and coordinated entertainment
experience
(Jenkins,
2011).
A possibilidade de fluir entre plataformas permite ao
professor/autor da atividade ou projeto, adequar
contedos intencionalidade desejada. Este transcender
de contedos leva os alunos a compreender as ligaes e
conexes entre reas implicadas e d-lhes a possibilidade
de gerir o seu percurso transmeditico, ao que se rev
nas
teorias
construtivistas
da
aprendizagem.
Conceber um sistema transmedia nas atividades
extracurriculares na escola permite desenvolver um
trabalho de memrias, ligaes e referncias que conduz
a um envolvimento e a uma motivao acrescida por
parte da comunidade escolar; so ultrapassados os
constrangimentos de ordem fsica, amplia-se o
7

idem [2].

7th International Conference on Digital Arts ARTECH 2015

A. Marques and N. Zagalo / A Narrativa Transmedia em Contexto Extracurricular

envolvimento dos alunos em contexto de construo de

saberes em ambiente exterior prpria escola, aspeto que
valoriza
a
integrao
da
famlia.
A combinao de experincias em tempo real com as
atividades transmedia digitais implica atitudes de ordem
pedaggica a definir em cada atividade e por cada
professor. desta simbiose que nascem novos ambientes
de aprendizagem.

III. DEFININDO O TRAO UM CASO PRTICO

O cenrio de um caso prtico: agrupamento de escolas
com dificuldades comprovadas de comunicao e
ausncia de projetos comuns. Um nico projeto
educativo, um nico plano anual de atividades. No
entanto, cada uma das escolas est alheada da realidade
pedaggica das outras. Os alunos no partilham projetos
devido essencialmente distncia fsica verificada; os
professores no tm condies para desenvolver
atividades
colaborativas
entre
turmas.
Existe um vasto plano de atividades extracurriculares,
com predominncia na escola secundria, do qual
emerge o projeto baseado na rea artstica - artes
plsticas, cnicas, dana e msica so privilegiados.
Pretende-se alargar o projeto comunidade composta
pelas
restantes
escolas.
As Narrativas Transmedia so o modelo encontrado e a
colocar em prtica, focando o arranque nos pressupostos
de Hayes (2013), Pratten (2011), Kalougueras (2014),
sem nunca perder de vista Jenkins (2013). A varivel no
prevista nestes autores o contexto: a programao
extracurricular nas escolas. Neste caso, o processo de
criao das NT implica uma tipificao dos utilizadores
por forma a selecionar os canais a escolher, aps
levantamento de facilidades e constrangimentos. Estes
devem ser enunciados cuidadosamente pois so em
grande nmero e condicionam toda a atividade a planear
- salientam-se o acesso a redes, as disparidades de idades
e de interesses e a questo temporal. Sendo que cada
conjunto de atividades planeadas tem a durao de um
ano letivo, deve ser o tempo o alicerce da planificao. A
utilizao de suportes especficos (smartphone, tablet ou
portteis) est dependente da capacidade de
disponibilizao de equipamentos pela escola. No sendo
fundamental a existncia de uma histria, a planificao
deve ser flexvel e permitir introduo de dados novos a
todo o momento. No caso prtico em desenvolvimento, a
criao do contedo dedicado a cada canal definido da
responsabilidade de um conjunto de alunos devidamente
esclarecidos e entusiasmados, com foco na produo
artstica e forte impacto visual. Numa equipa de jovens
motivados, devidamente suportados, residir o segredo
do sucesso da NT.

7th International Conference on Digital Arts ARTECH 2015

217

IV. A IMPLEMENTAO
No projeto agora em desenvolvimento ser desenhada
uma narrativa geral, constituda de vrios episdios e
com duas personagens principais, sendo que o mote
central "rapaz encontra rapariga". Os alunos envolvidos
sero do 3ciclo e do secundrio, mas os motivos a tratar
daro conta de todos, do 1 ao 12ano.
Sero constitudos grupos de alunos de trabalho a quem
sero facultados motivos episdicos, que estes podero
escolher, expandir e comentar atravs do meio que
escolherem.
Os canais a explorar sero a BD8, o vdeo online e um
ARG - Alternate Reality Game, aos quais ser associado
um blogue geral, que permitir ir registando a progresso
narrativa, com a publicao de cada trabalho
desenvolvido.
Cada uma das produes dar conta de uma ramificao
da narrativa, que no tem de surgir de modo linear,
seguindo antes uma lgica rizomtica. Assim, a
experincia da narrativa transmedia, funcionar como
uma impresso de um todo assimilado e no de mera
progresso linear de episdios. O objetivo ramificar e
expandir, sem ter a preocupao de dar respostas a tudo.
Cria-se assim espao para que os fruidores da narrativa
possam trabalhar cognitivamente nas ligaes entre
produes. Deste modo procuramos tambm estimular
nestes a vontade de questionar as obras, abrindo para o
efeito espaos de comentrio e discusso sobre a
narrativa, por forma a envolver aqueles que no
estiveram diretamente implicados na produo o
fruidor passa a ser criador da histria e a condicion-la.
V. FINALIZANDO PORMENORES
As Narrativas Transmedia representam um processo que
integra os elementos da fico distribudos por diversos
canais de comunicao, cujo objetivo criar uma
experincia unificada e ordenada, em que cada meio
contribui de forma nica para o desenrolar da ao.
Tendo como pblico-alvo uma comunidade diversificada
de potenciais utilizadores mas confinada a algumas
escolas, possvel acompanhar e observar essa
experincia por forma a perceber de que modo so
contornados ou ultrapassados os problemas detetados no
incio da experincia, e que precisamente se visava
superar neste caso concreto, dificuldade de
comunicao no interior de cada escola, agravados
quando se passa ao todo das escolas em agrupamento;
ou, como tambm j referido, a inexistncia de um
projeto comum, em que os membros dispersos se
pudessem reconhecer numa mesma identidade.
8

Comics is one of the most powerful communication

and storytelling tools ever created [16]

218

A. Marques and N. Zagalo / A Narrativa Transmedia em Contexto Extracurricular

A envolvncia que se pretende atingir reforada pela

possibilidade de interao da famlia. O facto de vastos
elementos da comunidade serem chamados a intervir
como co-criadores neste processo amplia a abrangncia
do
projeto.
As artes, como elemento unificador de todo o projeto
Transmedia na forma de produo autntica realizada por
alunos, atribuem uma dimenso de pertena no s
narrativa como a todo o processo construtivo.

[10]
[11]

[12]
[13]
V. REFERNCIAS
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

Currculo Nacional do Ensino Bsico

Competncias Essenciais, 2001, ME, in
http://www.dgidc.minedu.pt/ensinobasico/index.php?s=directorio&pi
d=2, acedido em 4/7/2014.
Learning in a Visual Age, The Critical
Importance of Visual Arts Education, in
http://www.arteducators.org/learning/learningin-a-visual-age/NAEA_LVA_09.pdf, acedido
em 20/5/2013.
Metas Curriculares do Ensino Bsico
Homologadas, in http://www.dgidc.minedu.pt/index.php?s=noticias&noticia=396,
acedido em 24/05/2013.
Bamford, A., A Childs Rights to Quality Arts
and Cultural Education, Wimbledon School of
Art, London, 2006, In http://ife.enslyon.fr/vst/LettreVST/pdf/15-fevrier2006_AnneBamford.pdf, acedido em
25/05/2013.
Bernardo, N., The Producer's Guide to
Transmedia: How to Develop, Fund, Produce
and Distribute Compelling Stories Across
Multiple Platforms, beActive, Lisboa, 2011.
Eccles, J. S., Gootman, J. A., Community
Programs to Promote Youth Development.
Washington, National Academy, 2002.
Frazel, M., Digital Storytelling Guide for
Educators, International Society for Technology
in Education, iste, 2010.
Gaspar, T., Cooperao Europeia em educao
e Formao: O Quadro Estratgico Para 2020,
revista Noesis, n.80, pgs 14 e 15, in
www.dgidc.minedu.pt/data/dgidc/Revista_Noesis/doc.../la_fora
81.pdf , acedido em 25/05/2013.
Hayes, G., How to write a transmedia
production bible, disponvel em

[14]
[15]
[16]

http://www.screenaustralia.gov.au/getmedia/2b6
459ab-3d05-4607-8fc610e1a8fff13d/Transmedia-prod-bibletemplate.pdf, acedido em 13/10/2014.
Jenkins, H., Cultura da Convergncia, Aleph,
2006.
idem, Transmedia 202: Further Reflections, in
http://henryjenkins.org/2011/08/defining_trans
media_further_re.html, August 1, 2011, acedido
em 2/6/2014
Jenkins, H., Ford, S.,Green, J.,Spreadable
Media, NewYork University Press, 2013.
Kalougueras, S., Transmedia Storytelling and
the New Era of Media Convergence in Higher
Education, Palgrave Macmillan, 2014
Pratten, R., Getting Started in Transmedia
Storytelling, Robert Pratten, 2011.
Robinson, K., O Elemento, Porto Editora, 2011.
Weaver, T., Comics Using comics to construct
Your Transmedia Storyworld, UK, Focal Press,
2013.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

219

Considerando o docu-game como modelo de

representao do patrimnio cultural imaterial
Mrio Dominguez ([email protected]), Fernando Faria Paulino
([email protected]), Bruno Mendes Silva ([email protected])

CIAC Centro de Investigao em Artes e Comunicao Universidade do Algarve;

CELCC Centro de Estudos de Lngua, Comunicao e Cultura Instituto
Universitrio da Maia - ISMAI; Portugal
Resumo A proteo ao patrimnio cultural
imaterial da humanidade consiste num tema de
grande incidncia meditica desde incios da dcada
anterior. O processo de seleo, critrios e as formas
de preservao e registo constituem temas de
pertinente debate na esfera social e cientfica. Um
dos problemas prende-se com a legitimidade
relativamente materializao do patrimnio
imaterial e como este processo subverte o prprio
conceito de intangibilidade. Pretende-se explorar
neste artigo a possibilidade de considerar os
videojogos, por intermdio do gnero e das
caractersticas de videojogo documentrio (docugame), como forma de registo na salvaguarda
cultural.
Palavras
chave

videojogos,
docu-games,
documentrio, patrimnio imaterial, cultura
Introduo
Com a sucessiva integrao nas mais diversas
atividades, o conceito de videojogo, ao aproximar-se
gradualmente do estatuto de ubiquidade, cada vez
mais esbatido e difcil de dissociar. Nas recentes
dcadas, tem-se vindo a assistir a uma tendncia de
redescoberta do jogo como uma das mais importantes
ferramentas providenciadas pela prpria natureza, de
aproximao social, aprendizagem e formadora de
cultura. Caractersticas essas, e em muito como
consequncia da industrializao e do rigor do mtodo
cientfico, abafadas pela rotulagem tecnocrata do jogo
como uma perda de tempo o jogo como inimigo da
produtividade, do progresso, do srio e do real.
As tendncias associadas ao fenmeno dos Serious
Games, ou dos seus sub-gneros (como os jogos
educacionais ou dos newsgames - jogos com base nos
acontecimentos reportados pelos mdia) e de todo um
movimento em defesa da ludificao so provas atuais
desta integrao crescente dos jogos nos mais diversos
comportamentos sociais contemporneos.
Coloca-se ento a seguinte questo: ser o videojogo
tambm um meio pertinente na procura da
representao do patrimnio imaterial cultural?

7th International Conference on Digital Arts ARTECH 2015

Patrimnio Imaterial
Da proclamao do resultado da conveno realizada
em 2003 pela UNESCO, resultaram variadas diretrizes
no sentido de um apelo ao reconhecimento, respeito e
salvaguarda do chamado patrimnio cultural imaterial.
Esta ao de sensibilizao tem como alvo as entidades
locais, nacionais e internacionais, e visa todas as
prticas, representaes, expresses, conhecimentos e
aptides bem como os instrumentos, objetos,
artefactos e espaos culturais que lhes esto associados
que detenham reconhecimento por parte de uma dada
comunidade em como sendo caracterstica sua e da sua
identidade cultural [1].
Efetivamente, o conceito de patrimnio cultural
imaterial est em muito ligado memria e forma
como esses fragmentos herdados da gerao anterior e
passados para as geraes seguintes, residentes no
intelecto de cada indivduo, so interpretados, moldados
e repassados para o prximo e para o coletivo. Para a
UNESCO, os seguintes domnios esto contemplados
neste mbito de recolha e preservao patrimonial: as
tradies e expresses orais (...); as artes do espetculo;
prticas sociais, rituais e eventos festivos;
conhecimentos e prticas relacionadas com a natureza e
o universo; e as aptides ligadas ao artesanato
tradicional [1].
Esta iniciativa de mbito internacional, embora
apresente algumas salvaguardas, apresenta argumentos
que caminham no sentido de uma compartimentalizao
do intangvel em relao ao tangvel na cultura (desde
logo pelo termo empregue e pelas regras prprias). Por
si s, este facto continua a gerar polmica [2]. O
intangvel confere significado ao tangvel e confere-lhe
um estatuto de unicidade [3]. Da mesma forma que o
espao por si s no representa nada para alm de si
prprio, o estabelecimento de relaes entre este e as
pessoas, prticas e acontecimentos que o moldam,
conferem-lhe uma dimenso adicional de significado,
que por sua vez ir tambm afetar os seus utentes e a
sua prpria cultura.
Mas no apenas em torno deste ponto que a discusso
existe, j que neste contexto merece tambm ser
evidenciada a questo sobre a pertinncia do ato de
tornar tangvel o intangvel. Para alm das questes
polticas e interesses paralelos associadas s iniciativas

220

M. Dominguez et al. / Considerando o docu-game como modelo de representao do patrimnio cultural imaterial

da recolha patrimonial [2], a transformao das prticas

em objetos identificados como registo controversa,
apontando-se para uma eventual ausncia de razo para
que elementos culturais possam ser mantidos de forma
inerte em arquivo [2]. Isto leva a crer que uma
determinada poro de cultura registada, catalogada e
preservada est longe de garantir o seu valor
intrnseco no s pelo facto do ciclo de transmisso e de
prtica contnua cessar, mas pela introduo de novos
agentes estranhos (vulgo estrangeiros) ao prprio ritual
associado perdura do legado.
A informao recolhida poder ser ento determinada
como incapaz de respeitar a premissa imposta pela
preocupao com a preservao. No s o ato da
digitalizao implica sempre uma determinada
frequncia de amostragem (limitando o detalhe de
captura) como poder deixar de fora um conjunto
perifrico de informao sensorial perdida no processo
(como o odor e a temperatura esto ausentes de uma
recolha vdeo, por exemplo). Assim, no ato de posterior
reproduo e consulta, destacado da realidade que lhe
deu origem, e na incapacidade de, por si s, retratar uma
performance, o registo metonmico no sentido em que
representa apenas uma parte de um todo [4].
Desta maneira, a problemtica do registo (seja ele
escrito
ou
audiovisual)
prende-se
com
o
desprendimento em relao ao ato, desprovendo o
patrimnio em causa do seu carter mais prprio: a sua
imaterialidade.
Adicionalmente, e estando a prpria definio
patrimnio associado a uma dada regio e a um
determinado povo, importante considerar a forma
como estes detentores da cultura ameaada interpretam
a iniciativa de registo. Graham relata os casos
antagnicos referentes duas tribos indgenas (Yuchi e
Xavante), cuja perspectiva sobre essa vontade exterior
de extrair e compartimentar as suas vivncias, dialetos e
prticas, transmissveis apenas pela via oral e presencial,
oscilam entre uma relegao do ato a uma prtica de
uma inutilidade e irrelevncia assinalvel (preferindo a
prpria extino preservao); at uma abertura e um
interesse de participao ativa, em especial atravs do
recurso s mais recentes tecnologias de registo. Nesta
ltima tribo, a vontade passava pela disseminao da
sua cultura, da forma mais detalhada possvel e atravs
dos meios mais avanados e cativantes (para o futuro
leitor) possvel [4].
Dadas as circunstncias, e indo ao encontro da
conveno, surge a necessidade de empregar medidas
de salvaguarda que no s explorem mtodos
tradicionais de inventariao e documentao, como
fomentem o recurso no formal, bem como
(proporcionem) a revitalizao dos diferentes aspetos
desse patrimnio [1]. Torna-se importante, ento,
apurar os benefcios da aplicao de novas tecnologias
no mbito dos media interativos. Simultaneamente,
dever-se- procurar solues que desempenhem um

melhor papel de proporcionar as vivncias que to

intrinsecamente esto ligadas s expresses, s prticas
e s representaes, no sentido de legitimar o ato de
registo ao incorporar o prprio receptor no processo de
transmisso.
Os videojogos e o patrimnio
Excluindo interpretaes mais latas do termo, no
contexto da prtica do design de jogos entende-se por
jogo como um sistema no qual os jogadores se
submetem a um conflito artificial, definido por regras e
cujo desfecho se traduz numa dada recompensa
quantificvel [5]. Isto significa que o jogo , por
definio, um meio fechado, limitado e com propsito
bem definido, muito embora apresente um grau de
flexibilidade suficiente para moldar a experincia do
jogador e garantir vrios ngulos de aproximao ao
tema retratado.
Esta retrica presente no jogo apresenta-se em muito
similar retrica da prpria transmisso cultural por via
da tradio. Os ditados, as lendas, as linguagens e as
tcnicas so exemplos de sistemas que abordam
determinado contedo emprico ou cognitivo, so
geridas por regras prprias e caracterizam-se pelo facto
de serem culturalmente transmitidas de forma
intencionalmente, mas nem sempre conseguida,
inclume (da figurarem no panorama da tradio).
Coloca-se ento a questo sobre se o potencial da
interatividade nos videojogos, pela sua natureza e
caractersticas, se constituem um meio permevel
transmisso de cultura.
A produo de contedo cultural sob forma de
videojogo foi despoletada durante a dcada de 90, onde
vrios ttulos procuraram aproveitar o bom momento do
gnero aventura grfica [6] no sentido de incidir sobre a
ampliao do conhecimento dos jogadores sobre dado
aspecto da histria ou do mundo natural. Jogos como
The Amazon Trail (MECC, 1993), Egypt 1156 BC
Tomb of the Pharaoh (Cryo, 1997), Rome: Ceasers
Will (Montparnasse Multimedia, 2000) ou a produo
nacional Ramiro e os Possessos do Tempo (Terra
Scenica, 2012), ostentam como foco principal o
proporcionar de uma experincia histrica e de
propsito educacional que expe o jogador ao ambiente,
arquitetura, artefactos e, num panorama secundrio e se
forma no necessariamente interativa, as tradies orais,
tradies artsticas ou performativas, prticas sociais,
rituais e festivais ou tcnicas tradicionais, por exemplo;
muito embora estas possam consistir nos relatos
(mencionado por um personagem ou inscrito num
documento consultvel) ou diretamente observveis no
contexto de determinado evento no decorrer da
narrativa (um sacerdote a exercer um batismo, por
exemplo), no existindo sobre elas um ato de
interveno direta por parte do jogador.

7th International Conference on Digital Arts ARTECH 2015

M. Dominguez et al. / Considerando o docu-game como modelo de representao do patrimnio cultural imaterial

Muito embora esteja determinado pela conveno da

UNESCO que os objetos e os lugares, a nfase realizada
pelos exemplos mencionados feita na componente
tangvel, seja de carter natural (paisagem, fauna ou
flora) e histrica. Carecendo de uma camada de maior
relevo ontolgico e sensvel aos padres de significado
subjetivos e conotativos, surge a necessidade de
enveredar por um tipo de videojogo que aborde a
questo de outra forma.
A hiptese dos docu-games
Os docu-games distinguem-se dos demais videojogos
pelo destacamento da experincia apoiada em matria
documental em detrimento da mecnica de ao, cuja
importncia no contexto desta forma de entretenimento,
tende a no s sobrepor-se sobre as restantes
caractersticas [7], como fazer prevalecer esta relao
tangvel com a realidade [8], existindo inclusive a ideia
de que o docu-game distancia-se do conceito de jogo
para adquirir contornos de experincia e vivncia face a
um determinado contexto [9]. Os docu-games tm ainda
o potencial de adquirir uma faceta funcional de
materializao de interesses, ideais e pontos de vista de
indivduos e organizaes, imagem daquilo que o
documentrio tradicional possibilita [10]. O docu-game,
atravs dos vrios exemplos publicados, pode assim ser
considerado uma inovadora forma de expresso
emocional, reflexiva e interventiva, que faz da imerso
e da participao (atravs da indiciao para com a
realidade) as suas maiores valncias, j que
proporcionam
ao utilizador uma experincia
dificilmente obtida na vida real [2][7].
A par da mais ampla e abrangente categoria dos Serious
Games (jogos cuja motivao principal no se prende
com o proporcionar distrao e entretenimento, mas
servindo-se destas caractersticas para fazer passar de
forma mais eficaz determinado contedo para o jogador,
vulgarmente popularizado nas esferas da educao e
blicas [11]), e da ainda por atingir maturidade do
videojogo como meio de disseminao cultural
legtima; a prpria inveno do termo docu-game
prende-se com uma aparente e generalizada necessidade
de conferir ao videojogo um carter mais fundado,
adulto e, sobretudo, pertinente [12].
Joost Raessens caracteriza este novo gnero pela sua
inteno extra-entretenimento de procurar reproduzir
um determinado evento histrico ou veicular
determinada mensagem social e/ou poltica [7]. Mais do
que informar e veicular contedo tangvel, o docu-game
reorienta o seu propsito como meio de expresso ao
procurar sensibilizar e procurar inocular sentido de uma
forma menos retrica e mais por via da tomada de
conscincia e da reflexo.
Neste sentido, aqui deduzido que Raessens tende a
aproximar o conceito de docu-game como uma
derivao do tipo de documentrio objetivo,
informacional e factual e no do tipo reflexivo,
7th International Conference on Digital Arts ARTECH 2015

221

reverberante e antropolgico.
No obstante, os
exemplos transmitidos pelo autor, nomeadamente as
obras "9-11 Survivor" (2003) 1 , "Escape from
Woomera" (2003) 2 e "JFK Reloaded" (2004) 3
potenciam o reviver de dramas histricos numa base
que transcende a mera aquisio cognitiva.
Por outro lado, possvel tambm enunciar alguns
exemplos de jogos cuja simplicidade de mecnica inibe
a sua caracterizao como simulao e onde o apoio em
factos residual e com grande carga de subjetividade.
"Hush", de 2010, e "Darfur is Dying" (2009)
apresentam-se ambos como veculos de reflexo sobre
os direitos humanos enquadrado, respetivamente no
genocdio de Ruanda, em 1994; e sobre os refugiados
no Sudo.
O docu-game adquire assim tambm uma funo de
crtica, manifesto e de sensibilizao social. Ttulos
como "Phone Story" (2011), "Unmanned" (2012) e
"The Best Ammendment" (2013), todos do grupo
Molleindustria, refletem mensagens de repdio a
determinados comportamentos e direes tomadas pelo
Homem civilizado, desde em relao ao consumo, ao
capitalismo, racismo e ao trinmio medo-dio-violncia
desde a escala do indivduo escala de naes.
Obstculos representao
Os problemas de misturar o gnero documentrio com o
videojogo, revolvem principalmente torno da
representao indicial do sujeito e da apropriao de um
meio utilizado vulgarmente no mbito do
entretenimento (de associao ao superficial e ao
suprfluo, portanto), como via de expresso de temas de
maior profundidade social, ontolgica e ideolgica
[8][9].
Sob uma anlise simplificada, poder-se- apontar como
consequncia negativa da adoo do videojogo como
veculo documental, um claro distanciamento entre o
sujeito documentado e a sua representao virtual [12].
A sntese de imagem arbitrria em tempo real, na qual
os videojogos assentam, diferencia-se de forma
considervel da imagem dinmica real, imutvel e
linear. Contudo, este especto est longe de ser
determinante no documentrio, j que este tambm atua
no plano semitico e social para alm do plano da
factualidade na representao do real [13].
No obstante do vdeo, por via da imagem real, partir
em vantagens quanto ao fator credibilidade em relao a
O jogador encarna um sobrevivente encarcerado numa das duas
torres gmeas durante o ataque ao World Trade Center. O jogo
diferencia-se pelo quase sempre fatalismo nas vrias opes
passveis de serem tomadas..
2 Jogo ao estilo aventura grfica que explora a temtica da
privao da liberdade e dos direitos humanos em campos de
deteno.
3 Vestindo a pele do assassino, o jogador recria e interage com o
momento do assassinato de John F. Kennedy numa simulao
consistente com os registos do acontecimento..
1

222

M. Dominguez et al. / Considerando o docu-game como modelo de representao do patrimnio cultural imaterial

um pblico geral, o jogos podero equilibrar, atravs de

outros mecanismos esta deficincia e assim manter a
verosimilhana da mensagem que procuram transmitir
(como a simulao e a interatividade),. Esta relao
com a realidade no necessita de ser graficamente
idntica realidade para ser considerada plausvel,
factual e historicamente verdadeiro [8].
O realismo procurado pelos jogos denomina-se por
realismo social, contrastando assim com o realismo
verosmil (mimetizando a realidade, tal como se verifica
no vdeo) [14]. Desta forma, tambm possvel associar
a esta ideia de que a representao do sujeito vai muito
alm da imagem documental, j que o referente (a
pessoa documentada) distingue-se da referncia (a
imagem da pessoa no documentrio).
Esta posio, abre portas para a introduo do
documentrio como meio de expresso ao abrigo de
uma estrutura ldica de um videojogo. Neste caso, o
conceito de real destaca-se do ndice visual, assentando
o seu realismo numa base conceptual e indireta, sem
comprometer a sua credibilidade.
O acesso computao apresenta-se como uma das
maiores vantagens do meio do videojogo em relao ao
cinema. Um documentrio assenta numa nica instncia
da mesma realidade, dado que uma aproximao por via
da virtualidade e da interao, garante uma tomada de
vista mais alargada e personalizada sobre determinados
factos.
Reflexes finais e concluso
Na anteriormente mencionada experincia com
indgenas por Laura Graham, a etnloga aponta para
factos interessantes no recurso a novas tecnologias por
parte da tribo Xavante. Com base numa cultura criativa
e aberta, os membros desta tribo e seus representantes
procuraram no s aproveitar a oportunidade de ver a
sua cultura documentada e registada, como medida de
autopromoo perante o mundo exterior, sem apontar
questes negativas ao processo associado; como foram
ativos na prpria reformulao dos mtodos de
transmisso de herana, recorrendo encenao de atos
diante da cmara, no sentido de tornar a assimilao da
informao por parte de estrangeiros mais acessvel e
cativante [1].
Neste sentido, existe um campo aberto de hiptese em
relao aplicao dos videojogos como um novo e
reformulado paradigma de meio de transmisso cultural,
fazendo subverter o fluxo de difuso para com
elementos exteriores comunidade relatada. Uma
vivncia imaterial que posteriormente transformada
em registo material e da influenciando a forma como
percepcionada pelo leitor de forma passiva, passa a
tomar a via da participao e vivncia simulada que
atravs da experimentao, da tentativa e do erro, da
participao do sujeito no processo de aquisio cultural,
adquirindo contornos alegadamente mais prximos para

com o mtodo tradicional ento perdido ou em vias de

extino.
Podero os jogos e as experincias que estes
proporcionam aos jogadores consistir numa soluo
alternativa preservao do patrimnio cultural
imaterial no sentido em que coloca nos receptores da
informao um papel ativo ao invs de contemplativo,
indo ao encontro do prprio mtodo tradicional de
disseminao da tradio?
De facto, o termo play, termo ingls, assume desde logo
dois significados inter-relacionados: jogar e representar.
O ato de representar est aqui ligado repetio e
mimetizao de dado acontecimento, como por exemplo
um ritual ou um acontecimento festivo ou religioso.
Contudo, e mesmo considerando o ato de representar,
um ritual no se resume unicamente representao,
pelo que esta remete apenas identificao do prprio
acontecimento, pelo que a funo do ritual muito mais
do que aquilo que possvel imitar [15].
Mas no que toca hiptese do recurso aos docu-games
como ponto de partida para um modelo para a
representao do patrimnio cultural imaterial, ainda
existe outro elemento na equao: para alm dos ritos e
acontecimentos, a conveno da UNESCO aponta
tambm para as tcnicas de artesanato, o conhecimento
e viso em relao ao mundo envolvente e vida, e as
prprias artes do espetculo. Isto quer dizer que ser
certamente necessrio proceder a uma adequao
condicional da hiptese dada heterogeneidade
taxionmica presente na classificao do patrimnio.
No obstante, e carecendo esforo de investigao no
mbito das metodologias e formas de projetar, design,
concepo e disseminao deste novo meio de
expresso [9], o panorama sugere amplitude suficiente
para a experimentao e reflexo em torno desta
hiptese que embora no vise a substituio de qualquer
outro mtodo de preservao, poder consistir num
importante complemento ao processo de passagem de
testemunho desejado.
Referncias
[1]

UNESCO, Conveno para a Salvaguarda do

Patrimnio Cultural Imaterial, vol. 2003. 2003, pp.
121.

[2]

M. J. Ramos, Breve nota crtica sobre a introduo

da expresso patrimnio intangvel em Portugal
Manuel Joo Ramos, Departamento de Antropologia
- ISCTE In Vtor Oliveira Jorge (coord.)., pp. 18,
2005.

[3]

D. Rusali, Making
Belgrade: , 2009.

[4]

D. F. Ruggles, H. Silverman, I. K. F.Wong, R.

Gandhi, U. Gandhi, M. Conan, A. Sinha, F. Salomon,

the

Intangible

Tangible.

7th International Conference on Digital Arts ARTECH 2015

M. Dominguez et al. / Considerando o docu-game como modelo de representao do patrimnio cultural imaterial

R. Peters, J. D. Keller, C. Fennell, J. SatherWagstaff, and L. R. Graham, Intangible Heritage

Embodied. Springer, 2009.
[5]

K. Salen and E. Zimmerman, Rules of Play: Game

Design Fundamentals, vol. 2004. The MIT Press,
2004.

[6]

R. Demarla and J. L. Wilson, High Score! The

illustrated history of electronic games. McGrawHill/Osborne, 2002.

[7]

J. Raessens, Reality Play: Documentary Computer

Games Beyond Fact and Fiction, Popular
Communication, vol. 4, no. 3, pp. 213224, Aug.
2006.

[8]

I. Bogost and C. Poremba, Can Games get Real? A

Closer Look at Documentary Digital Games, no.
135, pp. 123, 2008.

[9]

C. K. Poremba, Real | Unreal: Crafting Actuality in

the
Documentary
Videogame,
Concordia
University, 2011.

[10]

I. E. Srensen, Documentary in a Multiplatform

Context, Institute for Film and Media, 2012.

[11]

M. Flanagan, Critical Play: Radical Game Design.

Cambridge: The MIT Press, 2009.

[12]

T. Fullerton, Documentary Games: Putting the

Player in the Path of History, in Playing the Past:
Nostalgia in Video Games and Electronic Literature,
2008, pp. 128.

[13]

M. Renov, Theorizing Documentary. Routledge,

1993.

[14]

A. R. Galloway, Social Realism in Gaming, Game

Studies,
2004.
[Online].
Available:
http://gamestudies.org/0401/galloway/. [Acedido a:
15-Out-2014].

[15]

J. Huizinga, Homo Ludens. London: Routledge &

Kegan Paul, 1949.

7th International Conference on Digital Arts ARTECH 2015

223

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

225

Cubesic: um controlador para iTunes baseado no cubo de Rubick

Rita Gradim1 e Jorge C. S. Cardoso2
1

Universidade Catlica Portuguesa Escola das Artes, Porto, Portugal.

2
Universidade Catlica Portuguesa CITAR, Porto, Portugal

Resumo Neste artigo desenvolvida a ideia de um

interface cujo principal objectivo servir como um meio de
acesso ao iTunes, o Cubesic. feita uma anlise de
projectos semelhantes ao Cubesic e de como este se
diferencia deles. De seguida fazemos uma descrio
detalhada do Cubesic, desde o seu conceito, funcionamento
e implementao. Finalmente fazemos uma avaliao do
Cubesic enquanto prottipo, que tipo de alteraes podem
ser feitas, e como o projecto se torna inovador dentro do
campo de interfaces de reproduo de msicas.
Palavras-chave Interface tangvel, cubo de Rubik,
msica, iTunes.

I. INTRODUO
No h dvidas que actualmente o mundo anda em
redor da msica, principalmente com a introduo de
produtos da Apple, que revolucionou a indstria da
msica ao criar o iTunes. Este programa no s permite
aceder facilmente a todas as msicas que temos, atravs
de variados tipos de filtros, mas permite tambm criar
uma variedade de playlists que podem ser transferidas
para outros produtos e dispositivos Apple.
No entanto, a utilizao do iTunes continua
dependente de um computador ou iPad, restringindo a
nossa interao utilizao do rato do computador ou da
superfcie do tablet. Supondo que estamos na nossa sala
de estar ou no nosso quarto e queremos ouvir msica,
temos que aceder ao computador, lanar o iTunes,
seleccionar uma playlist, e carregar play para a
reproduzir. O objectivo do projecto descrito neste artigo
o de criar uma experincia diferente, e mais divertida,
para interagir com a biblioteca de msicas do iTunes.

Fig. 1

Para tal, inspiramo-nos no conceito de interface

tangvel para criar um novo tipo de controlo e uma nova
experincia no acesso ao iTunes. Segundo Ullmer &
Ishii uma interface tangvel oferece forma fsica
informao digital e que geralmente no identificada
como um computador [1]. O Cubesic uma interface
fsica, baseada em objectos existentes (cubo de Rubik e
candeeiro) para controlar a reproduo de vrias playlists
existentes no iTunes. A interao consiste em baralhar
ou resolver o cubo de Rubik, e coloc-lo no suporte
existente no candeeiro de mesa. Automaticamente, o
sistema analisa a face superior do cubo e decide que
msicas reproduzir com base na cor de cada elemento da
face. Ao usar o Cubesic, o utilizador abdica do controlo
completo sobre qual msica reproduzida, em troca de
uma experincia mais divertida no acesso msica e de
uma motivao extra para completar o cubo de Rubik:
apesar de no ser obrigatrio, para ter controlo sobre o
estilo musical que reproduzido pelo sistema, o
utilizador tem de completar o cubo de Rubik.
Neste artigo introduzimos o conceito por detrs do
Cubesic, como se interage, como funciona o sistema, e
que tipo de vantagens o projecto apresenta.
II. CONCEITO DO CUBESIC
O Cubesic (cube + music) uma interface tangvel que
permite a criao e reproduo de playlists do iTunes. O
principal objecto fsico do Cubesic um cubo de Rubik,
o quebra-cabea tridimensional inventado pelo hngaro
Ern Rubik em 1974. A partir das cores e da posio dos
quadrados da face do cubo, o sistema reproduz uma
sequncia de msicas escolhidas de entre algumas

Sequncia de interaco com o Cubesic.

7th International Conference on Digital Arts ARTECH 2015

R. Gradim and J. Cardoso / Cubesic: um controlador para iTunes baseado no cubo de Rubick

226

playlists existentes no iTunes. O Cubesic foi pensado

para ser utilizado em nossa casa, na sala, escritrio, ou
quarto, permitindo-nos iniciar a reproduo de msicas
sem interaco directa com um computador. A Fig. 1
mostra uma sequncia de interaco com o Cubesic.

70s

00-04

90-94

80s

60s

05-09

10-13

95-99

2014

A. Funcionamento
Quando o utilizador coloca o cubo de Rubik na base
do candeeiro, a superfcie do cubo que est direcionada
para cima analisada, e extrai-se informao de dois
parmetros: a cor e a posio de cada quadrado da face.
Cada uma das 6 cores presentes no cubo de Rubik est
associada a um gnero musical (ver Tab 1).
A posio de cada quadrado na face superior do cubo
est associada a uma dcada (60s, 70s, 80s), intervalo de
anos (1990 a 1994; 1995 a 1999; 2000 a 2004; 2005 a
2009; 2010 a 2013) ou um ano especfico (2014) (ver
Fig. 2). A ordem de reproduo de cima para baixo, da
esquerda para a direita. Ou seja, a primeira msica que
reproduzida sempre dos anos 70, a segunda uma
msica dos [2000 a 2004]; a terceira dos [1990 a 1994],
e assim sucessivamente, at chegar ao ltimo quadrado
onde apenas reproduz msicas que tenham sido lanadas
em 2014. Os anos no esto por ordem cronolgica para
termos mais variao na sequncia de msicas.
O sistema reproduz msicas seguindo a ordem
descrita, de forma infinita: quando acabar de reproduzir
a 9 msica, volta a ser reproduzida uma msica dos
anos 70 do mesmo gnero que a primeira msica que foi
reproduzida. No entanto, as msicas no so repetidas:
para cada gnero e ano, o sistema escolhe uma msica
aleatria do iTunes.
Caso o utilizador retire o cubo da base, o sistema pra
a reproduo.

Fig. 2.

Esquema da relao entre posio e ano.

que passa despercebido, facilmente transportvel e

ganha uma nova funcionalidade ao o utilizarmos
enquanto Cubesic. O candeeiro pode estar em qualquer
diviso da casa: a sala de estar, o quarto ou no escritrio.
Enquanto interface computacional, o Cubesic desaparece
[7] na paisagem quotidiana para a qual foi pensado.
um objecto que mantm a sua funo tradicional,
aumentada com a capacidade de reproduo musical.
C. Implementao
O Cubesic funciona da seguinte maneira: uma webcam
escondida dentro do candeeiro capta a superfcie do
cubo, que colocado na base do candeeiro (ver Fig. 4).
Um patch de Max/MSP [8] faz a anlise da imagem
recebida atravs da webcam e identifica a cor de cada um
dos 9 quadrados da superfcie que est voltada para
cima. O mesmo patch implementa um sequenciador que
percorre os 9 quadrados, segundo a ordem descrita

B. Objecto
O Cubesic apresenta-se como um objecto de casa: um
candeeiro de mesa (ver Fig. 3). Por isso um objecto
Cor

Gnero Musical

Vermelho

Rock

Amarelo

Electronic/ Dance

Laranja
Branco

Country
Pop

Verde

Hip Hop & R&B

Azul

Soul & Jazz

Tab. 1. Associao das cores aos respectivos

gneros musicais.

Fig. 3.

Fotografia do Cubesic.

7th International Conference on Digital Arts ARTECH 2015

R. Gradim and J. Cardoso / Cubesic: um controlador para iTunes baseado no cubo de Rubick

!Fig. 4. Estrutura do Cubesic.

anteriormente. Para cada quadrado, o patch executa um
script (escrito em Applescript) que inicia a reproduo
de uma msica no iTunes correspondente posio e cor
do quadrado. Quando a msica actual termina, um outro
script informa o patch de Max/MSP que avana para o
quadrado seguinte. Tomemos como exemplo que a cor
detectada na 3 posio foi amarelo, que corresponde a
Electronic/Dance. Quando o Max/MSP determina a cor e
a posio emite uma ordem para ser executado um
Applescript que diz ao iTunes para reproduzir uma
msica do gnero Electronic/ Dance dos [1990 a 1994].
Para parar o funcionamento do Cubesic basta retirar o
cubo da base. Ao faz-lo, executado um Applescript
que altera o estado do player do iTunes para stopped,
interrompendo o processo at que o cubo volte a ser
colocado na base. A deteco da presena ou ausncia do
cubo na base feita tambm atravs da anlise da
imagem da webcam. O fundo preto da base (cor que no
existe no cubo de Rubik) permite ao patch Max/MSP
determinar se o cubo est presente ou ausente.

227

novas funcionalidades que os dois objectos, o candeeiro

e o cubo, adquirem, tornando a utilizao do Cubesic
estimulante.
Tambm realizamos uma avaliao tcnica do sistema,
identificando as principais limitaes e falhas, que
descrevemos a seguir.
Uma vez que o Cubesic funciona com base na
deteco de cor, variaes de luz podem interferir no
resultado da anlise da imagem para deteco da cor dos
quadrados da face do cubo. Durante a fase de desenho do
projecto, este factor j havia sido identificado e, por isso,
a luz do candeeiro foi modificada no sentido de tentar
eliminar o rudo visual introduzido pela iluminao
exterior. No entanto, esta soluo no foi totalmente
eficaz. O sistema final continua a sofrer de algumas
falhas na deteco da cor em situaes em que h
variao substancial da iluminao. A iluminao do
candeeiro precisaria de ser melhor ajustada, talvez
recorrendo a tiras de LEDs regulveis. Uma outra
possvel abordagem, no testada, seria usar apenas a
reflexo infravermelha (ao invs da cor RGB) para
discriminar entre cores diferentes do cubo. Esta soluo
seria mais robusta a variaes de luz visvel no interior
da sala/quarto. No entanto, no garantido que os
quadrados do cubo reflictam de forma suficientemente
diferente a luz infravermelha para serem distinguidos por
computador.
Tambm detectamos uma falha na interligao entre o
patch Max/MSP e os vrios scripts Applescript que
controlam o iTunes. Nalgumas situaes, ao receber a
ordem do Applescript para fazer stop, o iTunes muda
para o estado pause em vez de stop, interferindo com os
restantes scripts e interrompendo a lgica do patch
Max/MSP.
No entanto estes so aspectos que podem ser
melhorados com alguma facilidade, e que podem tornar
o Cubesic numa experincia muito mais apelativa.

III. AVALIAO
Fizemos uma avaliao subjectiva do Cubesic pedindo
a diferentes pessoas que o experimentassem e
comentassem o seu funcionamento e conceito. Depois de
apresentarmos o projecto, explicando o conceito e
funcionamento, pedimos a cada pessoa que o
experimentasse durante o tempo que pretendesse. Em
geral, os participantes fizeram diferentes combinaes
com o cubo e, obviamente, tentaram resolv-lo.
O feedback foi de forma geral positivo sendo o factor
mais elogiado a criatividade do projecto. A utilizao de
um cubo de Rubik como elemento principal da interface
com um sistema computacional foi reconhecido como
aspecto muito criativo. Tambm foram salientadas as

7th International Conference on Digital Arts ARTECH 2015

IV. TRABALHO RELACIONADO

No que toca a interfaces tangveis que servem como
meio de reproduo de msicas, existem vrios projectos
desenvolvidos. Um dos projectos que mais se assemelha
ao Cubesic o MusicCube [2]. Este prtotipo realizado
em 2005 surge da mesma necessidade que originou o
Cubesic e utiliza tambm um cubo como forma de
interaco. No MusicCube (MC) o cubo feito de
borracha e possui luzes de cores diferentes em 4 das suas
faces. Com o MC o utilizador pode associar estas 4 cores
a 4 playlists criadas no seu iPod. Um dos aspectos em
que os dois projectos se distinguem no modo de
interaco que cada um tem. Atravs de determinados

228

R. Gradim and J. Cardoso / Cubesic: um controlador para iTunes baseado no cubo de Rubick

movimentos com o MC, o utilizador pode ligar e desligar

o MC, e consoante a face que estiver virada para cima
ser reproduzida a playlist correspondente. O MC
tambm possui botes que permitem aumentar/ diminuir
o volume e mudar para a prxima msica. Ao contrrio
do MC, o Cubesic no possui botes. A interaco com o
Cubesic oferece menos controlo sobre a reproduo (o
utilizador no controla volume nem a passagem entre
msicas ou playlists) e , por isso, mais simples do que a
interaco com o MC. Por outro lado, o Cubesic
proporciona um experincia mais desafiante do que o
MC, uma vez que possvel ter mais controlo sobre a
sequncia musical se o cubo de Rubik for resolvido.
Outro interface que se assemelha bastante ao Cubesic
o Skube [3]. Este projecto foi concebido com o intuito
de funcionar como um leitor de msica que reproduz
playlists criadas no site lastfm.com ou Spotify. Tem
tambm a forma geomtrica aproximada a um cubo
como objecto de interaco. Alm desta bvia
semelhana da utilizao de um cubo como forma de
controlo de reproduo de playlists, este projecto recorre
a um leitor de msica para reproduzir as msicas, sendo
que neste caso utilizado o Spotify, enquanto no
Cubesic recorre-se ao iTunes. Ao contrrio do Cubesic,
que necessita de um computador para a reproduo das
msicas, o Skube um dispositivo que reproduz
directamente a msica, precisando de um computador
apenas para ser configurado.
Uma abordagem diferente o Tangible Music Player
[4]. Este projecto consiste na reproduo de msicas
atravs de poster ou capas de CD. O que acontece que
cada imagem tem uma RF Tag (radio frequency tag) e
ao passar num dispositivo de leitura de RF, a msica
reproduzida. A grande semelhana entre este projecto e o
Cubesic o facto de utilizar objectos conhecidos como
leitor de msica, embora no Cubesic seja utilizado um
objecto no relacionado directamente com msica.
O iCandy [5] uma interface que permite aceder a
determinados lbuns, msicas, playlists ou vdeos
atravs de um carto de pequenas dimenses com um
cdigo nico, por exemplo um QR Code. Tal como o
Cubesic, este projecto utiliza o iTunes para reproduzir as
msicas. A grande diferena entre o Cubesic e o iCandy
que com o iCandy o utilizador escolhe exactamente o
que quer ouvir, enquanto que o Cubesic simplesmente
estabelece dois parmetros: o gnero e o ano.
Outro projecto o Audio D-Touch [6] que funciona
como interface para actuao e composio musical. Tal
como o Cubesic, o Audio D-Touch recorre a uma
webcam para conseguir captar a superfcie do
sequenciador de forma a conseguir ler os cdigos

presentes nas peas. E como suporte para a webcam

tambm utiliza um candeeiro de secretria.
V. CONCLUSO
Atravs do iTunes, a Apple conseguiu criar uma
plataforma que possibilita acesso rpido s inmeras
msicas que possumos na nossa biblioteca. A
organizao e a possibilidade de criar playlists permite
ao utilizador ouvir msica sem parar. Como existem
cada vez mais cenrios onde msica continuamente
reproduzida, quer seja num escritrio, a cozinhar ou a
estudar no quarto, h tambm a necessidade de tornar
esta interaco mais interessante e mais divertida.
Com este artigo introduzimos o Cubesic, desenvolvido
exactamente para permitir uma experincia interactiva
mais estimulante. Ao utilizarmos um objecto como o
cubo de Rubik, que por si s capta a ateno de
praticamente de toda a gente, e aproveitarmos o seu
princpio de quebra-cabeas estamos a atribuir-lhe uma
nova funcionalidade e ao mesmo tempo estamos a
oferecer mais uma motivao para conseguir resolver o
cubo. O candeeiro, enquanto objecto final ganha uma
nova funcionalidade passando despercebido em qualquer
diviso de casa.
Alm do conceito e do funcionamento do Cubesic,
tambm explicamos como foi implementado, recorrendo
ao iTtunes como fonte de reproduo das msicas. E
depois da avaliao conclumos que Cubesic uma
interface tangvel com enorme potencial para
proporcionar uma experincia nica para qualquer
apaixonado por msica e por quebra-cabeas como o
cubo de Rubik.
Futuramente seria interessante conseguir criar uma
estrutura mais robusta e que pudesse controlar melhor a
iluminao. Outro caso a ter em conta a possibilidade
de o utilizador no ter msicas de um gnero musical e
tentar perceber o que o Cubesic pode fazer para
contornar esse facto. Uma soluo poderia ser procurar
msicas desse gnero na iTunes Store de forma a
utilizador ter a hiptese de conhecer novas msicas.
REFERNCIAS
[1] Ishii, H., & Ullmer, B. (1997). Tangible bits: towards
seamless interfaces between people, bits and atoms. In
Proceedings of the ACM SIGCHI Conference on on
Human factors in computing systems (pp. 173179).
[2] Alonso, M., & Keyson, D. (2005). MusicCube: making
digital music tangible. In CHI05 Extended Abstracts on
Human Factors in Computing Systems (pp. 11761179).
ACM Press.

7th International Conference on Digital Arts ARTECH 2015

R. Gradim and J. Cardoso / Cubesic: um controlador para iTunes baseado no cubo de Rubick

[3] A. Nip, R. van der V. M. Borch, and A. Spitz, Skube - A

Last.fm & Spotify Radio, 2014. [Online]. Available:
http://www.soundplusdesign.com/?p=5516.
[4] Zhang, N., Jang, S., & Woo, W. (2002). Nomadic Tangible
Music Player with RF-enabled Sticker. In Proc. ICAT02
(pp. 184-185).
[5] Graham,J. and Hull, J.J. (2008). ICandy: Tangible User
Interface for ITunes. In CHI 2008 (pp. 2343-2348).

7th International Conference on Digital Arts ARTECH 2015

229

[6] Costanza, E. Shelley S.B. and Robinson, J. (2003).

Introduction Audio D-Touch: A Tangible User Interface
For Music Composition and Performance. In Proc. Of the
6th Int. Conference on Digital Audio Effects.
[7] M. Weiser, The Computer for the 21st Century, Sci. Am.
Spec. Issue Commun. Comput. Networks, 1991.
[8] Cycling 74, Max/MSP, 2014.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

231

Curating Digital Media: PRESENSE

Vernica Metello, Rudolfo Quintas*
* Centro de Investigao em Artes e Comunicao, Universidade Aberta, Lisboa, Portugal
([email protected],[email protected])
Resumo Temos por objectivo apresentar o projecto
de exposio PreSENSE enquanto um sistema de produo
de discurso e modalizao para a formulao sensvel
deexperincias. Apresentar a estrutura conceptual
encontrada para a estruturao e mediao de uma
exposio cujas obras, enquanto experincias, so
produzidas na interaco/agenciamento fsico de um
utilizador com um dispositivo/artefacto. Seguindo Oddey e
White, (Oddey e White, 2009), consideramos as
implicaes da interactividade e dos novos media
tecnolgicos, nomeadamente tecnologias computacionais
na formulao de novas experincias, conceitos e
corporeidades no contexto da arte e de novos modos de
serespectador: Art reinforces stereotypes of behaviour and
how we respond to our culture when we spectate it. The new
mode of spectating is not the art but the event itself (Oddey e
White). Neste sentido, as tecnologias, as prticas e as
experincias no quadro do evento, de uma arte processual,
determinaram uma sistematizao a dois tempos:
conceptual e operacional. Este artigo ocupa-se da
sistematizaao conceptual.
Palavras Chave Arte Digital, Arte Generativa,
Corporeidade, Contexto, Modes of Spectating.

I. INTRODUO
O projecto PreSENSE, exposio de arte digital de
Rudolo Quintas consiste na realizao de a) um
programa que tem como vector central uma exposio, e
b) implica a realizao de uma residncia internacional e
uma residncia nacional para investigao e criao, c)
um programa pedaggico suportado pela realizao de
uma conferncia terico-pratica internacional no
formato de uma mesa redonda e d) a edio de um
catlogo.
Rudolfo Quintas trabalha desde 2000 os media
digitais operando uma sntese que delimita um novo
campo prtico e discursivo, entre arte e cincia. O seu
trabalho explora processos interativos, implicando a
participao do pblico que se faz co-criador, numa
dinmica de interao intuitiva e afectiva em ambientes,
situaes ou relaes formalmente depuradas e
minimais, cuja composio determinada por
estratgias de equilbrio subtil entre fluxos de controlo e
aleatoriedade. O enquadramento conceptual do seu
trabalho e deste projeto, assenta na criao de estados de
experincia resultantes de novos agenciamentos entre
dispositivos
tecnolgicos
digitais
(esculturas,
instalaes), o movimento e o corpo, que exploram as
potencialidades de uma nova corporeidade, da sua
orgnica (bio) e da sua afectividade (esttica).
Consequentemente, um trabalho activamente poltico,
tematizando e investigando como uma arte processual,
7th International Conference on Digital Arts ARTECH 2015

resultado da interactividade artista-dispositivo-pblico,

modela por via do comportamento e dos estados
perceptivos, uma nova subjectividade.
II. SISTEMATIZAO CONCEPTUAL
Considerando a alterao fundamental que os media
digitais e computacionais trouxeram aos modos e
relaes entre os espectadores e a arte, definio da
arte, entre os utilizadores e os dispositivos digitais, a
vida quotidiana e o universo computacional - cujas
consequncias se estendem da motricidade
corporeidade, geografia das ligaes, aos tempos das
relaes e aos modelos de comunicao, sendo que os
conceitos: a) corpo b) contexto e c) mode of spectating,
servem para enquadrar a primeira matriz de leitura para
os desenvolvimentos seriais do trabalho de Rudolfo
Quintas.
Tommos a linha de tematizao do corpo como
centro de aco e consequentemente condio de
conhecimento e formulao de sentido. O que podemos
localizar no mbito da embodied cognition1. O filsofo
francs Henry Bergson no seu Matria e Memria,
ensaio sobre a relao do corpo com o esprito, fornecenos uma aproximao chave. Trata-se da relao
vitalista do corpo com a aco, no sentido da
formulao do sentido: Partons donc de cette force
dagir comme un principe vritable, supposons que le
corps est un centre daction, et voyons queles
consequences vont dcouler de l et pour des rappports
du corps avec lesprit 2. Toda a representao e,
consequentemente, todo o pensamento determinado pelo
modelo da recognio (seguimos a relao entre
representao e recognio proposto por Deleuze,
000:3) est enraizado, aqui, numa corporeidade activa.
Tambm Husserl defende Ideen I3 uma formulao do
corpo que determinada numa relao com a
1 Que tem como referncias Bermudez, Marcel, Eilan, 1995; A. Clark
1997; Damsio 1994, 199; Varela Thomson and Rosh, 1991. Segundo
Shaun Gallegher, How the body shapes the mind, 2005, p. 2.: The
broad argument about the importance of embodied for understanting
congnition has already been made in numerous ways, and there is a
growing consensos across a variety of disciplines that this basic fact
is inescapable.

2 Bergson Matire et Mmoire, Paris, PUF, 1997, p. 15

3 E. Husserl, Ides directrices pour une phnomenologie et une
philosophie phnenologique purs, Puf, 1982

232

V. Metello and R. Quintas / Curating Digital Media: PRESENSE

conscincia, em funo do qual esta participa no mundo:

ou responsvel da insero desta no mundo.
A fenomenologia, e de modo muito particular
Merleau- Ponty, no seu Fenomenologia da percepo 4
vai de encontro linha que pretendemos, num primeiro
momento seguir. Fala-nos de um corpo vivido: corps
vec. Um corpo vivido o corpo prprio como lugar
imanente da subjectividade enquanto esta est em
relao com o mundo. O corpo fenomenal ele mesmo
um sujeito, logo, toda a subjectividade aqui uma
subjectividade corporal: resultado de uma troca
dinmica e continua, o corpo como um agenciamento de
significaes vivas: a isso se chama corporeidade.
A corporeidade determina, por via da relao activa
entre vrias instncias que a constituem, e que nesta e
por sua via interagem, o modo de relao entre corpo e
corpos, e toda a experincia sensvel, percetual. E
consequente, a formalizao do significado ou
representao (mundo). Essa a linha de investigao
que Richard Shusterman defende, seguindo de perto as
Tcnicas de si formuladas por Michel Foucault no seu
Histria da Sexualidade II (Foucault, 1985:4), no quadro
do seu projecto de uma Somaestetica ( Shusterman,
2000:11). Atalhando, seguimos Shaun Gallegher
filsofo que atravessa o campo da psicologia e da
neurociencia, cujo estudo da relao entre corpo e
corporeidade, imagem corporal e esquema corporal
assenta neste mesmo pressuposto: The human body, and
the way it stuctures human experience, also shpaes the
human experience of he self, and perhaps the very
possibility of developing a sense of self. If the self is
anything more than this, it is nonetheless and first of all
anembodied self5.
A experincia percetual subsidiria de um sistema
de subjectivao em directa relao com o corpo, com o
corpo agente de Bergson, o corpo vivido de Ponty que
mais no so que os corpos depositrios/ agentes de uma
performatividade que os modela numa corporeidade, e
numa subjectividade construda como nos mostra, Judith
Butler na sua tese da performatividade do gnero
(Butler,1993:2). Modelada atravs de relaes de poder
e restries normativas que no somente regulam, mas
tambm, determinam os modos. Ou seja: as relaes
possveis dos nossos seres corporais. Ou as potncias do
corpo, conjuradas nos ou por via dos modos, em funo
das quais o corpo se define, diramos seguindo Espinosa.
Para quem, o que caracteriza um corpo a sua
capacidade de afectar ou ser afectado: Concrtement, un
mode, cest un rapport complexe de vitesse et de
lenteur, dans le corps, mais aussi dans la pense, et
cest un povoir daffecter et dtre affect, du corps ou

de la pense6. Neste sentido, essa potencialidade, tratase, no limite, em termos motores, e corporais, de uma
capacitao para (como os estudos em neurocincia,
relacionando imagem corporal e esquema corporal o
mostram, como o caso do sndrome da mo anrquica 7),
ou, inversamente de determinar essa capacitao.
Assim, chegamos nossa questo central. O eixo da
curadoria: como que os novos media, como prteses
ou extenses perceptivas ( Celia Lury, 1998: 8), alargam
as potencias do corpo, no sentido da definio de uma
nova corporeidade, de uma nova subjectividade por via
de um novo modo de ser espectador ? Que discurso e
quais os conceitos, que permitem aceder experincia
que estes modos veiculam? Que dispositivos e media
determinam essa experincia?
The perceptual experience of the spectator comes
through the subjective capabilities do their own body
and nervous system. This is within a recognized shift of
spectatorship, which we must now understand the
conditions of cultural creation and reception in the 21 st
century. Therefore, artworks have re-directed
themselves, reconfiguring in expanding borders, new
reas of contente, changing modes of cognition
andexperience. The interdisciplinar nature of
instalation artworks means that the spectator is no
longes contente simply to view the work. More is
required. The spectator wants to engage in a more
active way, to play a significant part or role in the
reception of the work8.
O espectador constri activamente o evento em que se
tornou a obra, na sua recepo activa (Figura 3). Ou no
contexto, no qual por via do corpo todos se conjugam se entendermos o contexto como o fez Paul Dourish
(Dourish, 2004), no mbito da novas tecnologias
computacionais. O contexto, conceito cuja definio
difcil, ampla, variada e elstica, uma noo central na
rea de investigao que mapeia as relaes entre
sistemas computacionais, esttica, design e a vida
quotidiana. Segundo Dourish, o contexto deve ser visto
como um problema de interaco, e predisposio. A
importncia do contexto, argumenta este, no o que
este mas o que faz na interaco, o papel que
desempenha nos modos como activado, articulado,
manipulado, usado. Assim, a questo da embodiedinteraction vista de um ponto de vista, tambm ele
relacional: embodiment is not about physical reality, but
rather about availability of engagement. The embodied
interaction perspective is concerned with the way which
6 Deleuze, Spinoza, philosophie pratique, Les editions du minuit,
Paris, 2003, p. 166.

7 Gallengher, Op. cit.,p. 28

4 Merleau-Ponty, Phnomenologie de la perception, Paris, 1945


5 Segundo Shaun Gallegher, How the body shapes the mind, Oxford

8 Oddey, White, Op. cit. p, 8,9

university press, NY, 2005, p. 23

7th International Conference on Digital Arts ARTECH 2015

V. Metello and R. Quintas / Curating Digital Media: PRESENSE

233

meaningfulness of artefacts arises out of their use

within systems of practice9.
A nossa segunda questo : como se criam, por via de
media digitais, o que podemos definir por contextos
sensveis? Ou, contextos de potenciao da experincia
sensvel, no sentido da construo de uma experincia
cujo agenciamento entre corpo e mquina abre um novo
modo de ser espectador cuja consequncia , uma nova
corporeidade e subjectividade?
Avanmos, num segundo momento da metodologia
curatorial com uma organizao serial dos artefactos.
Importa trazer s palavras e organizar em discurso os
conceitos, como ferramentas para nomear e enquadrar
eventos, situaes. Abrir com estes, na leitura, as
potencias do corpo, para a experincia de uma arte cuja
natureza diferencial, processual e em constante autoreformulao, feita de corpo, contexto e
performatividade.
III. CONCLUSO
A articulao de um discurso curatorial visando a
experiencia que os dispositivos computacionais
desenvolvidos por Rudolfo Quintas exigiu uma
articulao conceptual que parte do corpo para a noo
de contexto e destes para o questionamento de uma
subjectividade de base corporal. Determinada por
modos onde a tecnologia opera um papel estrutural,
disruptivo e por mapear (Figuras 1, 2 e 3), abrindo a
leitura e uma problematizao que nos orienta para o
plano da formulao de uma especifica subjectividade,
em relao com um determinado modo de ser
espectador.
Figura n2: foto de Prsence Escultura Sonora Interactiva, Rudolfo
Quintas 2014. Galeria Adamastor Studios.

Figura n1: Foto de Swap - performance de Dana e Vdeo-Arte

Interativa, Rudolfo Quintas com Tiago Dionsio e coreografia e
dana de JooCosta. (Fotos de Susana Neves)

9 Paul Dourish, What do we talk about wen we talk about context,

in Pers U. Comput, 2004, pp.10-30, p 28
7th International Conference on Digital Arts ARTECH 2015

Figura n3: Foto de eDGe - performance de Dana e Vdeo-Arte

Interativa, de Rudolfo Quintas com Tiago Dionsio coreografia de
Andreas Dyrdal dana de Mariana Tengner Barros, Isabel Souto e
Antnio Cabrita

234

V. Metello and R. Quintas / Curating Digital Media: PRESENSE

REFERENCIAS
[1] Bergson, Matire et Mmoire, Paris, PUF, 1997
[2] Butler, Judith, Bodies that matter, on the discursive
limits of sex, NY, 1993
[3] Deleuze, Gilles, Spinoza, philosophie pratique, Les
editions du minuit, Paris, 2003.
[4] Foucault, Michel, The use of pleasure, the history of
sexuality II; NY, 1985
[5] Gallegher, S., How the body shapes the mind, Oxford
university press, NY, 2005
[6] Husserl, E., Ides directrices pour une phnomenologie
et une philosophie phnenologique purs, Puf, 1982
[7] Merleau-Ponty, Phnomenologie de la perception, Paris,
1945
[8] Lury , Celia, Prosthetic Culture, Photography, memory,
identity, Routeledge, New York, 1998.
[9] Oddey, Alison, Christine, White, Modes of Spectating,
Bristol, 2009.
[10] Paul Dourish, What do we talk about wen we talk about
context, Pers U. Comput, 2004, pp.10-30, p 28
[11] Shusterman, Richard, Pragmatist aesthetics, living
beauty, rethinking art, NY, 2000

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

235

Early prototyping for prospective memory, behavior change

and self-biography
Silvia Torsi, Fausto Giunchiglia
University of Trento (Italy)
Department of Information Engineering and Computer Science
[torsi, fausto]@disi.unitn.it
Abstract This paper addresses a video
prototype and its evaluation that has materialized our
vision related to providing people with tools to improve the
quality of their daily life. We probed with four focus
groups the routines, problems and contradictions of
smartphones users aged from 30 to 60, in order to draw
services with the aim of finding design spaces for novel and
useful ways to make use of the overall smartphones
related technologies. We identified from the overall needs
some design spaces, and from them, we envisioned a crosssystem data coming from phone sensors, digital agenda,
phone use, GPS and surrounding environment, in order to
support people in prospective and autobiographical
memory activities. The system deploys its users
parameters and data from the environment in order to
infer suggestions for the user that could facilitate daily life
especially in managing and balancing duties, relationships,
interests and leisure. We have chosen the metaphor of the
aquarium in order to create a non-human symbiotic
environment taking its life from the system elaboration on
data. Meaningful visualizations animating a screensaver
provide the interplay between peripheral awareness and
notification levels.
Index Terms Ambient Information Systems,
Peripheral Awareness, Notification, Prospective Memory,
kairos, screen saver, behavior change, quality of life, life
logging, daily life, autobiographical memory, flow,
experience, present time.

I. INTRODUCTION
The capacity of smartphones to capture user behaviour
can either alleviate or inhibit these persons engagement
with their context. Context based reminders, or
suggestions coming from a favorable aggregate of
situations, would be welcome from potential users,
according to our user studies. However, information
overload is a potential issue with such a system. Our
process started from four focus groups in which we
asked people about their routine practices, especially the
ones related to memory and recall, then we presented
about 30 textual scenarios across the different meetings.
On the basis of the qualitative analysis of the transcripts
we envisioned a system with sensing capabilities that,
on the basis of life-logging activities, would be able to
provide context-sensitive suggestions to the users [15],
[16]. The basic concept guiding us was to provide
services by crossing data from the user and his contacts,
his places, his activities, his favorite events in order to
provide tools improving his quality of life by means of
7th International Conference on Digital Arts ARTECH 2015

notifications for suggesting him something to do, based

on the users habits, context, contacts and agenda. We
then tried to embrace the problems related to
information overflow, by getting closer to the peripheral
awareness paradigms across different research
experiences in Ambient Information Systems (AIS) [8],
[12], [14]. Initially we were thinking about providing a
humanlike avatar, but soon we moved toward the
decision to develop an animistic interface [17], which
is a form of life that is non-human, and has a symbiotic
relationship with the user. The source of inspiration
comes from some design experiences related to forms of
life inspired by nature [5], [7] for behavior changing
purposes [10], [21]. We decided to start designing an
aquarium that takes life from the users life logging,
crossing data into meaningful inferences about what he
is doing and what could be useful to know at any point
in time. We built a video prototype that has then been
shown during dedicated meetings and evaluated through
a questionnaire and free discussion.
II. THE FOCUS GROUPS
We wished to create a system crossing different levels
of data and convey the results of those combinations in
personalized ways for improving the quality of life of
the people. Therefore we asked the users their daily
practices, and the related major sources of frustration, in
four focus groups with people aged from 30 to 60. We
had some previous outline of working with locationbased reminders, prospective and autobiographical
memory, kairos [10], awareness of self and others, and
reciprocal synchronization. We traced maps of the
artifacts people use in order to remember what they
have to do or accomplish. Also we investigated how
they relate space and time in order to remember things.
In addition, we asked them what represented behavior
change for them. All the sessions had one hour of free
collective interviewing and a half hour in which the
participants freely gave their opinions about a set of a
total of 28 textual envisioning scenarios. We asked them
to tell us if these scenarios were realistic, if they could
see themselves in those situations, and if they would like
to have those services. The results of the first part
helped us to see what people currently use to sort out
their overall activities. The second part guided us

236

S. Torsi and F. Giunchiglia / Early prototyping for prospective memory, behavior change and self-biography

through a conscious design of our system. Some issues

that emerged were, for example, customization,
unobtrusiveness, politeness, and discretion. People have
nothing against life logging as polite suggestions;
however there are boundaries, moods, ways and tones in
which this awareness about themselves needs to be
implemented, provided and presented. We also realized
that an issue for our system to succeed was to make it
possible to overcome the very human tendency to resist
behavior change [9].
III. THE EARLY THEORETICAL FRAMEWORK
From the evaluated textual scenarios of envisioning
we started sketching the services. In parallel the
computer scientists were drawing the systems
architecture [15], [16]. We needed a visualization
paradigm that met the requirements of discretion,
politeness and unobtrusiveness asked for by our focus
groups participants. Peripheral awareness [8], [12], [14]
was one of the major paradigms meeting these needs.
We tried also to reflect on prospective memory, that is
the memory of what we need to do or recall in a future
time (also known as delayed intentions) [2]. Prospective
memories, such as biographical memories [19],
represent not only cognitive functionalities (and for this
reason sources of cognitive load as well), but also as
(potentially dysfunctional) ways to make sense of ones
time. People often live too much in the past or in the
future, there is no systematic way to address people to
live fully in the present time, thus affecting a
fundamental source for happiness [5]. In a certain sense,
as non-attention is an active process, so too forgetting is
a proper activity of human cognition that contributes to
fitness, wellbeing and efficiency by selecting what to
remember and what to forget [2]. Other reflections came
out from the (modern) separation between space and
time [3], that made us choose a design path pursuing the
perception of a (pre-modern) co-presence of space, time,
people, activities, and feelings as a source of wellbeing,
as the paradigm of user experience points out [e.g. 18].
IV. BRIEF DESCRIPTION OF THE SYSTEM
The work began with the computer scientists and their
efforts to combine data in novel ways in order to create
combinations that, converted into suggestions,
background awareness, and logistic support, really
improve the quality of life of the user. The system ought
to provide useful tools for supporting reflexivity,
behavior change, life logging, and prospective memory.
We decided to find ways to finalize, reduce, sort,
organize, combine, and present Big Data with the
quality of life of the individual as our central objective.
The system tries to understand what the user is doing. it
progressively learns more about its user and sometimes

it explicitly asks the user questions, especially at the

beginning of their interaction. We started by creating
taxonomies, with the idea of combining them in creative
and innovative ways [15], [16]. So we clustered static
data from which the system takes out the notion of
users identity. This is a model of the user as a high
level abstraction. In here the system has: personal data
that identifies the user in the world, virtual identities,
physical appearance, environments and data coming
from the device. Dynamic data are instead continuously
changing according to the users behavior, the context
(that can be individual or social) and from the world.
Dynamic data come out as a resultant of the different
variables that are constantly changing. Objectives are
detected and regulated from the users agenda. Places
are very important as well and are visualized as
personalized maps enriched with personal and
contextual data. Time, space, people, activity, life
parameters and society are the variables through which
the system makes computation with what it knows of
the user, in order to provide effective suggestions. We
worked around the ideas of wellbeing, peace of mind
and happiness of the individual. Of course an important
category of data are the ones coming from the device.
The perspective is based on the system supporting the
management of the past (autobiographical memories,
people of the past, times changing, oneself maturing,
etc.) as well as organization of the future (delayed
intentions, prospective memory, optimizing time,
advanced planning, kairos based suggestions, etc.). The
aim is to relieve the user from spending too much
energy for those dimensions and instead live at the
fullest in the present time. The implementation core of
this project is threefold: first it gathers information from
the users parameters, his friends, family and
colleagues smartphones, and from Open Data.
Relatives, friends and close colleagues will be updated
about each other by novel ways for providing awareness
across close people. Secondly, it combines these data in
order to convey to the user location based reminders and
kairos based notifications. Another objective is to offer
the user a set of tools in order to pursue a healthy
lifestyle and prevent/self-manage chronic conditions
very early in his life span. Accessing and combining life
parameters will provide ways to convey to the users
suggestions for increasing health and wellbeing. Lastly,
it aims at creating novel ways to store, back up,
organise, sort and present the users media. In order to
avoid information overload, we created a hierarchical
framework for the system communicating with the user;
this framework was inspired by the literature on
peripheral awareness [8], [12], [13], [14. The
information that the system provides to the user can be
categorized with: (a) notifications; they provide the
foreground knowledge, with a request for an immediate
action (b) peripheral awareness; they only provide
background knowledge without any prompt. Those
7th International Conference on Digital Arts ARTECH 2015

S. Torsi and F. Giunchiglia / Early prototyping for prospective memory, behavior change and self-biography

differences had to be ranked differently by the system

and visualized by means of our paradigm of
visualization and interaction. We decided to develop our
visualization concepts around the screen saver tool.
Screen savers are relatively underused artifacts; they
represent an available design space as a possible support
for Peripheral Awareness. Screen savers can show
information at a glance, for example while waiting at the
street light, during a meeting or during a conversation,
without any particular activity or a great deal of
attention. We come out for visualizations running on the
users screen saver providing the needed interplay
between peripheral awareness and notification levels.

237

Shintoist construct in which every object of the

world has an inner soul. Animism is also functional
for triggering the interplay between foreground
attention and background knowledge with a good
degree of elasticity. The intelligence of which things
can be imbued is also consistent with the HCI
paradigm of embodiment, the experiments of
Hiroshi Ishii [14] on the use of materiality to
provide peripheral awareness, and finally the
acoustic or vibration life-like icons [13].

V. BACKGROUND WORK ON PERIPHERAL AWARENESS

Peripheral Awareness appeared first in [21], while
describing the difference between operational processes
of attention, and the not noticing something (nonattention). This construct is based on the underlying idea
that non- attention is an active process. The process is
based on the active selection of information that is at
present relevant for the individual [1]. Peripheral
Awareness is the grey area between attention and
inattention, representing elements that are perceived in
the background and available to come up to attention if
they start having a different behavior or start for some
reason to become relevant. An early realization of this
construct is the Information Percolator [12] making
use of water tubes inflated by ascending bubbles to
create a screen supporting peripheral awareness for
different possible uses. [8] and [14] further modeled and
provided taxonomies of Peripheral Awareness as a
cognitive and expressive device.,[5] and [18] used
peripheral attention to try to make it work for behavior
change [10], [21], [13] made a design exploration on
life-like peripheral awareness and notification solutions
from which we took inspiration for developing our idea
of animistic interface [17] (see following paragraph).
The interplay between peripheral awareness and
notification was another important point around our
ideas. Pieces of information had to float as peripheral
objects until a set of circumstances became particularly
appropriate, desirable or urgent. We wanted to provide
animations supporting these two conditions and the
transitions between them.
VI. THE SYMBIOTIC INTERFACE
An important source of inspiration for us was
[17] in which it is explained how humanlike avatars
can seriously affect the quality of interactions with
a system. Humanization of the interfaces makes the
user determine an attribution of meanings and
social rules that could interfere with the
interactions and the expectations. The animism is a
7th International Conference on Digital Arts ARTECH 2015

Fig. 1 - This is a diagram explaining the constituting

elements shaping an entity that is visualized with a fish.
Our effort was to maximize the unitary aspects of
experience, by providing symbiotic fish taking their
fitness from users parameters.

VII. EARLY PROTOTYPING: THE AQUARIUM

We wanted an animistic visualization, presenting
novel possibilities to see, manipulate and interact with
the experiences made by aggregates of activity, time,
space, people, feelings, and media. This visualization
had to be an animation taking its life from the users
data and parameters, and it had to run like a screen saver
in the smartphone screen. We took the lessons from the
focus groups in which the textual scenarios were
evaluated. People do not just want a time management
and context sensitive system to improve their quality of
life. It must also provide a pleasant, polite, discrete and
unobtrusive communication between the user and the
device. These intuitions coming from the user studies
brought us toward a symbiotic interface taking its life
and fitness from users and environment parameters. Our
search for a metaphor consistent with the directions of
[17] led us to the idea of the aquarium. The aquarium
metaphor is rendered as a screen saver and visualization
interface with a silent and slow life made up of fishes,
plants, water, colors, shapes, and animations, in order to
monitor, give feedback, notify, provide awareness,
delay, evidence, alarm and reassure. The aquariums
activities are based on the data and the parameters it
receives from the user, his contacts, and his surrounding
environment. The aquarium is made several visual
elements, which can be seen at a glance as peripheral
awareness during down moments, or for distraction. We
describe these elements in the following sub-sections.
Fishes appeared in [18] as motivational tools

238

S. Torsi and F. Giunchiglia / Early prototyping for prospective memory, behavior change and self-biography

representing the overall weekly walking activity. In our

system entities are composed of: the people involved,
the place where it happens, the event, the facilities (or
infrastructures) involved, and the minds product (the
media). Entities (Fig. 3) work as aggregators: we, the
space, the time, the people, the events, the facilities and
the media are the main core of what in literature is
called experience. Fishes can also provide the
background knowledge of what other contacts are doing.
Those fish swim in the aquarium for background
peripheral awareness. Plants. Plants are for the
experience of behavior change. They were already
presented in [5] for measuring fitness workout. The
individuals health, regular exercise, background
physical activity, dieting, time for sleep, quality of
sleep, and all the fields ascribable to behavior change
and wellbeing are represented each by a different plant.
Water. Water is for feelings [23] offers the model of
affects as distributed across two main coordinates, mood
and arousal. In the aquarium mood is indicated by the
tone of blue, whilst arousal is depicted by the opacity
(shade of black) in the color. Notifications. As already
stated, we wanted to provide visual and auditory support
for the interplay between peripheral awareness and
notifications. When a set of circumstances makes them
important, urgent, or favorable, an entity needs to be
brought to the centre of the users attentive processes.
To do so, we decided to modify size and colors, as well
as introduce sounds. For example, to attract notice, a
fish could become large, to the point of occupying the
whole screen, and knocking at the monitor. This
interplay could also be accomplished by means of
sounds in order to be developed in a second time.
Entities can overcome the background and rise to the
foreground of attention to become a notification, if there
are conditions of urgency, or if there are spatiotemporal coincidences for important or pleasurable
activities (i.e. kairos).
VIII. THE EARLY EVALUATION
The early evaluation sessions were distributed
across three meetings with people aged between 26
and 40. There was a short introduction to the main
features of the system, a description on the
interaction paradigm and the rationale for the
chosen metaphor. Then the video was projected,
and, after a brief collective discussion, the
participants were asked to fill a questionnaire
with questions about them (e.g. I am lazy, I
often forget important things, I am satisfied by my
social life, I wish I would be more healthy) and
an evaluation part basically weighting opposite
adjectives, like pleasant/ unpleasant,interesting
/boring, attractive/ unattractive, stimulating
/ limiting. The audience was requested to analyze
the potential pitfalls for the project. Information

overload, peripheral awareness,

notification,
behavior change, battery consumption were
discussed critically. The questionnaires revealed a
general positive attitude towards the paradigm,
regardless of the heterogeneity of the answers
about themselves. From some isolated participants
the aquarium paradigm was felt as confusing,
ambiguous, strange, but there was an overall
agreement of attributes like useful, original,
innovative, or motivating.

Fig. 2 One of the main objectives of the system is to provide

awareness between members of a family, friends and
close colleagues, in order to optimize reciprocal
coordination. Notifications can be used to maximize kairos,
e.g. suggesting the user to modify his itineraries for
buying cat food or for meeting friends that are few blocks
from him.

IX. CONCLUSION
The role of the HCI in this project has been to
provide visualizations reflecting the system sensing
the user parameters, running algorithms, making
inferences on the users entities and providing
suggestions. From prospective memory (future
time), experience (present time), life logging (past
time) as well as forgetting as an active process, the
system should have its own life in symbiosis with
the user. In parallel, we worked on the sensing and
inference capabilities of the system and writing
envisioning scenarios to be presented to possible
users. We investigated peoples real practices around
our core concepts, we tried to find their unmet
needs, and finally we asked to evaluate our
scenarios. The results were encouraging but
provided us with a set of critical issues related the
system to be unobtrusive, polite, discrete, and able
to suggest or offer alternatives rather than
imposing things to do. Therefore the paradigm of
peripheral awareness and the design background on
Ambient Information Systems (AIS) offered us the
framework into which to move toward our
visualization system. We came across the concept
of animistic interface, with its strengths with respect
to avatar/humanlike visualization, and therefore we
decided to develop an animistic interface, a form of
life taking its behavior from the user data, in
symbiosis with the owner. We chose the relatively
empty design space provided by the screen saver,
and we went ahead into creating the elements of
7th International Conference on Digital Arts ARTECH 2015

S. Torsi and F. Giunchiglia / Early prototyping for prospective memory, behavior change and self-biography

our visualization. We chose the metaphor of the

aquarium, with fish as entities, plants visualizing
improvements in behavior change, and water
showing mood/arousal. The difference between
peripheral awareness and notification objects was
set up in terms of dimensions, velocity of
animations and sounds that fade in a short or long
time from peripheral awareness to notification and
back. Evaluation was overall positive and
encouraging in order to go ahead in this project.
The
video
prototype
is
http://silviatorsi.info/aquarium.swf
.

available

at

ACKNOWLEDGEMENTS
The research leading to these results has received
partially funding from the European Community's
Seventh Framework Program (FP7/2007-2013) under
grant agreement n. 600854 Smart Society: hybrid and
diversity-aware collective adaptive systems: where
people meet machines to build smarter societies
http://www.smart-society-project.eu/.
REFERENCES
[1] J.R.Anderson. Cognitive Psychology and its
Implications. Freeman, New York: 1990
[2] L.J.Bannon. Forgetting as a feature, not a bug: the duality
of memory and implications for ubiquitous computing.
Co-Design, Vol.2, No.1 March 2006, pp.3-15
[3] M. Brandimonte, G.O. Einstein, M.A. McDaniel.
Prospective Memory. Theory and Applications.
Lawrence Erlbaum Associates, Publishers. Mahawah
(NJ). 1996.
[4] M.M. Bakhtin. Forms of Time and of the Chronotope in
the Novel. Notes toward a Historical Poetics. In M.
Holquist (Ed.). The Dialogic Immagination by M.M
Bakhtin. Four Essays. University of Texas Press, Austin,
1981, pp 84-258.
[5] ] .S. Consolvo, P. Klasnja, D.W. McDonald, D. Avrahami,
Froehlich, L. LeGrand, R. Libby, K. Mosher, J.A. Landay,
Flowers or Robot Army? Encouraging Awareness &
Activity with Personal, Mobile Displays. UbiComp08,
Seoul, Korea, September, 21-24, 2008.
[6] M. Csikszentmihalyi. Flow. The psychology of optimal
experience. Harper & Row, London (UK): 1990.
[7] H.R. Dreyfus. Being-in-the-world. A Commentary on
Heideggers Being and Time, Division I. The MIT Press
Cambridge Massachusset. London (UK): 1991
[8] A. Fersha. A Matter of Taste. Lectures Notes in
Computer Science, Vol.4794, pp. 287-304, 2007.
[9] K. Flavius, M. Hassenzahl, M. Laschke, S. Diefenbach.
A Transformational Product to Improve Self-Control
Strength: the Chocolate Machine. CHI 2012, Austin,
Texas, USA, May 5 10, 2012.
[10] B.J. Fogg. Persuasive Technology. Using Computers to
Change What We Think and Do. San Francisco (CA):
Morgan Kauffmann Publishers, 2003.
[11] J.J. Gibson. The Senses Considered as Perceptual
Systems. Hougton Miffling Company, Boston: 1966.
7th International Conference on Digital Arts ARTECH 2015

239

[12] J. Heiner, S.E. Hudson, K. Tanaka. The Information

Percolator: Ambient Information Display in a Decorative
Object. UIST99, Asheville (NC): 1999.
[13] F. Hemmert, Ambient Life: Interrupted permanent
Tactile Life-like Actuation as a Status Display in Mobile
Phones. In Proceedings of the 2nd Workshop on
Ambient Information Systems Colocated with Ubicomp
2008, Seoul, South Korea, September 21.
[14] H. Ishii. Tangible Bits: Beyond Pixels. Invited Paper.
Proceedings of the Second International Conference on
Tangible and Embedded Interaction (TEI'08), Feb 1820 2008, Bonn, Germany
[15] P. Kim, Giunchiglia, F.. Life Logging Practice for
Human Behavior Modelling. 2012 IEEE International
Conference on Systems, man and Cybernetics. Seoul,
Korea, October 14-17, 2012.
[16] P. Kim, Giunchiglia, F.. The Open Platform for Personal
Life Logging: the e-LifeLog architecture. CHI 2013,
paris, France, April 27-2 May 2013.
[17] R.V. Lachman, R.V. Animist Interface: Experiments in
Mapping Character Animation to Computer Interface.
B.S.C. Thesis in Computer Science and Engeneering,
Massachusset Institute of Technology, Cambridge (MA):
1995
[18] J.J. Lin, L. Mamykina, S. Lindtne, G. Delajoux, H.B.
Strub. FishnSteps: Encouraging Physical Activity with
an Interactive Computer Game. P. Dourish, A. Friday,
A. (Eds.) Ubicomp 2006, LNCS 4206, pp. 261-278. 2006
[19] J. McCarthy, P. Wright. Putting Felt Life at the centre
of Human-Computer Interaction. Congition Technology
and Work. Vol.7, No.4. November 2005.
[20] D.C.Rubin (Ed.). Autobiographical Memory.
Cambridge University Press. New York: 1986.
[21] Torsi, S., P.Wright, S.Mawson, G. Mountain, N. Nasr, B.
Rosser. The self-management of chronic illnesses,
Theories and technologies. Workshop PH_HOME,
PervasiveHealth2010. Munich, Germany. 22 March 2010.
[22] M. Weiser, J. Brown. Designing Calm Technology.
PowerGrid Journal, Vol.1.01, July 1996.
[23] J. A. Russel. A Circumplex Model of Affect. Journal of
Personality and Social Psychology. 1980, Vol. 39, No. 6
pp. 1161-1178.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

241

Guidelines for Best Practice of Augmented Reality in

Websites Emphasizing Usability
Andra Silva Souza, Joo Fernando Marar, and Luz Carlos Paschoarelli
Universidade do Estado de So Paulo (UNESP), Campus FAAC, Bauru, SP, Brasil.

Abstract This short paper aims to show the

beginning of an research on augmented reality (AR)
applied in websites, emphasizing usability in data
visualization and the intuitive aspects of the interface.
Index Terms augmented reality, interaction,
interface, usability, users, websites.

I. INTRODUCTION
Augmented Reality (AR) is the insertion of virtual
objects in the real world (AZUMA; 2001). The goal of
augmented reality, with such action, is to make the most
informative scenes, drawing the attention of users to
details that may go unnoticed.
AR works using a tag, webcam and a computer,
applied in tablets, smartphones, notebooks and other
platforms. In addition, AR is multisensory making
possible to interact using gesture, touch, movements,
and sound, among others (AZUMA; 2001).
A tag is a maker or an object, to be identified in the
AR software when the webcam captures its image, after
that the computer shows automatically, on the computer
screen, the corresponding simulation (MARTHA; 2013).
The Brazilian Internet Steering Committee (NIC BR)
did a research in 2013 on the number of people using
Internet and they found that 85% of the population with
10 years old now uses the internet, which represents
18% more than in the 2008-2013 period.
Today there are 3.2 million people; more than in
2012, using the internet and those numbers can get
bigger as showed in another research (NIC BR) that
33% have an everyday access to Internet, which is more
than the past years.
as shown in another survey by NIC-BR showing that
there was an increase of 33% of people who use the
Internet daily, compared to the previous year..
These facts reflects how important is to learn about
dealing with technology with RA when we have a
tsunami of data information to understand.
This short paper studies how the information of
websites AR environment is being perceive by the users
to discover if the interface is easy to manipulate
emphasizing satisfaction, effectiveness aspects of
usability.
7th International Conference on Digital Arts ARTECH 2015

The third topic of this short paper is going to talk

about what AR, usability, affordance is, how it works
and how they can help the designer to make better
websites. The fourth topic talks about digital perception.
Defines what perception means and how to apply to
design websites with AR. The last topic presents the
methodology used to solve the main problem of this
paper, introducing the best practices to manage web
design with AR.
II. PREVIOUS WORKS

This paper express some of the fundamentals to a better

usability of AR and to understand this, designers can use
the power of immersion which is very important to get
attention improving digital perception.
The immersion in AR has been studied in many areas
of knowledge like public transportation embedded in a
mobile 3D map to visualize the city on top of a real
world street view (Antti Nurminen, Juha Jrvi, Matti
Lehtone; 2014).
The Distributed Augmented Reality For Collaborative
Design Applications: They developed a demonstration
of an AR system that shows a scene to talk about the
layout of a room. Interacting with 3D models the user
can be moving the furniture in different places and
reorganizing everything like if it was real (AHLERS;
K.H., Kramer, 1995).
A 3D Interactive Augmented Reality in Early Stages
of Product Design: In the illustration, we have tools to
dodesign systems that are in early stages just like the
project of Smart Sketches, it is a 3D technique aloud
tape drawing, with both hands, on a virtual or real
superficies, to modify directly in the CAD. A virtual pen
modifies the drawing giving a fast feedback
incorporating curves and necessaries positions to the
shape (SANTOS, P., GRAF, H.,FLEISCH,T., STORK,
A.; 2003).
From all of this we can understand that design and art
are present when we project anything, when we want
immersion to work and send our message to the users.

242 A. Souza, J. Marar and L. Paschoarelli / Guidelines for Best Practice of Augmented Reality in Websites Emphasizing Usability

AR can make objects look as natural as possible to

perceive and experience visually how it is to manipulate.
Physical aspects, opacity, volume, impact can be
observed to predict value, layout, and other things until
the final version of the product (ROMO; Viviane;
GOLALVES; Marlia; 2013).
However, the lack to investigate about the usability of
visual interface in AR to find out how important is to
organize graphic elements along the interface was not
observe yet.
III. USABILITY
Usability is the ease of the use. The main things the
designer must worry about usability in AR is the time to
perform a task (the stimulus-response); adapt the user to
the equipment (gloves, helmets, controls; touchscreen,
etc.); perception (based on the state of the eye); fatigue
and visual pollution (Braga, Marta, 2012).
Jackob Nielsen also offers standard usability patterns
to worry about when we design a website: make
interface intuitive, reduce awkward postures, be careful
with efforts of attention and visual fatigue, make easy to
learn new tasks, ensure satisfaction, effectiveness,
efficiency for the user (NIELSEN; 2014).
Effectiveness is the completeness with which the user
performs its tasks and you can finish them perfectly.
Efficiency is consistent with the level of effort that the
user makes to complete the task. Satisfaction is the
presence of positive attitudes towards the product
(QUARESMA; & MORAES; 2011).
When usability is apply in interfaces it is important to
think about eliminate certain unless functions, reduce the
number of words, the graphic elements and its
dimensions must be suitable with the layout of the
screen (NIELSEN; 2014).
In short, usability has to do with the quality of the
system human-machine-interface and environment. Is
necessary to improve research investigating this new
way of interaction and performance with AR, also
observed the lack of an adaptive planning for the
application to be responsive.
How the websites can have usability? With
affordance. Affordance is a term used to define an
intuitive design. Anyone who looks at the product
already knows how it works and understands it. Why
affordance is essential? It is essential to find out
pleasurable and emotional aspects of all users when they
respond positively to the product.
The types of affordance are cognitive, physical and
perception. All of them designs, help, supports and
makes easier to think, perceive and to know what to do
in every situation. (HARTSON, REX; 2013) The
manipulation and all the visual parts of the product must
be test before any errors during the process of making its
final version of the website.

The next topic bellow will explain that digital

perception is a part of the affordance. When we
understand both is easier to understand the user
response.
III. DIGITAL PERCEPTION
Digital perception influences the sender and receptor.
To communicate technology is the channel, and works
as we interact with it. A good communication has the
system Sender-Channel- Receptor working properly
together for the message.
Vilm Flusser in his theory of the black box believes
that the image created by the machine has it meaning
printed on its own superficies, like a digital impression.
The significant (finger) is the cause and the image
(printed) is the effect (FLUSSER; p.10)
There is a key factor between the technical image and
its meaning: the machine. The machine is the channel
through which the message is sent and because of its
complex, it is called black box. We only see the input
and output of the black box, without knowing the whole
process inside to gather knowledges of truth, living
(beauty) and model of behavior (good) (FLUSSER;
p.11). This interferes in how we see the world around us
and deal with it. Perception is not reduce to parts; we
always see a significant all, a Gestalt.
Flusser reveals two types of cultural objects: the ones
good to be consume (consume goods) and the ones that
produce consumer goods (instrument). Their virtuosities
are the software and what gives them value is what they
are capable to do.
Machines are black boxes that simulates the human
thought. The intention of the program is program men
to give feedback for their own continue upgrading
(FLUSSER; p.17- 24). Without we even realize the
digital takes control of our life as we need it every day
as an extension of our body.
To complete this idea it is good to comment about
what Abranges says about the technical image and its
domination: it wills to understand how much a hostage
is actually a hostage who already was born among its
kidnaper. Since everything we do daily is technique.
Heidegger defines technique by giving the idea that it
has something to do about production, using tools,
machines that belongs to products. Technique is the
instrument.
The proposal to achieve about AR digital perception,
given all this theory until here, is to open our minds to
what leads a start for interpretation and correlate AR as
a machine, the channel that brings availability in pro of
how our eyes see and seize.
AR contributes for a rich digital perception because
simulates in real time all the parts and functions of a
product. Anticipates futures repairs, simulates where the
product is going to be sale. Consumers can try products
without leaving home or prove many more products,
7th International Conference on Digital Arts ARTECH 2015

A. Souza, J. Marar and L. Paschoarelli / Guidelines for Best Practice of Augmented Reality in Websites Emphasizing Usability 243

inside the store in a much more dynamic way, and

decide which one to buy (BRAGA; Martha; 2013).
During the simulation, it is possible to make an
occlusion (objects on other objects to hide or add
something to the scene) (BRAGA; Martha; 2013) giving
the designer further details to provide a more realistic
(or specific) situations as possible to project a final
mock up.
The websites chosen for testing are:
A.
Rayban
glass
(www.rayban.com/brazil/science/virtual-mirror). This website
uses a virtual mirror to simulate different glasses on the
users face and they can choose models, shape, and sizes
that best suits them.
B. Arsights (www.arsights.com/). This website uses
google earth plugin to show historical monuments in
AR.
C.
Webcamsocialshopper
(webcamsocialshopper.com/demos). This website uses
AR to make a virtual mirror for women to prove
different dresses. Size, models, color, zoom can be
changed for more detail of information.
None of those websites uses AR in the same way.
Some of them do not need to print a tag. They use
human figure as their reference. Just like a kitnect
camera, for example, it captures the movements and
gestures of people and based on that produces on screen
animation.
IV. METHODOLOGY
To gain accurate results (In order to obtain accurate
results) on the use of AR in websites, it was promoted a
field research with internet users with the objective of to
observe their impressions, while they performed their
tasks on websites, in terms of organization and operation
while they did the navigation.
The field research consisted of an experience with 29
students participating (12 men and 17 women in ages
between 16 to 23 years old), of which, after a lesson on
augmented reality students accessed some websites, that
make use of AR, and then, they all responded a form
with questions about how the experience was for them.
In questions a-d, in the form, were about age, gender,
if the person knows what AR is and if the person had
enter in an AR website before. In questions e-l, there
were response options as very bad, bad, regular,
good, and excellent. Bellow we have all the questions:
(VOC TEM ESPAO PARA INCLUIR AS
OPES DE RESPOSTAS!)
a) How old are you?
b) Gender: Female or Male?
c) Do you know what AR is?
7th International Conference on Digital Arts ARTECH 2015

d) Did you had enter in an AR website before?

e) How easy and intuitive was to use an AR
website?
f) Compare a website with AR with a traditional
ones
g) What was your level of satisfaction?
h) How it was the height of webcam related to
yourself?
i) How it was the visual effort to see the information
showed during the navigation?
j) How it was the requirement to make decisions
during the tasks?
k) Did you feel any discomfort during the tasks?
l) How it was the sensibility of the webcam while
you were holding the marker?
The preliminary results shows that: the sensitivity of
the webcam needs to be improved, the website is not so
intuitive and they had to make an effort to pay attention
while making decisions, overall 16% of the answers
were marked as regular as compared to other websites
that does not use AR.
Based on the results of the question about effort and
attention, almost half of the people interview answered
regular. For making decisions during the task most of
them choose regular as an answer. We conclude that
immersion needs improvement as well to do an
important part to make users like more what they see
and want to come back again (NO ENTENDI).
The value of this interview is to make possible to find
out what people have or not in common when perceiving
the AR interface. Like that, the designer knows clients
and how he or she will live the experience and the level
of the experience can be better.
It is vital to understand how users deal with products
of any kind and most of times they do not even realize
what their own needs are, or these needs can be invent
too as an opportunity to bring new things to market
(NO ENTENDI).
V. BEST PRACTICE
The best practice is define by the concept of
benchmarking: the research for best practices to achieve
superior development. It is a great positive process and
proactive, that verifies the main functions of related
works to improve tasks. This allows taking different
opportunities for better job and organization. (CAMP;
1998)
The knowledge of everything the market has done to
offer about AR in websites and what kind of product
people interact most, is the base to find some room for
new things to make the experience better and avoid
mistakes.
The main functions to improve AR task analyzed in
the research results in the following aspects:
a) Better interface design improves usability and
only the main functions should appear

244 A. Souza, J. Marar and L. Paschoarelli / Guidelines for Best Practice of Augmented Reality in Websites Emphasizing Usability

b) Care about putting just essential information in an

understandable way.
c) The visual of the interface must have accessibility
and provide comfort to the users.
Throw all of this points the guidelines thought for
this paper were base on Jackob Nielsen ideas of
usability to adapt to the context of AR and web
design.
Guideline one: the layout must be able to fit the
dimensions and orientations of the AR functions.
Number two: the types of AR must be considered (if a
tag should or not be print or if it is a touchscreen, for
example). Three: the commands used in different
ways should show equal result; like that, the user
learns the task more easily. For last measure the real
use, to make sure the user comes back frequently
(NIELSEN; 2014).
V. CONCLUSION
For a preliminary conclusion, the most important
feature is the power of immersion, the parameters that
influence the degree of immersion and how the virtual
environment resembles the real world as the user is
completely transported to a new experience.
REFERENCES
[1] ABRANGES, A., O enigma da tcnica. Revista Item,
Rio de Janeiro, N.3, 1996.
[2] ANTTI Nurminen, JUHA Jrvi, MATTI Lehtone;
A mixed reality interface for real time tracked
public transportation; 2014.
[3] AHLERS; K.H., Kramer, Distributed augmented
reality for collaborative design applications; 1995.
[4] AZUMA, R., BAILLOT, Y., BEHRINGER, R.,
FEINER, S., JULIER, S., MACINTYRE, B. Recent
Advances in augmented reality. Computer & graphics,
November 2001.
[5] BRAGA, Martha C.G. Diretrizes para o design de mdias
em realidade aumentada: situar a aprendizagem
colaborativa online, 2013 UFSC Universidade
Federal de Santa Catarina, Florianpolis.
[6] CAMP, R.C. Benchmarking: o caminho da qualidade
total. So Paulo: Pioneira Thompson, 1998.
[7] FLUSSER, V. Filosofia da caixa preta: Ensaios para uma
futura filosofia da fotografia. So Paulo: Humanismo,
cincia e tecnologia hucitec Ltda., 1983.
[8] HARTSON, R. Cognitive, Physical, and Perceptual
Affordances in Interaction Design Virginia Tech
Department of Computer Science, 2013.
[9] HEIDEGGER, Martin the question concerning
technology. New York: Harper, 1977
[10] MIT,
Media
Group
Disponvel
em<
http://www.media.mit.edu/> Acessado em jan 2015.
[11] SANTOS, P., GRAF, H. ,FLEISCH, T., STORK,
A. 3D Interactive Augmented Reality in Early
Stages of Product Design, 2003.
[12] W3C, validator.w3c.org; 2014.

7th International Conference on Digital Arts ARTECH 2015

A. Souza, J. Marar and L. Paschoarelli / Guidelines for Best Practice of Augmented Reality in Websites Emphasizing Usability 245

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

247

New Sensual Experiences of embodiment in Dance: An

Interface between Merleau-Ponty and Gretchen Schiller concepts
L. Pimentel1 and M. Misi2
1
University Federal of Bahia (UFBA) Brazil, Visual Arts Postgraduate Program
(PPGAV-UFBA), Electric Cyberdance Research Group (CNPq), Coordinator at PIBIDUFBA (CAPES), Brazil.
2

University Federal of Bahia (UFBA) Brazil, Dance Post-graduate program, Electric

Cyberdance Research Group (CNPq), Slash ArtTech Lab, Amsterdam, Holanda.
Abstract in 2003, Gretchen Schiller uses the
term mediadance to refer to art practices, which
integrate digital technology into choreographic work.
This article develops the main idea that this kind of art is
an actual category that promotes new sensual
experiences for the human body. Based on Schillers
(2003) concept of kinesfield and revisiting MerleauPontys (1945, 1964) concepts of body schema and
flesh of the world, we address our research to the
forms of relation that are established in the bodily
experience of mediadance.
Index Terms
Embodiment, mediadance,
mediart, kinesfield, technology, body.

I. INTRODUCTION
The artworks that fall nowadays within the umbrella
term mediadance, characterized by the hybridism on
the intersection of dance, moving image, digital
technology and communication and information
technologies, are representing and simulating not
only new types of dancing body configurations but
also promoting a new way for the audience to
experience dance. This article presents and reflects on
Gretchen Schillers [1] concepts of mediadance and
kinesfield, revisiting Maurice Merleau-Pontys [2][3] thoughts on phenomenology of perception for
theoretical support to analyze the forms of
embodiment that mediadance promotes.
II. SCHILLERS CONCEPT OF MEDIADANCE
Gretchen Schiller [1] coined the term mediadance
to designate a category of art that encompasses all
contemporary dance works in which the digital
elements are integrated with the choreographic
elements as compositional components; it explores
innovative forms of bodys representation and seeks
expansion of perception, sometimes including
interactivity in its experiments. There are many
examples on dance history, before the digital era, of
7th International Conference on Digital Arts ARTECH 2015

choreographies in which technology was used to

transcend the bodys biological limitations, such as
the introduction of the point shoes, in 1832, in the
ballet La Sylphide and the use of wires to make
dancers fly or gas lighting to create supernatural
effects onstage in many romantic ballet pieces.
However, we can consider together with Schiller
[ 1 ] that the work of Loie Fuller represented a
breakthrough in dance history, in the late nineteenth
century. Fuller used light artifacts to extend and
multiply her body image, or even to transform it into
animated shapes. By doing so, Fuller brought a new
and revolutionary concept of body into the world of
dance, which is now widely explored and
implemented within the realm of mediadance.
For Schiller [4], mediadance is one of the many art
forms that integrate computer-based technologies,
including interactive art, net art, virtual reality,
technologically mediated performances, videogames
choreocinema and cinedance [5]. It is, therefore, an
extensive category that embraces various types of
artistic objects and several configuration forms of
interfaces between dance/body and digital technology.
We propose that mediadance includes the
contemporary artwork productions that use computer
graphics software, video-editing, 3D animation and
any other sort of digital technology for moving images
and/or interactivity. It includes telematics dance,
interactive dance, interactive installations, and LiveMotion Capture. It is in this category that the digital
bodies appears configured by special effects and
endowed with qualities that are impossible for human
physiology. For example, the bodies generated by the
film industry with sophisticated stunt techniques and
post-production editing features to present abilities as
flying, spinning, melting, dissolving, as we see in
films such as The Matrix [6] House of Flying Daggers
[ 7 ] , Total Recall [8] between many others. Dance
works fully created on digital platforms with animation
software such as Lifeforms, Maya, Poser,
Blender, 3DStudio and Motion Builder also fit on
the body type description of mediadance category.

248

L. Pimentel and M. Misi / New Sensual Experiences of Embodiment in Dance

Many of these experiments invite the public to move

through various locations and perform actions and
gestures, as for example proposed in movement-based
interactive
installations,
which
requires
the
interference of the audience to be configured or seen.
In the history of contemporary dance with digital
technology there are several types of experiments
that can serve as examples of the body-medium
concept of the mediadance body proposed by
Schiller.
In 1986, David Rokeby, in his work Body Concert
for two cities, constructed a kind of magnetic field
between two cities (with three cameras, some sensors
and a computer), which resonated with the passage
of a body. Both magnetic fields resonated each time a
passing body would occur in one of the cities. We
consider this work of Rokeby as one of the first
examples of mediadance, having influenced many
other artists.
Also in the 1980s, a group of researchers in graphic
interfaces of the Simon Fraser University (Canada),
led by Thomas Calvert and Thecla Schiphorst (a
graphic designer who previously worked as a
professional dancer) developed the computer program
Lifeforms. This software was first used by
choreographer Merce Cunningham, regarded as one of
the pioneers of interactive digital dance, who created
already in 1965, along with John Cage and Robert
Rauschenberg, Variations V, an interactive
installation with slide projections, dance, and sensors,
and thus bringing the interactive dance format for the
first time to the history of Media Art.
Body Concert for two cities and Variations V are
both good examples of mediadance artworks that can
clearly illustrate the concept of body as a body
medium as we will discuss further in this article. In
Body Concert for two cities, the information
communication technology expanded the bodys field
of resonance; in Variations V, the dancers interact
through sensors with spatial and audio data, generating
atmosphere changes on the piece.

There are still a significant amount of historic events

that precede the creation of Lifeforms as the (not
very well known) work of Michael Noll, who in 1966
wrote the first motion graphic software. It was a
platform electronically sensitive, in which written
numbers were translated into animated figures shown
as body-toothpicks (sticks). The body-toothpicks
appeared on the screen immediately after the numbers
were written, i.e., in real time. The originality of this
work is that the movements were not transformed into
data, as happens in most motion capture technologies,
but conversely, it was the numerical data that was
transformed into animated figures. Noll was very
interested in the potential of choreographic movement
mediated by digital tools, and therefore he can be
credited for having developed software capable of
carrying the body in another deed, in this case in a
digital dance script [9]-[10]. We had the opportunity
to produce similar experiments, by using the
Storyboard Plus software to create animated
choreographic studies for different kind of spaces in
a research made in our Dance Graduate Program with
the support of CNPq (Brazil), in 1991. Later, in 1995,
we developed Em no lugares (Fig.1), a twenty
minutes choreography in a digital platform using 3D
Studio, which took more than thirty hours for
rendering, with Professor Rodolfo Patrocinios
assistance, at the Faculty Integrated of Guarulhos
(F.I.G.).

Figure 2: Being There installation art, Slash ArtTech Lab

(2014).

Currently, we are working in collaboration with Slash

Art Tech Lab, in Amsterdam to produce the interactive
installation Being There (Fig. 2), programed with
Andries de Marez Oyens and Chris Heijens software
slash cam 3d, developed in C++ platform. In the
installation room, there is a screen, in which the publicparticipant can see her projected image. The background
of the screened image shows a multiplication of the
actual physical room in different perspectives, triFigure 1: Coreography Em no lugares, by Ludmila Pimentel
and Rodolfo Patrocinio (1995), Electric Cyberdance Group.

7th International Conference on Digital Arts ARTECH 2015

L. Pimentel and M. Misi / New Sensual Experiences of Embodiment in Dance

dimensionally, and in the center, it shows a floating

floor that moves from one side to another and back and
forth in accord with her steps. Therefore, it resembles,
but it is not an exactly copy of the room in which she is
actually fleshly standing, because it cuts the image,
fragments it and multiples it in different perspectives.
She, as the subject of the experience, is able to deal with
these images multiplication of herself in different
spaces perspectives. In addition, in accord with her
arms movement, there appear extra images of herself
on the centered floating floor. If she lifts her left arm, it
appear one copy on her left side, if she raises her right
arm, it appear another copy on her right side, if she
raises the two arms, appears a multitude of copies.
The examples of works that fits in Schillers
mediadance [1] category are widespread. It includes a
huge variety of formats, for example: digital dance
created with the use of software that enables realtime interactivity with the movement of the performer,
such as Isadora, developed by Troika Ranch Dance
Theater (USA) or Eyecon, developed by Palindrome
Intermedia Performance Group (Germany); dance CDROM, as Improvisation Technologies (1999) created
by William Forsythe, Frankfurt Ballet and the ZKM in
Karlsruhe, Germany; the works of telematics dance
developed more intensively after the late 1990s, and
mentioned by Sita Popat and Jacqueline Smith-Autard
(2002, 31-36), Bytes of Bryant Park (1997), by
Stephan Koplowitz; Progressive 2 (1996) by Richard
Lord and Maggies love Bytes (1996) by Amanda
Steggell as well as other more recent developed by
Konic Theater; interactive digital dance and screenbased dance as the works of Chris Ziegler (since 2006),
Johannes Birringer and the AlienAtion Company (since
1993), the Slash Lab group (since 2000), Electric
Cyberdance Research Group (since 1999) and the
OpenEndedG roup, that before called Riverbed (since
1998), with Paul Kaiser, Shelley Eshkar.
III. SCHILLERS KINESFIELD CONCEPT OF EMBODIMENT
INTERFACE WITH MERLEAU-PONTYS CORPOREAL
SCHEMA
We are proposing to interface the concept of
embodiment developed by Schiller [1] with the
concept of embodiment of Merleau-Ponty in his
books Phnomnologie de la Perception [2] and Le
Visible et le Invisible [3] to contribute in the analysis of
the kind of embodiment that the mediadance stage
promotes.
Schiller [1] proposes in her thesis a new category of
embodiment that helps us to understand these new
bodies contemporarily generated by mediadance
practices. H e r concept of kinesfield describes
what she considers the type of embodiment that
occurs in mediadance: an intertwined body-space
experience in which temporality is unfolded in
7th International Conference on Digital Arts ARTECH 2015

249

multimodal relational dynamics. Schiller develops the

idea of the mediadance dancing body as a bodymedium, in her words: the kinesfield as a bodymedium is contextualized with and through existing
models and frames of reference in dance, social
science and phenomenology. Here the kinesfield is
associated theoretically to Henri Lefebvre's practicosensory body (1991), phenomenological traditions of
Merleau-Ponty's fleshspace (1964) and Hans Jonas's
phenomenological biology (1966). As such, the
kinesfield is theoretically described as a condition of
human
perception
which
is
defined
in
phenomenological and sociological frameworks [11].
The interface of the body with the digital technologies
interpolates layers, passes through materiality, and
thus becomes a new composition of other dynamic
materials and media, reconfiguring itself; as such, the
concept of the kinesfield highlights one's embodied
state as relational to its environment through temporal
and spatial phenomenological (subjectively felt)
dynamic transactions. The environment or ecological
system of the field consists of biological (other bodies),
atmospheric (wind, rain), natural forces (gravity and
electromagnetism) and cultural (human artefacts,
traditions, history) phenomena [12].
Agreeing with Schillers proposition we would still
have to reflect about this new corporeal stage, i.e., the
contemporary body that falls within the category of
mediadance, revisiting Merleau-Pontys [ 2 ] - [ 3 ]
concept of embodiment. Schiller used the term
fleshspace in her thesis to describe what Merleau
Ponty calls Flesh of the World, from this passage in
his book The visible and the Invisible: Flesh of the
world, described (apropos of time, space, movement)
as segregation, dimensionality, continuation, latency,
encroachment. That means that my body is made of
the same flesh as the world (it is a perceived), and
moreover that this flesh of my body is shared by the
world, the world reflects it, encroaches upon it and it
encroaches upon the world (the felt [senti] at the
same time the culmination of subjectivity and the
culmination of materiality), they are in a relation of
transgression or of overlapping[ 1 3 ] . In her words:
fleshspace describes the interlocked connection or
chiasmus between the body and space[14]. We add to
Schillers description of fleshspace the interconnection
between the body and the world, and in the specific
mediadance stage, the contemporary body and the
digital worlds.
Now that we understand the body of mediadance,
we would like to have a more comprehensive view of
Merleau-Pontys concept of schma corporel and its
role in cognition to help us to understand how we
give meaning to our embodied experience in
mediadance
movement-based
interactive
performances.

250

L. Pimentel and M. Misi / New Sensual Experiences of Embodiment in Dance

In his analysis of human behavior, Merleau-Ponty

dismantled
dichotomies
as
form/content
or
interior/exterior, and insisted that we give meaning to
things through a corporeal and behavioral path and
therefore, the perceived world (perception) is the
original instance through which we apprehend the
inter-subjective world. As perception is what leads us
to the original instance of reality, this involves every
aspect of human body experience. The subject of
perception is the body and not the consciousness.
That is why the subject is not the source of the sense,
but just gathers a sense already given by the
phenomena. However, if we perceive with the body,
this means that the body is not the thing, but that
the body collects a sense on the thing that is presented
to it. If, on one hand, the thing is humanely endowed
as a result of the body mediation, on the other hand,
we must not forget that this synthesis happens
temporally, in a relationship between past and
present, and that perception is given by the
actualization of a crystallized knowledge, and not by
a transcendental subject. We agree with MerleauPontys statement that the body comprises the logic of
the world beyond the perceived and fixed in the here
and now. Correlatively, the generality that is the world
extends itself beyond this perceived segment,
covering its entire horizon. The present segment
would not exist if there was not this horizon,
because the present is not equivalent to what is
presented, do not reduces it, but what is presented only
presents itself through the present [15]. Merleau-Ponty
affirms that: to have a body is to possess a universal
setting, a schema of all types of perceptual unfolding
and of all those inter-sensory correspondences which lie
beyond the segment of the world which we are actually
perceiving [16]. Therefore, perception is always
informed by what he calls a schma corporel, which
is a condition of cognition, as embodiment is a
condition for being in the world. In his words: for if
it is true that I am conscious of my body via the
world, that it is the unperceived term in the center of
the world towards which all objects turn their face, it
is true for the same reason that my body is the pivot
of the world: I know that objects have several facets
because I could make a tour of inspection of them, and
in that sense I am conscious of the world through the
medium of my body[17].
Merleau-Ponty's schma corporel is translated as
'body image' in the English translation of
Phenomenology of Perception, but we, like
Tiemersma [18]], Brey [19], and Carman [20], prefer
the translation 'body schema', because it refers to a
non-representational structure and not to an image. In
accord with Carman: what is essential to the concept
of the body schema [] is the notion of an
integrated set of skills poised and ready to anticipate

and incorporate a world prior to the application of

concepts and the formation of thoughts and
judgments. This kind of embodied poise or readiness,
which Merleau-Ponty calls habit consists in a kind
of
non-cognitive,
pre-conceptual
motor
intentionality[21].
Considering the spatiality of the body, MerleauPonty makes several assertions: its boundary is a
frontier that the ordinary space relations dont
transpose; the body is in the world, and its parts
are engaged by each other; when the body is in motion,
it elucidates how it inhabits space and time, because
the movement does not submit itself to them; the
body is not in space nor in time, but it inhabits space
and time [22]. According to Merleau-Ponty: the body
is our general medium for having a world. Sometimes it
is restricted to the actions necessary for the conservation
of life, and accordingly it posits around us a biological
world; at other times, elaborating upon these primary
actions and moving from their literal to figurative
meaning, it manifest through them a core of new
significance: this is true of motor habits as dancing.
Sometimes, finally, the meaning aimed at cannot be
achieved by the bodys natural means; it must then built
itself an instrument, and it projects around it a cultural
world [23].
Departing from his assertion that it is in the body
that the development of new core of meanings
occurs, we propose the body-medium as the
expressive locus of mediadance, a place where
significations are elaborated. The unprecedented forms
of transiting in hybrid reality environments that emerge
with the new technological possibilities of
contemporary culture demand a close and deep
reflection not only on the type of embodiment that
they promote but as well on the new forms of
significations that the embodiment inevitably
upheaves, as the experience of being-in-the-world
acquires a different quality with the incorporation of
different forms of relationship between time, space
and movement.
In the new architecture of mediadance category
there is an implicit philosophical condition that
enables us to be harmonic within the spatial context
that we live, in which we are immersed; this is a
performative relational architecture that invites
participation and comprises the virtual.

IV. CONCLUSIONS
We attempted here to apply Merleau-Pontys
concept of body to mediadance to propose that the
body schema notion reveals the body as a body-

7th International Conference on Digital Arts ARTECH 2015

L. Pimentel and M. Misi / New Sensual Experiences of Embodiment in Dance

medium, a kind of network that crosses through

everything and is traversed by everything; in
mediadance it crosses over different media and
technologies and is also traversed and reconfigured
by it. As the body is in-the world and deals with
external
technical
objects
through
digital
technologies, it was realized the possibility to manage
virtual objects and environments as a body perceptual
inherent nature that is the extension of itself through
space and time: in this case, in the form of a second
body, its digital double. The body-medium inhabits
space-time it is able to transit between real and
virtual spaces and reconfigures itself, multiplies, it
goes beyond its skin; it is an extended body, which
crosses time and matter, and, in the meantime, persists
in its materiality.
We
believe
that
interdisciplinary
and
transdisciplinary practice-based research in the field of
mediadance can contribute to this investigation.
Mediadance, as a dance category, encompasses in its
creative process the necessary attributes to develop
empirical enquiry on this subject. Dance creators have
widely performed dance work in multimedia
scenarios, sophisticated structured for consumption
and aesthetic contemplation of the audience. Dance
installations and online interactive dance, which invite
users participation, are no longer rare events. They
form a new field of studies open to analysis and
aesthetic evaluation.
ACKNOWLEDGEMENTS
The authors wish to acknowledge the assistance and
support of PIBID-UFBA program and the sponsorship
of CAPES (Brazil), also the University Federal of Bahia
(Brazil) and the Visual Arts Post-graduate program
(PPGAV-UFBA), the Electric Cyberdance Research
Group (CNPq), and CAPES/PNPD postdoctoral
program, also The Slash Art Tech Lab partners as Chris
Heijens and Andries de Marez Oyens.
REFERENCES
[1] G. H. Schiller, The kinesfield: A study of movementbased interactive and choreographic art. PhD Thesis
University of Plymouth, Faculty of Technology, 2003.
[2] M. Merlau-Ponty, Phnomnologie de la Perception,
Paris, Gallimard, 1945.
[3] M. Merleau-Ponty, Le Visible et le Invisible, Paris,
Gallimard, 1964.
[4] G. H. Schiller, op.cit., p.13, 2003.
[5] A. F. Snyder, Three kinds of Dance Film, Dance
Magazine, vol. 39, pp. 34-39, 1965.
[6] A. Wachowski, a n d L. Wachowski, Matrix [Film],
Warner Bros, United States and Village Roadshow
Pictures, Australia, 1999.
[7] Z. Yimon, House of Flying Daggers [Film], Sony
Pitures, United States, 2004.

7th International Conference on Digital Arts ARTECH 2015

251

[8] L.Wiseman, Total Recall [Film], Columbia Pictures,

United States, 2012.
[9] A M. Noll, Choreography and Computers, Dance
Magazine, vol. XXXXI, no.1, pp. 43-45, January 1967.
[10] A .M. Noll, The Beginnings of Computer Art in the
United States, Leonardo Almanac, v o l . 27, no.1, pp.
39-44, 1994.
[11] G. H. Schiller, op.cit., p . 2 8 , 2 0 0 3 .
[12] G. H. Schiller, op.cit., p . 1 7 , 2 0 0 3 .
[13] M. Merleau-Ponty, The Visible and the Invisible,
Chicago, Northwestern University Press, 1968, p.248.
[14] G. H. Schiller, op.cit., p . 1 3 2 , 2 0 0 3 .
[15] M. Misi. Navegar Preciso: Interdisciplinaridade e
Interatividade na arte contempornea, Ph.D T h e s i s
Universidade Federal da Bahia, Faculdade de Teatro,
p p . 4 3 - 5 4 , 2010.
[16] M. Merleau-Ponty, Phenomenology of Perception,
London, Routledge & Degan Paul, p.326, 1962.
[17] M. Merleau-Ponty, op.cit., p.94, 1962.
[18] D.Tiemersma, Body Schema and Body Image: An
interdisciplinary and philosophical study, Amsterdam,
Swets & Zeitlinger, 1989.
[19] P. Brey, Technology and Embodiment in Ihde and
Merleau-Ponty,in C. Mitcham (ed.), Metaphysics,
Epistemology, and Technology Research in Philosophy
and Technology, vol. 19, London, Elsevier/JAI Press,
2000.
[20] T. Carman, The Body in Husserl and Merleau-Ponty,
Philosophical Topics, v o l . 27, no. 2, pp. 205-226,
1999.
[21] T. Carman, op.cit., p.219,1999.
[22] Pimentel, L.C.M. Corpos e Bits: Linhas de hibridao
entre dana e novas tecnologias. MA Universidade
Federal da Bahia, Faculdade de Comunicao, p.41,
2000.
[23] M. Merleau-Ponty, op.cit., p.146, 1962.

252

L. Pimentel and M. Misi / New Sensual Experiences of Embodiment in Dance

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

253

Proyeccin multimedia mural en el espacio pblico:

la difusin y formacin a partir de la urbe.
Hernando Urrutia
Centro de Investigacin en Artes y Comunicacin, Universidad de Algarve, Portugal /
Universidad Aberta, Lisboa, Portugal
[email protected]
RESUMEN En el mbito de la formacin del
individuo desde el campo de la educacin visual, se
formula la promocin y difusin de los diferentes enfoques
del pensamiento contemporneo, llevndolos al pblico en
general para el desenvolvimiento de la educacin, desde los
diferentes espacios de socializacin del hombre, en la
ciudad, como factor de democratizacin al acceso del
conocimiento.
Proyectndose
en
la
estructura
arquitectnica de las reas centrales mas importantes de
las urbes, llevando la educacin a travs de la cultura de
masa, de la cultura visual, donde se permite al individuo
tener una nueva aproximacin y compresin de las
diferentes lneas del pensamiento, aumentando las
perspectivas y la apreciacin de los diferentes paradigmas
que nos propone la contemporaneidad, en la expansin del
pensamiento del nuevo individuo y la reflexin sobre los
diferentes conceptos, momentos y fundamentos de nuestra
propia sociedad, desde la propia urbe. En este articulo
presentamos una propuesta de proyeccin multimedia
mural, visando no solo en la difusin de la cultura, mas en
la propia formacin de las masas a partir de los espacios
pblicos en la ciudad.
Palabras-clave proyeccin digital, espacio pblico,
educacin, media-arte digital.
RESUMO No mbito da formao do individuo
desde o campo da educao visual, formula-se a promoo
e difuso dos diferentes enfoques do pensamento
contemporneo, levando-as ao pblico geral para o
desenvolvimento da educao, desde os diferentes espaos
de socializao do homem, na cidade, como factor de
democratizao no acesso ao conhecimento. Projetando-se
na estrutura arquitectnica das reas centrais mais
importantes das urbes, levando o ensino atravs da cultura
de massa, da cultura visual, onde se permite ao
individuo ter uma nova aproximao e compresso das
diferentes linhas do pensamento, aumentando as
perspectivas e a apreciao dos diferentes paradigmas que
nos prope a contemporaneidade, na expanso do
pensamento do novo individuo e a reflexo sobre os
diferentes conceitos, momentos e fundamentos da nossa
prpria sociedade, desde a prpria urbe. Neste artigo
apresentamos uma proposta de projeo multimdia
mural visando no s a difuso de cultura mas a prpria
formao das massas a partir de espaos pblicos na
cidade.
Palavras-chave projeo multimdia mural, espao
pblico, ensino, mdia-arte digital.

7th International Conference on Digital Arts ARTECH 2015

ABSTRACT In the context of the individual

formation from the field of visual education formulates the
promotion and dissemination of different approaches to
contemporary thinking, leading them to the general public
for the development education, since the different spaces
for man socialization, in the city, as a factor of
democratizing access to knowledge. Projecting into the
architectural structure of the most important central areas
of cities, taking the teaching of contemporary art through
the culture of "mass" of visual culture, where it allows the
individual to have a new approach and understanding, of
the different lines of thinking , increasing diferent
perspectives, and appreciating diferents paradigms that
proposes to contemporary, on expanding the new
individual thought and reflection on the different concepts,
moments and foundations of our own society, from the
metropolis itself. In this paper we propose a multimedia
projection wall aiming not only to diffusion of culture but
the very formation of the masses from public spaces in the
city.
Index Terms multimedia mural projection, public
space, education, digital media-art.

I. INTRODUCIN
El rea de intervencin del cual trata este articulo es
el vdeo digital en la enseanza, considerando aqu la
educacin visual, a partir de la proyeccin multimedia
mural en el espacio pblico, como medio de educacin y
difusin de los diferentes enfoques del pensamiento, en
la perspectiva de llegar a la mayor cantidad de
individuos, considerando especialmente aquellos que no
tienen acceso, a la cultura y formacin, sea por el
tiempo o estilo de vida, o sea por circunstancias
diversas. En la perspectiva que siempre la concepcin
de todo ser humano es influenciado por el entorno, por
las imgenes que lo circundan, pues no hay duda que
todas nuestras vidas se desenvuelven dentro del
contexto visual, todo es asumido en primera mano por la
imagen que recibimos de la denominada cultura visual,
que como [1] Dikovitskaya Margaret presenta la cultura
visual y los estudios visuales, como un nuevo campo de
estudio de la construccin cultural visual, en las artes,
en los medios y en el da a da, donde la cultura visual
refiere imgenes como punto central para la
representacin del significado del mundo.
Esto permite contextualizar la importancia de la
cultura visual, por lo que se puede exponer entonces que

254

H. Urrutia / Proyeccin multimedia mural en el espacio pblico: la difusin y formacin a partir de la urbe

si hay algo que pueda transformar el mundo es el

lenguaje visual, pues durante aos los diferentes entes
de la sociedad han utilizado reiteradamente el lenguaje
visual para fomentar e inducir las personas con los
diferentes mensajes visuales, por lo que el mundo de
hecho utiliza la cultura visual, para implementar la
capacidad de comprender donde estamos, que por
primera vez ha cambiado en los ltimos aos, para un
nivel que ha emergido como un creciente e importante
campo interdisciplinar.
Existen varias reflexiones a formular sobre el
proyecto, en la base de la formacin, hablando
especficamente de la educacin en el espacio pblico
como medio de difusin y instruccin del conocimiento
de la contemporaneidad, asumiendo como base los
conocimientos de los nuevos lenguajes en la
contemporaneidad del arte y la cultura, especficamente
para la construccin del artefacto opto por el tema del
arte contemporneo, por ser una rea de conexin del
pensamiento contemporneo, refirindome a la cultura
visual, ante el individuo de masa, el individuo general
de la urbe, el individuo que vive y/o deambula por la
ciudad, en una formulacin que trae nuevas visiones y
nuevos retos para la educacin, apoyndose en la cultura
visual, que est presente en el cotidiano de todo
individuo que reside en la urbe. Como expone [2]
Nascimento Erinaldo en su formulacin A Cultura
Visual no Ensino de Arte Contemporneo:
singularidades no trabalho com as imagens, A cultura
visual, como o termo sugere, entende que as
interpretaes visuais tm uma cultura, as quais afetam
tanto o processo de produo como o de recepo. As
imagens so construdas a partir de um reportrio
cultural, forjado no passado, e que, no presente, fixam e
disseminam modos de compreender historicamente
construdos.
Bajo la premisa de llevar el arte contemporneo a
todos, como elemento del pensamiento contemporneo,
parto del discurso de [3] Walter Benjamin que nos
permite hacer una reflexin sobre la obra de arte en el
momento actual, en lo cual otros medios son aplicados
en diferentes contextos para presentar nuevas realidades
y fundamentando nuevas formas de arte, con una nueva
visualizacin de la misma, en la posibilidad de llevar a
todos, la experiencia de disfrutar del arte por medio de
la reproduccin, de modo de convertir la apreciacin de
un acontecimiento nico en un acontecimiento en masa
(para todos): Podra caracterizarse la tcnica de
reproduccin diciendo que libera el objeto reproducido
del dominio de la tradicin. Al multiplicar lo
reproducido, lo coloca en el lugar de acontecimiento
nico a un acontecimiento en masa., surge la
necesidad de utilizar los medios visuales que ya son
parte del hombre contemporneo y utilizarlo como
herramienta de educacin visual, para esto se requiere
elaborar, organizar, programar e realizar los diferentes
vdeos digitales, segn el trabajo inicial de aproximar la
contemporaneidad y sus diferentes contenidos.

En la perspectiva de convertir algunas estructuras

arquitectnicas de la ciudad como telas de proyeccin
de modo de tornar realmente viable esta propuesta de
enseanza, desde la ciudad y sus espacios pblicos,
tornndose las ciudades en las noches en espacios de
educacin e reflexin, de difusin e intercambio de
pensamientos, esto requerir de enfoques tcnicos de
desenvolvimiento de imagen digital referente a la
proyeccin, tcnicamente hablando vemos que es
necesaria la tecnologa computacional y sus variados
software de manipulacin, tratamiento y digitalizacin
de imagen y de vdeo (imagen en movimiento), donde
existen variados software, de forma de conseguir
resultados visuales actuales a nuestro tiempo, de lectura
contempornea. Donde el tema de investigacin es la
proyeccin de vdeo/imagen digital, como intervencin
del espacio pblico, desde el vdeo/documental
pedaggico en la aplicacin del software de
manipulacin de imgenes, montaje y digitalizacin,
para la realizacin del vdeo pedaggico y sintetizado,
como el vdeo piloto para su implementacin inicial,
abarcando el rea de las ciencias sociales en el contexto
de la educacin del pensamiento contemporneo, como
generadora de conocimiento, la cual es basada en el
proceso de concepcin e implementacin en el escenario
educativo, fuera de los espacios propuestos por el
sistema tradicional de enseanza, en la formulacin de
la imagen proyectada. Proponiendo formar el hombre de
forma democrtica, permitiendo el acceso al futuro, para
un hombre con mayor reflexin y abierto a las nuevas
experiencias, mas sensible y de pensamiento amplio y
actual, de modo de acompaar la evolucin de la
contemporaneidad.
II. DESENVOLVIMIENTO DE OBJETIVOS EN EL
PROCESO
El tema de investigacin y estudio que presento en
este articulo es de forma general, la proyeccin digital
como rea dominante, tomando como subgnero el
vdeo documental/pedaggico, abarcando el rea de las
ciencias sociales en un contexto de educacin, como
generadora de conocimiento, mediante una sntesis
visual de contenidos, como herramienta pedaggica,
para ser llevados al contexto de la ciudad, mediante la
proyeccin en el espacio pblico, sobre las estructuras
arquitectnicas emblemticas de las urbes, los cuales
estarn relacionados con los siguientes puntos:
- La identificacin del potencial de la proyeccin
visual, como proyecto fundamentado en Multimedia
(Vdeo Digital) para fines de enseanza masiva y
democrtica en la promocin de los lenguajes de la
contemporaneidad, como generadores de conocimiento,
expansin del pensamiento y reflexin.
- La intervencin de los espacios pblicos, en la
proyeccin Multimedia sobre estructuras arquitectnicas
relevantes, significantes y/o simblicas dentro de la
ciudad, en la vertiente de la proyeccin de la imagen,
como medio de intervencin del espacio urbano,
7th International Conference on Digital Arts ARTECH 2015

H. Urrutia / Proyeccin multimedia mural en el espacio pblico: la difusin y formacin a partir de la urbe

creando la confrontacin y dilogo entre el individuo y

la ciudad.
- La aplicacin de los programas (software) de
manipulacin de imgenes, montaje y digitalizacin,
para la realizacin del vdeo pedaggico y sintetizado,
que ser el vdeo piloto para su implementacin inicial,
teniendo en cuenta que pueden ser implementados
siempre varias series de vdeos adicionales en constante
evolucin, pues sabemos que el arte contemporneo es
amplio, ya que cada da crece y se construyen formas de
expresiones artsticas y nuevos lenguajes en el campo de
la contemporaneidad.
Se pretende que la creacin y desarrollo de los
objetivos expuestos sean basados en el proceso de
conexin e implementacin en el escenario educativo,
fuera de los espacios propuestos por el sistema
tradicional de educacin, lo cual viene a ocupar un vaco
existente, donde se torna necesario poner en prctica
como forma de llegar democrticamente a los
individuos, que por diferentes razones no tienen acceso
a estos contenidos/conocimientos.
En
la
propuesta
de
implementacin
y
desenvolvimiento del proyecto es importante algunas
reflexiones pertinentes en este ensayo referentes al
encuadre terico y revisin de la literatura, como base
de la fundamentacin del proyecto como trabajo en
progreso.

III. ARTE CONTEMPORNEO COMO EXPANSIN

DEL PENSAMIENTO
La Proyeccin de la imagen en la cultura actual es una
fuerte herramienta de difusin del pensamiento y
conceptos, sean estos, simples o complejos. La imagen
del arte contemporneo, que contribuye para la
documentacin y divulgacin del pensamiento
contemporneo, de los conceptos y paradigmas
propuestos en los trabajos de crticos y artistas.
Las imgenes en el Arte Contemporneo nos propone
tener una visin de mayor reflexin como [4] Barro
David que propone como sntesis en la introduccin de
la imagen, algunas interrogantes en la representacin
contempornea La imagen como ejercicio de la
realidad, que orienta sobre la simulacin, la
representacin y el realismo. La imagen como ficcin,
Asimilacin y temporalidad de la imagen, nos da una
visin de la cultura visual, en los diferentes abordajes
nuevos niveles, llevndolo a mayor cantidad de pblico
posible, es un gran reto, pues es tenida siempre la
concepcin que todo ser humano es influenciado por el
entorno, por las imgenes que lo circundan, pues no hay
duda que todas nuestras vidas se desenvuelven dentro
del contexto visual, todo es asumido en primera mano
por la imagen que recibimos.
7th International Conference on Digital Arts ARTECH 2015

255

IV. LA CULTURA VISUAL COMO DIFUSIN Y

FORMACIN APARTIR DE LA CIUDAD
La cultura visual es aquella que cuestiona las
visualidades (el modo como vemos) y las imgenes
como portadoras de significados o soportes de
verdades, tienen su base en algunos de los principios
difundidos por Foucault, Las luces que descubrieron
las libertades inventaron tambin las disciplinas.
Todo sistema de educacin es una manera poltica de
mantener o de modificar la apropiacin de los discursos,
con los saberes y los poderes que ellos propios traen.
Como lo hace ver [5] Alfredo Neto, en su anlisis sobre
Foucault en la publicacin Foucault e a Educao,
donde expone el pensamiento de Foucault y las nuevas
maneras de problematizar las prcticas y teorizaciones
educacionales, eso significa pensar y problematizar,
mas all de la escuela, tambin otros espacios e
instancias sociales. Eso desde los diferentes espacios de
socializacin del hombre, fuera de los espacios
propuestos por el sistema tradicional de educacin, pues
el sistema establecido y tradicional, construye un
vinculo solo determinado por los crculos que pueden o
consiguen de una o otra forma acceder a la educacin,
referenciada especficamente al arte contemporneo.
En la reflexin tambin esta la democratizacin al
acceso de la informacin y del conocimiento que
propone esta formulacin, estara hablando de las
informaciones sobre arte que pueden ser construidas
socialmente y de como es importante valorizar todo el
tipo de conocimiento que los individuos van
adquiriendo fuera de los espacios habituales como
escuelas y universidades, conocimiento muchas veces
adquirido a travs de la cultura de masa, de la cultura
visual.
Cuando hablamos de cultura de masa, claramente
nos referimos al hombre medio, si todava puede
llamarse as, subcultura dicha masa, pues como lo
dice [6] Arlindo Machado en su discernimiento, en la
publicacin Arte e Mdia: Aproximaes e Distines
donde formula que ahora no parece tan clara. En
nuestra poca, el universo de la cultura se muestra
mucho mas hbrido y turbulento de lo que lo fue en
cualquier otra poca. La cual viene desde la
modernidad con el crecimiento en las aglomeraciones de
las metrpolis y sus diferentes manifestaciones. La
apreciacin de la evolucin como sociedad y sus valores
dentro del campo social en la proyeccin del
desenvolvimiento del hombre sea en la ciencia y
tecnologa, como en el pensamiento filosfico y las
reflexiones de [7] Jos Ortega y Gasset en la Rebelin
de Las Masas, donde el individuo nacido en la masa y
formado por ella y para ella, son ahora tambin de cierta
forma comparables con el mundo contemporneo.

256

H. Urrutia / Proyeccin multimedia mural en el espacio pblico: la difusin y formacin a partir de la urbe

V. LA PROJECIN MURAL DE LA IMAGEN

SOBRE ESPACIOS PBLICOS
Para hablar de la democratizacin del conocimiento
en la ciudad, hablamos en la formulacin de la imagen
proyectada, en la intervencin en el espacio pblico,
donde es inevitable, revisar las declaraciones sobre arte
pblica que tambin son declaraciones sobre el espacio
pblico, si el arte pblico es interpretado como "arte en
lugares pblicos "," arte que crea espacios pblicos ","
arte de inters pblico ", o cualquier otra formulacin
que rene las palabras "pblico" y "arte", "pblico"
tiene connotaciones democrticas. Estas formulaciones
que expone [8] Rosalyn Deutsche, implica "abertura"
"Accesibilidad",
"participacin",
"inclusin"
y
"responsabilidad" para "el pueblo".

Fig. 2 proyeccin del Artefacto sobre la estructura arquitectnica de la

urbe (Cmara Municipal de la ciudad de Funchal) .

[9] Machado Aquilino y Isabel Andr exponen en su

publicacin Espao Pblico e Criatividade Urbana - O
Caso do Marais em Paris que La innovacin socioterritorial de las ciudades contemporneas se forja, en
buena medida, en sus espacios pblicos. Es sobretodo
all que se producen los medios urbanos creativos. Este
articulo debate la creatividad urbana anclada en el
espacio pblico, como recurso simblico de la identidad
local, como lugar de encuentro, de debate, de
confrontacin de ideas y de prcticas.

Con base en prcticas recientes, se intentar exponer

la propuesta para la dimensin pblica del arte actual, en
las manifestaciones artsticas de proyeccin de
vdeo/imagen en interaccin con el ambiente urbano
como tela de proyeccin, como lo refiere [10] Rizzo
Mariana en su disertacin A Projeo de Vdeo no
Ambiente Urbano: A Cidade como Tela.
Para establecer una aproximacin mas cercana se
presenta un ejemplo del esquema de la proyeccin sobre
las estructuras arquitectnicas de la urbe e imagen del
artefacto, donde se puede apreciar la parte inicial de la
implementacin del mismo con el programa piloto +
Projection AC, de la Proyeccin multimedia mural en
el espacio pblico.

Fig. 1 Esquema de la implementacin del Artefacto en la proyeccin

digital sobre las estructuras arquitectnicas de la urbe.

Fig. 3 Imagen inicial de la implementacin del Artefacto en el

programa + Projection AC, de la Proyeccin multimedia mural en el
espacio pblico.

VI. DISCUSIN/REFLEXIN FINAL

En este sentido las consideraciones de la reflexin nos
lleva a revisar el lugar del vaco, vaco de escenarios
intervenidos, de espacios sin mayores respuestas
comunicativas dentro del contexto. De ese mismo
contexto debe venir el surgimiento de la intervencin,
en un espacio pblico determinado, que permita el
dilogo directo con el transente. Dialogo que la ciudad
contempornea reclama, como impulsores de la
dinmica de la ciudad que deben ser conectores de la
actividad del hombre, lugares de permanencia y
convivencia, de interaccin constante, pero solo desde el
dilogo arquitectnico, no es suficiente en una ciudad de
interaccin, en la era contempornea. El espacio urbano
contemporneo para conseguir corresponder las
expectativas de la era en curso, debe crearse y mantener
un mayor dilogo de lo establecido tradicionalmente,
solo en base de la estructura arquitectnica, creando
nuevos ambientes que se estn insiriendo y trayendo un
nuevo significado al espacio pblico. La cual debe ser
respuesta al desenvolvimiento contemporneo del
hombre. Con los nuevos lenguajes en las artes, en el
espacio urbano, permitir que el arte por medio de las
obras de los artistas se muevan de los museos y galeras
7th International Conference on Digital Arts ARTECH 2015

H. Urrutia / Proyeccin multimedia mural en el espacio pblico: la difusin y formacin a partir de la urbe

al propio contexto urbano, de modo de volver el arte al

pblico, que no hace parte de los crculos que
tradicionalmente utilizan y cohabitan con los espacios
culturales de las artes visuales.
El trasladar las obras al espacio urbano, tambin
traslada lo que lleva el desvendar de la reflexin y los
nuevos paradigmas del arte contempornea, que
modifican el pensamiento, generando conocimiento, que
en cierta medida es trasladado al pblico, es una forma
de democratizar el conocimiento, creando aberturas a
nuevas posibilidades de reflexin.
Por eso debemos creer que el individuo puede ser
educado y reeducado para tener una mayor
aproximacin y compresin de la cultura visual
contempornea, de modo de tener una verdadera
interaccin con el entorno en constante evolucin, una
mente abierta y una visin de innovacin.
En la formulacin de la proyeccin de la imagen
sobre espacios pblicos, referentes a la arquitectura que
todava no son muy difundidas en el total de la sociedad,
especficamente en las urbes, podemos en el caso
particular de las proyecciones de difusin del arte
contemporneo, segn la formulacin, la cual no
implica de manera ninguna la eliminacin de los
circuitos tradicionales, de hecho ellos son y sern un
apoyo importante en el desenvolvimiento de las
curaduras, pues ellos son pertinentes y necesarios en
nuestra sociedad, por que legitiman el comportamiento y
los diferentes lineamientos del arte contemporneo y
teniendo en cuenta un seguimiento y curadura adecuada
esto solo reafirmara, al mismo tiempo, creara la
posibilidad de una forma positiva, en la apropiacin,
compromiso e insercin en una sociedad de base
tecnocrtica y al mismo tiempo llevara la proyeccin
del pensamiento y reflexin de nuevos paradigmas de
amplitud, que generaran conocimiento al hombre
inserido en la sociedad contempornea, la cual tendr su
reinvencin como evento cultural, promoviendo el Arte
Contemporneo, democrticamente con cobertura al
ciudadano de la urbe.
Referente a la proyeccin, que es un reto
tcnicamente hablando, por que es necesaria la
tecnologa de proyeccin de gran resolucin de imagen
y una larga distancia de proyeccin, con elevada
cantidad de lmens para conseguir la proyeccin
adecuada por la distancia requerida. Para lo cual se
implementaran mecanismos estratgicos de asociaciones
estudiadas estratgicamente, que sern el camino a
seguir en la consolidacin de la puesta en escena del
proyecto piloto, de modo de no quedar solo en la
fundamentacin terica y termine por ser en la practica
una realidad. Lo importante es la motivacin y la
investigacin de los soportes tcnicos y conceptos a
desarrollar, segn cada un de los espacios escogidos y
sus referencias, como tambin la conexin que puedan
7th International Conference on Digital Arts ARTECH 2015

257

tener los ciudadanos (espectadores) que cohabitan en el

entorno o transitan por ele, abriendo la puerta a una
nueva forma de interaccin y expansin del
conocimiento, que se propone formar el hombre del
futuro, un hombre mayor reflexin y abierto a nuevas
experiencias, mas sensible y de pensamiento amplio e
actual, de modo de acompaar la evolucin de la
contemporaneidad.
VII. CONCLUSIN
Para ampliar y democratizar la formacin del
individuo desde el campo de la educacin visual
contempornea, desde el rea del arte contemporneo,
escogida para su aplicacin en el artefacto, se propone la
promocin y difusin de los lenguajes del arte
contemporneo, llevndolas al pblico general, en el
rea de intervencin de la multimedia / vdeo digital en
la enseanza, desde la educacin visual en la proyeccin
en los espacios de socializacin del hombre de la
ciudad, refirindose a los centros de mayor movimiento
de pblico, en las diferentes estructuras arquitectnicas
de las urbes, como medio de educacin y difusin del
arte contemporneo, tomando como base la cultura
visual como medio importante de difusin, en la
perspectiva de llegar a la mayor cantidad de individuos
que por diferentes motivos no tuvieron acceso y
desenvolvimiento
del
conocimiento
del
arte
contemporneo, el proyecto se implementa como factor
de democratizacin al acceso al conocimiento, donde se
presenta, lenguajes, tcnicas, movimientos, teoras,
conceptos, artistas y obras destacadas, a nivel regional,
nacional e internacional, que dominan nuestro tiempo,
segn la comunidad en la cual se implementar el
proyecto.
Proyectando y ampliando el pensamiento y reflexin
de nuevos paradigmas, que generaran conocimiento al
hombre inserido en la sociedad contempornea, donde
tendr su reinvencin como evento cultural,
promoviendo
el
Arte
Contemporneo
democrticamente, con cobertura al ciudadano de la
urbe.
Convirtiendo las estructuras arquitectnicas de las
reas centrales mas importantes de las urbes, en telas de
proyeccin multimedia / digital, llevando la educacin
del arte contemporneo a travs de la cultura de masa,
de la cultura visual, donde se permite al individuo tener
una nueva aproximacin e compresin esttica,
aumentando las perspectivas y la apreciacin esttica de
los diferentes paradigmas que nos propone la
contemporaneidad, creando un dilogo entre ciudadano
y ciudad, una conexin en la expansin del pensamiento
del nuevo individuo y la reflexin sobre los diferentes
conceptos, momentos y fundamentos de nuestra propia
sociedad, a nivel cultural, desde la propia urbe.

258

H. Urrutia / Proyeccin multimedia mural en el espacio pblico: la difusin y formacin a partir de la urbe

AGRADECIMIENTOS
El autor, agradece a todos los investigadores,
creadores en tecnologa y arte y a todos los educadores
que de una o otra forma guiaron y expandieron mi
pensamiento, abriendo vas a nuevas reflexiones.

REFERENCIAS
[1] Dikovitskaya Margaret, Visual Culture: The Study of
the Visual after the Cultural Turn, ISBN: 0-262-04224X, Massachusetts Institute of Technology, 2005.
[2] Nascimento, Erinaldo A Cultura Visual no Ensino de
Arte Contemporneo: singularidades no trabalho com as
imagens 2005, publicado 2012, Sala de leitura,
Originalmente publicado na edio n42, julho de 2006,
do Boletim Arte na Escola.
[3] Benjamin Walter A Obra de Arte na Era da sua
Reprodutibilidade Tcnica ensaio, segunda verso do
texto originalmente escrito em 1936 e publicada em 1955.
[4] Barro David , Imagenes [Pictures] Para Una
Representacin Contempornea= Imagens [Pictures] Para
Uma Representao Contempornea (Ed. Bilingue)
Editorial Mimesis, 2003 ISBN: 9789728744458, 2003
[5] Neto Alfredo , Foucault e a Educao, Editora Autntica,
Brasil 2007, ISBN 9788575261057
[6] Machado Arlindo - Arte e Mdia: Aproximaes e
Distines, revista E Comps (2004) artigo foi
publicado
na edio 1, em dezembro de 2004,
disponvel: http://www.compos.org.br/seer/index.php/ecompos/article/viewfile/15/16.html
[7] Ortega y Gasset, Jos - La rebelin de las Masas Alianza
Editorial S.A. 1983 Barcelona, Espaa, ISBN 84-7530370-6 . Em1946, se realiza a publicao como livro,
deixando de ser publicaes separadas duma srie de
artigos que comea em 1921 no jornal El Sol com a
Espaa Invertebrada.
[8] Deutsche. Rosalyn - , Art and Space: Questions of
Democracy" Publicado pela Duke University Press 1992
ISSN: 01642472
[9] Machado, Aquilino - Andr, Isabel. Espao Pblico e
Criatividade Urbana - O Caso do Marais em Paris ,
Finisterra, XLVII, 94, 2012, pp. 119-136
[10] Rizzo . Mariana, Projeo de Vdeo no Ambiente
Urbano: : A Cidade como Tela, Universidade Estadual
Paulista - Unesp Instituto de Artes Programa de PsArtes, So Graduao em Mestrado Paulo 2010

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

259

Realidade Aumentada e Transmedia Storytelling em Museus e

Patrimnio Cultural: Artefacto Digital I-Lugar
Francisco Guimares, Mauro Figueiredo e Jos Rodrigues
Universidade Aberta, Universidade do Algarve, CIAC, Portugal,
[email protected].
Universidade do Algarve, ISE, CIMA, CIAC, Portugal, [email protected]
Universidade do Algarve, ISE, CIMA, Portugal, [email protected]

Abstract A Realidade Aumentada (RA), mais

do que uma tecnologia, um meio de mediao entre um
utilizador e um artefacto fsico num meio envolvente, que se
transforma num artefacto digital atravs desta mediao. A
sua utilizao tem-se intensificado recentemente,
assumindo uma dinmica prpria a partir da adoo
generalizada de meios de computao mvel, como
Smartphone e Tablet, enquanto principal meio de acesso e
interao. Uma das reas de aplicao, no domnio da
museologia e patrimnio cultural, onde utilizado
essencialmente como guia inovador de exposies ou como
complemento de contedos sobre os artefactos expostos. A
inovao nestas reas de aplicao resulta normalmente da
combinao de RA com conceitos de Storytelling e forma de
arte mdia-arte digital para criar modelos de interao,
imerso e personalizao na relao entre utilizador e
esplio expositivo, mas com algumas limitaes na
incorporao de novos contedos pelo prprio utilizadorexpectador. Esta limitao fundamenta a motivao para
enquadrar a proposta de um artefacto que alm da
mediao ir permitir a criao personalizada da viso de
cada utilizador sobre o artefacto cultural sendo ele prprio
um artefacto digital de media-arte.
Index Terms: Realidade Aumentada, Realidade
Virtual, Museologia, Sociomuseologia, Patrimnio Cultutal,
Mdia-arte digital, Transmedia, Storytelling

I. Introduo
Realidade Aumentada (RA), [1] uma tecnologia que
permite visualizar contedos multimdia sobre uma
imagem capturada em vdeo e em real-time. Tem sido
objeto de investigao essencialmente em reas
relacionadas com formas de identificao de imagens,
modelos de justaposio dos contedos sobre a imagem
e tcnicas de interatividade.
A RA tem sido utilizada em domnios, como a
educao, turismo, sade, publicidade, engenharia e
entretenimento. Como parte do entretenimento, tem sido
igualmente utilizado em museus e patrimnio cultural,
como guia ou complemento de contedos sobre o acervo
cultural.
No entanto, a sua utilizao tem sido mais aplicvel
justaposio de contedos informativos de detalhe sobre
as obras, para facilitar a visita, aprofundar conhecimento
e criar interesse, via tcnicas de animao, que este novo
7th International Conference on Digital Arts ARTECH 2015

modelo de visualizao permite. Existem igualmente

alguns projetos inovadores na rea de personalizao e
interatividade, nomeadamente pela visualizao de um
lugar atual numa perspetiva temporal, o que se torna
relevante pela aplicabilidade em Patrimnio Cultural.
Estes casos de utilizao no combinam no entanto a
criao do artefacto digital resultante, como um
artefacto de mdia-arte, onde o utilizador ele prprio
pode recriar o artefacto visualizado, alterando a
dinmica da experincia de utilizao sendo o utilizador
tambm um criador.
Este conceito de utilizador-criador utilizado em
investigao na rea de Design, mas igualmente em
mdia-arte digital, enquanto principal foco deste artigo.
A mdia-arte digital caraterizada [2] pela utilizao de
tecnologia dos mdia digitais como meio e como
produto. Como tal, a mdia-arte digital permite criar
novas formas e discursos estticos que exploram a
expressividade informativa e sensorial de contedos
multimdia e a interatividade dos meios computacionais,
criando arte de forma computacional ou como tcnica
para a criao pelo criador visto como espetador.
Este artigo, aborda assim a proposta de combinao
de formas de arte de mdia-arte digital com conceitos de
Transmedia Storytelling [3] e tecnologia de RA,
aplicada a museus e patrimnio cultural, como base para
criao de artefactos projetados e transformados no
espao de imaginao personalizado de cada utilizador.
Para o efeito, apresentado o conceito de RA e
Transmedia Storytelling como tcnicas de criao
aplicadas sobre artefactos culturais em museus e
patrimnio cultural, tendo por base a utilizao atual,
para enquadrar a proposta de um artefacto digital em
construo no mbito do programa de doutoramento
DMAD.
Este artigo encontra-se organizado da seguinte forma.
Na seco II ser apresentada a tecnologia RA, na
seco III ser apresentado o conceito Transmedia
Storytelling, na seco IV ser apresentada a definio
de Museu e Patrimnio Cultural, para de seguida se
apresentar nas seces V e VII a aplicabilidade de RA e
Transmedia Storytelling em Museus e Patrimnio

260

F. Guimares et al. / Realidade Aumentada e Transmedia Storytelling em Museus e Patrimnio Cultural

cultural, como fundamento para a proposta de artefacto

na seco VII e base para concluso na seco VIII.
II. Realidade Aumentada
A RA [1] combina objetos 3D com ambientes reais
visualizados em tempo real, de forma a permitir que o
utilizador veja o mundo atravs de um dispositivo com
uma cmara de vdeo, com uma dinmica e com
interao com um objeto virtual sobreposto sobre o
objeto identificado na imagem capturada, em tempo real.
O utilizador tem assim uma perceo do mundo real e
um modelo de interao com um objeto virtual sobre o
mundo real, que lhe mais natural.
Por essa razo a RA pode ser vista como uma forma
de mediao, em que uma viso da realidade
modificada atravs de imagens geradas por computador
e com mecanismos de interao sobre a mesma [4].
possvel posicionar a RA entre o mundo real e
mundo virtual [5], considerando que a diferena entre
RA e realidade virtual que na RA o computador
adiciona informao sobre a imagem mas mantendo a
viso real do espao envolvente capturado, enquanto na
realidade virtual o utilizador imerso num mundo que
simula o real.
Alm da adio de informao, existe igualmente a
possibilidade de remoo de informao ou partes da
imagem capturada, [6] o que abre perspetivas de criao
digital sobre a prpria imagem assim transformada.
Apesar da sua ampla utilizao e reconhecimento
atual, a RA um conceito criado em 1960 por Ivan
Sutherland conjuntamente com a criao do dispositivo
Head Mounted Display (HMD), tendo sido
posteriormente referido em investigaes de Tom
Caudell e David Mizell em 1990 [7].
Em 1997, so descritas [6] as principais caratersticas
que podem ser vistas como parte da definio da RA:
Combina objetos reais e virtuais em real time;
Permite interatividade em real time;
Utiliza cenrios de natureza tridimensional.
Como base tecnolgica, no incio da RA, [6], as
opes eram delimitadas utilizao de sistemas ticos
ou vdeo, mas ambas baseadas em HMD. Atualmente,
[7] os dispositivos de computao mvel tm diminudo
em tamanho, aumentado em poder computacional e
grfico, alm de terem descido de preo, permitindo a
sua ampla utilizao, sendo o dispositivo mais utilizado
em termos de acesso e interatividade. Com este tipo de
dispositivo, as principais componentes, e onde se foca
parte da investigao, passam a ser os dispositivos de
visualizao/interao com Software e Hardware com
capacidades grficas avanadas, alm dos registration
systems e tracker system [4] e [35], Outros autores,
[8] e [9] referem igualmente o GPS e dispositivos
mveis para localizao, identificao e visualizao
alinhando cmara de vdeo, imagem real, sua posio

geogrfica e objeto 3D justaposto, em outdoor com

GPS ou utilizando infravermelhos em indoor.
III. Transmedia Storytelling
O mundo atual dominado pela utilizao de
comunicaes via internet e dispositivos de acesso a
contedos multimdia transmitidos via esta forma de
comunicao, que permitem uma ubiquidade, interao,
imerso e aleatoriedade (no sentido de personalizao)
como nunca antes possvel [10].
Apesar da tecnologia Hipermdia para ligao entre
contedos em dispositivos Web e Mobile com base em
Browser, o conceito de Transmedia Storytelling,
acrescenta um nvel conceptual de Hipermedia, como
uma camada adicional agregadora de contedos sob a
forma de histrias ou narrativas, independente da
plataforma.
Transmedia Storytelling corresponde a um conceito de
convergncia de narrativas digitais com suporte
tecnolgico. Esta infraestrutura tecnolgica, como se
fosse uma rede de estradas e meios de comunicao sem
fronteiras, suporta a exploso de conceitos e mtodos
enraizados na cultura de comunicao moderna onde o
entretenimento e arte se conjugam tendo por base esta
plataforma tecnolgica multimdia (udio, vdeo,
grficos/imagens, animao).
Da a emergncia de uma cultura de convergncia [3]
vista como um processo cultural suportado num fluxo de
imagens,
ideias,
histrias,
sons,
marcas
e
relacionamentos atravs do maior nmero de canais
mediticos possveis. As convergncias de mdia no
ocorrem nas mquinas, mas sim na mente dos
consumidores/utilizadores e em suas redes sociais.
Devemos assim entender a convergncia a partir da
relao interconectada que as pessoas passam a ter com
os novos media [3].
sob este conceito de convergncia, que se define o
conceito de Narrativa Transmedia (aqui utilizado sob
a forma de Transmedia Storytelling) enquanto processo
de disperso da histria/fico em mltiplos canais,
norteado por um objetivo de criar uma experincia de
entretenimento nica, mas coordenada para que cada
meio possa contribuir para o desenrolar da histria. [3].
Corresponde a um modelo que surge em resposta
convergncia de vrios meios de contar e aceder
histria, captando as exigncias dos consumidores e
dependendo da participao ativa das comunidades de
conhecimento. A narrativa transmeditica a arte da
criao de um universo [3]. Este universo pode estar
estruturado de raiz para utilizao, ou complementado
pelo prprio utilizador, que se torna assim igualmente
um criador, numa plataforma colaborativa.

7th International Conference on Digital Arts ARTECH 2015

F. Guimares et al. / Realidade Aumentada e Transmedia Storytelling em Museus e Patrimnio Cultural

IV. Museus e Patrimnio Cultural

Na combinao entre arqueologia, museologia e
sociologia surge o conceito de sociomuseologia. Este
conceito [11] coloca a responsabilidade dos museus em
processos mais alargados de comunicao museolgica
onde a relao entre patrimnio arqueolgico e
processos de construo de identidades homogneas
sejam abordados de forma crtica para reforar a
identidade cultural e memria dos lugares. Esta
identidade cultural e memria, pode ser vista como um
universo passvel de uma narrativa prpria.
Nesta perspetiva, os museus enquanto instituies
com a misso de recolher, estudar, conservar e divulgar
o patrimnio cultural, podem ser vistos como guardies
do patrimnio com suas memrias e histrias [12].
So estes lugares, com a sua riqueza cultural, histrias
e artefactos, ou seja, este universo, que so a base do
conceito a explorar neste artigo para tentar encontrar um
modelo de artefacto de mdia-arte digital que permita
recriar experincias de relao com estes lugares, pelos
utilizadores e acordo com a sua perspetiva, a partir do
acervo inicial do lugar.
Este conceito de lugar pode ser um museu, mas
igualmente uma igreja numa zona especfica como a S
Catedral de Lisboa, o Jardim da Gulbenkian em Lisboa,
a Praa AlMutamid em Silves, a casa-museu Fernando
Pessoa, a histria da cidade de Lisboa que tem um
museu especfico, ou outros tipos de lugares de
memria.
Estes lugares correspondem a locais de inspirao ou
com histria passvel de se criar uma narrativa e criar
uma viso de artefacto para interao ou visualizao
utilizando mdia-arte digital.
V. Aplicabilidade de RA e Transmedia
Storytelling em Museus e Patrimnio Cultural
A RA tem sido utilizada com grande dinamismo,
inovao e diversidade em vrios museus. o caso do
Smithosian [13], Cincinati Museum Center (onde feita
inclusive uma animao interessante com Dinossauros)
[14], American Museum of Natural History [15] e
London Street Museum [16].
Estes projetos seguem uma linha de animao com
RA com Smartphone e Tablet com base em Mobile App,
como referido em investigaes sobre a utilizao de
RA em museus [17] e [18]. No utilizado o valor
cultural dos lugares para interao personalizada, mas
criam-se modelos de animao empticos com o
utilizador.
Numa abordagem diferente, com incluso Transmedia
Storytelling, [19] utiliza-se um artefacto para uma viso
digital sobre exposies em museus fsicos. Neste
artefacto, utiliza-se a tecnologia de RA e formatos 3D
aplicados a um modelo de narrativa criada sobre o
esplio do Museu Acrpolis na Grcia. Este artefacto
7th International Conference on Digital Arts ARTECH 2015

261

permite nveis de personalizao de acordo com o perfil

do utilizador, com um nmero de perspetivas
finitas/alternativas sobre o esplio em exibio, criando
uma nova abordagem de divulgao e interao sobre
obras de arte exibidas num museu. Apesar de estar
limitado em cenrios pr-definidos e sem incorporao
de contedos pelo utilizador, uma aproximao ao
defendido neste artigo.
Numa linha mais comercial, projetos como Architip
[20] permitem ver o passado dos lugares histricos
vistos hoje, o que j era igualmente o objetivo do
projeto no London Street Museum [16], o que permite
inovao pela dinmica de imerso na histria do lugar.
Em casos como o do OpenMuseum [21], o conceito
de Transmedia Storytelling combinado com tecnologia
digital para facilitar a visita e interao entre museu e
visitante. A interao utilizada sob um conceito de
dilogo e intercmbio, para criar um modelo designado
desta forma como open attitude.
Um dos casos mais interessantes na linha do que
pretendido pelo artefacto apresentado neste artigo via
Transmedia Storytelling o Museu da Grande Guerra
em Frana [22]. Este museu utilizou o Facebook para
projetar e ilustrar como seria a 1Grande Guerra 19141918 contada atravs de imagens e palavras de quem
lutava nessa guerra, atravs de 10 personagens do
passado que assim ganharam vida no presente, como se
estivssemos em 1914.
VI. Casos de utilizao em Portugal
Em Portugal, existem vrias referncias em projetos
prprios de Museus ou investigaes que envolvem a
utilizao de RA e Transmedia Storytelling em museus e
patrimnio cultural.
Ao nvel de RA, o Museu de So Roque [23], o
Museu Berardo [24], o Museu da Presidncia [25], o
Museu Nacional de Arte Antiga [26] e o Museu da
Cincia de Coimbra [27], tm iniciativas de visualizao
e interao passiva dos seus esplios sob a forma de
contedos sobre as obras expostas.
A um nvel diferente, o Museu CR7 [28] apresentou
uma forma de animao utilizando RA com base na bola
de ouro de Cristiano Ronaldo, que permitiu criar um
modelo de interao do visitante com um artefacto em
particular. De destacar igualmente a inovao da visita
interativa no Museu de Chocolate [29] e o caso
particular do Museu Ferrovirio [30] que criou uma
personagem 3D para interagir com o visitante segundo
um tema relacionado com a histria dos transportes
ferrovirios.
Com objetivo de investigao, a Casa Museu
Anastcio Goncalves foi utilizada como caso de estudo
[31] para analisar as potencialidades das novas
tecnologias como a RA em instituies culturais. No
entanto, o artefacto criado foi somente para

262

F. Guimares et al. / Realidade Aumentada e Transmedia Storytelling em Museus e Patrimnio Cultural

apresentao de contedos informativos sobre as obras

expostas.
No caso da utilizao de Transmedia Storytelling, a
sua utilizao tem sido mais reduzida, sendo no entanto
de destacar o Museu da Marioneta [32], o Museu das
Comunicaes [33] e o Museu Berardo [24].
Numa perspetiva mais internacional mas de um
projeto Europeu, deve-se destacar a aplicao CHESS
[34] que permite que um utilizador personalize a sua
visita a um museu antes e durante a visita.
VII. Proposta de Artefacto
Atualmente, exceto em alguns projetos destacados
anteriormente, a RA surge como meio de apresentao
de contedos sobre um artefacto exposto (e.g um
quadro, uma escultura) ou no contexto ambiental para
imerso numa viso histrica do local (e.g. London
Street Museum, Architip). No entanto so modelos
equivalentes de identificao e associao de contedos
sobre uma imagem ou posicionamento de um artefacto
por GPS.
Este modelo permite a criao de conceitos de guias
de visita, permitindo interao e mesmo alguma
personalizao na escolha de trajetos ou obras no caso
de planeamento de visita, como o caso do CHESS.
Em linha com conceitos de Transmedia Storytelling,
no permitem no entanto seleo/recriao de
personagem/histria de acordo com o utilizador, captura
complementar de contedos para recriao da interao,
nem permitem a complementaridade entre captura da
experincia com um Blog ou Site para compor o mapa
sensorial do utilizador, partilhando e colaborando sobre
esta experincia.
Para conseguir esta viso de utilizao de RA
combinada com Transmedia Storytelling, o conceito
chave transformar o prprio mediador num artefacto
de media-arte digital. Alm de ser somente um
identificador e posicionador de contedos sobre a
imagem real visualizada em RA, passa a ser parte do
modelo de interao e recriao do universo dos lugares.
Desta viso resulta assim um artefacto de mdia-arte
digital que permite no ser um simples mediador digital
mas um artefacto que constri uma mensagem de maior
perceo da memria e identidade cultural com os
lugares, num espao de museu ou patrimnio cultural.
Este modelo de artefacto permitir explorar novas
formas de apresentar o esplio, criar interao e
envolvimento do utilizador como observador e atuador
virtual sobre um lugar assim aumentado e recriado.
Este artefacto assim proposto, no contexto do
programa de Doutoramento DMAD, ser denominado ILugar e ter por base o modelo de funcionamento
apresentado na Figura 1.

Fig. 1.

Modelo do Artefacto I-Lugar

O modelo permite separar a interao entre o lugar,

visto como objeto de base com um esplio sobre o qual
se quer interagir e personalizar a experincia, utilizando
componentes como uma APP Mobile, um Blog e um
publicador/editor contedos.
A APP Mobile integra um modelo de RA com um
modelo de animao para servir de portal de entrada
para a perspetiva do utilizador, permitindo igualmente
capturar imagens adicionais para complementar com a
viso pr-definida de contedos do artefacto e do
esplio expositivo, num cenrio de animao;
O Blog permite integrar a viso do utilizador com a
do prprio esplio em exposio, numa dialtica entre
duas perspetivas ou de comunidades colaborativas.
O Publicador mdia-arte, visto como Storytelling
Engine, efetua a gesto das cenas e navegao
Transmedia integrado com os contedos para efeito de
mapeamento entre artefacto e contedo especfico a
visualizar na sobreposio sobre a imagem do artefacto
em RA. Este publicador permite ajustar a
personalizao, recriando assim a nova expresso sobre
o artefacto, com a autoria complementar do prprio
espectador e da inter-relao entre espectadores.
Os contedos base do esplio tm uma base
ontolgica para permitir uma interao enriquecida pelo
conhecimento e que permita modelos de inferncia adhoc de pergunta resposta sobre os prprios contedos.
VIII. CONCLUSO
Este artigo apresenta a tecnologia de Realidade
Aumentada (RA) e o conceito de Transmedia
Storytelling aplicada a museus e patrimnio cultural.
So apresentados igualmente casos de utilizao de
RA e de Transmedia Storytelling em museus e
patrimnio cultural para identificar os padres de
utilizao, e a razo pela qual a forma de mdia-arte
digital poder trazer uma nova forma de explorao
neste domnio.
Com base nesta anlise identificada a ausncia de
modelos equivalentes com personalizao e recriao do
prprio artefacto digital ao nvel de projetos de RA,
mesmo quando combinados com Transmedia
Storytelling em alguns projetos destacados neste
domnio.
Neste sentido, proposto um artefacto digital, sob o
conceito de artefacto de mdia-arte digital, que permitir
no s aumentar a realidade do esplio, mas igualmente
potenciar que o prprio utilizador seja um recriador
inspirado na histria, no Design e na sua interpretao
sobre o esplio de museus e patrimnio cultural,
recriando assim a realidade de forma personalizada.

7th International Conference on Digital Arts ARTECH 2015

F. Guimares et al. / Realidade Aumentada e Transmedia Storytelling em Museus e Patrimnio Cultural

Bibliografia
[1] Figueiredo, Mauro, Gomes, Jos e Gomes, Cristina,
Creating Learning Activities using Augmented Reality
Tools, 2nd Experiment@ International Conference
Online Experimentation, 2013
[2] Marcos, Fernandes, Branco, Pedro e Carvalho, Alvaro,
Computer Medium in Digital Arts Creative Process,
IGI Global, 2009
[3] Jenkins, Henry, A Cultura de Convergncia, Traduo
Susana Alexandria, Editora Aleph, 2009.
[4] Ullah, Sehat e Rabbi, Ihsan, A Survery on Augmented
Reallity Challenges and Tracking, 2013
[5] Milgiram, Paul, Takemura, Haruo, Utsumi, Akira, Kishino,
Fumio, Augmented Reality: A Class of Displays on the
Reality-Virtuality
Continuum,
SPIE
Vol
2351,
Telemanipulation and Telepresence Technologies, 1994
[6] Azuma, Ronald, A survey of augmented reality,
Presence: Teleoperators and Virtual Environments, vol. 6, no.
4, pp. 355385, Aug. 1997.
[7] Hung-Lin Chia, Shih-Chung Kanga, e Xiangyu
Wangc,Research trends and opportunities of augmented
reality applications in architecture, engineering, and
construction
[8] Gee, Andrew, Web, Mathew, Escalamila-Ambrosio, Jorge
e Mayol-Cuevas, Walterio, A Topometric system for Wide
area augmented reality
[9] Chyigang,Kuoa, Taysheng,Jengb e Itung,Yangc
An invisible head marker tracking system for indoor mobile
augmented reality
[10] Santaella, Lucia. Culturas e Artes do Ps-Humano,
2004
[11] Wichers, Camila, Museus e antropofagia do patrimnio
arqueolgico: (des)caminhos da prtica brasileira,
Dissertao de Doutoramento, Universidade Lusfona de
Humanidades e Tecnologias, Departamento de
Museologia
[12] Baio, Joana, Museus de Museus: Uma reflexo:
Proposta para uma definio, Dissertao de Mestrado,
Universidade Nova de Lisboa
[13]
Smithsonian,
disponvel
em
http://www.smithsonianmag.com/innovation/augmentedreality-livens-up-museums-22323417/?no-ist,
ltimo
acesso a 04/06/2014.
[14]
Cincinati
Museum
Center,
disponvel
em
http://www.cincymuseum.org/exhibits/ultimatedinosaurs/app, ltimo acesso a 04/06/2014.
[15] American Museum of Natural History, disponvel em
http://www.amnh.org/apps, ltimo acesso a 04/06/2014.
[16]
London
StreetMuseum,
disponvel
em,
http://www.museumoflondon.org.uk/Resources/app/youare-here-app/noflash/no-flash.html, ltimo
acesso a
04/06/2014.
[17] Miyashita, T., Meier, P., Tachikawa, T.,Orlic, S., Eble,
T., Scholz, V., Gapel, A., Gerl, O.,
Arnaudov, S. e
Lieberknecht, S., "An Augmented Reality museum
guide", Mixed and Augmented Reality, 2008. ISMAR
2008. 7th IEEE/ACM International Symposium on
[18] Schmalstieg Dieter e Wagner Daniel, "A Handheld
Augmented Reality Museum Guide", Proceedings of
IADIS International Conference on Mobile Learning
2005 (ML2005)
[19] Keil, Jens, Pujol, Laia, Roussou, Maria, Engelke, Timo,
Schmitt, Michael, Bockholt, Ulrich e Eleftheratou,
Stamatia, A digital look at physical museum exhibits,
2013 IEEE 978-1-4799-3169-9/13/$31.00
[20] Architip, History comes to life, disponvel em
http://architip.com/, ltimo acesso a 04/06/2014.
7th International Conference on Digital Arts ARTECH 2015

[21]
[22]
[23]
[24]
[25]
[26]
[27]
[28]
[29]
[30]
[31]

[32]
[33]
[34]
[35]

263

Open
Museum,
disponvel
em
http://openingmuseums.kairus.org, ltimo acesso a
23/10/2014.
Museu Grande Guerra Frana, disponvel em
http://www.museedelagrandeguerre.eu/, ltimo acesso a
23/10/2014.
Museu
de
So
Roque,
disponvel
em
www.museudesaoroque.com, ltimo
acesso a
23/10/2014.
Museu
Berardo,
disponvel
em
http://pt.museuberardo.pt/, ltimo acesso a 23/10/2014.
Museu
da
Presidencia,
disponvel
em
www.museu.presidencia.pt/, ltimo acesso a 23/10/2014.
Museu Nacional de Arte Antiga, disponvel em
http://www.museudearteantiga.pt/, ltimo
acesso a
23/10/2014.
Museu da Cincia Coimbra, disponvel em
http://www.museudaciencia.org/, ltimo
acesso a
23/10/2014.
Museu CR7, disponvel em http://www.museucr7.com/,
ltimo acesso a 23/10/2014.
Museu
do
Chocolate,
disponvel
em
http://fabricadochocolate.com/museu.html, ltimo acesso
a 23/10/2014.
Museu Ferrovirio, disponvel em http://www.fmnf.pt/,
ltimo acesso a 23/10/2014.
Mesquita, Mariana, Um Projecto de novas tecnologias
aplicado na Casa-Museu Dr. Anastcio Gonalves,
Universidade de Lisboa, Faculdade de Belas Artes,
Mestrado em Museulogia e Museografia, 2013
Museu
da
Marioneta,
disponvel
em
http://www.museudamarioneta.pt/, ltimo acesso a
23/10/2014
Museu
das
Comunicaes,
disponvel
em
http://www.fpc.pt/Museu.aspx,
ltimo
acesso
a
23/1072014
CHESS, disponvel em http://www.chessexperience.eu/,
ltimo acesso a 23/10/2014
Van Krelen, D. e Poelman, R., A Survey of Augmented
Reality: Technologies, Applications and Limitations,
The International Journal of Virtual Reality 9(2):1-20,
2010.

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

265

Sentience and Information Encountering

in the Digital Medium
Ricardo Melo1 and Miguel Carvalhais2
1 PhD Program in Design from the University of Porto, Porto, Portugal
2 ID+,

Faculty of Fine Arts, University of Porto, Porto, Portugal

Abstract In this study we approach the subject of

Digital Information Encountering, and explore the
complexities of digitally-based information in the current
context of a connected world of ubiquitous computacional
devices, capable of capturing and communicating
information at any given point and time in our daily
activities. We consider the multitude of methods for
gathering information, proposing a sentience level which
organizes the different mechanisms into a scale of growing
complexity and scope. Finally we hypothesise a direct
relationship between a sentience level and the value of the
resulting information to the recipient.
Index Terms Information technology, interactive
systems, pervasive computing, user interfaces, human
computer interaction, human information interaction.

I. INTRODUCTION
Our relationship with digitally-based information is
growing increasingly more complex with the ubiquity of
computacional devices which have quickly become the
main source for the information with which we interact
in our daily activities.
Permanently connected devices, such as todays
smartphones, have at their disposal a multitude of
methods (such as cellular data connections, GPS,
pedometer, gyroscope, among others) that track a
variety of data, such as our location, the weather and
even our physical well-being. This data is used by
software agents for increasing the meaningfulness and
pertinence of the information transmitted to the
interactor. With these connected devices, and the
software that makes use of them, we are able for
example to check our phone for when the next bus will
arrive, while at the bust stop; to be notified of a traffic
jam in our daily commute and immediately be offered
an alternative route; or to be notified when a friend is
near and available for lunch.
With the advent of low-powered, low-cost indoor
proximity systems, as well as with wearable technology
hitting mainstream and starting to reach the general

public, the conditions are being set for a new class of

interaction with information, one that is intertwined into
our daily activities, naturally and organically. This, in
turn, necessitates that we shift our focus and attention
from solely designing these interactive devices to also
designing the information they are able to transmit. As
Peter Lucas [1] observed: In a world of pervasive,
invisible computing, people will interact with
information objects, not computers. We must learn to
design these objects with as much care as we now
design computer interfaces.
This paper presents part of an ongoing research on the
information that is available through these pervasive
computing devices, particularly information which is
not actively sought after but is encountered, mostly
unexpected, information that is relevant and gains added
meaning when inserted in out daily activities.
Within the scope of this paper we focus on the sources
of such information: where the device gathers it and its
level of pertinence. To that end, we propose a sentience
scale for the various information inputs from which a
device can draw from, growing in complexity as well as
in relevancy.
II. INFORMATION ENCOUNTERING
Information Encountering (IE), a concept first
introduced into information behaviour literature by
Sanda Erdelez [2] describes the discovery process of
something that is not sought after, leading to an
opportunistic acquisition of information (OAI)1. This
type of information discovery differs from the active,
problem- and goal-driven activity [3] commonly found
in information behaviour science, where it is part of a
larger process of decision making and problem solving
[4]. However, it is a crucial method of information
discovery and one that is often related to creative
insights [5], being particularly pertinent in our current,
information-dense, worlds.
Information Encountering is able to turn into valuable
information when it combines with a users prior
knowledge and experience within a particular problem

1 In Theories of Information Behavior, Erdelez identified Information Encountering as a specific type of OAI defining it as an

instance of accidental discovery of information during an active search for other information (2005). For the purposes of this paper
we use Erdelez original concept of Information Encountering, although in the future we will conduct further research on the possible
distinctions between IE and other forms of OAI.
7th International Conference on Digital Arts ARTECH 2015

266

R. Melo and M. Carvalhais / Sentience and Information Encountering in the Digital Medium

space and by the person's recognition of the

'affordances' within that information object [6], making
it into a serendipitous discovery. IE is particularly
effective for creative insight since it happens beyond the
active information-seeking process, necessitating the
right state of mind to allow unexpected encounters, as
Elaine Toms [7] demonstrated in her experiment with
readers of a digital newspaper, having observed that
participants which were given a goal, even one that
wasnt completely understood, approached the
newspaper and used the tools available with the sole
purpose of completing the task at hand and moving on
quickly, while those without a goal, the serendipitous,
were less concerned about selecting a priori meaningful
content, but were more interested in coverage and
exploration.
It is, therefore, necessary to understand the processes
and mechanisms for encountering information while
engaged in a different activity. This is the reason why
pervasive computing is so conductive to the
encountering of new information, particularly digitallybased information.

Fig. 1. Erdelezs model for Information Encountering,

adapted from Theories of Information Behavior (2005).

Within Erdelez's model for IE, it is insinuated that it is

the human that initiates the process which will lead to
the Information Encountering process. However,
considering the modern state of the Digital Medium2,
and its ubiquity in our daily interactions, it might be the
system or device (the agent) that initiates this process,
requesting the attention of the interactor3. It is then that
interactor decides to pursue, or not, that input.

In an updated model, it is the agent that initiates the

process by alerting the interactor. The interactor then
notices and decides if the information transmited is
relevant or not. If not relevant, the interactor returns to
the previous state. If relevant, the interactor begins
interacting with the agent, starting Erdelez's model.
III. SENTIENCY
The process of digital information encountering is
transversal to all types of digital interaction. In our
efforts to gather the current state of the art of systems
that allow the IE process, we realised its transient nature
as well as the immense diversity of methods of
gathering and transmitting information.
When taking out digital information encountering
from the realm of the desktop computer and into our
physical, daily interactions, it greatly increases the
potencial for said encounters by the sheer immersion
and pervasiveness of the different devices, as well as
removing the interactors from the goal-seeking,
purpose-driven activities normally associated with
traditional computing and active information-seeking
behaviour.
As such, in order to understand how these devices
relate to each other and the information they present, we
developed a taxonomy hypothesis based upon the
concept of the systems sentience, as in, the relationship
between agents that communicates information to the
interactor, their different sources and how they connect.
By sentience we are not referring to a state of
consciousness or self-awareness of a computational
system, but to Mark Sheppards's concept of sentiency,
when referring to the possible sentience of a city [8], as
its capacity to sense and perceive, even if not
understanding or deducing. Sentience, in this regard,
does not necessitate sapience: the ability to process,
understand or recognise any inherent value from the
information it is able to gather, only its ability to
perceive it.
IV. A TAXONOMY HYPOTHESIS FOR SENTIENCE
The methods and strategies of information gathering
are immense in their quantity, diversity and complexity.
From an interactive outdoor display to a smartphone
(not to mention the whole plethora of software one can
install), and all the levels in between, it became evident,
during the course of observing the state of the art, that
there was a need for the creation of a conceptual

2 We adopted Janet Murrays concept of Digital Medium (2012) as an all encompassing term to all methods and platforms of creation,

representation and communication of digital information.

3 We adopted the term interactor from Murray for the human being that interacts with information as opposed to the term user

with a tool and a task. This term also references the term of actor from Raya Fidel (2012) for human information interaction.
7th International Conference on Digital Arts ARTECH 2015

R. Melo and M. Carvalhais / Sentience and Information Encountering in the Digital Medium

framework that groups the different agents of digital

information encountering, besides defining them
according to their relationship with the information that
they focused upon.
As such, we developed the notion of sentience, and
level of sentience, that is able to organise and categorize
each individual agent. A level of sentience is the degree
to which an agent is able to perceive the world around
it, through its various input sources.
A. Level 0: Agent.
A sentience level of 0 is one where the source of the
information is the agent itself: its own internally
generated data and parameters, with no exterior input
and no way to increase its knowledge of the world
beyond that which was a priori built into it.
This is the case the case for most of the interactive
public information displays, where youre able to check
a list of services or a map. Every system starts with this
level, regardless of the possible additional input
methods. (0+)
B. Level 1: Interactor
A sentience level of 1 is when the system is aware of
the interactor. Coming back to the previous example of
interactive displays, Kukka et al. [9], in their experiment
with 12 large, interactive public displays, included in
them a motion capture device that would acknowledge
human activity and invite people to interact with it.
Three quarters of the users drifted towards the display
when this caught their attention, using it without a
specific interest. Likewise, the study revealed that while
the users' initial intentions was to use the hotspots as
vehicles for information, their actual use was mostly for
entertainment or opportunistic encounters for quick
updates on news and nearby happenings.
A sentience level of 1 can also refer to an agents
knowledge of the interactors needs or desires, such as
an interactive music playing device that favours tracks
that the interactor has shown a preference for, or a
shopping application that recommends items based on
previous purchases. This is employed as a method for a
more personalised and catered experience.
C. Level 2: Context
A sentience level of 2 represents the contextawareness of the system: what surrounds and envelops
it, as well as its ability to gather data from it: its
location, the weather conditions, its movement. These
are derived from technological capacities to measure
such inputs, such as GPS, Low-Energy Bluetooth,
gyroscope, accelerometer, light sensors, etc. An example
of this are location-aware task managers that can alert
the user if theyre nearby a location associated with a
task. The Nintendo 3DS StreetPass technology also
exemplifies this, since it is able to perceive and
7th International Conference on Digital Arts ARTECH 2015

267

automatically connect with other 3DS gaming systems

in close proximity.
In this level, the system is not necessarily aware of the
interactor but of the physical conditions surrounding
both.
D. Level 3: Network
A sentience level of 3 represents the ability of the
system to connect to an available network that
transcends its physical location.
Take, for example the Playstation 3 game Journey. In
this game, the player, if online, can encounter and
interact with other players on the network. However,
they're only able to communicate with each other using
wordless "shouts" or simple symbols. The players
themselves are never made explicitly aware that those
other entities in the game are other human players, they
are only able to infer that conclusion by analysing their
behaviour.
In this case, the game is using the Playstation
Network in order to add complexity in interaction and
meaning to the game itself. The game is still fully
playable without this added layer, but by connecting
human players without their awareness, it creates an
intuitive empathy between players and the game world.
Another example of Level 3 sentient systems are what
is referred to as ambient devices, such as the Nabaztag
or the Ambient Orb. These devices, when connected to a
network, are able to communicate simple information
(such as the weather forecast, for example) through
movement, color or voice-commands, in order to permit
a type of glanceable information that doesnt require
heavy cognition load by the interactor.
E. Combined levels
Perhaps the most common case is when these three
levels are combined in order to complement one another
and to provide more relevant information. Such is the
case for Location-Aware Social Networks such as
Foursquare or its smartphone application Swarm, which
rely on the geo-localisation capacity of the smartphone
(sentience level 2), a user-profile (sentience level 1) and
its own network (sentience level 3) to alert for the
proximity of something relevant to the interactor,
obtaining a combined sentience level of of 6 (0 + 1 + 2
+ 3).
Waze, a Social GPS, Maps & Traffic application for
smartphones, is an example of a combined level of 5
(0+2+3) through the combination of context-awareness
(sentience level 2) and their own network (sentience of
3) is able to send and receive live-information regarding
traffic through its community, claiming to save both
time and fuel to its users.
Observing how these combined levels are used, we
are able to hypothesise that with an increased level of
sentience, particularly in the combination of various
levels, can lead to an increase of the relevance of the

268

R. Melo and M. Carvalhais / Sentience and Information Encountering in the Digital Medium

information and its value to the interactor. This,

however, necessitates a long term observation of
different systems with different sentience levels.

ACKNOWLEDGEMENTS
This research is funded by a PhD grant from FCT Fundao para a Cincia e Tecnologia.
REFERENCES

Fig. 1.

A visual representation of the sentience levels.

V. CONCLUSION AND FUTURE WORK

In this study, we have expanded upon Erdelez's
notions of Information Encountering, taking into
account the complex context of the Digital Medium and
highlighting the multiplicity of methods and tools for
the communication of digitally-based information. In
order to identify possible relationships between these
methods and tools, and to further develop a research on
the information objects themselves, as well as their
impact on those who interact with them, we need to find
a method for the understanding and categorisation of
how information is gathered by these systems, as a
starting point to a larger understanding of the whole
subject of information acquisition, and on the
information interaction as a whole.
To do so, we explore the notion of sentience in agents
that communicate digitally-based information and
propose a taxonomy hypothesis for the different levels
of sentience corresponding to the different information
gathering strategies.
We have, as well, hypothesised that these levels, when
combined, increase the potential of relevant information.
However, an observation of the long-term value of said
information is necessary, in order to establish correlation
between sentience levels and the relevancy and value of
the communication towards the interactor.
Future work will also need to expand this research on
information encountering in the Digital Medium to the
different interaction and interface strategies deployed by
the various systems. Nonetheless, we believe that, due
to our increased reliance on digitally-based information,
this study is an first step on the subject.

[1] P. Lucas, Pervasive information access and the rise of

human-information interaction, in CHI '00 Extended
Abstracts on Human Factors in Computing Systems.
ACM: The Hague, The Netherlands. 2000, 202-202.
[2] S. Erdelez, Information encountering: a conceptual
framework for accidental information discovery, Taylor
Graham Publishing, Tampere, Finland, 1997, 412-421.
[3] M.E. Brown, A General Model of Information-Seeking
Behavior, ERIC, 1991, 9-14.
[4] W. B. Rouse, and S. H. Rouse, Human information
seeking and design of information systems, Information
Processing & Management, vol. 20, no. 1, pp. 129-138,
1984.
[5] M. Cskszentmihlyi, K. Sawyer, Creative insight: The
social dimension of a solitary moment, 1995.
[6] E.G. Toms, L. McCay-Peet, in: M. Agosti, J. Borbinha, S.
Kapidakis, C. Papatheodorou, G. Tsakonas (Eds.),
Research and Advanced Technology for Digital
Libraries, Springer Berlin Heidelberg, 2009, pp.
192-202.
[7] E.G. Toms, Serendipitous Information Retrieval,
DELOS Workshop: Information Seeking, Searching and
Querying in Digital Libraries, Zurich, 2000.
[8] M. Shepard, Sentient City: Ubiquitous Computing,
Architecture, and the Future of Urban Space,
Architectural League of New York, 2011.
[9] H. Kukka, V. Kostakos, T. Ojala, J. Ylipulli, T.
Suopajrvi, M. Jurmu, S. Hosio, This is not classified:
everyday information seeking and encountering in smart
urban spaces, Personal and Ubiquitous Computing 17
(2013) 15-27.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

269

ZatLab: Gesture Recognition Framework for Artistic

Performance Interaction - Overview
Andr Baltazar
UCP - School of Arts, Center for Science and
Technology in the Arts - Porto, Portugal
[email protected]

ABSTRACT
The main problem this paper addresses is the real-time
recognition of gestures, particularly in the complex domain
of artistic performance. By recognizing the performer gestures, one is able to map them to diverse controls, from
lightning control to the creation of visuals, sound control
or even music creation, thus allowing performers real-time
manipulation of creative events.
The work presented here takes this challenge, using a multidisciplinary approach to the problem, based in some of
the known principles of how humans recognize gesture, together with the computer science methods to successfully
complete the task. Therefore, this paper describes a gesture recognition framework developed with the goal of being used mainly in artistic performance domain. First one
will review the previous works done in the area, followed by
the description of the framework design and there is also
the review of two artistic applications of the framework.
The overall goal of this research is to foster the use of
gestures, in an artistic context, to the creation of new ways
of expression.

Keywords
HCI, gesture recognition, machine learning, interactive performance

1. INTRODUCTION
There is so much information in a simple gesture. Why not
use it to enhance a performance? We use our hands constantly to interact with things. Pick them up, move them,
transform their shape, or activate them in some way. In
the same unconscious way we gesticulate in communicating fundamental ideas: stop; come closer; go there; no; yes;
and so on. Gestures are thus a natural and intuitive form
of both interaction and communication [19]. Children start
to communicate by gestures (around 10 months age) even
before they start speaking. There is also an ample evidence
that by the age of 12 months children are able to understand
the gestures other people produce [15]. For the most part
gestures are considered an auxiliary way of communication
to speech, tough there are also studies that focus on the role
of gestures in making interactions work [14].
Gestures and expressive communication are therefore in-

Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise, to
republish, to post on servers or to redistribute to lists, requires prior specific
permission and/or a fee.
Copyright remains with the author(s).
7th International Conference on Digital Arts ARTECH 2015

Lus Gustavo Martins

UCP - School of Arts, Center for Science and
Technology in the Arts - Porto, Portugal
[email protected]

trinsically connected, and being intimately attached to our

own daily existence, both have a central position in our
(nowadays) technological society. However, the use of technology to understand gestures is still somehow vaguely explored, it has moved beyond its first steps but the way towards systems fully capable of analyzing gestures is still
long and difficult [17]. Probably because if in one hand,
the recognition of gestures is somehow a trivial task for humans, in other, the endeavor of translating gestures to the
virtual world, with a digital encoding is a difficult and ill
defined task. It is necessary to somehow bridge this gap,
stimulating a constructive interaction between gestures and
technology, culture and science, performance and communication. Opening thus, new and unexplored frontiers in
the design of a novel generation of multimodal interactive
systems.
This paper proposes a new interactive gesture recognition framework called Zatlab System (ZtS). This framework
is flexible and extensible. Thus, it is in permanent evolution, keeping up with the different technologies and algorithms that emerge at a fast pace nowadays. The basis of
the proposed approach is to partition a temporal stream of
captured movement into perceptually motivated descriptive
features. The analysis of the features will them reveal (or
not) the presence of a gesture (similar to the way a human
unconsciously perceives a gesture [10]).
The framework described will take the view that perception primarily depends on the previously knowledge or
learning. Just like humans do, the framework will have to
learn gestures and their main features so that later it can
identifies them. It is however planned to be flexible enough
to allow learning gestures on the fly.
Designed to be efficient, the resulting system can be used
to recognize gestures in the complex environment of performance, as well as in real-world situations, paving the way
to applications that can benefit not only the performative
arts domain, but also, probably in the near future, helping
the hearing impaired to communicate.

2.

BACKGROUND

Several projects done in interactive dance stand out as important references on how video analysis technologies have
provided interesting ways of movement-music interaction.
Early works of composers Todd Winkler [20] and Richard
Povall [13], or the choreographer Robert Weschler work with
Palindrome1 . Also, Mark Coniglio continued development
of his Isadora programming environment2 plus the groundbreaking work Troika Ranch3 .
Other example of research in this field of gestures is the
1

http://www.palindrome.de
http://www.troikatronix.com/isadora.html
3
http://www.troikaranch.org/
2

270

A. Baltazar and L. Martins / ZatLab: Gesture Recognition Framework for Artistic Performance Interaction - Overview

seminal work of Camurri et al, at Infomus Lab- Genoa, with

several studies published, including:
An approach for the recognition of acted emotional
states based on the analysis of body movement and
gesture expressivity. By using non-propositional movement qualities (e.g. amplitude, speed and fluidity of
movement) to infer emotions, rather than trying to
recognise different gesture shapes expressing specific
emotions, they proposed a method for the analysis of
emotional behaviour based on both direct classification of time series and a model that provides indicators describing the dynamics of expressive motion cues
[7].
The Multisensory Integrated Expressive Environments,
a framework for mixed reality applications in the performing arts such as interactive dance, music, or video
installations, addressing the expressive aspects of nonverbal human communication [6].
The research on the modelling of expressive gesture
in multimodal interaction and on the development of
multimodal interactive systems, explicitly taking into
account the role of non-verbal expressive gesture in the
communication process. In this perspective, a particular focus is on dance and music as first-class conveyors
of expressive and emotional content [5].
The Eyesweb software, one of the most remarkable
and recognised works, used toward gestures and affect
recognition in interactive dance and music systems [4].
Also Bevilacqua et al, at IRCAM-France worked on some
projects that used unfettered gestural motion for expressive
musical purposes [8] [2]. The first, involved the development
of software to receive data from a Vicon motion capture
system and to translate and map it into music controls and
other media controls such as lighting. And the other ([2])
consisted in the development of the toolbox Mapping is
not Music (MnM) for Max/MSP4 dedicated to mapping
between gesture and sound.
More recently, Nort and Wanderley [11] presented the
LoM toolbox. This allowed artists and researchers access
to tools for experimenting with different complex mappings
that would be difficult to build from scratch (or from within
Max/MSP) and which can be combined to create many different control possibilities. This includes rapid experimentation of mapping in the dual sense of choosing what parameters to associate between control and sound space as
well as the mapping of entire regions of these spaces through
interpolation.
Schacher [16] searched answers for questions related to
the perception and expression of gestures in contrast to
pure motion-detection and analysis. Presented a discussion about a specific interactive dance project, in which
two complementary sensing modes were integrated to obtain
higher-level expressive gestures, Polloti et al. [12] studied
both sound as a means for gesture representation and gesture as embodiment of sound and Bokowiec [3] proposed a
new term, Kinaesonics, to describe the coding of real-time
one-to-one mapping of movement to sound and its expression in terms of hardware and software design.
Also, already in the scope of this project, the author published a first version of the framework in Artech 2012 conference [1]. The paper described a modular system that
allowed the capture and analysis of human movements in
an unintrusive manner (using the Kinect as video capture
4

http://cycling74.com/products/max/

system and a custom application for video feature extraction and analysis developed using openFrameworks5 ). The
extracted gesture features were subsequently interpreted in
a machine learning environment (provided by Wekinator
[9]) that continuously modified several input parameters in
a computer music algorithm (implemented in ChucK [18].
The paper published was one of the steps for the framework
presented in this paper.
Despite all these relevant works made in this sub theme
of the Human-Computer Interaction field, there are always
new technologies emerging and new algorithms to apply to
somehow improve and go further. This is the purpose of this
work, to push through existing technology and contribute
with a new framework to analyse gestures and use them
to interact/manipulate/create events in a live performance
setup.

3.

THE FRAMEWORK

An overview of the proposed gesture recognition framework

is presented in Figure 1. A summarized description of the
main blocks that constitute the proposed system will be
presented in this section.
The ZtS is a modular framework that allows the capture
and analysis of human movements and the further recognition of gestures present in those movements. Thus, the
Data Acquisition Module will process data captured from a
Microsoft Kinect or a Vicon Blade Motion Capture System.
However it can be easily modified to have input from any
type of data acquisition hardware.
The data acquired goes through the Data Processing Module. Here, it is processed in terms of movement analysis and
feature extraction for each body joint (relative positions,
velocities, accelerations). This data will also allow a visual
representation of the skeleton captured.
Having the features of the movements as the input, in
the Gesture Recognition Module, these are processed by
two types of Machine Learning algorithms. The Dynamic
Time Warping (DTW) and Hidden Markov Models (HMM).
If a gesture is recognized, it is passed to the Processing
Module and this will store it, represent it or transmit it to
the Trigger Output Module.
In the Trigger Output Module the movement features selected or gestures detected are mapped into triggers. These
triggers can be continuous or discrete and can be sent to
any program that allows Open Sound Control (OSC) communication protocol.
In summary, the framework was entirely implemented as
a standalone application to provide a fast installation and
friendly graphical user interface (GUI), allowing users from
different backgrounds and with different purposes to work
with it. Besides that, the integration of the Machine Learning algorithms provides a robust method for the gesture
recognition. Next are presented the main contributions of
the ZatLab System.

4.

MAIN CONTRIBUTIONS

As concrete contributions there are the various modular

tools developed in the scope of this framework now available
as open-source software, in the form of addons for openFrameworks6 , namely:
A skeleton joint representation module - allows the
visual feedback of the subject being captured.
5

http://www.openframeworks.cc
openFrameworks is a powerfull C++ toolkit designed to
develop real-time projects. Nowadays, is a popular platform
for experiments in generative sound art, creating interactive
installations and audiovisual performances.
6

7th International Conference on Digital Arts ARTECH 2015

A. Baltazar and L. Martins / ZatLab: Gesture Recognition Framework for Artistic Performance Interaction - Overview

An OSC transmission module able to read and transmit data in real-time from the Vicon Blade Motion
Capture proprietary program.
A gesture recognition module based in DTW.
A gesture recognition module based in HMM.
The entire framework (ZtS) consisting on the tools
listed previously working together in a single operational framework for the recognition of real-time gestures and event triggering.
All these will be available for download at openFrameworks website. Meanwhile they can be downloaded at GitHub7 .
Next are described the two artistic applications of the ZtS
framework and the evaluation made on it.

271

Knowing the work developed in the scope of this project,

MisoMusic proposed the use of the ZtS framework in the
Opera to control real-time audio samples and the direct
sound input of the voice of one performer.
The framework had to be tailored to the composer/performer
(Miguel Azguime) needs. He wanted to control sound samples and live voice input with his movements and gestures.
In this case, the framework was adapted with several triggers that controlled expressive sounds in a MAX/MSP patch.
The ZtS framework enabled several types of musical expression:
The trigger of sound samples with the movement velocity of the hands of the performer.
The access to eight banks of sound samples either by
performing a gesture or by pressing a midi pedal.
The trigger of capturing a sound action (sound sample
or live voice input). The performer was able to freeze a
sound when he performed a holding hands pose. This
enabled the performer to control the captured sound in
terms of pitch, reverb, feedback and loudness. When
he wanted he just needed to shake is arms to release
the sound.

Figure 1: ZatLab system architecture diagram.

The framework was used for the solo of one of the main
Opera characters, performed by Miguel Azguime himself
(video at https://andrebaltazar.wordpress.com). The system travelled with the Opera through out the entire tour,
thus being presented in Lisbon, Poland and Sweden.
In sum, the result of the developments made specially for
the Opera use was very interesting. The relation between
human movement and sound manipulation was immediately
perceived by the audience, therefore creating a particular
arouse during that part of the piece. Of course the credit
also goes to the performer, in this case Miguel, that learned
very quickly to interact and get exactly what he wanted
from the framework, when he wanted, thus enabling him to
add extra layers of emotion and enhancement to the solo he
performed.

5.2

Figure 2: The setup used for FestivalIn. On the left,

the system setup, you can notice the Kinect bellow
the LCD TV. On the right top an example of the
visuals and left bottom a kid playing with it.

5. ARTISTIC APPLICATIONS
5.1 The ZtS in a Performance
MisoMusic Portugal was commissioned to create an interactive multimedia Opera (to debut in September 2013), by
the renown Polish Festival Warsaw Autumn (Warszawska
D)
8.
JesieA
7
8

https://github.com/andrebaltaz/ofxZtS
http://warszawska-jesien.art.pl/en/wj2013/home
7th International Conference on Digital Arts ARTECH 2015

The Performer Opinion

Once the Opera presentations were finished, one asked Miguel

Azguime, the author/performer and main user of the ZtS
framework, to answer a few questions about the system and
to transmit his opinion about it. Here is a literal quote of
an excerpt from the text he sent.
A clear perception to the public that the gesture is that
of inducing sound, the responsiveness of the system to allow clarification of musical and expressive speech, effectively
ensuring the alternation between sudden, rapid, violent gestures, sounds on the one hand and modular suspensions by
gesture in total control of the sound processing parameters
on the other, constituted a clear enrichment both in terms of
communication (a rare cause and effect approach in the context of electronic music and it certainly is one of its shortcomings compared with music acoustic instruments) and in
terms of expression by the ability of the system to translate
the language and plastic body expression.
Clearly, as efficient as the system may be, the results
thereof and eventual artistic validation, are always dependent on composite music and the way these same gestures
are translated into sound (or other interaction parameters)
and therefore is in crossing gesture with the sound and the
intersection of performance with the musical composition
(in this case) that is the crux of the appreciation of Zatlab.
However, regardless of the quality of the final result, the
system has enormous potential as a tool sufficiently open

272

A. Baltazar and L. Martins / ZatLab: Gesture Recognition Framework for Artistic Performance Interaction - Overview

and malleable in order to be suitable for different aesthetic,

modes of operation and different uses.

5.3

The ZtS as Public Installation

Another application of the system consisted in making it as

an interactive installation at Festival Innovation and Creativity (FestivalIN) 9 , Lisbon. The FestivalIN was announced
as the biggest innovation and creativity aggregating event
being held in Portugal, precisely in Lisbon at the International Fair of Lisbon.
Departing from the developments made to the Opera, the
framework was adapted to be more responsive and easy to
interact with. The users were able to trigger and control
sound samples, much like Miguel did on the Opera, however
they did not had the same level of control.
Since the purpose was to install the application at a kiosk
and leave it there for people to interact with, the visuals
were further developed to create some curiosity and attract
users. The human body detection algorithm was also customized in order to filtrate the control, amongst the crowd,
to only the person closer and centered to the system.
The response to the system was very good, in particular
amongst the children. All day long there was someone playing with it. The fact that the people were detected immediately either if they were just passing by or really wanted
to interact was a key factor to the system popularity. The
persons saw their skeleton mirrored on the screen and wave
at it, therefore triggering sounds and building up the users
curiosity. Soon enough they understand the several possibilities and were engaged, interacting and creating musical
expressions.
In Figure 2 you can see the setup and some interactions
with the system.

6. CONCLUSIONS
This paper proposed a flexible and extensible framework
for recognition of gestures in real time. The goal of the
proposed framework is to capture gestures (in a non intrusive way) and recognize them, thus allowing to set triggers
and control performance events, including musically expressive events. The main improvement this framework brings
to the formers is the integration of the Machine Learning
algorithms (namely the DTW and HMM) for gesture recognition.
Two artistic applications of the system were presented.
The first one, in particular, revealing the importance of the
framework in the NIME domain.
A software implementation of the system described in this
paper is available as free and open source software. Together with the belief that this work showed the potential
of gesture recognition, it is expected that the software implementation may stimulate further research in this area
as it can have significant impact in many HCI applications
such as interactive installations, performances and HumanComputer Interaction per se.

7. ACKNOWLEDGMENTS
This work was developed under the Portuguese Science and
Technology Foundation Grant number SFRH/BD/61662/2009.

8. REFERENCES
[1] A. Baltazar, L. Martins, and J. Cardoso. ZATLAB: A
Gesture Analysis System to Music Interaction. In 6th
International Conference on Digital Arts (ARTECH
2012), 2012.
9

[2] F. Bevilacqua and R. Muller. A gesture follower for

performing arts. Proceedings of the International
Gesture . . . , pages 34, 2005.
[3] M. A. Bokowiec. V ! OCT ( Ritual ): An Interactive
Vocal Work for Bodycoder System and 8 Channel
Spatialization. In NIME 2011 Proceedings, pages
4043, 2011.
[4] A. Camurri, S. Hashimoto, M. Ricchetti, A. Ricci,
K. Suzuki, R. Trocca, and G. Volpe. Eyesweb:
Toward gesture and affect recognition in interactive
dance and music systems. Comput. Music J.,
24(1):5769, Apr. 2000.
[5] A. Camurri, C. L. Krumhansl, B. Mazzarino, and
G. Volpe. An Exploratory Study of Anticipating
Human Movement in Dance. Stimulus, (i):25, 2004.
[6] a. Camurri, G. Volpe, G. D. Poli, and M. Leman.
Communicating expressiveness and affect in
multimodal interactive systems. Multimedia, IEEE,
12(1):4353, Jan. 2005.
[7] G. Castellano, S. Villalba, and A. Camurri.
Recognising human emotions from body movement
and gesture dynamics. Affective computing and
intelligent . . . , pages 7182, 2007.
[8] C. Dobrian and F. Bevilacqua. Gestural control of
music: using the vicon 8 motion capture system. In
Proceedings of the 2003 conference on New interfaces
for musical expression, pages 161163. National
University of Singapore, 2003.
[9] R. Fiebrink, D. Trueman, and P. Cook. A
metainstrument for interactive, on-the-fly machine
learning. In Proc. NIME, volume 2, page 3, 2009.
[10] A. Kendon. Gesticulation and speech: two aspects of
the process of utterance. In M. R. Key, editor, The
Relationship of Verbal and Nonverbal Communication,
pages 207227. Mouton, The Hague, 1980.
[11] D. V. Nort, M. M. Wanderley, and D. Van Nort. The
LoM Mapping Toolbox for Max/MSP/Jitter. In
Proceedings of the International Computer Music
Conference, New Orleans, USA, 2006.
[12] P. Polotti and M. Goina. EGGS in Action. In NIME,
number June, pages 6467, 2011.
[13] R. Povall. Technology is with us. Dance Research
Journal, 30(1):14, 1998.
[14] W.-M. Roth. Gestures: Their Role in Teaching and
Learning. Review of Educational Research,
71(3):365392, Jan. 2001.
[15] M. L. Rowe and S. Goldin-meadow. development.
S199, 2009.
First Language, 28(2):182
aA
[16] J. C. Schacher. Motion To Gesture To Sound :
Mapping For Interactive Dance. Number Nime, pages
250254, 2010.
[17] G. Volpe. Expressive Gesture in Performing Arts and
New Media: The Present and the Future. Journal of
New Music Research, 34(1):13, Mar. 2005.
[18] G. Wang, P. Cook, and Others. ChucK: A concurrent,
on-the-fly audio programming language. In
Proceedings of International Computer Music
Conference, pages 219226, 2003.
[19] R. Watson. A survey of gesture recognition techniques
technical report tcd-cs-93-11. Department of
e, (July), 1993.
Computer Science, Trinity College a
A
,
[20] T. Winkler. Making motion musical : Gesture
mapping strategies for interactive computer music.
1995.

http://www.festivalin.pt/
7th International Conference on Digital Arts ARTECH 2015

273

Art Installations Proposals

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

275

As guas o mar e o oceano

Laurita Salles, Aquiles Burlamaqui e Gabriel Gagliano
DEART/CCHLA,ECT,EM/CCHLA,UFRN/Universidade Federal do Rio Grande do Norte, Natal,
RN, CEP 59078-970 , Brasil
ABSTRACT Informaao tcnica e conceitual da
obra As guas, o mar e o oceano, em sua verso
experimental 2. A obra apresenta conjunto de minivdeos que mostram diferentes fluxos de guas em
movimento, relacionado a um servidor acoplado a um
sistema de projeo que apresenta os vdeos em sequencia
ordenada de forma estoctica e velocidade determinados
atravs de sistema que capta dados coletados a partir de
resultante da ao e movimentos do grupo de interatores
dotados de celulares com programa referente ao projeto
presente no ambiente. A obra trata de fluxos e organiza-se
atravs de fluxos de dados; as imagens e sons advindos dos
deslocamentos d'agua, portanto, representao e
parametrizao, respectivamente, e os fluxos de dados
tornados numricos em ao
em tempo real na sala
percorrem a rede gerada pelo projeto localmente,
interligando as aes dos interatores entre s aos eventos
audiovisuais , efetivando-se todo o conjunto como evento,
atravs do instante e no espao-tempo onde situaam-se os
fluxos de dados numericos em comunicao na obra.
Termos index Arte e tecnologia, novas narrativas,
aplicativo multimdia, musica eletronica

I. INTRODUO
A obra As guas, o mar e o oceano, na verso
experimental 2 trata da imerso e de fluxos.
configurada atravs de fluxos de dados que organizam
10 (dez) sequencias de
clips cinemticos de
movimentos d'gua, e sons determinados por estes,
atravs de mini-rede local atuando em conexo com
interfaces de projeo e dispositivos mveis. Trata,
pois, da fluidez das guas e de dados como campo de
navegao e atuao. As imagens apresentadas na obra
so de guas em suas diversas formas de fluxo
lquido.Alternam-se enquanto cor, luz, ndice de fluidez
do movimento das guas e conjuntos sonoros. As
imagens relacionam-se com um ponto de vista captado
pela cmera e pela fonte de captao sonora a partir de
um lugar, simultneo movimentao do sujeito que v
a partir de uma cmera filmadora e o dispositivo
perspectico que a define. Este sujeito pode estar fixo e o
fluxo em movimento, ou ambos ao mesmo tempo. Os
pontos de vista da cmera podem ser frontais ou no
ao movimento das guas e desse ponto de vista que a
obra tira parte de sua fora.As imagens no situam lugar
nenhum, oferecendo planos diretos do movimento das
guas, sem horizontes, afastando-se da noo de
paisagem. Imagens e sons apresentam-se no espao
expositivo enquanto imagens cinemticas e sons a
serem vistos e ouvidos segundo determinaes
resultantes de fluxos numricos oriundos do movimento
das pessoas que interagem com a obra no espao
7th International Conference on Digital Arts ARTECH 2015

expositivo atravs do uso de mdias locativas. (Vide

descritivo item VI.)
Se a imagem cinemtica fluxo de imagens e som em
sequncia, nesta obra apresenta-se como conjunto
formado por clips audiovisuais passvel de ter seu fluxo
sequencial modificado a cada resultante do movimento
dos interatores. A ordem do conjunto de vdeos
aleatria, no havendo narrativa no sentido de uma
dramaturgia clssica, com personagens em contraponto
dramtico.
A cada vdeo est associada uma composio musical
oriunda da interao entre a trilha de captao de som
original (simultnea a imagem) tratada segundo
referncias de sons sintticos associados a instrumentos
virtuais
eletrnicos,
gerando
composies
eletroacusticas definidas pelo fluxo sonoro advindo de
cada tomada das guas em movimento. A partir da
captao sonora do movimento dos diversos fluxos
d'gua filmados, trechos sonoros "reais" tornam-se
dados numricos capazes de gerenciar movimentos
sonoros referenciados como progresses numricas e
relacionadas a sons sintticos de instrumentos de
orquestra; os trechos sonoros, assim como as imagens,
tambm tero a velocidade alterada conforme o fluxo de
dados gerenciado via celulares.
O trabalho apresenta-se, pois, como um sistema que
se organiza como circuito de fluxos gerenciados por
dispositivos tecnolgicos onde o corpo humano por
ao da maior ou menor acelerao de movimentos
fsicos, por interatividade, agencia resultantes no corpo
imagtico e sonoro da obra. O movimento dos
interatores aciona o conjunto de mini-vdeos
organizados segundo a lgica de uma base de dados ou
coleo computadorizada (conceitos de Manovich ) [1].
Dados a serem manipulados no que se refere a
sequencia com que sero vistos funcionando neste ponto
como cinema algoritmico (noo de Manovich) [2])
proporcionando, assim, uma narrativa aberta definida
pelo movimento real e em tempo real dos interatores,
configurando uma narrativa no linear e no definida
por uma sequencia temporal fixa oriunda de um roteiro.
A obra apresenta uma matriz de possibilidades a serem
vistas e ouvidas em velocidades e ordem variadas.
Trata-se de narrativa baseada em dados, no
desdobrando-se como uma estria linear. Podemos
afirmar que a base de dados e um programa diretivo
determinam a organizao temporal do trabalho, os
(dez) mini-vdeos vistos em ordem estocastica. Kratky
afirma em Softcinema de Manovich [3]: ... trabalhos

276

L. Salles, A. Burlamaqui and G. Gagliano / As guas o mar e o oceano

desta natureza so mais prximos a uma base de dados

relacional do que da edio de um filme, no havendo ,
segundo ele, um roteiro prvio a partir do qual se criam
narrativas geradas em tempo real, a partir de um banco
de dados, tal como nesta obra.

Figura 1: Frame de captao experimental do projeto

H a lgica do audiovisual em cada excerto (minivdeo) de cada subconjunto ou clip, embora agenciados
como conjunto pela lgica da interatividade. Neste
sentido o trabalho pode tambm ser entendido como
relativo ao cinema expandido que -distante da
instituio cinema clssica ou do dispositivo cinemainvoca formas cinemticas abertas onde formaes
imagticas sequenciais desenrolam-se no tempo,
instaurados em espaos expositivos diversificados.
II. DA MSICA
Nesta obra, optamos por uma abordagem de carter
ontolgico, onde a confeco da mesma esteja ligada
no s metafsica conceitual do fluxo mas mormente
manifestao da sua essncia introjetada, agora aflorada
por convulses autnomas de si prprio. Assim, propsse que a confeco da obra musical que acompanha as
imagens dos fluxos tenha a sua origem nos sons reais
produzidos por estes prprios fluxos; estes sons, sofrem
uma anlise espectral e decomposio de frequncias.
Posteriormente, foram algoritmizados no software
Puredata, de modo a traduzir as dinmica e nuances de
seu espectro vivo em movimentos da instrumentao
sinfnica de uma orquestra eletrnica preparada para tal.
Desta forma, os prprios fluxos definem todos os
aspectos da msica a ser executada. O empreendimento
para tornar um fluxo o compositor de sua prpria obra
traz o fascnio de haver, por alguma perspectiva, uma
sensao de fidelidade e intimidade com o objeto,
embora esta abordagem ainda traga relativa
subjetividade. Entretanto, uma vez que os fluxos detm
dinmica caracteristicamente prpria, e que esta
articulada fisicamente, fazer que surja msica de seu
movimento, e que esta msica seja no mais uma
representao, mas uma parametrizao, supe uma
conquista epistemolgica dos elementos que erigem a

essncia do objeto. A configurao da anlise espectral

e as decises de gravao, mixagem e filtragem so
parmetros subjetivadores da composio. Aps este
ponto, no difcil concluir que a essncia do fluxo
permanecer, para alm de todos os esforos,
francamente intocada. Bergson [4] postula que a matria
, de fato, intangvel ao homem, e que este a percebe
no pelo que ela seja, mas pela representao imagtica
que faz dela. Deste modo, o homem, forado a criar
imagens para representar o mundo material, cria-as a
partir da mescla daquilo que apreende da matria com
aquilo que completa de suas subjetividades. O seu
mundo torna-se, portanto, subjetivo. Assim, a
transformao dos fluxos em msica no implica em
uma total dissecao dos mesmos, mas apenas a
delimitao de uma abordagem que permita conhecer
sua ontologia, e que o faa atravs do que lhe seja mais
essencial: as ondas invisveis mas visceralmente
presentes em sua materialidade.
III.DO PROCESSO
As gravaes de udio e vdeo foram feitas
simultaneamente e in loco.O udio bruto colhido foi
separado do vdeo para tratamento e anlise. Foi
utilizado o programa Pure Data para a anlise e
converso dos dados.
IV. INTERATIVIDADE
A obra instaura interaes interpessoais e um sistema
interativo, j que proporciona, segundo Cleomar Rocha
[5], ...interaes sociais, aes resultantes de outras
aes quando as pessoas interagem entre si E:... temos
a mesma lgica, o sistema processa os inputs, gerando
novas aes de sistema.. Nesta obra h interao entre
pessoas quando os interatores observam-se entre si e
tomam decises a partir das aes dos outros. H
interatividade quando estas determinam resultantes
junto ao sistema das mdias locativas em conexo com
os sensores de movimento nelas inserido, tornando tais
aes compreensveis como dado numrico vinculado a
um sistema que organiza dados, relacionando-os a
aes no sistema que agenciam resultados no campo da
narrativa flmica e sonora da obra.Explica o autor: H,
contudo, de se pontuar a distino entre interao e
interatividade. Interao ocorre entre pessoas, entre
seres vivos. Interatividade ocorre quando h mediao
tecnolgica.....Os
ambientes
interativos,
ao
apresentarem caractersticas de agncia, impactam
nossos sentidos, fazendo-nos enxergar a efetividade de
nossas aes. Tambm Nara Cristina Santos aponta
com pertinncia as diferenas entre interao e
interatividade [6] destacando que o conceito de
interatividade recente surgindo no campo da
informtica e da comunicao, enquanto a concepo de
interao, mais antiga e mais ampla, refere-se s
7th International Conference on Digital Arts ARTECH 2015

L. Salles, A. Burlamaqui and G. Gagliano / As guas o mar e o oceano

relaes mtuas entre dois ou mais entes, sendo oriunda

do campo da fsica. A autora considera que no campo
das Artes a interatividade e interao se
complementam , como acontece nesta obra.
Consideramos que a interatividade em geral, e nesta
obra em particular, opera no encontro entre espao e
tempo e como evento ,j que a nuvem de dados opera no
instante e a cada momento as aes interativas
determinam e agenciam resultantes tambm como
sucesso de eventos. Diz Milton Santos[7] que um
evento um instante do tempo e um ponto do espao.
Na verdade trata-se de um instante do tempo dando-se
em um ponto do espao...Um evento um ponto nesse
espao-tempo:, um dado instante em um dado lugar.
Concordamos pois com Julio Plaza [8]: Para os
tericos da arte-comunicao, a chamada esttica da
comunicao no fabrica objetos nem trabalha sobre
formas; ela tematiza o espao-tempo... .A esttica da
comunicao uma esttica de evento, onde o autor
concorda com Mrio Costa [9].
O projeto instaura uma lgica da sequencia imagtica
sonora temporal tendo em vista o repertrio imagtico
audiovisual oriundo das prticas onde a questo da
narrativa e dramaturgia oriundas do campo cnico no
so o foco de interesse, interessando-se primordialmente
pelas possibilidades expressivas da imagem em seu
entrelaamento com a ordem sonora, pelas velocidades
na sequencia da imagem e alteraes imagticas na
vertente temporal. Neste mbito, prope-se a usufruir da
liberdade imagtico/temporal que as Artes Visuais, as
Artes do vdeo e as Artes tecnolgicas tem investigado.
Podemos citar o prprio trabalho Soft Cinema de Lev
Manovich[10], programado por Andreas Kratky, o qual
combina instalao, cinema expandido e base de dados
apresentado na DEAF03, 2003.
V .VERSO TELEMTICA
O presente trabalho esta sendo apresentado em
verses diversas. Foi realizada uma primeira verso com
um celular apenas. A atual verso um projeto
intermedirio onde prospectada a interao com
celulares conectados em rede. H uma terceira verso
planejada com mais mini-videos que envolve um
espetculo multimdia que pretende ser realizado
atravs da rede de alta definio e em vrios espaos.
VI. DA PROGRAMAO
Nesta seo apresentamos o sistema Media-MultiVibraes:Compartilhando
vibraes
coletivas
(MIMUVI), capaz de compartilhar vibraes coletivas
em tempo-real, criado a partir das premissas da
presente obra artstica, mas passvel de ser usado em
outras obras. Trata-se
de sistema de hardware
(celulares, cmeras, etc.) e software (servidores
colaborativos) capaz de capturar vibraes de usurios,
sejam elas relacionadas a movimentos e ou sons,
7th International Conference on Digital Arts ARTECH 2015

277

process-las e compartilh-las na rede, com o propsito

de controlar apresentaes artsticas e culturais. Como
prova de conceito, utilizamos tais vibraes associadas a
um vdeo que exibido para um grupo de usurios. O
vdeo exibido sofre alteraes baseadas nas vibraes
vindas de seus usurios. O fluxo dos vdeos, assim
como taxa de reproduo, trilha sonora, volume, entre
outros parmetros passam a ser determinado por seus
usurios, de maneira colaborativa. O sistema captura
toda a vibrao gerada e calcula mdias de modo a
tomar decises de como o vdeo e o udio em exibio
se comportaro.

Figura 3: Viso geral da arquitetura Media-MultiVibraao

VII .RIDER DA OBRA
Rider da obra (simplificado para ARTECH 2015) : 1
Projetor ; 1 computador PC com processador Nivel
Pentium i3, 4GB de RAM, 500mB HD, Placa de vdeo
1GB , Sistema Ubuntu instalado e cabos HDMI ;1
roteador wireless 802.11b, 802.11g, 802.11n ; 2 caixas
de som estreo portateis JBL e cabos conexos ( 2 cabos
USB e adaptadores) ;1 estabilizador; 2 mesas base base
para colocao do computador, projetor e roteador e
duas cadeiras, cabos e plugs- cabos HDMI(Computador- Projetor; 1 cabo USB ( Computadorestabilizador);fios e ligaes de extenso para tomada; 1
celular Samsung Android verso 4.1.2 GT -I8190L com
aplicativo para a execuo da obra instalado mais
celulares Android do publico (com aplicativos do
projeto facilmente acessiveis na internet ) com acesso
wireless. Obs: A apresentao da obra foi simplificada
tecnicamente tendo em vista as condies expositivas do
ARTECH 2015, refletindo o rider tais circunstancias.
VIII. DESCRITIVO
-Interatores munidos com celulares com o aplicativo
Media-Multi-Vibraes:Compartilhando
vibraes
coletivas (MIMUVI- (obtido livremente no site da
Google Play Store: http://goo.gl/5SWpLs ) , entram na
sala de exibio da obra.
-Nesta sala, est disposto um computador que atua
como servidor( e dispositivos conexos- cabos, plugs,

L. Salles, A. Burlamaqui and G. Gagliano / As guas o mar e o oceano

278

filtro de linha, estabilizador) , um roteador wirelless,

duas caixas de som, um projetor, o qual projeta 10
(dez) videos clips de cerca de 1 minuto cada de forma
alternada, com imagens de fluxos dgua e msica
derivada do movimento lquido das mesmas.
-A ao dos interatores na sala munidos de seus
celulares captada por sensores de movimento internos
a eles, e tornam-se imputs para o computador/servidor
com Ubuntu que est na sala atravs da mini-rede local
instaurada.
-O programa do projeto capta estas informaes , as
processa,
e sua resultante determina a variao
estoctica
da ordem dos diferentes mini-videos
disponveis em uma playlist.Tambm interfere na
velocidade da troca dos videos nesta playlist e, ainda ,
na velocidade com que os vdeos so apresentados,
portanto, enquanto sequencia de imagem e som
audiovisual.
Imagem projetada em parede lisa e
branca

Interatores agitando seus

celulares

Caixa de
som

Monitor educativo instrutor

Projetor

Caixa de
computa roteador
som
dor
Mesas com computador servidor, projetor,
caixas de som e e roteador wireless

Figura 4: Descritivo imagtico da montagem e

funcionamento da obra com interatores.No esto
representados dispositivos de apoio como cabos, plugs,
filtro de linha, cadeiras e instrues para dowload do
aplicativo Media-Multi-Vibraao que d acesso a
interao com a obra.
IX. CONSIDERAES FINAIS
Talvez a noo de repartio do sensvel de Jacques
Rancire [11] possa fornecer uma aproximao para
compreender esta obra. Para ele repartio do sensvel
o sistema de evidncias sensveis que mostram ao
mesmo tempo a existncia de algo comum e as divises
que nele definem os lugares e a respectivas partes. ...
fixa pois simultaneamente um comum partilhado e
partes exclusivas. A obra cria uma interao comum a
partir de experincias individuais a qual interage com a
narrativa audiovisual e sua temporalidade, criando um
sistema de fluxos circular em constante movimento,
assim como as guas que apresentam-se imageticamente
e deram origem a apresentao sonora.
AGRADECIMENTOS
Agradecemos a Propesq/UFRN e aos bolsistas
colaboradores do Projeto.

REFERENCES
[1] MANOVITCH, L.Data stream, database, timeline: the
forms of social media [Part 1]. [online] Disponvel na Internet
via WWW. URL: http://lab.softwarestudies.com/2012/10/datastream-database- timeline-new.html .Acessado em 23/07/2013
[2] MANOVITCH, L. e outros. Soft Cinema. [online]
Disponvel
na
Internet
via
WWW.
URL:
http://manovich.net/books_images/sc_edition_2003.pdf.
Berlim, Edio ZKM e Lev Manovich, 2002/3. Pg. 5.
Acessado em 23/07/2013
[3] KRATKY, A.In: Soft Cinema.[online] Disponvel
na Internet
via
WWW.
URL: http://manovich.net/books_images/sc_edition_2003.pdf.
Berlim, Edio ZKM e Lev Manovich, 2002/3. Pg. 7.
Acessado em 23/07/2013
[4] BERGSON, Henri. Materia e Memoria: ensaio sobre a
relacao do corpo com o espirito. So Paulo: Martins Fontes, 3a
Edio, Coleo Tpicos, 2006.
[5] ROCHA, Cleomar. Deslumbramentos e encantamentos:
estratgias tecnolgicas das interfaces computacionais.Rio de
Janeiro, Revista Zona Digital ,Ano I | n. 03, s.d. [online]
Disponvel
na
Internet
via
WWW.
URL:http://zonadigital.pacc.ufrj.br/reflexescriticas/deslumbr
amentos-e-encantamentos-estrategiastecnologicas-dasinterfaces-computacionais/ Acessado em 10/07/2013
[6] SANTOS, Nara C. Interatividade e interao: frico em
projetos de Arte e Tecnologia digital. In. Anais ANPAP, 2012.
[online] Disponvel na Internet via WWW.URL:
http://www.anpap.org.br/anais/2012/pdf/simposio2/nara_cristi
n a_santos.pdf
[7] SANTOS, Milton. A natureza do espao, So Paulo,
Edusp, 2006 . Pgs. 143 e 144.
[8]PLAZA, Julio.Apresentao, pag. 15 . In: PRADO,
Gilberto. Arte telemtica: dos intercmbios pontuais aos
ambientes virtuais multiusurio/ Apresentao Arlindo
Machado, Julio Plaza So Paulo: Ita Cultural, 2003.
[online]
Disponvel
na
Internet
via
https://poeticasdigitais.files.wordpress.com/2009/09/2003arte_telematica_dos_intercambios_pontuais_aos.pdf
[9]COSTA, Mario. Per lestetica della communicazione.
Artmedia, Salerno, p.125-127, 1984 Apud ZANINI, Walter. A
arte de comunicao telemtica: a interatividade no
ciberespao. 1998. 36 p. In: PRADO, Gilberto. Arte
telemtica: dos intercmbios pontuais aos ambientes virtuais
multiusurio So Paulo: Ita Cultural, 2003. [online]
Disponvel
na
Internet
via
WWW.URL:
https://poeticasdigitais.files.wordpress.com/2009/09/2003arte_
telematica_dos_intercambios_pontuais_aos.pdf
[10]MANOVITCH, Lev. Soft Cinema ,Obra , vdeo:
Disponvel
na
Internet
via
WWW.
URL:v2.nl/archive/works/soft-cinema
[11] RANCIRE, J.Le partage du sensible, esthtique e
politique.La Fabrique-ditions, Paris, 13 2000.Pg. 12.

NOTA:
1.Os textos originais em ingls foram traduzidos pelos
autores.
7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

279

As Entrelinhas Poticas em bidos

LAGO, Estela
Goinia/ Gois/ Brasil/ Alameda P2, n 403. Setor dos funcionrios. CEP 74543-030/
[email protected]

Mini-currculo do artista responsvel: LAGO, Estela. Pesquisa artesanato, arte e QRcodes. Estudou na Faculdade de Arte da Universidade Federal de Gois, onde teve a
oportunidade trabalhar como tutora na EaD da Faculdade de Artes Visuais. Trabalha
efetivamente como arte educadora na Rede Privada de Ensino e na Rede Municipal de
Educao de Goinia. Participou do 1 Retiro Doutoral em bidos em Mdia-Arte
Digital como ouvinte de 13 19 de julho de 2013. No 2 Retiro Doutoral em Silves
participou do Retiro em Silves com a Instalao Al Mutamid entre linhas. aluno do
curso de Doutoramento em Mdia-Arte Digital. Tem se concentrado em investigar as
entrelinhas entre o Artesanato e os QR-codes em suas entrelinhas. Tem interesse na
produo desta instalao As Entrelinhas Poticas em bidos, dando sequncia a
potica artesanal inserindo os cdigos dos QR-codes.
Resumo: Esta instalao parte da necessidade de vincular a pesquisa entre o artesanato e
as mdias contemporneas, entre elas o QR-codes. Visa elucidar a sensibilidade do
observador despertando a curiosidade em conhecer atravs do cdigo presente na obra o
autor do poema, da obra de arte e seu processo criativo. A observao dos visitantes da
instalao servir de suporte inicial ao projeto de pesquisa sobre As entrelinhas do
artesanato e o QR-codes no Doutoramento em Media-Arte Digital. A instalao
configura-se como momento de observao geradora de reflexes que podero
contribuir para desenvolvimento da pesquisa e as relaes desses cdigos.
Palavras-chave: Entrelinhas, artesanato e desafios.

I.

INTRODUO:

A presente instalao uma proposta de dar continuidade a mostra de artesanato

vivenciada no 2 Retiro de Doutoramento em Mdia-Arte Digital (DMAD) acontecido
entre os dias 12 a 18 de julho de 2014, em Silves - Algarve - Portugal, cujo tema era as
Poticas Digitais em Al-Mutamid - INOVAO, POESIA E INCLUSO. Todavia,
esta proposta para bidos est ligada ainda ao 1 Retiro Doutoral em Mdia-Arte
Digital em bidos, realizado entre os dias 13 a 19 de julho de 2013.
Logo, esse trabalho resulta dessas experincias, dos desafios vividos e de
algumas experincias vividas na trajetria da infncia vida adulta. Esse desafio corre o
risco de deixar algumas ideias nas entrelinhas artesanais e miditicas, mas que podem
ser questes fundamentais, como exemplo: Existe vnculo entre todos esses cdigos
artesanais e tecnolgicos?
7th International Conference on Digital Arts ARTECH 2015

E. Lago / As Entrelinhas Poticas em bidos

280

II.

A INSTALAO:

A instalao ser composta por um poema relacionado bidos, justificando a

escolha por conhecer a Vila de bidos no 1 Retiro Doutoral (DMAD) e sua riqueza
cultural, como a vida da arquiteta Maria Jos da Conceio Afonso Salavisa - dona de
uma personalidade impar a inspirar nossas vidas ao dizer, por exemplo, Arrede o
mundo que eu quero ser eu e que evidentemente ser uma frase utilizada como
inspirao. Visitao que marcou primeiro Retiro. A instalao AlMutamid
entrelinhas, em exposio no 2 Retiro, tambm foco gerador dessa nova proposta de
instalao que alm do poema em homenagem a bidos e da frase de Salavisa a
instalao ser composta por poemas meus e de autores desconhecidos.
Ressalto que venho propor a visibilidade do artesanato como arte, como poesia e
seus desdobramentos. Para isso, o uso da tecnologia atravs dos QR-codes, que tambm
so carregados de entrelinhas, possibilitar um encontro entre o conhecer, o fazer e
tambm sobre o dilogo entre o artesanato e a tecnologia. Atravs dos QR-codes
promove-se uma interao entre as formas, os meios de comunicar os cdigos que o
olho l e os que a tecnologia codifica.
Para tanto, sero bordados alguns poemas em ponto cruz e tecidos em croch
formando caminhos que no final ter um cdigo para leitura que enviar o observador a
um blog onde estaro todos os dados do poema em questo: a biografia do autor e como
foi produzido artisticamente o texto literrio.
Os dados tcnicos dos poemas s podero ser verificados aps sua confeco
visto que, sua metragem, depender dos cdigos indicados nos grficos dos artesanatos
e da escolha dos materiais para produo dos mesmos.
Assim, estamos realizando uma instalao relacionando o artesanato tradicional,
e o artefato digital sendo que, o artesanato tambm pode ser entendido como uma
potencialidade de conhecimentos que refletem nas relaes assim como as relaes
miditicas atuais. O artesanato desperta as aptides latentes do arteso e aprimora lhe o
intelecto. a ideia que deseja a forma. O arteso, alm de habilidade manual, possuir
talento e sensibilidade de artista.
Pesquisar esta dimenso diante dos limites e potencialidades do
artesanato, mais especificamente do fazer artesanal, configura-se
como condio geradora de conhecimento, reflexes que podem
contribuir para a compreenso das relaes que constituem o
artesanato e os caminhos atuais de sua produo.
(SALGADO,

Mara.

FRANCISCATTI,

Kety

Valria

Simes.

Contraponto entre arte, artesanato e trabalho: a falsa

diferenciao e a atrofia da fantasia, 2014)
O primeiro, artesanato tradicional, contemplaremos por meio dos poemas
bordados em ponto cruz e tecidos em croch, que carrega a inspirao do 1 e 2 Retiro
7th International Conference on Digital Arts ARTECH 2015

E. Lago / As Entrelinhas Poticas em bidos

281

Doutoral. O segundo, artefato digital, ter presena nos QR-codes, os quais sero
de grande valia. Visto que atravs deles que os visitantes - leitores
identificaram as referncias bibliogrficas dos poemas bordados, bem como
outras informaes da realizao literria exposta.

Referncias Bibliogrficas

[1] ALVES, Adalberto. Al-Mu'tamid - poeta do destino. Lisboa: Assrio & Alvim,
1996.
[2] CHARTIER, R. A Histria Cultural. Entre Prticas e Representaes. Lisboa:
Difel, 1987.
[3] BURKE, Peter. O que histria cultural? Trad. Srgio Goes de Paula. Rio de
Janeiro: Jorge Zahar, 2008.
[4] DENSO WAV INCORPORATED. http://www.qrcode.com. Acessado em
10/09/2014 s 12:20.
[5]
LAGO,
Estela.
bidos:
Entradas
e
Sadas.
In:
http://www.youtube.com/watch?v=C0e gVDY-yko. Acessado em 10/09/2014 s 16:02.
[6] http://pointdaarte.webnode.com.br/news /a-historia-do-artesanato. Acessado em
12/10/2014 s 12:20.
[7] Guimares, Leda Maria de Barros. Arte e Cultura Popular: Variaes em torno da
construo de conceitos e valores. Arteeduca, mdulo 8. MEC, 2004.
[8] HAGERTY, Miguel Jos. Al-Mutamid de Sevilla: poesia completa. Granada:
Comares, 2006.
[9] LVY, Pierre. As tecnologias da inteligncia: o futuro do pensamento na era da
informtica. Rio de Janeiro: Editora 34, 1993.
[10] SALGADO, MARA. FRANCISCATTI, Kety Valria Simes. Contraponto entre
arte, artesanato e trabalho: a falsa diferenciao e a atrofia da fantasia. In:
www.ip.usp.br, 2014.
[11] STREISSGUTH, Tom. http://www.ehow.com.br/artesanatoportugues-info_8955/.
Trad. Ronaldo Moretti. Acessado em 27/09/2014 s 11:45.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

283

ComPassos com histrias

Narrativas Digitais de Caminha

Isabel Carvalho1, 2, Jos Bidarra1, 2, Mauro Figueiredo2, 3, 4

1
Universidade Aberta UAb Lisboa, Portugal
2
Centro de Investigao em Artes e Comunicao CIAC, Portugal
3
Centro de Investigao Marinha e Ambiental CIMA, Portugal
4
Instituto Superior de Engenharia, Universidade do Algarve, Portugal
Resumo - ComPassos com histrias explora o contributo da
mdia-arte locativa para o registo da identidade e das
vivncias de uma comunidade atravs da explorao do
espao urbano da Vila de Caminha, geolocalizando narrativas
digitais de memrias urbanas e, incitando (re)descoberta
desse espao, num exerccio de deriva pelas memrias dos seus
habitantes. O acesso a essas memrias facilitado por duas
vias, num plano digital atravs de um eBook interativo e num
plano fsico, real, atravs de uma aplicao, com tecnologia de
Realidade Aumentada, que permite a visualizao em formato
de pequenos vdeos in loco.
Index Terms Deriva urbana, mapeamentos colaborativos,
mdia-arte locativa, narrativas digitais locativas.

I. introduo
Partindo do conceito de deriva como prtica artstica
(anlise situacionista nos anos 1950, onde atravs da ao
do andar sem rumo, o pedestre se apropria do espao
urbano), associado ideia de flneur com corpo plugado
[1], explora-se a mobilidade associada a dispositivos
tecnolgicos de comunicao, com recurso internet e
equipados com Global Positioning System (GPS). Pela
mdia-arte locativa experiencia-se novas formas de escrita
e (re)leitura do espao urbano da Vila de Caminha, ao
abordar e refletir sobre as memrias locais dos seus
habitantes, criando () experiences that take into account
the geographic locale of interest, typically by elevating that
geographic locale beyond its instrumentalized status as a
'latitude longitude coordinated point on earth' to the level
of existential, inhabited, experienced and lived place. ()
At its core, locative media is about creating a kind of
geospatial experience whose aesthetics can be said to rely
upon a range of characteristics ranging from the quotidian
to the weighty semantics of lived experience, all latent
within the ground upon which we traverse. [2]
Analisa-se a ao andar/explorar/vivenciar no plano dos
territrios informacionais, observando, rastreando
percursos e mapeando fluxos, como se de um dilogo se
tratasse entre pedestre e espao urbano. Inicia-se esta
proposta refletindo sobre a ideia de apreenso de espao

defendida pelos situacionistas, de que aquele deveria ser

explorado, experimentado e vivenciado.
Explora-se o caminhar como ato de vivenciar a
cidade/espao urbano na era da informao associada
mobilidade, como forma de apreenso da histria, cultura e
memria do ambiente em que nos encontramos, j que estes
possuem histria e histrias. Pretende-se tambm visualizar
e mapear estes percursos, o caminhar pelas narrativas
digitais, articulando contedos e experincias, e
compreendendo o espao pela visualizao do seu uso.
O trabalho realizado permite eternizar, num ponto de
encontro testemunhal, parte da herana cultural desta
comunidade, preservando as memrias, no sentido que lhe
atribui Eduardo Loureno: reactualizao incessante do
que fomos ontem em funo do que somos hoje ou
queremos ser amanh. [3]
Na esteira de uma co-funo testemunhal da arquivstica
moderna, ComPassos com histrias permite, deste modo,
caminhar na direo da preservao, resgatando o eu no
outro, no apenas pela essncia e originalidade de cada
indivduo, que aqui relatada pelas suas histrias, no tempo
em que as viveu, mas no que esse relato projeta no outro
que o escuta, dando vida a um arquivo que se assumia
morto.
Potencializado pela moderna tecnologia, revive-se per
memoriam e permite-se que renasa in memoriam.
Que os outros o ignorem, saibam pouco ou o tenham
esquecido, deprime-nos, mas no altera o essencial: ns
sabemos, e esse saber afinal a nossa nica e autntica
identidade. [4]
ComPassos com histrias alude a cadncia e ritmo,
marcao do tempo no espao, permitindo perspetivar o
andamento progressivo do pedestre, com passos ritmados,
por lugares onde se contam histrias de outros tempos. A
figura do compasso, enquanto instrumento de desenho do
espao, estabelece tambm dilogo com o passado e a
atualidade que recorre a uma tecnologia que permite hoje
explorar e (re)conhecer o passado atravs das memrias e
dos olhares de quem as vivenciou e agora as exprime em
narrativas.

1
7th International Conference on Digital Arts ARTECH 2015

284

I. Carvalho, J. Bidarra and M. Figueiredo / ComPassos com histrias

Esta interveno permite ouvir e visualizar essas histrias

ao mesmo tempo que se percorre e (re)l o espao fsico,
num espao contnuo entre virtual e fsico.
Neste artigo apresenta-se ComPassos com histrias,
explica-se o conceito que serviu como mote impulsionador
desta experincia urbana realizada na Vila de Caminha e
identifica-se os objetivos a que nos propusemos atingir.
Posteriormente descreve-se de forma mais pormenorizada
a interveno e lista-se o material necessrio para a sua
exposio. Na ltima seco apresentam-se algumas
reflexes em forma de concluso.
II. Conceito
ComPassos com histrias uma interveno interativa
que explora o conceito de deriva urbana e memria
coletiva in loco.
Ao aceder memria coletiva de um espao urbano,
pretende-se dar a conhecer algumas camadas/layers desse
mesmo espao formado por memrias locais, das pessoas,
partilha de saberes e creres, narrativas vrias e distintas
percees, importantes para a compreenso da identidade
desses lugares. Essa identidade encarada aqui como
resultado de vrias pequenas histrias, opinies, momentos,
vivncias e experincias que aconteceram em diferentes
pocas, resultando em espaos hbridos, dinmicos, onde o
digital se mistura com o fsico, e se mostra reativo ao
usufruidor, como se de um dilogo se tratasse. O espao
conta as suas memrias, resultando num mapeamento
colaborativo de uma memria coletiva [5].
III. Objetivos
Pretende-se estimular um redescobrir dos espaos
urbanos da Vila de Caminha, pelos relatos testemunhais das
suas histrias. Num processo de ouver o espao que se
percorre, ouvindo memrias contextualizadas, narrativas
digitais geolocalizadas, atravs de um pequeno vdeo, onde
se visualizam imagens da poca a ser narrada (mapas,
ilustraes, fotografias, vdeos).
O artefacto articula dispositivos tecnolgicos mveis
com o espao fsico, e torna-se um estmulo perceo de
um espao testemunhal, transformando memrias em
narrativas digitais imersas no prprio espao onde tiveram
lugar.
Inicia-se este percurso de investigao e experimentao
pela deriva como explorao urbana ldica [6], capaz de
acrescentar e ampliar informao (memrias dos
habitantes) relacionados com o contexto fsico, suavizando
os limites entre a materialidade dos elementos fsicos e a
imaterialidade das narrativas digitais, transformando-o num
espao aumentado, de informaes vrias e sobrepostas
de forma dinmica de Lev Manovich [7].

IV. Descrio do Artefacto Digital

A escolha do espao de interveno surgiu na sequncia
da oportunidade de explorar os conceitos anteriormente
referidos, em contexto escolar, nomeadamente:

na unidade curricular Morfologia Urbana

Abordagens e Mapeamentos, do 4. ano do Mestrado
Integrado em Arquitetura e Urbanismo (MIAU) da Escola
Superior Gallaecia (ESG);

na disciplina de Oficinas de Arte, do 12.C, da

Escola Bsica e Secundria de Caminha.
As narrativas resultaram de duas abordagens, destes dois
grupos de testes distintos:
1.
Pelos estudantes da ESG, um grupo heterogneo
relativamente nacionalidade, portugueses e espanhis, e
que no vivem no Concelho. Explorou-se a deriva como
prtica artstica e enquanto exerccio de experimentao e
explorao do espao urbano pelos sentidos, bem como a
sua contribuio na leitura e anlise daquele espao. Neste
exerccio de deriva procura de memrias/histrias de
vivncias, os percursos realizados, em grupos de 2 ou 3
estudantes da ESG, foram rastreados pela aplicao
myTracks e anotados digitalmente, s suas coordenadas
geogrficas foram anexadas imagens, sons e textos. Este
processo foi ele tambm gerador de novas vivncias e novas
narrativas, as linhas provocadas pelo caminhar de cada
grupo na procura dessas narrativas, transformam-se
tambm em narrativas visuais (rastreamento), que
reverberaram em mapeamentos colaborativos.
2.
Pelos estudantes do 12.C, da Escola Bsica e
Secundria de Caminha. Este grupo constitudo por
estudantes habitantes no Concelho de Caminha. E a opo
dos entrevistados foi decidida por eles, escolhendo assim,
quem eles considerassem que possusse um repertrio de
histrias merecedoras de serem registadas e partilhadas por
quem queira ouvir Caminha.
Estas conversas com os habitantes, histrias de outros
tempos contadas na 1. pessoa, foram gravadas e tratadas
digitalmente, dando lugar a pequenos vdeos,
posteriormente deu-se lugar divulgao dessa
informao. Estas experincias foram compiladas e
visualizadas em duas vertentes:

Meio digital - num eBook interativo, desenvolvido

atravs da aplicao iBook Author;

Meio fsico - numa aplicao de Realidade

Aumentada, desenvolvido atravs da combinao das
plataformas Hoppala Augmentation e Layar, onde as
narrativas so geolocalizadas, contextualizadas e acedidas
in loco, onde aconteceram.
A interveno ComPassos com histrias conjuga, de
forma interativa, informaes e elementos trabalhados
digitalmente, com objetos e a realidade onde o utilizador se
2
7th International Conference on Digital Arts ARTECH 2015

I. Carvalho, J. Bidarra and M. Figueiredo / ComPassos com histrias

encontra: tornando o espao fsico tecnologicamente

dinmico e interativo/responsivo, explorando a ideia de
apreenso do espao urbano pela imerso e experincias
cognitivas.
Para Lefebvre technology plays a mdiating role in the
production of space [8] e atravs da Realidade
Aumentada (RA) ativada pelas coordenadas e o recurso
tecnologia mvel (smartphone/e-book interativo, entre
outros) que propomos a leitura e apreenso dessa
informao, bem como propiciar intervenes interativas
na estrutura fsica sem que a mesma seja descaracterizada.
O recurso realidade aumentada permite a imerso pela
contextualizao da informao, atravs da audio e
visualizao de memrias locais contextualizadas
temporalmente, em formato de narrativas digitais com a
durao de cerca de 2 minutos. Numa simbiose de espaos,
a
Realidade
Aumentada
(RA)
transpe
o
informacional/digital (imagens, textos, som) para o espao
fsico, complementando-se, passando a estrutura urbana a
emitir/transmitir informao digital.
O eBook interativo compila e explora as vrias narrativas
em vrios formatos: fotos, vdeos, texto e apresenta os
diferentes mapas produzidos, a maior parte por serem
dinmicos devem ser visualizados em vdeo ou online, e
permite a explorao das narrativas por via cartogrfica,
atravs de mapeamentos dinmicos, ao passar o cursor ou
dedo por cima do mapa vo surgindo as respetivas
narrativas. Os discursos dos entrevistados (habitantes e
visitantes) foram posteriormente editados em formato de
vdeo e contextualizados com imagens atuais e antigas em
formato de fotografias e postais (Fig. 1).

285

urban geography, from a biological point of view, and to

explore the urban intricate rhizome. [9] atravs deste
que se faz a visualizao/audio/ligao do espao fsico
com o espao digital das memrias locais, por forma a
permitir a ativao das narrativas pelas suas coordenadas
geogrficas.
V. Equipamento necessrio
Para a exposio de ComPassos com histrias
necessrio uma sala, com pouca luminosidade natural, para
o manuseamento do eBook interativo e respetiva projeo
(Fig. 2). Equipamento necessrio para montar a instalao:

1 Tablet
1 Videoprojetor
Colunas de Som
1 Mesa

Fig. 2 Simulao da instalao ComPassos com histrias.

VI. Concluso

Fig. 1 Imagem retirada de um dos vdeos da instalao

ComPassos com histrias.
Atravs de dispositivos comunicacionais, smartphone ou
tablet, interage-se com o eBook e explora-se os vrios
locais e percursos rastreados, podendo visualizar-se
tambm as respetivas narrativas georreferenciadas em
forma de vdeos.
O equipamento smartphone/tablet (equipado com
tecnologia GPS) fundamental para explorar () the
spaces between the different layers of reality, to redraw the

O espao urbano, socialmente construdo, associado

mdia-arte digital possui assim, inmeras potencialidades
de possibilitar e estimular experincias, vivncias,
percees
multissensoriais,
incentivar/facilitar
a
participao pblica e interaes sociais.
ComPassos com histrias tambm uma partilha de
tempo intergeracional, onde se descobrem histrias e
vivncias, registam-se momentos e partilham-se. Porque
estas vivncias no podem ser guardadas num qualquer
arquivo, necessitam de ser ouvidas e vistas, acedidas no
meio digital, atravs de um eBook interativo que lhe
permite ter essa leitura e essa visualizao em diferentes
registos: vdeos, ilustraes, fotografias, msicas, entre
outros. Mas precisam tambm de ser ouvidas in loco, como
se o espao urbano ao ser percorrido nos contasse o que por
l se tinha passado. Porque as histrias destes habitantes so

3
7th International Conference on Digital Arts ARTECH 2015

286

I. Carvalho, J. Bidarra and M. Figueiredo / ComPassos com histrias

parte importante da histria desta Vila de Caminha,

estimula-se a descoberta e partilha de narrativas
geolocalizadas, contextualizando-as e imbuindo-as no
prprio espao fsico e incentiva-se a construo e
preservao de uma memria coletiva.

Agradecimentos
Os autores gostariam de agradecer o apoio da Escola
Superior Gallaecia (ESG), especialmente turma do 4. ano
do Mestrado Integrado em Arquitetura e Urbanismo
(MIAU) 2014/2015 e ao Prof. David Viana; Escola Bsica
e Secundria de Caminha, especialmente turma do 12.C
2014/2015, ao Dr. Paulo Torres Bento e ao Dr. Fernando
Borlido; e ao Anton Tejada pela colaborao tcnica.

Referncias
[1] Santaella, Lcia. Culturas e artes do ps-humano: da cultura
das mdias cibercultura. So Paulo: Paulos. 2003.
[2] Bleecker, Julian. Locative Mdia: A Brief Bibliography And
Taxonomy Of Gps-Enabled Locative Mdia. Vol.14, n.3.
Leonardo Electronic Almanac on locative mdia. 2006. Acedido
em Agosto 4, 2014, em: http://www.leoalmanac.org/leonardoelectronic-almanac-volume-14-no-3-4-june-july-2006/
[3] Loureno, Eduardo. Ns e a Europa ou as duas razes.
Imprensa Nacional - Casa da Moeda; 4. Edio aumentada;
Coleco: Temas Portugueses. 1994, pp. 9.
[4] Loureno, Eduardo. Ns e a Europa ou as duas razes.
Imprensa Nacional - Casa da Moeda; 4. Edio aumentada;
Coleco: Temas Portugueses. 1994, pp. 11.
[5] ORourke, Karen. Walking and Mapping: Artists as
Cartographers. Cambridge, MA. MIT Press. 2013.
[6] Careri, Francesco. Walkscapes. El andar como prtica esttica.
Editorial Gustavo Gili, Sl. Barcelona. 2013.
[7] Manovich, Lev. The poetics of augmented space. Visual
Communication, 2006. pp. 220.
[8] Lefebvre, Henri. The production of space. Translated by
Donald NicholsonSmith. Oxford: Basil Blackwell. 1991.
[9] Guazzaroni, Giuliana. The ritual and the rhythm: interacting
with augmented reality, visual poetry and storytelling across the
streets of scattered LAquila. eLearning Papers, n. 34, October
2013, pp.1. Acedido em Setembro 10, 2014, em:
www.openeducationeuropa.eu/en/elearning

4
7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

287

Demora-te: Instalao sobre os txteis tradicionais

Selma Silva Pereira
Doutoranda em Mdia-Arte Digital, Universidade Aberta, Universidade do Algarve
Resumo Apresentao da proposta de uma
instalao a apresentar durante a Artech 2015. A
instalao consiste na combinao de um objeto txtil com
a arte digital, dando assim novas expresses ao txtil.
A instalao um alerta para a importncia da
preservao do patrimnio imaterial, do saber fazer os
objetos tradicionais segundo as suas tcnicas e processos de
fabrico originais, que se vo perdendo.
Palavras Chave narrativa digital, literacia,
txtil, patrimnio.

I. Introduo
O presente artigo consiste na proposta de uma
instalao de arte a apresentar durante a Artech 2015. A
instalao, composta por um artefacto txtil fsico e um
artefacto digital, e explora a relao entre a moda e a
arte digital como expresso patrimonial.
Na indstria da moda e txtil, nos ltimos anos, tem
se vindo a afirmar o movimento slow fashion, que
embora ainda se encontre em fase desenvolvimento
destaca-se pela sua oposio face a uma fast fashion
consumista e materialista.
A slow fashion defende uma moda sustentvel, de
qualidade, que respeita as tradies e as origens dos
produtos. Embora este movimento tenha uma grande
influncia em Portugal, o nosso patrimnio txtil
merecedor de uma especial ateno [1].
Dado a natureza fsica dos produtos de moda/txtil
considero importante a interao do espetador com o
objeto txtil real, contudo o artefacto digital associado
instalao permite acrescentar outros domnios ao
objeto txtil, assim como tambm permite a exibio e o
acesso a artefactos digitais em mltiplos contextos e
espaos, reais ou virtuais [2].
O ttulo da instalao Demora-te uma referncia
ao demorado e minucioso processo de produo de uma
pea txtil artesanal, falta de tempo contempornea
para aprender e usufruir dos saberes tradicionais e da
magia que os envolve: da passagem do saber de pais
para filhos, da vida em comunidade, do contacto com a
natureza, entre muitos outros fatores.
O artigo composto por uma breve contextualizao,
uma abordagem ao estado da arte e a descrio da
instalao, por ltimo a discusso e consideraes
finais, seguidas pelas referncias bibliogrficas.
II. Contextualizao
Como j foi referido, o objetivo da instalao
proposta a explorao das potencialidades geradas
7th International Conference on Digital Arts ARTECH 2015

pela relao entre txteis e a arte digital como expresso

patrimonial.
Tendo a minha formao acadmica se iniciado por
design de moda e txtil, depois histria e atualmente
mdia-arte digital, o meu trabalho criativo passa por
criar objetos de moda e txteis segundo vrias
perspetivas disciplinares. Talvez da venha o meu
interesse pela transdisciplinaridade dos artefactos de
moda.
A instalao proposta surge no seguimento de uma
vdeo-instalao, intitulada Al-Andaluz Txtil[3], que
apresentei, em Julho de 2014, numa exposio integrada
no 2 Retiro Doutoral de Mdia-Arte Digital, cujo tema
foi Poticas Digitais em Al-Mutamid. Inovao,
poesia e incluso [4].
A vdeo-instalao Al-Andaluz Txtil reuniu a
histria dos txteis islmicos do Al-Andaluz, um filme
de animao e moda. O vdeo de animao, projetado
sobre uma pea de moda, consistiu numa narrativa
inspirada em dois fragmentos de tecidos islmicos,

Imagem 1 Esquema ilustrativo da

instalao "Al-Andaluz txtil" (2014)
pertencentes um ao perodo califal e outro ao perodo
almorvida. A partir desses fragmentos de tecidos foi
criada uma narrativa onde atravs de uma viagem no
tempo os espetadores so convidados a fazer algumas
paragens, mas neste caso, no visitaro stios, locais,
mas sim tecidos, onde os elementos que ornamentam os
tecidos ganham vida [veja-se imagem 1 e 2].
A instalao proposta, tal como aconteceu na
instalao anterior, combina o objeto txtil com a arte
digital. Mas, nesta nova instalao, o objeto txtil possu
j alguma interatividade, para alm de permitir tambm

288

S. Pereira / Demora-te: Instalao sobre os txteis tradicionais

que o espetador lhe toque, observe de perto e sinta o

prprio objeto. Este artefacto fsico acompanhado por
um tablet e possui qr codes estampados no prprio
artefacto fsico (objecto txtil), atravs dos quais o
espetador convidado a interagir com uma narrativa
digital, obter mais informaes sobre o processo de
desenvolvimento dos artefactos e da instalao (o
processo de criao e produo est gravado e o registo
ser disponibilizado nesse mesmo website) [veja-se
imagem 3].
III. Estado da Arte
A moda nasce da Modernidade e tem um grande
impacto desde o incio do sculo XX [5]. Em 1979,
Gillo Dorfles considerou-a como um importante
fenmeno social e econmico, indicador do gosto de
cada poca e base esttica e crtica de um determinado
perodo histrico [6].
A era digital contempornea traz consigo a
transformao caracterstica pelo movimento sincrnico
e global das tecnologias e dos meios, da economia e da
cultura, do consumo e da esttica. Todas as conexes
com o mundo transformaram-se de forma crescente pela
multiplicidade de interfaces e ecrs que convergem,
comunicam e conectam entre si [7].
Ao mesmo tempo que a internet abre novas portas ao
consumo de moda, mudando radicalmente as noes de
produo e de consumo, difunde tambm movimentos,
como a slow fashion, que defendem a sustentabilidade, a
tica, o custo justo e o reconhecimento das economias
locais [1].
A slow fashion ganha importncia na Europa, entre
2010 e 2011, com projetos como o Urban Knitting,
Guerrilla Knitting, Yarn Bombing e Knit the City. Em
Espanha, em 2011, a slow fashion foi difundida para
consciencializar o consumo e os benefcios da l [1].
O nascimento da slow fashion est subjacente ao
movimento slow food, nascido com o desejo de
desfrutar a comida tradicional, respeitando as tradies
e as origens dos produtos base. Opondo-se fast
fashion, a slow fashion unifica as correntes eco, ticas e
verdes, mas surge estigmatizada pela baixa rentabilidade
e elevado tempo de produo [1].
A fast fashion, ao garantir a comercializao de
produtos a baixo preo, torna-se acessvel a um pblico
muito vasto, e designada como a democratizao da
moda. Contudo a slow fashion, contrria fast fashion
pela sua prpria ideologia, est imersa na
democratizao, envolvendo-se e fomentando projetos,
como Do it yourself, que no implicam
necessariamente transaes econmicas [1].
Como j afirmei anteriormente neste texto, a internet
ajudou em muito a difuso de movimentos como a slow
fashion atravs do intercmbio da informao, facilitado
pelas comunidades virtuais e das redes sociais, mas

tambm da digitalizao do ambiente fsico e do

crescente poder dos trendesetters [1].
IV. A instalao proposta
No processo criativo e de produo da instalao
dada uma maior componente conceptual e artstica. A
componente tecnolgica encarada como um meio de
dar forma ao conceito/obra e no como um fim s por
si.
A instalao est ainda em fase de desenvolvimento,
estando finalizada na data da exposio. Na fase em que
a instalao se encontra data da produo deste artigo,
est ainda a ser testada a forma como o espetador ir
interagir com o artefacto fsico, e a melhor maneira do
espetador aceder e interagir com a narrativa digital.
Requisitos tcnicos
Descrio do artefacto fsico
O objeto txtil consiste num busto de uma
personagem idosa em tecido e duas mos esculpidas em
tecido e arame. Ornamentada por elementos criados em
tecido e malha. Base em arame e materiais txteis.
A escolha de criar um busto de uma personagem
idosa deve-se ao facto de o saber fazer as artes txteis
tradicionais portuguesas um conhecimento comum
entre as pessoas idosas, sobretudo mulheres, mas
tambm um saber que poucos jovens aprendem, da
muito desse saber estar em risco de cair em
esquecimento (para alm do saber de vrias tcnicas
txteis, e no s, que j foram mesmo esquecidos). As
mos representam a importncia do trabalho manual,
que em tanto marcaram as artes tradicionais.
O objeto txtil tem qr-codes estampados que o
espectador deve descobrir para aceder e interagir com
artefacto digital. A descoberta destes elementos no
artefacto fsico, faz com que o espetador tenha de
prestar ateno ao artefacto fsico e a explor-lo.
Descrio do artefacto digital
O artefacto digital composto por um website onde o
utilizador pode aceder a:
o Narrativa digitais onde o utilizador convidado a
interagir com animaes acerca das formas
tradicionais de produo txtil portuguesas;
o Apresentao do processo criativo e produtivo dos
artefactos (fsico e digital) que compem esta
instalao [Veja-se imagem 4].

7th International Conference on Digital Arts ARTECH 2015

S. Pereira / Demora-te: Instalao sobre os txteis tradicionais

Cada qr code d acesso a uma narrativa digital, as

narrativas no obrigam a uma sequncia lgica,
permitindo um acesso aleatrio consoante descobre o qr
code.
Se o espetador optar por aceder ao artefacto digital
noutro momento, sem estar em contacto com o artefacto
fsico, poder faz-lo atravs das opes do menu da
homepage do website.
A opo por criar narrativas digitais para a instalao
por considerar que a narrativa facilita ao espetador
imergir na temtica, suscitando-lhe emoes, ao mesmo
tempo que acrescenta outros domnios criativos ao
objeto txtil.
O facto desta narrativa estar disponvel num website
faz com que qualquer utilizador, em qualquer lugar e a
qualquer momento possa aceder e usufruir da
experincia, fazendo com que o artefacto digital
sobreviva para alm do aqui e agora da instalao de
arte presencial.
O website permite tambm dar a conhecer o processo
de criao da instalao, atravs da construo de um
dirio de bordo online com textos, desenhos, fotografias
e vdeos que vo documentando e apresentando todo o
processo.
Discusso/Reflexo final
Com a era digital, tambm a moda se tornou digital.
No mudou apenas o suporte, a forma como a moda
chega at ns, como a partilhamos e como agora
podemos interagir com ela altera tambm o modo como
a percebemos.
Os artefactos digitais vieram tambm trazer novos
domnios moda e aos txteis. Elementos como a
narrativa e a msica trazem uma nova expresso e
potencialidade, mas tambm novas hipteses para o
ensino e preservao do patrimnio txtil.
Citando Thomas Campbell (2012): Vivemos numa
era de informao omnipresente e de sabedoria just as
water, mas no h nada que se compare com a
apresentao de objetos significantes numa narrativa
bem contada [8]
Referncias
[1] J. Snchez Tello e M. Martin Snchez, Slow Fashion:
digitalizacin
y
perspectivas
futuras,
Digital
development in the fashion industry: Communication,
culture and business, IX International Fashion
Conference, pp. 153-162, Navarra: Servicio de
Publicaciones de la Universidade de Navarra, 2014.
[2] M. Uhlirova, The Fashion film effect, Fashion media:
Past and present, London: Blomsburry, 2013.
[3] Removida para reviso cega.
[4] Exposio Poticas digitais em AL-Mut-amid: inovao,
poesia, incluso, integrada no 2 Retiro Doutoral de
mdia-Arte Digital, Casa da Cultura Islmica e
Mediterrnica, coordenao Universidade Aberta,
Universidade do Algarve, Julho 2014.
7th International Conference on Digital Arts ARTECH 2015

289

[5] G. Lipovetsky, O imprio do efmero, Publicaes Dom

Quixote, 1987.
[6] G. Dorfles, Moda & Modos, Edies 70, [1979] 1996.
[7] G. Lipovetsky e J. Serroy, La pantalla global. Cultura
meditica y cine en la era hipermoderna, Editorial
Anagrama, 2009.
[8] T. P. Campbell, Weaving narrative in museum galleries,
Ted.com,
2012,
disponvel
em
http://www.ted.com/talks/thomas_p_campbell_weaving_
narratives_in_museum:galleries/transcript?language=en#t
-243536, acedido a 19 de Setembro de 2014, s 14:00.

290

S. Pereira / Demora-te: Instalao sobre os txteis tradicionais

Imagem 2 Imagem ilustrativa da instalao "Al-Andaluz Txtil" (2014)

Imagem 3 Imagem ilustrativa da instalao "Demora-te"

Imagem 4 Imagem do processo de produo do artefacto fsico

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

291

Entrapment plasticity of the infinity sea

Karla Brunet and Luvebox FX (may + junix)
Artech 2015 Exhibition Art Proposal
Entrapment plasticity of the infinity sea is a video art installation that deals with the
notion of being entrapped and trying to survive, keep going. This situation is always
changing its form as the sea is always in movement and changes its state. The
images of this video were recorded on different places of the Caribbean Sea (Los
Roques in Venezuela, San Andrs in Colombia, Ulila in Honduras, Caye Amberguis
and Blue Hole in Belize), the Red Sea (around Hurghada) and the Atlantic Ocean
(Bahia, Brazil). A mosaic of the sea and personal struggles form this imaginary trip
into the underwater world.
Keywords: underwater, plasticity, video, sea, mosaic
Category: video art installation
Length: 5 minutes
Video link: http://vimeo.com/103669959

Ocean and art previews artworks

The Ocean is part of my artwork for about a decade. It is a passion, a concerned
subject, and a part of my life. An early work on this theme was Massarandupi part
of a collective exhibition Incito/Insito1 curated by Caetano Dias at Aliana Francesa
Salvador, Brazil, in 2007. It was a tetraptych of underwater photos of waves breaking
into the shore. Some people said to feel the smell of the sea with the photos. That
comment led to the creation of more immersive pieces, video and interactive
installations.
At Ecoarte2, a research and art group I coordinate at IHAC/UFBA 3, we developed
many video arte installations mixing footage of the sea around us, geographical data
of our interaction with this sea and physical data of the Ocean. One example it is the
video installation Geografias do Mar # Iemanj4 exhibited at CGAC (Centro Galego
de Arte Contempornea) in Santiago de Compostela, Spain, in 2010. This installation
was also part of the exhibition 4th State of Water at Centre of Contemporary Art in
Torun, Poland, in 2012.
Moreover, in 2010 we presented the interactive installation Geografias do Mar #
Ilhas5 at Festival Internacional de Arte em Mdias Mveis at MAM (Museu de Arte
Moderna da Bahia) in Salvador, Brazil. In this installation we worked with the
immersive status of feeling the islands on our surroundings plus some visualizations
of ocean data from the Oceanography department of UFBA.

Url: http://karlabru.net/site/exposicoes/incitoinsito-na-alianca-francesa/
Url: http://ecoarte.info/
3
Url http://www.ihac.ufba.br/
4
Url of the videos http://ecoarte.info/ecoarte/2013/01/geografias-do-mar-iemanja/
5
Url
of the installation: http://ecoarte.info/ecoarte/2013/01/geografias-do-mar-ilhas/
7th International Conference on Digital Arts ARTECH 2015
1
2

K. Brunet / Entrapment plasticity of the infinity sea

292

In 2012, we started developing a new project called Sensorium: do mar para o rio
6
(Sensorium: from the sea to the river) where we created our own sensors to sense
the environment, the sea around us and the river that flows into Baia de Todos os
Santos. With that material we created a variety of artworks, data art, interactive video
installation, data poster, photos and videos exhibited at Sensorium: Art, Science and
Technology on MAM, Salvador, in 2013.
Now, in 2014, I decided to create a more reflexive piece about the ocean. This time,
the artwork was not only about the ocean around my living place but an introspective
piece about the sea as a whole. The result was Entrapment plasticity of the
infinity sea, a video art exhibited at Arte y Ciencia en el Mar: Exploraciones
Flmicas en el Oceano at the Museo del Ferrocarril de Asturias, in Gijn, Spain.

The process
Entrapment plasticity of the infinity sea uses a variety of footage of underwater
images. I made all the videos used in this video installation in different dives in
different seas around the globe. The idea was to get the sense of being trapped in
the water, not being able to get out. Its about these situations we face in life when
we jump into the unknown and it is hard to cope, to survive and manage the new
condition. But in the end we can always handle it.

Figure 1. Frame of the video: diving board on the Caribbean Sea in San Andres and a wreck in Red
Sea.

The underwater videos dont show divers or have the National Geographic look. I
carefully selected videos that do not show images of divers with scuba equipment for
not having the feeling of a vacation dive. There are images of boys jumping out of a
diving board on San Andres Island, in the Caribbean Sea (Figure 1) blended with
wrecks on the Egyptian Red Sea. Also, there are images of an abandoned table;
chair and bottles on Los Roques underwater sea mixed with pool staged trapped
movements (Figure 2).
6

Url: Sensorium webpage http://sensorium.ecoarte.info/7th International Conference on Digital Arts ARTECH 2015

K. Brunet / Entrapment plasticity of the infinity sea

293

Wrecks and wreck-like images were the main sea underwater footage (Figure 4).
The wreck gives the feeling of something that sank and got abandoned, forgotten
there. And that is the main fear of jumping in the unknown world; it is be a wreck,
forgotten there and never able to come to live again.

Figure 2. Frame of the video: Los Roques underwater scene with pool staged scene.
Luvebox FX (may + junix) 7 created the soundtrack especially for this video piece. We
had collaborated before on different art project. They did the soundtrack for
Sensorium project and we also did a live DJ/VJ performance on NOIS[E] INVADE
Portugal8. On the Portuguese performance Luvebox did the experimental sound and
I did the visuals to go with their music. Here I send them some of the footage, told
about the context. The duo used electronic and analogical equipment to create this
experimental visual music. Their influence is on noise music and electro acoustic
experimental music.

The installation
For Artech 2015, I propose a video installation of Entrapment plasticity of the
infinity sea. The video is projected from the ceiling on circular surface, about 30cm
high (See Figure 3). The intention is to insinuate the feeling of looking at a hole into
this entrapped underwater world. It is like a hole on ice to be able to see the water or
a hole to an underwater pool bellow us. And this underwater pool is closed by a glass
surface. We can see it but we cant feel it, touch it.
In case there are no resources for the installation, a plan B can be the projection of
the video on any wall surface.

7
8

Luvebox url: http://luveboxfx.blogspot.com/

Nois[e]
Invade Portugal url: http://noiseinvadeportugal.blogspot.com.br/
7th International Conference on Digital Arts ARTECH 2015

294

K. Brunet / Entrapment plasticity of the infinity sea

Figure 3. Sketch of the installation.

Figure 4. Frame of the video: swimming on Porto da Barra beach and Artemide wreck in the Atlantic
Ocean.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

PRSENCE n.1: Escultura Sonora Interativa

Rudolfo Quintas*, Adrito Fernandes Marcos*, Mirian Tavares*
* Centro de Investigao em Artes e Comunicao, Universidade Aberta, Lisboa,
Portugal e Universidade do Algarve, Faro, Portugal
([email protected] , [email protected],[email protected] )

RESUMO:
PRSENCE uma escultura sonora interativa que implica a participao do pblico
na criao de retratos sonoros, gerados e compostos em tempo-real atravs da
presena, gestos e movimentos dos visitantes. Os visitantes entram no espao onde se
encontra a escultura e colocam uns auscultadores wireless. No momento que entraram
numa rea circunscrita desenhada no cho comeam a ouvir uma composio sonora
apercebendo-se que esse som criado pelo movimento do seu corpo. A forma como
cada pessoa se movimenta e exprime o seu corpo, mais esttico ou dinmico,
contemplativo ou expansivo, define o ritmo e particularidade do comportamento
singular de cada um que se revela atravs do som o seu retrato sonoro, ver Figura 1.
No final da participao o retrato sonoro de cada visitante gravado pelo sistema e
disponibilizado numa rede social on-line para que possa ouvir e partilhar o seu retrato.
PRSENCE uma experincia ativada pela presena do agenciamento do corpo no
espao fsico que se desdobra e perpetua no espao virtual.

A FIGURA 1: Fotos de dois visitantes a experienciar a instalao. Galeria Adamastor Studios, Lisboa 06 de
Maro 2014.

7th International Conference on Digital Arts ARTECH 2015

295

296

R. Quintas, A. Marcos and M. Tavares / PRSENCE n.1 - Escultura Sonora Interativa

I. INTRODUO
Podemos definir a Sound Art como uma prtica artstica que materializa um
pensamento artstico atravs do som. Como resultado, comum o pblico entrar num
museu, galeria de arte ou numa qualquer outra exposio, como por exemplo, uma de
arte pblica, e deparar-se com espaos onde se exibe apenas som. Do ponto de vista
da experincia cognitiva, podemos considerar que na Sound Art o artista d
privilgio ao sentido da audio, convidando o pblico a escutar e ouvir, em vez de
privilegiar o sentido da viso, onde as obras so, por norma, materializadas atravs de
formas visuais. As peas de Sound Art tm resultado, por exemplo, em: instalaes
sonoras, performances, sound walks (percursos sonoros), emisses de rdio ou
esculturas sonoras. Uma parte das obras de Sound Art so puristas, ou seja, apenas
ouvimos som sem que o pblico se aperceba onde esto as colunas, estando estas
ocultas. No entanto, muitas outras ganham forma num contexto interdisciplinar, uma
vez que o som no tangvel e como material adequa-se bem ao dilogo com outras
disciplinas, como por exemplo, na relao com a luz ou com a fotografia, ou mais
recentemente com os visuais interativos. Como termo e prtica artstica, Sound Art
consolidou-se e cresceu exponencialmente desde o final da dcada de 90,
manifestando-se atravs de vrias exposies em galerias e museus, no entanto, foi na
dcada de 60 que o termo surgiu e se afirmou [1] (Cox 2009).
II. TRABALHO RELACIONADO
Brandon Labelle [2] descreve uma nova tendncia na Sound Art relacionada com as
networks e os digital media, que na sua perspectiva, formalizam e expandem o
conceito de Relational Aesthetics como estabelecido por Nicolas Bourriaud [3] no
domnio do som. Os meios digitais, no s se refletiram no dia a dia do ser humano
em geral como tambm na criao artstica, uma vez que o computador se tornou o
estdio e a ferramenta principal da maior parte dos novos artistas, e o prprio
contexto digital, local ou em rede, social ou laboratorial, uma fonte de inspirao,
reflexo ou subverso. Esta tendncia repercutiu-se tambm na Arte Sonora como o
caso das instalaes Global Strings (1998-) de Atau Tanaka e Kasper Toeplitz, Sound
Grid (2002) de Achim Wollscheid ou a instalao sonora interativa Very Nervous
System (1986-1990) de David Rokeby, pioneira na relao de criao de msica
atravs do movimento do corpo [4] (Cooper 1995). Por sua vez, o computador como
principal ferramenta de criao impulsionou a gerao Lap-top que explorou a
capacidade do computador como ferramenta de composio e performance, artistas e
msicos como Scanner (1964), Ryoji Ikeda (1966), Carsten Nicolai (1965), @c + Lia,
Richard Chartier (1971) ou Ryoichi Kurokawa (1978, JP), partilham em comum o
mundo do minimalismo esttico e do Ps-Digital1 (Kascone 2000) [5], e o facto de
quase todos transitarem entre as salas de concertos e as galerias, demonstrando assim
que as relaes entre o mundo da msica experimental e da arte continuam presentes
nas relaes da Arte Sonora no sc. XXI.

1Termo utilizado para classificar os trabalhos que se relacionam sobretudo com a

esttica glitch.
7th International Conference on Digital Arts ARTECH 2015

R. Quintas, A. Marcos and M. Tavares / PRSENCE n.1 - Escultura Sonora Interativa

III. O ARTEFACTO PRSENCE

PRSENCE uma escultura sonora interativa que implica a participao do pblico
na criao de retratos sonoros, gerados e compostos em tempo-real atravs da
presena, gestos e movimentos dos visitantes. A escultura monoltica tem a forma de
um prisma preto que se rebate e se estende no cho atravs do desenho de contorno da
sua base, criando um espao potico demarcado por uma fronteira invisvel entre o
interior e o exterior ao lugar da ao, ver Figuras 2 e 3. um espao que se mantm
vazio e inativo at que a presena do corpo o preencha completando a composio,
ver Figuras 6.

Figura 2: Detalhe da pea - possvel observar o ambiente da sala reflectido atravs da superfcie do material.

Figura 3: Vista geral da pea onde se tem a noo de escala.

7th International Conference on Digital Arts ARTECH 2015

297

298

R. Quintas, A. Marcos and M. Tavares / PRSENCE n.1 - Escultura Sonora Interativa

Processo Sonoro e Experincia

O retrato sonoro inicia quando os participantes colocam uns auscultadores sem fios e
entram no espao delimitado pelo rebatimento desenhado no cho, passando a ouvir
uma composio sonora em funo das caractersticas e movimentos realizados pelo
seu corpo, ver Figura 4. Isto acontece porque a escultura incorpora um sensor de viso
3D que l presena do corpo dos visitantes capturando as posies tridimensionais do
esqueleto e movimento do corpo, mapeando e traduzindo a linguagem corporal para
um sintetizador sonoro, cujos sons gerados so organizados, misturados e transmitidos
para os auscultadores em tempo-real. Os auscultadores permitem que o publico na
sala contemple a ao do participante em silncio.

Figura 4: Vdeo que documenta a interaco de alguns visitantes.

https://www.youtube.com/watch?v=PMaUHHCq66U#t=42

Para PRSENCE n.1, a primeira escultura sonora da srie deste conceito, foi
estruturada uma composio de msica electrnica abstracta. A deciso da criao de
sons puramente abstractos que no fossem descritivos ou ilustrativos de um
instrumento conhecido (tais como a imitao de uma guitarra ou um piano), assim
como sons concretos tais como os do corpo, da cidade, ou objetos, recaiu pela
importncia dos visitantes no reconhecerem e identificarem qualquer referencial prconcebido. Ao deslocar o som para uma realidade abstracta foi possvel intensificar a
relao sinestsica entre som e espao.
Alguns visitantes realaram o despertar das emoo atravs da criao do som,
outros a sensao de liberdade como se estivessem num espao de som sem
gravidade, outros pela forma como o som se tornou um indutor do espao e do
movimento, outros pela forma como a abstrao do som suscita a criao de
7th International Conference on Digital Arts ARTECH 2015

R. Quintas, A. Marcos and M. Tavares / PRSENCE n.1 - Escultura Sonora Interativa

imagens mentais e pelo o sentimento de que a experincia se torna muito pessoal,

outros ainda que ao experimentarem de olhos fechados sentiram como se estivessem
num sonho, ver Figura 5.

Figura 5: Vdeo que documenta a experincia de alguns visitantes.

(https://www.youtube.com/watch?v=L-NHtyQYx0I)

Figuras 6: Fotos de varios visitantes a participar n a instalao. Galeria Adamastor Studios, Lisboa 06 de Maro

2014.

7th International Conference on Digital Arts ARTECH 2015

299

R. Quintas, A. Marcos and M. Tavares / PRSENCE n.1 - Escultura Sonora Interativa

300

Figuras 6: Fotos de varios visitantes a participar n a instalao. Galeria Adamastor Studios, Lisboa 06 de Maro

2014.

IV CONCLUSO
PRSENCE induz a expresso da singularidade, implicando a possibilidade de
explorar a modelao ou construo de uma subjetividade por via de uma
performance potencialmente constitutiva de uma performatividade.
PRSENCE atualiza a reflexo em torno do tema do retrato / auto-retrato onde o
artista no interpreta as pessoas que retrata, cria antes um contexto sensvel onde as
pessoas se auto-retratam numa dimenso que est para l da superfcie do corpo
fsico, ver Figura 5. Aqui os valores estticos e ticos dos participantes tornam-se
estruturantes como processo de participao, interao e co-criao, explorando as
potencialidades de uma nova corporeidade, da sua orgnica (bio) e da sua afectividade
(esttica).
7th International Conference on Digital Arts ARTECH 2015

R. Quintas, A. Marcos and M. Tavares / PRSENCE n.1 - Escultura Sonora Interativa

Historial da Pea
Evento: FACA exposio coletiva. Local: Galeria Adamastor Studios,
Lisboa 06 a 09 de Maro 2014.
Evento: Rudolfo Quintas em Harvard. Local: DreamSpace, Harvard
Medical School, Boston 12 a 20 Maro 2014.
REFERNCIAS
[1] Cox, Christoph (2009) Sound Art and The Sonic Unconscious . Organized Sound
14(1): 19-26 @ 2009 Cambridge University Press. Printed in the UK.
[2] LaBelle, Brandon (2006) Background noise: perspectives on sound art. Continuum
International Publishing Group. 316 pp.
[3] Nicolas Bourriaud (2002) Relational Aesthetics. Traduo Simon Pleasance e
Fronza Woods (Dijon: les presses du reel, 2002).
[4] Cascone, Kim (2000) THE AESTHETICS OF FAILURE : 'Post-Digital'
Tendencies in Contemporary Computer Music, Computer Music Journal 24:4 Winter
2000 ( MIT Press )
[5] Douglas Cooper, " Very Nervous System : Artist David Rokeby adds new
meaning to the term interactive ", Wired Issue 3.03 (Mar 1995)

7th International Conference on Digital Arts ARTECH 2015

301

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

303

ProjetoARt[In]Muzz:CotidianoMergulhado,porCarlosDonaduzzi

AndreaCapssaeGiovannaCasimiro1

A proposta expositiva ARt[In]Muzz: Cotidianos Mergulhados, por Carlos

Donaduzzi parte do projeto em experimentao, ARt[in]Muzz2. Tratase de uma
dinmica expositiva por Realidade Aumentada, que permite o estudo dos processos
interativos e sensveis, resultantes da soma de realidades e temporalidades. A RA
permite a visualizao deumobjetovirtualapartirdomundofsico,trazendoatonao
questionamento da interface e sua importncia no campo da arte computacional. Ao
mesmo tempo, evidencia a preocupao de rever a condio espacial atravs da
presenadasferramentasinterativasmveis.

Em perodo de desenvolvimento, o projeto utiliza o aplicativo gratuito LAYAR, que

permite a leitura de figurascdigo que geram as imagens digitais e contedos da
exposio. O projeto passou a ser desenvolvido em Julho de2014eestvinculados
pesquisas de mestrado das autoras pelo PPGART/UFSM, como umaextensoprtica
da investigao terica. Enquanto dinmica de RA, ARt[in]Muzz no difere da
maioria dos projetos com a mesma tecnologia. Seu contraponto est na condio de
mobilidade expositiva. O cerne do projeto est no princpio de deslocamento do
espao expositivo, possvel atravs da presena da interface computacional dotadade
um sistema de RA, que permite a visualizao de exposies bastantes em diversos
locais. Por essa razo, o projeto busca analisar a dinmica expositiva mvel, atravs
de experincias no ciclo pblico<>obra<>meio em um contexto interativo.
ARt[in]Muzz coletivo e conta com colaboradores da rea de TI, design e artes
visuais.

Equipe
Autoria: Andrea Capssa Lima
(Mestranda PPGART ArteeTecnologia)eGiovanna
Casimiro
(MestrandaPPGARTArteeTecnologia)
Webdesign e organizao de contedo: Giovanna Casimiro (Mestranda PPGART
ArteeTecnologia)

Mestrandas Programa de Ps-Graduao em Artes Visuais - Universidade Federal de Santa Maria, Rio
Grande do Sul, Brasil.
2
O nome ARt[in]Muzz remete Realidade Aumentada (ARt)
,
interatividade e condio de estar
inserido na interface e fora dela ([in]), e aluso ao som de museu (Muzz).

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

304

Colaborador Cincia da Computao: Luiz Antnio Moura Neto

(Graduando
CinciasdaComputaoInstitutoBrasileirodeTecnologiaAvanada)
ColaboradorDesign:ValriaBoelter
(MestrandaPPGARTArteeTecnologia)

MemorialdescritivotcnicoCotidianosMergulhados

ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi, rene uma srie de

fotografias subaquticas do fotgrafo brasileiro, Carlos Alberto Donaduzzi. As
imagens so resultado de sua pesquisa de Mestrado em Artes Visuais defendida em
2014.
Realizada no ambiente aqutico de uma piscina e que retrata em cada imagem
uma cena ligada ao cotidiano, muitas vezes situaes banais, se no estivessem
retratadas nointeriordeumapiscina,submersas.Cadafotografiapensada comouma
ao em acontecimento, ondesoencenadassituaescorriqueiras, deslocadasparaa
gua. A banalidade um dos pontos importantes nestas fotografias, o intuito
explorar algo que de to habitual, tornase despercebido no diaadia, mas uma vez
fora decontexto,voltaaterimportnciaeganhadestaqueatravsdaslentesatentasdo
fotgrafo contemporneo. Transportar o que comum para a gua, trabalhar com a
simplicidade de momentos que, por estarem submersos, podem levar a diferentes
interpretaes da obra, traz uma dualidade que pode ao mesmo tempo transmitir a
ideia de possibilidade e de impossibilidade, causando um certo estranhamento, o que
de fato pertinente arte na contemporaneidade. Imaginesetomandocaf,comendo
uma ma, ou at mesmo lendo um livro estando submerso em uma piscina? Sair de
suas zonas de conforto e experimentar dentro da banalidade dos atos corriqueiros, o
improvvel, o impossvel? ARt[in]Muzz, atravs das Realidade Aumentada e das
fotografias e vdeo de Carlos Donaduzzi, prope provar que, pelo vis da fico,
possvel dar novos sentidos e significados s cenas mais comuns do dia a dia do ser
humano.

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

7th International Conference on Digital Arts ARTECH 2015

305

306

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

7th International Conference on Digital Arts ARTECH 2015

307

308

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

309

A relevcia dessa proposta a complexidade conceitual presente entre a srie

fotogrficaeatecnologiadeRA.ARealidadeAumentadatrabalhaapartirdasomade
realidades. Atravs da interface interativa, ela distorce a condio do espao e do
tempo, em uma teia de realidades infinitas pela aodointerator.Essasomaviabiliza
o surgimento de uma realidade maior, hbrida e malevel. A proposta do fotgrafo

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

310

Carlos Donaduzzi parece deslocar a realidade. Suas imagens criam uma realidade
paralela,aqualestvinculadaaomundofsico(atravsdosobjetos cotidianos),porm
o questiona,deslocandoaencenaoparaaguadeformainesperada.Cadafotografia
aparenta um misto de encanto e desconforto, como se Carlos revelasse um mundo
paralelo em que simples aes cotiadianas so transformadas em grandes
performances aquticas. A proposta de ARt[in]Muzz une a condio maleveldaRA
com a realidade particular do universo de Cotidianos Mergulhados. Ainda que seja
uma proposta tcnica simples, o aprofundamento est na percepo das realidades
infinitas al construdas. O espao que recebe a exposio se torna fluido, pois age
como uma via condutora de fluxos e tem sua natureza invadida por imagens
impossveis.

A proposta interativa inclui fotografias e vdeos na construo de uma instalao

incomum, onde cada imagem acionada e visualizada por meio da Realidade
Aumentada. Logo, composta porcdigosdediferentestamanhosde20x2040x
40), que possibilitam diferentes formas de instalao: colados em diversos tipos de
superfcies (paredes, biombos, drywall, pisos) ou suspensos por fios (a disposio do
material fica a critrio dos curadores de acordo com a administrao do espao
designado para a exposio). No entanto, h uma preferncia pela aplicao dos
cdigosemsuperfciesfixas,lisaseiluminadas.

Para o seufuncionamentonecessriaumaconexode redeabertadeinternetsemfio

ou 3G. A internet wifi imprescindvel para que a ativao da realidade aumentada
ocorra atravsdoscdigosdisponibilizados,osquaissocriadosespecificamentepara
as obras "expostas" pelo ARt[in]Muzz. O dispositivo mvel celular outabletpode
ser do prprio usurio/visitante. Contudo, solicitamos que, se houver a possibilidade
de monitoramento e de disponibilizao de tablets para os visitantes, no local da
exposio,facilitaainteratividade.

InformaesTcnicas
Ficha:
Tcnica
Layar
FotografiaDigital/impressoadesiva(cdigos)
Tablets, Smartphones (Android ou IOS)/ wireless
ou3gdeconexorpida

RealidadeAumentada
Software/app
Material
Dispositivos

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

Currculoresumidodoartista/curador

AndreaCapssaLima(curadora)

Mestranda do Programa de PsGraduao em Artes Visuais/PPGART/UFSM, linha

depesquisaArteeTecnologia.BolsistaCAPES,integrantedoGrupodepesquisaArte
e Tecnologia/CNPq e do LABART Laboratrio de Pesquisa em Arte
Contempornea, TecnologiaeMdiasDigitaisdaUFSM.ArtistaVisualBacharelem
Desenho e Plstica pela Universidade Federal de Santa Maria(UFSM). reas de
interesse:histriadaarte,curadoriaearteetecnologia.

GiovannaGraziosiCasimiro(curadora/organizadora)
Mestranda Programa de PsGraduao em Artes Visuais (PPGART/UFSM), linha:
Arte e Tecnologia. Bolsista Capes/2014. Artista Visual Bacharel em Desenho e
Plstica, pela Universidade Federal de Santa Maria RS (UFSM). Integrante do
LABART Laboratrio de Pesquisa em Arte Contempornea, Tecnologia e Mdias
Digitais e do Grupo de Pesquisa Arte e Tecnologia/CNPq. Bolsista FIPE/UFSM
(2010), FAPERGS/UFSM (2011) e PIBIC/CNPq (2012). Autora do projeto
ARt[In]Muzz.reasdeinteresse:histriadaarte,curadoria,arteetecnologia.

CarlosDonaduzzi(artistaconvidado)

Professor pesquisador da Equipe Multidisciplinar da Universidade Aberta do Brasil

pertencente ao Ncleo de Tecnologia Educacional da Universidade Federal de Santa
Maria, atuando como Produtor Audiovisual. Mestre em Artes Visuais pelo Programa
de PsGraduao em Artes Visuais/PPGART/UFSM, linha de pesquisa Arte e
Tecnologia com pesquisa nas reas de fotografia e vdeo. Integrante do Grupo de
pesquisa Arte e Tecnologia/CNPq e do Laboratrio de pesquisa Labart da UFSM.
Artista Visual Bacharel em Desenho e Plstica pela UFSM. Tem experincia nas
reasdeanimao(stopmotion)efotografiacinematogrfica.

Cronogramadaexposio

Preparodocontedoeprogramaodoaplicativoemandamento
Montagem1dia
PerodoemexposiodeacordocomaprogramaodoeventoArtech2015.

7th International Conference on Digital Arts ARTECH 2015

311

312

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

RegistrosdasexposiesARt[in]Muzz2014:

9 Simpsio de Arte Contempornea: Modos Expositivos Universidade Federal de

SantaMaria/RS(agosto/2014).

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

313

4ComputerArtCongressUniversidadeFederaldoRiodeJaneiro(setembro2014).

http://artinmuzz.wordpress.com/2014/09/03/163/
(vdeos)

http://artinmuzz.wordpress.com

7th International Conference on Digital Arts ARTECH 2015

314

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

13#ART 13 Encontro Internacional de Arte e Tecnologia. Braslia, DF (Museu

Nacional da Repblica de 1 a 30 de outubro). Catlogo online:
http://medialab.ufg.br/art/wpcontent/uploads/2015/01/ecatalogo13ART_v3.pdf

Referncias

AZUMA, R.T. A Survey of Augmented Reality. Presence: Teleoperators and Virtual

Environments.6(4),Ago1997.
BEIGUELMAN,Giselle.FuturosPossveis.SoPaulo:Ed.Peirpolis,2014.
BIANCHINI, Calebe e SILVA, Luciano. Sistemas de Realidade Aumentada Mvel
Suportados por Computao em Nuvem. XVI Simpsio de Realidade Virtual e
Aumentada, realizado, Sociedade Brasileira de Computao e Centro Integrado de
ManufaturaeTecnologia,SENAIUnidadeCIMATEC.Salvador,Maiode2014.
BUYYA, R., Vecchiola, C., Selvi, S. T. Mastering CloudComputing:Foundationsand
ApplicationsProgramming.NewYork:MorganKaufmann,2013.
KAY, A. The real computer revolution hasnt happened yet. Article for theviewpoints
research institute, Glendale, Canad, junho de 2007. Disponvel em:
http://viewpointsresearch.org/html/writings.php
KIRNER, Claudio. Fundamentos e Tecnologia de Realidade Virtual e Aumentada.
PrSimpsioVIIISymposiumonVirtualRealityBelmPA,Maiode2006.
MILGRAM, Paul, KISHINO, Fumio. A Taxonomy of Mixed Reality Visual Displays.
IEICETransactionsonInformationSystems,VolE77D,No.12December1994.

7th International Conference on Digital Arts ARTECH 2015

A. Capssa and G. Casimiro / Projeto ARt[In]Muzz: Cotidiano Mergulhado, por Carlos Donaduzzi

315

OROURKE, K. Des artsreseaux aux drives programes:actualit de lart comme

experince.Habilitationdirigerdesrecherches.Paris:UniversitParis
TODESCO, Glauco. SIMBIOSE DIGITAL: ASSOCIAO ESTREITA ENTRE
HOMENS E COMPUTADORES ATRAVS DOS MEIOS ELETRNICOS
INTERATIVOS.EscolaPolitcnicadaUniversidadedeSoPaulo,2006.
WERTHEIM, Margaret. Uma Histria do Espao: de Dante Internet. Rio de Janeiro:
Ed.Zahar,2001.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

317

Selfie Museum
Srgio Eliseu, iD+, School of Fine Arts, University of Porto
Paulo Bernardino Bastos, iD+, University of Aveiro
Abstract Apresentao de um projeto artstico
exploratrio desenvolvido no mbito de uma investigao
em torno da relao existente entre tcnicas de realidade
aumentada e a produo artstica contempornea. Selfie
Museum tem como principal objetivo questionar de que
forma o tradicional objeto artstico, espao da arte e pblico
se arrolam no complexo processo de criao de memria
artstica. Para tal, explora imagens fornecidas pelos
utilizadores de um determinado espao museolgico, que
assim partilham a responsabilidade das suas escolhas ao
correlacion-las diretamente com os contedos j
existentes. O texto desenvolve uma anlise acerca das
estratgias narrativas adotadas, conceitos associados e
tcnicas incorporadas.
Index Terms Art, Augmented reality, Image
recognition, Cyberspace.

I. INTRODUO
Perante um frtil contexto, onde o potencial da
tecnologia da Realidade Aumentada (RA) se cruza com a
crescente facilidade em desenvolver ambientes
interativos imersivos com recurso a ferramentas
gratuitas, a utilizao de tcnicas de RA no campo da
produo artstica no s no atualmente uma exceo
como um espao fervoroso para a sua explorao,
questionamento e desenvolvimento de novos conceitos.
Desde pelo menos 1994, quando Julie Martin, a
esposa e colaboradora de Billy Klver, produziu aquele
que hoje considerado o primeiro projeto artstico em
RA [1] que assistimos ao emergir de um novo paradigma
na produo artstica contempornea, onde grande
nmero de artistas, procurando tirar partido do potencial
da RA, medida que foram adquirindo conhecimentos
tcnicos ou se relacionando com engenheiros
informticos (na sua maioria annimos), comearam a
utilizar esta tecnologia, dentro e fora do tradicional ateli
e do convencional museu/galeria.
Trata-se de uma tcnica cuja aplicao e abrangncia
do conceito demonstra ser um processo notavelmente
dinmico desde a sua criao tendo sido considerado
recentemente como correspondente 8 Mass Media [2],
o termo realidade aumentada remonta, porm, a 1990 e
encontra-se atribudo a Tom Claudell [3]. Nessa altura,
juntamente com David Mizell, afirmou aumentar a
realidade dos utilizadores de um sistema HMD (Head
Mounted Display) ao exibir informao digital que
permitia orientar, em tempo real, os trabalhadores de uma
fbrica de avies da companhia Boeing. Contudo, muito
antes de ser tecnicamente possvel, um conceito de RA j
surgia no livro The Master Key [4].
7th International Conference on Digital Arts ARTECH 2015

Durante a dcada de 1990, a RA foi categorizada

como uma subrea da realidade virtual [5], definindo-se
a diferena de a realidade virtual transportar o seu
utilizador para o ambiente virtual e a RA manter o
utilizador no seu ambiente fsico. Ou seja, mediante esta
tcnica, os objetos virtuais (que, podem ser ou incluir,
grficos, sons e outros estmulos sensoriais) comearam
a fazer parte do ambiente real e a ser, em funo dele,
manuseados, envolvendo o utilizador numa interao
ainda mais imersiva.
Ainda na dcada de 1990, foram definidas 3
caractersticas tcnicas fundamentais para o conceito de
realidade aumentada: 1) Combinar o real e o virtual; 2)
Interativo em tempo real; 3) Registo em 3d [6]. Contudo,
o que ilustra bem a evoluo do conceito, em 2014 Helen
Papagiannis props que se adicionasse uma 4
caracterstica: o contexto. Caracterstica essa que,
segundo a investigadora, se deve identificao de uma
mudana na forma de interao entre aquilo que era
apenas uma tecnologia para o agora considera ser uma
experincia. A primeira forma de interao, normalmente
obtida mediante viso computacional, integra-a numa
vaga de sistemas que designa por overlay, devido
sobreposio de camadas (virtual sobre o real). A
segunda forma, mais imersiva e interativa, integra-a
numa nova vaga de sistemas, entryway, onde no se
verifica uma distino entre o virtual e o real,
estabelecendo-se o mundo fsico como um interface [7].
No obstante, com as suas caractersticas prprias,
podemos afirmar que a dita primeira vaga de sistemas RA
foi ao encontro de muitas das necessidades expositivas e
da indstria do espetculo. Entre essas caractersticas
encontram-se as seguintes vantagens: melhor sensao de
imerso (a realidade virtual procura construir um mundo
virtual que visa estimular os sentidos humanos para o
mundo real. Contudo, o mundo real j se encontra na RA,
bastando apenas tentar que os objetos virtuais paream
to reais quantos os restantes objetos circundantes);
manuteno do mundo real (em muitas aplicaes o
mundo virtual pode ser alterado, por exemplo num
videojogo. Porm, em casos especficos, o mundo real
no pode ser alterado livremente, nem sofrer pequenas
alteraes, como o caso do patrimnio cultural. A RA
permite manter o mundo real como background sem que
este sofra alteraes); experincia pessoal e apelativa
para os utilizadores (a mistura de mundos virtuais com o
mundo real fornece uma experincia nova que permite
aumentar a perceo pessoal da realidade); ausncia de
necessidade de construo de ambientes virtuais
complexos (na RA apenas alguma informao artificial
sobre o ambiente e os objetos so colocados frente do

S. Eliseu and P. Bastos / Selfie Museum

318

mundo real e torna-se desnecessrio construir cenas

circundantes muito complexas) [8].
Perante este potencial, no ser de estranhar que
mltiplos projetos artsticos com recurso a RA tenham
surgido um pouco por todo o planeta e apaream cada vez
em maior nmero invadindo qualquer espao sem
necessidade de qualquer permisso. Conquanto, na sua
maioria, dentro da categoria overlay que Papagiannis
definiu para a RA e, muitas das vezes, utilizando
preferencialmente plataformas gratuitas como o Layar
[9], Junaio [10], ou Aurasma [11]. Pois so em menor
nmero os autores que desenvolvem aplicaes de raiz
e/ou as disponibilizam nos markets de cada plataforma,
devido necessidade de alguns conhecimentos de
programao ou apoios de outras instituies. Como
reflexo disso mesmo, em 16 de Junho de 2013, s a
plataforma Layar liderava com 119 projetos na categoria
de artes.
Assim, procurando contribuir para a crescente
discusso em torno da utilizao da RA no contexto das
artes plsticas, o projeto Selfie Museum abaixo
descrito define-se conceptualmente como um caso de
estudo na explorao desta tecnologia, relacionando
investigaes provenientes das reas da Arte e do Design
com as obras de pintura de uma coleo museolgica.

Fig.1. Aplicao Selfie-Museum em funcionamento.

II. O PROJETO
Ainda que a quarta parede da experincia passiva
seja ultrapassada pela interatividade, muitos dos projetos
artsticos em RA ainda utilizam o espao expositivo
tradicional, seja por associao ou subverso, como
forma de validao [12]. O mesmo sucede com Selfie
Museum. Contudo, procurando tirar partido de ambas as
abordagens, ou seja, associando e subvertendo
simultaneamente. Para tal produziu-se uma aplicao em
Unity3d [13] com recurso a bibliotecas Vuforia [14]. Esta
aplicao funcionou, durante uma primeira mostra
pblica, num espao museolgico que, como veremos
mais frente, autorizou/colaborou na sua construo e
cujas obras serviram de suporte para contedos criados
pelo prprio pblico.
Os trabalhos iniciaram-se com os seguintes objetivos:
criar uma nova forma de interagir com as obras existentes
num determinado museu/galeria; criar uma aplicao
simples que possa ser utilizada pelo pblico em geral;
verificar o grau de interao do pblico com a aplicao
RA; contribuir para uma reflexo em torno do objeto
artstico tradicional, espao da arte e papel do pblico;
servir de caso de estudo para um projeto em curso (SelfMusem) de maiores dimenses.
Em primeiro lugar procedeu-se a uma digitalizao
das obras de pintura existentes no museu e selecionaramse as imagens que melhor cumpriam a funo de
marcadores de referncia independentemente da
quantidade de luz recebida. De seguida, construiu-se a
aplicao com base em apenas duas simples opes:
Criar selfie e Visitar Museu.

Fig.2. QR code (link) da aplicao no Google play.

Fig.3. Tipo de equipamento utilizado durante a visualizao.

7th International Conference on Digital Arts ARTECH 2015

S. Eliseu and P. Bastos / Selfie Museum

A opo Criar Selfie ativa a camara frontal do

dispositivo e permite capturar uma foto que
automaticamente copiada, atravs de cdigo PHP [15]
para um servidor disponibilizado para o efeito; a opo
Visitar Museu ativa a cmara traseira do dispositivo e
inicia o reconhecimento das pinturas que servem de
suporte s imagens criadas pelos utilizadores e efetua
uma leitura do servidor, sobrepondo essas imagens
automaticamente e em tempo real s telas originais.
A aplicao pode ser reconfigurada muito facilmente
de modo a serem includos novas peas de arte
(marcadores de referncia) que permitam a utilizao da
aplicao em outros espaos artsticos. Porm, ainda no
constitui uma verso final, mas antes uma soluo
preliminar que cumpre todos os requisitos objetivados
para este primeiro estudo.
Na prtica, a aplicao recorre a marcadores fiduciais:
padres imagticos reconhecidos visualmente pelo
sistema computacional que servem como ponto de
referncia para a localizao espacial e escala das
respetivas imagens capturadas pelo pblico. Foram
utilizados 27 e correspondem ao nmero de pinturas do
museu com qualidade de referenciao suficiente para o
efeito. O utilizador pode ento livremente tirar Selfies (ou
as imagens que bem entender) e estas sero visveis
sobrepostas nas telas por qualquer utilizador da aplicao
que visite o espao. Portanto, criou-se uma aplicao
focada na promoo de uma experincia que esperamos
prxima de uma fuso entre o mundo digital e o mundo
(dito) real.
III. CONTEXTO
A primeira exibio pblica de Selfie Museum
ocorreu a partir do tema proposto pelo ICOM
(International Council of Museums) para as
comemoraes do Dia Internacional dos Museus Museus: colees criam conexes, que evocou estes
espaos como instituies vivas que ajudam a criar laos
entre visitantes, geraes e culturas em todo o mundo.
Foi o que aconteceu entre 17 e 18 de maio de 2014 no
Museu municipal prof. lvaro Viana de Lemos, na Vila
da Lous onde, para alm de outras iniciativas, visitantes
e curiosos puderam redescobrir o esplio de pintura da
Cmara Municipal da Lous atravs deste projeto
experimental.
Apesar da ausncia de um roteiro ou de instrues,
dado que apenas era fornecido um Qr code entrada do
espao que permitia instalar a aplicao em dispositivos
android, durante a apresentao estiveram disponveis
para os visitantes dois equipamentos com a aplicao
instalada, bem como a presena dos autores que
ajudavam a instalar a aplicao nos equipamentos dos
visitantes e explicavam o projeto, bem como este
funcionava. Estratgia que se revelou fundamental, uma
vez que, apesar da simplicidade de processos, poucas
foram as pessoas capazes de autonomamente instalar a
aplicao e usufruir da iniciativa (apenas 30% da amostra
que respondeu aos questionrios distribudos).
7th International Conference on Digital Arts ARTECH 2015

319

Principalmente devido a dois motivos: equipamentos

limitados (ainda que possuidores de verso android
compatvel, no tinham memria e/ou processamento
suficiente) e desconhecimento de como operar com o
equipamento (apesar de possurem um smartphone
poderoso, a maioria dos utilizadores no sabia como
instalar aplicaes e/ou no possua tarifrio com trfego
internet outra condio para o funcionamento da
aplicao na ausncia de uma rede wireless disponvel).
Dadas as caractersticas do projeto, o contato com os
trabalhos originais acabou mesmo por ser promovido,
ainda que, ironicamente, por via da explorao do ego
que o pedestal da obra clssica inevitavelmente despertou
ao permitir que as imagens dos utilizadores ocupassem o
seu lugar. Ironicamente, tambm porque foi manifesto o
confronto entre duas realidades antagnicas. Pois, ainda
que sobrepostas, de um lado, beneficivamos do mais
recente fenmeno popular de representao visual, as
Selfies (um tipo de fotografia autorretrato,
normalmente tirada com uma cmara digital ou
telemvel) [16], que remete para um ato imediato cuja
facilidade se deve exclusivamente a fatores tecnolgicos
e, no campo oposto, usufruamos formas de
representaes visuais clssicas, cujo tempo de execuo
e talento investido em nada comparvel. No final, o
fascnio tecnolgico incrementado pela rapidez de
processos, que desde que foi ultrapassada a barreira de
Doherty [17] vem otimizando e viciando os utilizadores
em dispositivos computadorizados, aumentou sem
dvida os tempos mdios de interao dos utilizadores,
to bem estudados desde Edward Robinson [18], com as
peas clssicas do museu.
Para alm do j referido, este projeto ainda se revelou
uma forma diferente e muito interessante de abordar a
conceo de museu tambm enquanto lugar mental,
projetando-nos para uma antecmara de um outro projeto
em curso onde se objetiva uma metaforizao fsica do
museu imaginrio de Andr Malraux, conceito criado a
partir do pressuposto de que a reproduo de obras de arte
atravs de fotografias promovia novas dinmicas entre o
pblico e o mundo da arte, que davam origem a um lugar
mental individual e/ou coletivo [19], que assim
configuraria aquilo que hoje podemos designar como
uma primeira forma de museu virtual.
certo que sabemos que as representaes visuais
acompanham o desenvolvimento tecnolgico e que estas
materializam o conhecimento humano a cada poca,
sendo igualmente os meios de produo de imagens
produtos e produtores a cada momento, formatando
interpretaes sobre o real e construindo uma viso do
mundo e at parte desse mundo [20]. Num contexto cada
vez mais absorvido pela imagem digital, onde reina a
hiper-realidade [21], a difuso das obras de arte iniciada
pela fotografia analgica adquiriu uma dimenso
planetria e substitui, frequentemente, o prprio contacto
direto com os originais. Atualmente, inclusive, diversos
museus disponibilizam na internet reprodues com um
nvel de detalhe difcil de observar in loco a olho nu e
chegamos a ter, em muitos dos casos, reprodues mais

S. Eliseu and P. Bastos / Selfie Museum

320

atrativas, mais perfeitas, mais reais que o real. Selfie

Museum apela, tambm por esse motivo, a uma
revisitao e a uma reinterpretao artstica de contedos
em contextos tradicionais ao confront-los com novos
significados emanantes da fuso da imagem digital com
a experincia fsica. Estratgia que se imagina, a cada
etapa, catalisadora de novas possibilidades prticas e
fonte de conhecimento novo.
IV. CONCLUSO
Com Selfie Museum esperamos ter contribudo com
mais um caso para a atual discusso onde, cada vez mais,
se confronta o virtual com o real por fora da introduo
de tcnicas de realidade aumentada na produo artstica
contempornea.
A iniciativa procurou, por outro lado, romper com o
esteretipo da dicotomia criador/espectador e no se
fixou, como se verificou, apenas num possvel olhar,
apresentando-se disponvel para aceitar diversas posturas
do pblico. Das mais passivas s mais participativas,
potenciando, por essa via, novos imaginrios e narrativas
que despertaram um refrescado envolvimento, onde a
imagem em contexto tradicional adquiriu novos
significados e excedeu a sua base material. Verificandose com especial interesse, enquanto fonte de
conhecimento, as mltiplas possibilidades que as pessoas
estabeleceram entre si, bem como com o ambiente
museolgico que as rodeava.
A aplicao desenvolvida, devido sua fiabilidade,
permitiu-nos igualmente concluir que a sua
aplicabilidade a novos projetos bastante promissora e
que, principalmente como antecmara de um outro
projeto em curso, se tratou de uma mais-valia que
possibilitou uma reavaliao de procedimentos. Entre
outros fatores, por exemplo, a constatao de uma grande
dificuldade por parte dos visitantes em utilizarem
autonomamente os seus smartphones fez-nos repensar
estratgias, levando a crer ser mais pertinente abdicar
dessa possibilidade em favor de equipamentos mais
poderosos disponibilizados pelo prprio espao
expositivo.
AGRADECIMENTOS

Os autores agradecem o convite da Dr. Patrcia Lima

(Diretora do Museu municipal prof. lvaro Viana de
Lemos) para o desenvolvimento do projeto.

REFERNCIAS

[1] Mullen, Tony, Prototyping Augmented Reality, Indiana:

John Wiley & Sons, pg.3, 2011.
[2] Ver http://tedxtalks.ted.com/video/TEDxMongKok-TomiAhonen-Augment, acedido em 23-05-2013.
[3] T. P. Caudell, D. Mizell, Augmented Reality: An
Application of Heads - Up Display Technology to Manual
Manufacturing Processes, 1992.
[4] Baum, L. Frank, The Master Key, 1901.
[5] Milgram, P., Kishino, F., A Taxonomy of Mixed Reality
Visual Displays, IEICE Transactions on Information Systems,
E77-D(12), p. 1321-1329, 1994.
[6] Azuma, R. T., A Survey of Augmented Reality. Presence:
Teleoperators and Virtual Environments 6, 4 (August 1997), pp.
355 - 385. Earlier version appeared in Course Notes #9:
Developing Advanced Virtual Reality Applications, ACM
SIGGRAPH 1995 (Los Angeles, 6-11 August 1995), 20-1 to
20-38.
[7] Ver https://augmentedstories.wordpress.com/, acedido em
1-10-2014.
[8] Huang, Yetao, Jiang, Zhiguo, Liu, Yue and Wang,
Yongtian. "Augmented Reality in Exhibition and Entertainment
for the Public" In Handbook of Augmented Reality , edited by
Borko Furht , 707-720. : Springer, pg, 708, 2011.
[9] Ver www.layar.com, acedido em 28-05-2013.
[10] Ver www.junaio.com, acedido em 28-05-2013.
[11] Ver www.aurasma.com, acedido em 28-05-2013.
[12] Garbe, Jacob, Translocated Boundaries. Leonardo
Electronic
Almanac
vol.19
n1,
So
Francisco:
Leonardo/ISAST, pp. 30-43, 2013.
[13] Ver www.unity3d.com, acedido em 28-02-2014.
[14] Ver https://developer.vuforia.com/, acedido em 28-022014.
[15] PHP um acrnimo para PHP: Hypertext Preprocessor,
uma linguagem de programao. Ver http://php.net/.
[16] Considerada a palavra internacional do ano de 2013 pelo
Oxford English Dictionary.
http://blog.oxforddictionaries.com/press-releases/oxforddictionaries-word-of-the-year-2013/, acedido em 23-10-2014.
[17] Walter J. Doherty and Ahrvind J. Thadan, The Economic
Value of Rapid Response Time, IBM Systems Journal, System
z,
z/VM,
November
1982.
Ver
http://www.vm.ibm.com/devpages/jelliott/evrrt.html acedido
em 23-12-2014.
[18] Robinson, E. S., The Behaviour of the Museum Visitor,
Washington DC, American A. of Museums, 1928. Verso
online http://files.eric.ed.gov/fulltext/ED044919.pdf
[19] Malraux, Andr, O Museu imaginrio, Lisboa: Edies 70,
2000. (1. ed. francesa, 1947).
[20] Sogabe, Milton Terumitsu, Materializao e virtualizao
nas media, Artech2010 envisioning digital spaces, pp.101-107,
2010.
[21] Baudrillard, Jean, Simulacros e Simulao, Lisboa:
Relgio d'gua, 1991.

Este autor bolseiro de doutoramento

(SFRH/BD/90237/2012) atravs da Fundao para a
Cincia e Tecnologia, Portugal.

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

321

Sopro
Fernando Fogliano, Milton Sogabe, Fabio Oliveira Nunes, Agnus Valente, Antonio Saggese,
Soraya Braz, Carolina Peres, Cleber Gazana, Letcia Nogueira Costa
Instituto de Artes UNESP, So Paulo/SP, R. Dr. Bento Teobaldo Ferraz, 271/01140-070, Brasil
Resumo Sopro uma obra interativa energizada
pelo pblico atravs do vigor de um sopro em um catavento. Esta proposta de arte baseia-se no uso de um
sistema tecnolgico simples, em uma potica do sopro e em
princpios cientficos primordiais. O sistema presente na
obra revela tambm sintonia com questes energticas e de
sustentabilidade atuais, inserindo-as no contexto da artetecnologia.
Palavras-chave arte-tecnologia, energia, sopro,
sustentabilidade.

I. ENERGIA E SOPRO
Uma das questes essenciais que se coloca na
atualidade so as nossas fontes energticas. As obras
no campo da arte-tecnologia podem incorporar de certa
maneira essa discusso e preocupao. Nesse sentido
as obras que necessitam de energia podem buscar
energias alternativas, como manifestao mais
ecolgica. nesse contexto que surge a obra, Sopro,
buscando a potica na prpria tecnologia e sua relao
com o ser humano.
Na natureza, a fora dos ventos responsvel por
vrias modificaes nos ambientes, tais como o ato de
transformar as formas de rochas por desgaste, a
movimentao de dunas em reas costeiras ou processos
de eroso; chama-se de elicos, os processos que
possuem o vento como agente geolgico. O clima e suas
variaes esto relacionados diretamente ao movimento
dos ventos, que afetam as temperaturas, produzem as
chuvas, que por sua vez transformam a natureza e a
cultura em ciclos, como um sistema vivo.
Dada a sua fora, desde muito tempo o homem vem
buscando transformar o vento em energia til, atravs
de moinhos de vento e velas em embarcaes e, mais
recentemente, por meio de aerogeradores que
produzem eletricidade. A chamada energia elica
considerada uma fonte de energia alternativa aos
combustveis fsseis e a outras formas que geram
impactos ao meio ambiente, sendo uma forma de
energia limpa.
No senso comum, o ato de soprar recorrentemente
associado gnese da vida. Diferentes culturas em suas
cosmogonias, ao explicar o surgimento do homem,
envolvem um sopro divino como ao capaz de implicar
vida ao que antes era inerte. Alm da conhecida passagem
bblica do livro de Gnesis, na qual o sopro de Deus sobre
o barro deu vida a Ado, o primeiro dos homens, h
tambm recorrncias presentes na mitologia Tupi-

7th International Conference on Digital Arts ARTECH 2015

Guarani importante cultura indgena da Amrica do Sul:

para os ndios, Tup, principal divindade, teria
soprado a vida nas formas humanas que modelou em
argila durante uma cerimnia. J na mitologia Yoruba
africana Obatal, filho direto de Olorum, o criador do
universo, foi enviado Terra, que era composta de gua
e criou as plantas, os animais e o homem: Fato
inconteste que, por fim, Obatal recebeu a incumbncia
de criar as caractersticas fsicas dos corpos que deveriam
abrigar os habitantes humanos do planeta. Com barro e
gua, Obatal confeccionou os corpos, aguardando que
Olodumare complementasse com o emi o sopro da vida
que os animaria. [1]
No contexto potico encontramos vrias referncias
ao ato do sopro. Oscar Niemeyer, arquiteto brasileiro
que viveu at os 105 anos, proferiu uma frase clebre
sobre a fugacidade da vida, atravs da metfora do
sopro, A vida um sopro, um minuto. A gente nasce,
morre. [2]. O ltimo livro de Clarice Lispector,
publicado um ano aps sua morte foi Um sopro de vida
- Pulsaes, onde encontramos diversas frases com a
palavra sopro. Procuro o sopro da palavra que d vida
aos sussurros [3].
II. ARTE E TECNOLOGIA
Na arte interativa o pblico solicitado a participar da
obra atravs de vrias formas. O corpo est presente no
somente com o olhar, mas em sua totalidade, vendo,
sentindo, pensando, e atuando num processo simultneo
e contnuo. Dentre as diversas manifestaes do corpo
humano, o sopro uma atividade no to usual, mas
muito significativo, embora para os msicos de
instrumentos de sopro, essa ao seja a essncia do seu
instrumento.
O uso do sopro em obras interativas como prtica de
interao recorrente [4]. Um dos exemplos mais
conhecidos a instalao Les Pissenlits (2006) de
Edmond Couchot e Michel Bret, que baseada em um
sistema de estmulo/resposta, convida o pblico a soprar
em um microfone tal como sopraria um dente-de-leo.
Essa ao do pblico faz com que a imagem de um
dente de leo projetada sobre uma parede, se comporte
como no real, se desfazendo e as sementes sendo
levadas pelo vento. Sobre a obra, os autores comentam:
Nossa ideia era recriar um gesto, velho como o mundo.
Quando se v essas obras, queremos reencontrar o gesto

322

F. Fogliano, M. Sogabe, F. Nunes, A. Valente, A. Saggese, S. Braz, C. Peres, C. Gazana and L. Costa / Sopro

natural de soprar. No caso, soprar uma imagem, pela

primeira vez na histria. [5].
Outra obra que tambm envolve o gesto de soprar o
trabalho Sopro 4 do grupo Super Uber: este trabalho
consiste basicamente em uma projeo de topo sobre um
cubo branco, onde vrios fragmentos parecem flutuar
aleatoriamente pelo espao plano da projeo. O sistema
de partculas se mantm inerte em seus movimentos
contnuos e aleatrios, at que, pelo menos um interator
sopre no dispositivo em forma de aro de bolha de sabo
(objeto que naturalmente associado ao sopro), que
capta o sopro atravs de um microfone [6].
H ainda Breathing de Guto Nbrega, obra criada
com base na comunicao entre um organismo natural
(planta) e um sistema artificial, tambm permite que a
interao seja uma das formas de interao com o
trabalho. Na base deste sistema encontra-se uma planta
Jibia
(Epipremnum
pinnatum)
cujos
sinais
eletrofisiolgicos so monitorados por um dispositivo
analgico-digital de maneira a controlar uma interface
robtica composta de estrutura mecnica, fibra tica e
leds (light-emitting diodes) [7]. Se o interator sopra
suavemente em direo planta, esse estmulo pode ser
percebido pelo sistema, possivelmente gerando alguma
resposta.
III. A OBRA SOPRO
A partir destas premissas o grupo [removido para
reviso cega] desenvolveu o projeto da obra artstica
Sopro (2014). Trata-se de um sistema que envolve a
participao dos interatores a partir do ato de soprar. O

sopro a fonte energtica para a ativao da obra.

Assim, a questo da energia em Sopro est presente
em vrios aspectos. A obra acontece no contexto da
referncia crise ambiental, principalmente no que diz
respeito ao surgimento das energias alternativas. Nesse
sentido o sopro, como vento, faz referencia energia
elica. A energia se inicia sendo produzida pelo prprio
corpo humano, que atravs da respirao produz o
sopro, que provoca um movimento no cata-vento
presente na obra que, atravs desse cinetismo, gira um
motor que transformado em gerador de energia
eltrica. A energia ativa um motor vibrador que produz
um movimento em uma esfera flutuante na gua,
movimentando esta e dando vida obra.
Do ponto de vista da criao, buscou-se a
possibilidade de transparecer a tecnologia na estrutura,
de forma a construir a potica, permitindo que o
interator compreenda o resultado de sua ao no
processo e ao mesmo tempo permita discutir as questes
tecnolgicas em contexto ambiental. Alguns dos
elementos envolvidos na obra:
gua: gua est presente na obra, pois um elemento
que est sempre relacionada vida. O movimento das
esferas, provocado pela vibrao do motor, produz um
movimento na gua, dando sinal de vida. Por outro lado,
a dificuldade encontrada para captar a stil
movimentao do vibrador, encontrou na gua tanto
uma soluo tcnica, como potica.
Esfera: Nesse sentido a esfera a forma adotada na
obra, como referncia s clulas, que tambm
representam vida, e energia. A estrutura da obra est
formada por um sistema de esferas, interligadas como

7th International Conference on Digital Arts ARTECH 2015

F. Fogliano, M. Sogabe, F. Nunes, A. Valente, A. Saggese, S. Braz, C. Peres, C. Gazana and L. Costa / Sopro

em uma estrutura fractal, onde a energia est presente

em cada uma, e ao mesmo tempo so todas elas que
produzem a energia da obra.
Tecnologia: O uso de um sistema tecnolgico simples,
composto por um cata-vento, um motor retirado de um
leitor de CD, DVD, e um motor vibrador de um celular
reaproveitado, so apresentados de forma visvel
propositalmente para que o pblico perceba a
simplicidade de como o sopro energiza o motor
vibrador, fazendo com que a esfera que o contm se
movimente.
Coletivo: Embora haja a possibilidade de um nico
sopro potente provocar o movimento da esfera-clula na
gua, o sopro coletivo que vai permitir mais
facilmente o seu movimento. As quatro esferas com os
cata-ventos apontam para a participao coletiva.
IV. ESPECIFICAES TCNICAS
A esfera principal da obra possui 0,50 m de dimetro.
Necessita de uma mesa com medidas aproximadas de
2,0 x 0,80 x 0,70 m (largura x profundidade x altura)
que ser utilizada como base. Ser necessrio uma
tomada para alimentar uma luminria. O trabalho ser
melhor apreciado em um ambiente de pouca
luminosidade.
REFERNCIAS
[1] E. Hass. Yorub - a tradio Ogboni-If. Disponvel
em:
<http://www.aguiadourada.com/pdf/Ogboni.pdf>.
Acesso em: 26/09/2014.
[2] I. Murray. A vida um sopro, releia entrevista de
Niemeyer

BBC
Brasil.
Disponvel
em:
<http://www.bbc.co.uk/portuguese/noticias/2012/12/1210
17_niemeyer_entrevista_2001_lk.shtml>. Acesso em:
28/09/2014.
[3] C. Lispector. Um sopro de vida Pulsaes. Editora
Nova Fronteira, 1978.
[4] R. M. Born. O sopro como dispositivo em instalaes
interativas e objetos interativos de arte tecnologia: uma
metfora sensvel dos limites do corpo e de suas relaes
com a mquina. ARTEFACTUM - Revista de estudos
das linguagens da arte e da tecnologia. Disponvel em:
<http://artefactum.rafrom.com.br/index.php/artefactum/ar
ticle/view/340/273>. Acesso em: 28/09/2014.
[5] E. Couchot. Les Pissenlits (Dentes-de-Leo). Disponvel
em: <http://edcouchot.tumblr.com/post/22177 6646/lespissenlits-dentes-de-leao>. Acesso em: 28/09/2014.
[6] Disponvel em: http://www.superuber.com.br/soproquatro-no-acervo-do-fred-jones-jr-museum-eua/. Acesso
em 28/09/2014.
[7] G.
Nobrega.
Breathing.
Disponvel
em:
<http://cargocollective.com/gutonobrega>. Acesso em:
28/09/2014.

7th International Conference on Digital Arts ARTECH 2015

323

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

325

Tempus: Interface dinmica em corpo Biociberntico

Teresa Barradas1, Jos Coelho2, Mirian Tavares3
1

Universidade Aberta, Laboratrio de Ensino a Distncia, Rua da Escola Politcnica,

141-147, 1269-001 Lisboa, [email protected]

Universidade Aberta / Laboratrio de Ensino a Distncia, Rua da Escola Politcnica,

141-147, 1269-001 Lisboa, [email protected]

Universidade do Algarve / Faculdade de Cincias Humanas e Sociais, Estrada da Penha,

8005-139 Faro, [email protected]

Resumo - No presente artigo descrevemos o

processo de criao e implementao do artefacto
digital TEMPUS. um computador vestvel
desenvolvido com o objectivo de percepcionar as
potencialidades criativas dos e-materiais quando
aplicados como matria-prima para o Design de
Moda. O Design de Interao foi suportado por testes
de explorao, programao e usabilidade de
microprocessadores,
sensores
e
actuadores,
materializados na concepo e desenvolvimento de
um vestido inteligente, que reconhece e responde a
sinais vitais de quem o usa, assinala e alerta para
valores da luz, cor, som e temperatura do meio
ambiente e expe funcionalidades interativas, que lhe
conferem uma nova expresso da identidade, o
transformam numa interface dinmica e o elegem
como uma extenso do prprio corpo.
Palavras-chave - Computadores vestveis, corpo
biociberntico, design de moda, design de interao,
materiais electrnicos.

Abstract - In this article we describe the process of

creation and implementation of digital artifact
"Tempus". It is a wearable computer developed with
the aim of perceiving the creative potential of ematerials when applied as raw material for the
Fashion Design. The Interaction Design was
supported by exploration tests, programming and
usability of microprocessors, sensors and actuators,
materialized in the design and development of a
smart dress, which recognizes and responds to vital
signs of the wearer, points and warns of the light
values , color, sound and temperature of the
environment and exposes interactive features, which
give it a new expression of identity, become a
dynamic interface and the elect as an extension of
their body.
ndex Terms Wearable computers, body
biociberntico, fashion design, interaction design,
electronic materials.

I. Introduo
O sculo XXI nasce sob a gide de uma nova
forma de expresso e comunicao, assiste-se
globalizao da electrnica porttil, aos avanos
no campo da tecnologia sem fios, em rede e
fomenta-se o uso dirio de dispositivos
electrnicos portteis. Na contemporaneidade a
cultura assume a interveno tecnolgica como
imprescindvel. A cincia apetrecha a vida de
princpios tecnolgicos que apontam para um devir
ciborgue1. A arte, na contemporaneidade combina,
mescla e apropria-se, apresenta-se ldica,
disjuntiva, ecltica e fragmentada. A arte digital
recombina
sucessivas
informaes
numa
comunicao interativa e em rede, reproduz novos
espaos de experincias estticas, vivenciadas na
arte que Andr Lemos [1] apresenta como arte
interativa e hbrida (espao, tempo e corpo), mais
sensual e intuitiva do que racional e dedutiva. o
cerne da cultura digital ou cibercultura, da cultura
da convergncia e participativa [2] que
inevitavelmente molda personalidades e invade o
nosso universo alterando o conceito de corpo,
propondo uma simbiose entre o corpo e o aparelho.
Na arte digital, a moda considerada como um meio
de expresso da identidade, influente para a
recriao do eu individual, surge sob a forma de
Computadores Vestveis que fornecem abertura
para novas reas de aplicao e proporcionam
novas oportunidades ao design de moda - usados e
controlados pelos utilizadores, so programados e
integrados na decorao ou na composio txtil -

O termo Ciborgue (cib-erntico mais org-anismo),

surge em 1960, inventado por Manfred E. Elynes
e Nathan S. Kline, para designar os sistemas
homem-mquina. Podemos considerar o conceito de
ciborgue segundo o significado real do termo ou como
trao indicativo de um certo modo de pensar.

7th International Conference on Digital Arts ARTECH 2015

326

T. Barradas, J. Coelho and M. Tavares / Tempus: Interface dinmica em corpo Biociberntico

apresentando para alm da funo de proteo, um

papel como interface entre o corpo e o ambiente. O
potencial destes computadores vestveis sustenta
profundas implicaes nas experincias do corpo e
da mente, ao nvel da comunicao, cuidados de
sade e estilo de vida. Sensores, actuadores e
microprocessadores portteis integrados em peas
de vesturio atribuem-lhes capacidades inteligentes
de interao com o utilizador e com o meio
ambiente. Sentir o utilizador, ler, responder e
alertar sobre elementos do meio ambiente
envolvente, so capacidades apresentadas e
exploradas no artefacto Tempus, para tal
recorremos a solues disponibilizadas pela
tecnologia LilyPad (Arduino) e Flora (Adafruit).
neste contexto, que desenvolvemos
a investigao em Design, focando as nossas
pesquisas
no
desenvolvimento
conceitual
e experimental dos e-materiais em interseo com
o design, a moda, a arte e a cincia. Num processo
experimental, e de aprofundamento dos
conhecimentos j adquiridos no estudo de caso
Tapete Interativo bidos/Oppidum [3] concebemos e produzimos o prottipo do artefacto
digital Tempus, descrito neste artigo. Reporta
aos sectores da Economia Criativa com enfoque
para as criaes funcionais arte, design e moda;
inclui-se na gama de produtos da Indstria
Criativa2 - resultantes do trabalho multidisciplinar
do artista/designer em colaborao com
engenheiros e artesos - produtos nicos,
produzidos em pequenas sries mas susceptveis de
serem comercializados no contexto de mercado
global. No caso concreto dos computadores
vestveis, podem ser comercializados como
solues sob medida para artistas ou desfiles de
moda [4], numa experincia de utilizao, no
como algo de melhor ou novo mas como um
computador que possvel vestir, potenciador de
um novo conceito de utilizao material e social.
A problemtica do projeto, centra-se nas
pesquisas associadas s potencialidades criativas
dos e-materiais quando
aplicados como
matria-prima para o Design da Moda, de acordo
com o que Mc. Luhan [5] preconizou, eleger os
artefactos vestveis como extenses do prprio
corpo, hoje possvel atravs da aplicao e
explorao dos e-materiais.
A significncia do trabalho, tem a ver com a
integrao de novas aplicaes multifuncionais de
valor acrescentado, resultantes da explorao de

Bens e servios referentes economia criativa:

atividades que assentam na criatividade, no talento ou na
habilidade individual, cujos produtos incorporam
propriedade intelectual e abarcam do artesanato
tradicional s complexas cadeias produtivas das
indstrias culturais.

plataformas de inovao tecnolgica, novos

processos de construo e novos pensamentos
sobre as capacidades de um corpo biociberntico
[6], que sustenta a comunicao/identidade cultural
na Ps-modernidade.
Os mtodos centraram-se na pesquisa de
tecnologias e recursos materiais existentes e forma
de os utilizar, numa perspectiva de anlise e
referenciao de txteis inteligentes e elementos
electrnicos aplicveis a materiais vestveis.
A implementao do artefacto teve como
principal objectivo combinar materiais e tcnicas
de moda com componentes electrnicos, em
suportes vestveis e refletir sobre as novas
interaes do corpo com a tecnologia microprocessadores, sensores, actuadores e txteis
inteligentes ao nvel das
funcionalidades
dinmicas. Durante o processo de criao e
desenvolvimento do artefacto Tempus que se
apresenta neste artigo, registou-se um contnuo
repassar pelas trs fases de pensamento
artstico/filosfico: a viso primordial (theoria), a
experimentao
prtica
(praxis)
e
a
construo/materializao efetiva do artefacto
(poesis) [7]-[8]. Na seco II ser dado um
enquadramento
terico,
na
seco
III,
introduz-se o projeto e na seco IV, surgem as
consideraes finais.
II. Enquadramento Terico
Ao longo dos sculos, o design de moda refletiu
a adaptabilidade sociocultural mediada pelo ato de
vestir. Observar uma sociedade por meio do design
de moda implica compreender a importncia dos
modelos de comportamento na repercusso de
novos valores e, consequentemente, nas
transformaes sociais diretamente relacionadas
com o ato de vestir. A partir da dcada de 1960, os
movimentos sociais - hippie, punk, new-wave,
rasta, ska, skinhead - e o comportamento da
juventude,
passaram
a
interferir
no
desenvolvimento dos produtos de moda. Desde
ento, as possibilidades de diferenciao compem
as colees dos designers de moda no Sculo XX
seguindo-se at atualidade onde o projeto de
moda nasce a partir da necessidade de vestir um
corpo especfico, em dilogo consonante ou
dissonante com o seu contexto sociocultural.
A transio para o sculo XXI, demarca-se por
uma revoluo tecnolgica universal, uma global
simbiose entre corpo/utilizador e mquina, que se
estende ao mundo da moda e traz consigo uma
nova conscincia corporal. Os computadores
vestveis, abrem novas oportunidades para o design
txtil, exploram novos processos de construo e
novos pensamentos sobre as capacidades do corpo.
"Les textiles fonctions actives sont des

7th International Conference on Digital Arts ARTECH 2015

T. Barradas, J. Coelho and M. Tavares / Tempus: Interface dinmica em corpo Biociberntico

ambassadeurs de valeurs visibles et invisibles. Ils

nous interrogent sur la place du high-tech dans
notre quotidien, sur les changements rels que ces
"deuximes peaux" impliquent. Ils insufflent de
nouveaux comportements cratifs qui forcent
l'optimisme" [9]. O txtil poder conter
computadores pequenos o suficiente para caber
numa fibra, reagindo e criando alteraes qumicas
ou desencadeando instrues pr-programadas
[10].
Toda a envolvncia atual insere o uso de
sistemas digitais mveis. Henry Jenkins introduz o
conceito Cultura da Convergncia [2], referindose ao fluxo de contedos que nos atingem atravs
dos suportes mediticos, salientando a cooperao
entre os mercados mediticos e o comportamento
migratrio dos pblicos pelos meios de
comunicao e defendendo que o acontecimento da
convergncia nos media, passa pelo uso e pela
relao estabelecida entre as ideias e os
suportes. Segundo o autor, a Cultura da
Convergncia, serve para caracterizar o
comportamento
do
consumidor
meditico
contemporneo, que interage com sistemas
complexos, criados para serem dominados de
forma coletiva. As habilidades adquiridas nestes
processos apresentam implicaes considerveis
no modo como aprendemos, trabalhamos e
participamos
na
sociedade.
Encontram-se
vivenciadas na ciberarte, que Andr Lemos [1]
apresenta como uma arte interativa e
hbrida (espao, tempo e corpo), tem no processo
de virtualizao, digitalizao e desmaterializao
do mundo, a sua fora e particularidade. nessa
circulao de bits que est o cerne da arte
electrnica, da cultura digital ou cibercultura, da
cultura da convergncia e da cultura participativa
que inevitavelmente est a entrar no mundo do
Design, do Artesanato e da Moda, alterando o seu
conceito primrio tradicional. Emerge uma
simbiose entre o corpo e o aparelho, dando ao
utilizador capacidades consideradas para alm do
que geralmente concebido para um ser humano.
Citando Lcia Santaella [3] No corpo
biociberntico revisitado, a tcnica apenas amplia
o nosso aparato perceptual: (...) no seu movimento
do interior para o exterior, o corpo ciberntico j
teve incio com as tecnologias mecnicas da era
industrial, cujo paradigma est patente na cmara
fotogrfica. Como extenso da viso, a cmara
aumenta o potencial desse rgo sensrio na sua
funo perceptiva-explanatria. O que
importante notar que, na sua capacidade
extensora, ao acoplar-se viso, esse tipo de
mquina dilata, amplia o corpo em direo ao
exterior .
Esta ambincia incita a inovaes na rea txtil,
ao nvel das tcnicas de fabricao e dos novos

327

processos de acabamento. Tecidos de alta

tecnologia podem dar ao vesturio o potencial de
alterar a sua forma e aparncia [11], absorver o
impacto [12], reconfigurar as superfcies e as
temperaturas [10]-[13]. A incorporao de
tecnologia porttil no vesturio, exige fontes
mveis de energia. Nesta linha de explorao esto
os tecidos fotovoltaicos, seguros para serem
usados, geram energia quando expostos luz (o
tecido Energear [14], reflete ou mantm o calor do
corpo segundo a necessidade). A eterna juventude
num corpo 100% saudvel, outra rea de
pesquisa onde txteis impregnados de vitaminas e
substncias revitalizantes [15]-[16] podem ser
usados como base para computadores vestveis.
Tudo indica que a moda vai avanar na busca de
roupas e calado permanentemente limpo
[10]-[17], txteis feitos de fibras com acabamentos
desenvolvidos
pela
nanotecnologia,
com
superfcies to estruturadas que dificilmente se lhes
adere algum tipo de sujidade [10]-[18]. A
autenticidade dos txteis e e-materiais ser
garantida com informao codificada em RFID
(Radio-Frequency Identification)3, garantindo a sua
originalidade e permitindo verificar a procedncia
do objeto comprado [10].
No limiar do sculo XXI, a problemtica
centra-se na maximizao e envolvncia de um
corpo biociberntico, que comunica e induz a
novos parmetros da cultura.
III. Introduo ao Projecto
O artefacto digital Tempus, define-se como um
computador vestvel para uso real, uma
envolvncia sensvel do utilizador, extenso do
corpo com capacidades para medir caractersticas
fsicas (movimento da mo e batimentos
cardacos), detectar e responder a alteraes do
meio ambiente que o rodeia (temperatura, luz, cor e
som). um computador vestvel sob a forma de
um
vestido,
confecionado
num
textil
contemporneo selecionado - pele artificial - cor
preta, trabalhada com tcnicas inovadoras de
recorte a laser.
Tempus, sustenta um conceito que nos remete
para os perodos, quente tempus veranus (festa,
temperatura, movimento, som, cor e alegria) e frio
tempus hibernus (brisa, luminosidade inferior,
tristeza e saudade).

A tecnologia de RFID pode criar ligaes automticas

entre contedos on-line e objetos do mundo real. As
etiquetas RFID podem ser embutidas em qualquer objeto
do mundo real, digitalizadas por dispositivos mveis e
com links a contedos online.

7th International Conference on Digital Arts ARTECH 2015

T. Barradas, J. Coelho and M. Tavares / Tempus: Interface dinmica em corpo Biociberntico

328

Delineamento do estudo conceptual:

Sensores
UV e Luz
visvel
(vestido)
Som
(vestido)
Cor
(vestido)
Temperatura
(vestido)
Acelermetro
(luva)
Batimentos
cardacos
(acessrio)

Actuadores
A proximidade de uma fonte de luz
ambiente (quente), activa um
BUZZER e a intermitncia de um
conjunto de LEDs
LEDs piscam de acordo com a
frequncia do som ambiente
LEDs adquirem a cor do
ambiente/objecto mais prximo
LEDs adquirem a cor quente ou
fria, segundo a leitura da
temperatura ambiente
Anel de NEOPIXEIS, responde ao
movimento da mo do utilizador
LEDs piscam aps batimento
cardaco; como acessrio de moda,
transmite informao ao Processing
(software) [19] que a interpreta em
grfico.

atividade resulta no desenho da mensagem global

interativa que envolve o utilizador, o espectador e
o meio ambiente. O processo de meditao esttica
e experincia humana ao nvel dos estmulos e
ateno, relaciona-se exclusivamente com a
natureza perceptiva dos vrios componentes do
artefacto atravs da forma, cor, som, textura, ritmo,
funcionalidade, imerso sensorial e inovao
tecnolgica, foras que incrementam a criao de
novos discursos estticos.
O desenvolvimento do artefacto que culmina na
concretizao do artefacto fsico final, passa pela
realizao de cenrios de uso real para
compreenso da funcionalidade dos materiais
electrnicos, para os quais utilizmos o modelo de
prototipagem em branco [20] (viso rpida onde o
desenho em papel substitudo por e-materiais
fsicos e a avaliao da usabilidade imediata e
efetiva aps a ligao de cada circuito), desenho do
esquema do circuito electrnico (em Fritzing) [21],
programao do cdigo (em Arduino) [22],
desenho dos vectores para corte a laser (em
Illustrator) [23] e corte e costura dos txteis
tradicionais e equipamentos electrnicos [24].

Figs. 2 e 3 Cenrios de uso: sensor de UV e luz visvel;

acelermetro.

Fig. 4 e 5 - Cenrios de uso: sensor de som ambiente;

sensor de batimentos cardacos.

Fig. 1. Artefacto digital TEMPUS. Legenda:

A - acelermetro; B - sensor de batimentos; C - sensor
de UV e luz; D - sensor de som ambiente; E - sensor de
temperatura; F - sensor de cor.

O desenho da narrativa de Tempus, assenta numa

sequncia cronolgica de inputs e outputs, cuja

Fig. 6 e 7 - Cenrios de uso: sensor de cor; sensor de

temperatura.

7th International Conference on Digital Arts ARTECH 2015

T. Barradas, J. Coelho and M. Tavares / Tempus: Interface dinmica em corpo Biociberntico

A exposio do artefacto justifica dois

momentos: a) numa situao de desfile de moda,
usado por um modelo humano; b) exposto num
busto de costureira, num espao interior de
3.0x3.0m, com luz difusa e regulvel. Numa
posio esttica, o artefacto pode ser ligado a um
ecr, para mostrar em Processing, o grfico dos
batimentos cardacos do utilizador.
Como exerccio esttico, os elementos da
linguagem plstica interagem com os componentes
tecnolgicos e estes com o utilizador e o ambiente.
Percebe-se pela leitura, que os elementos
estruturais - ponto, linha, textura, cor, intensidade
luminosa/sonora e outras caractersticas eminentes
nos e-materiais, funcionam como uma gramtica
visual interativa, protagonista da obra.
O desenho da base do artefacto mostra uma
composio de linhas rectas e curvas, abertas e
fechadas, interceptando-se entre si para criar
espaos circulares destinados aplicao do
material electrnico.
Apesar da democratizao da obra de
Mdia-Arte Digital, ao nvel do acesso fsico que
advm da interao com o utilizador, pblico em
geral e meio ambiente, o artefacto Tempus (ou
outro computador vestvel em que o uso depende
das medidas do utilizador), confronta-se com a
limitao de apenas poder ser usado/vestido por
utilizadores que possuam as medidas do artefacto,
a menos que durante a confeco, sejam
produzidos diferentes tamanhos do mesmo modelo.
IV. Consideraes finais
No contexto de investigao em Mdia-Arte
Digital, focando as nossas pesquisas no
desenvolvimento conceitual e experimental dos
e-materiais em interseo com o design, a moda, a
arte e a cincia, concebeu-se e implementou-se o
artefacto digital que se documenta neste artigo.
um computador vestvel4 sob a forma de vestido
inteligente, que reconhece e responde a sinais vitais
de quem o usa, assinala e alerta para valores de luz,
cor, som e temperatura do meio ambiente e expe
funcionalidades interativas, que lhe conferem uma
nova expresso de identidade e o transformam
numa interface dinmica, elegendo-o como uma
extenso do prprio corpo.
A importncia do trabalho, tem a ver com a
explorao
de
plataformas
de
inovao
tecnolgica, novos processos de construo e
novos pensamentos sobre as capacidades de um
corpo biociberntico, que sustenta a comunicao e
a identidade cultural na Ps-modernidade.

Pele artificial, cor preta, recortada a laser.

329

Os mtodos centraram-se na pesquisa de

tecnologias, recursos txteis e materiais, numa
perspectiva de anlise, referenciao e explorao
de txteis inteligentes e elementos electrnicos.
A obra de Mdia-Arte Digital Tempus, pode ser
lida como um exerccio esttico, onde os elementos
da linguagem plstica - o ponto, a linha, a textura,
a cor, a intensidade luminosa/sonora e outros interagem com os componentes tecnolgicos,
funcionando como uma gramtica visual interativa,
protagonista da obra.
Pela reflexo, percebe-se que cada sistema de
computao vestvel deve ser analisado segundo
trs eixos: o homem, o computador, e a aplicao.
O eixo humano enfatiza e define a interao entre o
corpo humano, o computador vestvel e as
funcionalidades dinmicas e ergonmicas. Ao eixo
computador cabe-lhe situaes relacionadas com a
construo do sistema, cdigo, software e interface
do utilizador. O eixo aplicao enfatiza o artefacto
digital na sua globalidade, desafios de design e
mapeamento eficiente de resoluo de problemas
relacionados com o processo de comunicao.
No limiar do sculo XXI, a problemtica
centra-se na maximizao e envolvncia de um
corpo biociberntico, projetado em matrizes de arte
e tecnologia, que apelam aos nossos sentidos e se
fundem com os nossos percursos culturais.

Referncias Bibliogrficas

[1] A. Lemos, Cibercultura: Tecnologia e vida

social na cultura contempornea, 6 Edio,
Porto Alegre: Editora Sulina, 2013.
[2] H. Jenkins, Cultura da Convergncia, So
Paulo: Editora Aleph, 2008.
[3] T. Barradas, Tapete Interactivo
bidos/Oppidum, 2014. Disponvel em:
http://eexpor.recardi.com/works/view/2965
[4] L. Berglin, Smart Textiles and Wearable
Technology - A study of smart textiles in
fashion and clothing. A report within the
Baltic Fashion Project, published by the
Swedish School of Textiles, University of
Bors. Pp.6, Novembro de 2013. Disponvel
em:http://www.hb.se/Global/THS/BalticFashi
on_rapport_Smarttextiles.pdf
[5] M. McLuhan, Compreender os Meios de
Comunicao Extenses do Homem, Lisboa:
Relgio de gua Editores, 2008.
[6] L. Santaela, Corpo e Comunicao: Sintomas
da Cultura. So Paulo: Paulus, 2004.
[7] A. F. Marcos, Instanciando mecanismos de
a/r/tografia no processo de criao em arte

7th International Conference on Digital Arts ARTECH 2015

330

T. Barradas, J. Coelho and M. Tavares / Tempus: Interface dinmica em corpo Biociberntico

digital/computacional, Invisibilidades Revista

Ibero-Americana de Pesquisa em Educao
Cultura e Artes, vol. 3, PP. 138-145, 2012.
[8] A. Marcos, P. S. Branco, & N. T. Zagalo, The
Creation process in Digital Art, I. F. B. (Ed.),
editor Handbook of Multimedia for Digital
Entertainment and Arts, New York, p. 601615,
2009.
Disponvel
em:
http://link.springer.com/chapter/10.1007%2F9
78-0-387-89024-1_27#

[19] Processing, 2001. Disponvel em:

https://processing.org/
[20] J. Arnowitz, M. Arent, N. Berger, N. Effective
Prototyping for Software Makers. Morgan
Kaufmann, Elsevier, Inc, 2007.
[21] Fritzing, Electronics made easy, 2014.
Disponvel em: http://fritzing.org/home/
[22] Arduino, 2015. Disponvel em:
http://www.arduino.cc/

[9] F. Bost, & G. Crosetto, G. Textiles,

innovations et matires actives. Paris, Groupe
Eyrolles, 2014.

[23] Adobe Illustrator CC, 2015. Disponvel em:

https://www.adobe.com/pt/products/illustrator.
html?promoid=KLXLT

[10] B. Quinn, Fashion Futures. London: Merrell

Publishers, pp.158, 2012

[24] S. Pakhchyan S. Fashioning Technology - A

diy intro to smart crafting. Sebastopol, CA:
OReilly Media, Inc, 2008.

[11] Studio Roosegaarde, Intimacy, 2011.

Disponvel em:
https://www.studioroosegaarde.net/project/inti
macy/info/
[12] D3o Impact Protection, 2015. Disponvel em:
http://www.d3o.com/materials/impactprotection/
[13] S. Seymour, Fashionable Technology Intersection of Design, Fashion, Science and
Tecnology. New York, USA: Springer Wien,
2009.
[14] D. Cobb, Ancient wisdom inspires
responsive far Infrared Fibres, Innovation in
Textiles First for Technical Textiles, 2013.
Disponvel em:
http://innovationintextiles.com/ancientwisdom-inspires-responsive-far-infraredfibres/#sthash.EpREGcX7.dpuf
[15] S. E. B Clarke, & M. OMahony, Techno
Textiles 2 - Revolutionary fabrics for fashion
and design. New York, USA:Thames &
Hundson Inc, 2007.
[16] X. Tao, Smart fibres, fabrics and clothing.
Abington Cambridge, England:Woodhead
Publishing, 2001.
[17] H. Storey, Catalytic Clothing, Centre for
Sustainable Fashion, 2011. Disponvel em:
http://sustainablefashion.com/projects/catalytic-clothing/
[18] Schoeller, NanoSphere: naturally selfcleaning, 2014. Disponvel em:
http://www.schoellertextiles.com/en/technologies/nanosphere.html

7th International Conference on Digital Arts ARTECH 2015

7th International Conference on Digital Arts ARTECH 2015

J. Bidarra, T. Ea, M. Tavares, R. Leote, L. Pimentel, E. Carvalho, M. Figueiredo (Editors)

331

uTurn
Accio Carvalho 1, 2, 3, Isabel Carvalho1, 2, 3, Jos Pinheiro1, 2, 3
([email protected]), ([email protected]), ([email protected])
1

Universidade Aberta UAb Lisboa, Portugal; 2Universidade do Algarve, Portugal

3
Centro de Investigao em Artes e Comunicao CIAC, Portugal

Abstract As Cidades servem de porto maior parte da

populao mundial. Contudo, nota-se um desajuste entre as
polticas urbanas e as necessidades dos cidados. Remete-se
a resoluo desta questo para o papel de cada um. No
entanto, o problema da ativao de uma cultura
participativa em meio urbano permanece. O artefacto
"uTurn" combina trs reas distintas artes visuais,
morfologia urbana e imagem e utiliza elementos de MdiaArte, fazendo referncia s utopias do movimento
situacionista dos anos 50. Esta coproduo estabelece um
espao cnico onde possvel recriar os registos do espao
urbano, sob forma videogrfica, manipulando e expondo
fragmentos da cultura urbana. O relacionamento entre os
elementos estabelecido atravs de software desenvolvido
para esta pea, que permite introduzir uma forma de
participao democrtica usando um modelo de votao.
Index Terms Cidade, democracia lquida, escultura,
imagem, Mdia-Arte digital, QR Code, tablet.

I. INTRODUO/CONCEITO
O artefacto "uTurn" (Fig. 1) uma coproduo de trs
autores, no mbito do Doutoramento em Mdia-Arte
Digital da Universidade Aberta / Universidade do
Algarve. Dadas as contingncias de exposio do
artefacto, o planeamento levou em conta o seu
confinamento a uma sala. Simultaneamente, tommos
como condio o uso de tecnologias cujo contexto
pudesse estar relacionado com a expresso nos Mdia da
ideia de interveno social e mudana. Refletindo sobre
o conceito de cidade como pano de fundo, os autores
debateram processos sociais urbanos, com uma
abordagem que se direcionou para uma reflexo sobre o
voto democrtico. Esta abordagem foi conseguida atravs
da tecnologia QR Code e desenvolvida por meio de
programao.
Investigmos a diversidade de possibilidades nos
setores da viso e da criatividade, desenvolvendo um
processo de combinao de trs reas, representadas por
cada um dos autores: artes visuais, morfologia urbana e
imagem. Debatendo novas possibilidades resultantes dos
novos meios mveis, introduzimos a hiptese de
questionar a cultura participativa apresentada por
Jenkins [1] atravs de um modelo que pudesse recriar um
exerccio de cidadania. O cidado urbano tem agora
ferramentas para gerar e emitir livremente informao em
tempo real, de forma isolada ou em rede, colaborando
quer com outros, quer com redes de informao
1

http://www.eer.de/decide/decide/decidophobia.html
7th International Conference on Digital Arts ARTECH 2015

institucionalizadas, podendo intervir no processo cultural

e/ou decisrio.
A artista Elke Reinhuber [2] explora a questo da
escolha e tomada de decises. A sua instalao artstica
Decidophobia 1 , serviu de mote de discusso para a
explorao desta temtica. Esta vdeo-instalao
panormica proporciona uma experincia imersiva e
introspetiva, sobre a fobia de decidir/optar/escolher e
reflete entre a predeterminao e a escolha individual.
A questo da participao pblica ativa foi debatida
pelo movimento Situacionista (1950/60). Investigmos
alguns conceitos implcitos nos processos situacionistas,
tais como i) o espao urbano como palco; ii) induo de
situaes que estimulam ou questionam a sua vivncia:
a performance, a deriva, a apropriao e explorao de
um ambiente urbano atravs da ao de locomoo sem
rumo estas poderiam ser ideias de ignio e mote para
uma possvel virtualizao. A posio situacionista
integra igualmente a deriva como forma de vivncia e
mtodo, a rutura com a racionalidade dos mapeamentos
convencionais ou o movimento como uma forma de arte,
denunciando a alienao e a passividade. A partir desta
panplia identitria, seria possvel estabelecer conexes
ao nosso universo: i) pelos diversos comportamentos
gerados num exerccio de locomoo urbana; ii) pelas
relaes entre espao urbano, a sua organizao, as
emoes, o lado comportamental ou a experincia
afetiva.
Em termos conceptuais, obtivemos pistas de Zygmunt
Bauman [3], atravs da ideia de modernidade lquida,
onde verificmos i) a diluio dos limites do espao
urbano real e virtual (o virtual imbudo no real); ii) o
quotidiano efmero e ubquo atravs do meio digital; iii)
a dificuldade da forma fluda. Investigmos contribuies
dos Mdia locativos (que associam mobilidade aos
recursos tecnolgicos relacionados com a localizao) e
outras possibilidades derivadas dos mapas como objetos,
aproveitando aqui para introduzir no artefacto solues
como a mistura grfica, a introduo de textos, desenhos,
fotografias, vdeo e udio, e interveno videogrfica
recorrendo a Ps-produo. Registmos igualmente com
interesse a temtica relativa interao explorando
Mobile Mdia, como tablets e telemveis.
No processo de criao do artefacto, as primeiras
preocupaes derivaram da compreenso da Cidade e do
facto de ao binmio espao/tempo acrescentarmos hoje a

332

A. Carvalho, I. Carvalho and J. Pinheiro / uTurn

informao (Santos [4] e Castells [5]), contexto onde as

prticas sociais dominam e moldam a sociedade em rede,
afetando as formas de sociabilizao. Um territrio
digital informacional hibridizado, onde possvel aceder
s informaes, quer do espao-lugar, quer do espao de
fluxos. O ponto omisso , semelhana do real, a
participao. As novas prticas de uso do espao urbano
originadas por artefactos digitais e processos de
localizao de redes sem fios (Lemos [6]) dirigem a
participao num sentido no decisivo da parte do
cidado, numa altura em que a acessibilidade associada
ao desenvolvimento da cartografia permite hoje (quer a
nvel individual, quer a nvel comunitrio) que se
expressem os seus pontos de vista, opinies,
interpretaes, interveno e prtica da cidadania ativa,
levando a classificar estes elementos como uma
linguagem hbrida, em convergncia com outros sectores
culturais.
Vrios investigadores (Mitchell [7], Grau [8], Santaella
[9]) analisam a tendncia de convergncia cultural entre
contedo e forma, algo que cada vez mais associamos a
termos como multidisciplinaridade, hibridizao e
cultura cut-and-paste. Este modelo est patente em
diversos aspetos da cultura urbana, sendo transversal ao
nvel da Tecnologia. Sugerimos, em trabalho anterior
(Pinheiro, [10]), enquadrar a imagtica produzida na
nossa poca atravs do termo Ps-imagem objeto
gerado/intervencionado com recurso a mecanismos
digitais que permitem uma ao cultural de criao. Na
construo do artefacto "uTurn" recorremos ao uso de
uma linguagem videogrfica, fazendo uso de registos
gravados, mas tambm a estas Ps-imagens. Analismos
com elas a fuga ao mecanicamente captado, procurando
a capacidade naturalmente disposta das mesmas gerarem
novos contextos informativos.
Neste projeto, explormos novas abordagens hbridas
do universo imagtico, vertendo sobre as buscas que j
estabelecemos os resultados de um caminho de
observao e experimentao. A visita recente ao evento
Ars Eletronica2, em Linz, ustria, trouxe-nos igualmente
a abertura a uma nova compreenso do universo da
Mdia-Arte: uma arte surgida no seio da Tcnica, onde o
conceito e a Expresso se integram, em comunho e
mtissage, sendo influenciada pelos canais ou veculos
onde se expe (A mensagem o meio, McLuhan [11]);
percebemos tambm o peso da globalizao, mas
tambm
da
identidade
local
(o
conceito
Glocalization)3.
A ideia de mapa urbano foi tambm introduzida, na
tentativa de cruzar o mapeamento e o registo documental.
Alvo de interesse geral da comunidade cientfica desde
h muitos anos, tanto instigada por intuitos militares

como pela necessidade de abordagem ao meio urbano, o

mapa funde os aspetos imagticos, a informao e a
localizao.
Na construo do artefacto, tentmos observar estes
problemas e debater solues integradoras. Do ponto de
vista da abordagem criativa, considermos a
possibilidade de explorar tcnicas de edio digital e
interveno sobre os contedos, de modo a criar linhas
narrativas. Deste ponto de vista, encontrmos problemas
de perda de identidade do local medida que nos
distancivamos do real e avanvamos no campo da
digitalizao. Em oposio, tommos conscincia de um
universo exploratrio novo, onde o sujeito e o objeto se
reencontram e misturam, atravs da viso e da
criatividade, graas inveno de novas mquinas,
como previa Flusser [12].
No contexto da produo do artefacto, explormos a
ligao a esta ideia de criao de mquinas, associando
as imagens geradas/intervencionadas e trazendo o cunho
do urbanismo/urbanidade: a interveno sobre a Cidade,
sustentada numa virtualizao da sua imagem, que
fazemos representar de modo icnico. Sendo a Cidade
um dos temas mais comuns do Cinema e da Fotografia,
tanto do ponto de vista ensasta como comercial, como
no caso do cinema de Peter Greenaway ou das imagens
de Moholy-Nagy, recolhemos tambm inspirao de
Uma Cidade de Imagens [13], livro que nos leva a
refletir sobre a Cidade imagtica.
Finalmente, a questo da interatividade. A inspirao
para o tratamento deste tpico advm do projeto Aspen
moviemap 4 (1970), produzido de modo analgico
muito antes de a Google ter introduzido o Streetview.
Olhar a cidade a partir de uma perspetiva de navegao,
esquerda/direita, permitiu introduzir um aspeto
exploratrio da navegao, instigando um lado ldico e
permitindo quebrar e misturar as diversas narrativas
flmicas. A esta ideia de navegao associmos
igualmente a votao atravs de um mecanismo
possibilitado pela tecnologia QR Code.
A escolha desta tecnologia surgiu como forma de
absoro artstica e provocao. A possibilidade de
fomentar a participao est muito prxima de ns, como
esta interveno prova: introduo de uma tecnologia
que todos conhecemos, mas relevamos, associmos uma
ideia de absoro, integrando-a na Mdia-Arte como um
mecanismo informtico de participao democrtica,
capaz de contribuir para a capacidade interventiva e
decisria do cidado indivduo numa comunidade, numa
democracia lquida defendida pelo Global Freedom
Movement 5 . A combinao do mecanismo de votao
atravs de QR Code com a navegao esquerda/direita
faz-nos olhar para o artefacto "uTurn" como uma

http://www.aec.at/center/en/
Termo originrio dos anos 80, popularizado pelo socilogo
Roland Robertson.
4 http://www.naimark.net/projects/aspen/aspen_v1.html
3

https://globalfree.wordpress.com/2011/11/06/liquiddemocrac
y/

7th International Conference on Digital Arts ARTECH 2015

A. Carvalho, I. Carvalho and J. Pinheiro / uTurn

explorao videogrfica atravs de percursos urbanos, o

que coincide com o iderio inicial.
Como unificador cnico, a presena de um objeto
escultrico que mimetiza a locomoo urbana e em si
um smbolo de urbanidade, ao mesmo tempo que acentua
e unifica o artefacto como um todo.
II. DESCRIO TCNICA
Numa sala escura assiste-se projeo de um filme numa
parede/tela (Fig. 1).

333

imagem de si, perante o desafio que lhe lanado. O

artefacto visa reinterpretar a deriva dos Situacionistas
atravs da mdia-arte digital, explorando a capacidade
performativa do espao como ativador da vivncia
urbana. O Homem T lembra-nos o universo mquina e
enquadra o ambiente urbano como cenrio, permitindonos assistir a situaes ou memrias marcadas pela
Ps-imagem e pela proliferao de meios de anotao do
local, sendo manipulados ou dirigidos pelas narrativas da
Cidade projetadas na tela (Fig. 3).

Fig. 1 - Registo fotogrfico do ensaio do artefacto "uTurn".

frente desta, posiciona-se um objeto escultrico, o

Homem T (Homem Total), constitudo por uma figura
antropomrfica extradimensional, em fibra-de-vidro
polida e pintada, e por uma bicicleta usada lembrandonos os muitos e longos caminhos, percursos geofsicos,
realizados. Este objeto escultrico constitui-se como
fragmento de uma outra realidade, pertencente a um outro
espao.

Fig. 3 - Registo fotogrfico do ensaio do artefacto "uTurn".

No pavimento dessa sala, visualizam-se mapas

animados com diversos percursos (Fig. 4).

Fig. 2 - Instalao dos 100 Homem T da autoria de 100

artistas na Avenida dos Aliados, Porto, 2009.

As caractersticas deste Homem T escultura que

pertenceu a um conjunto de cem numa instalao
promovida pelo Espao T na Avenida dos Aliados, na
Cidade do Porto (Fig. 2), e que contou com o apoio de
cem artistas constituram uma espcie de leitmotif para
uma reflexo conjunta sobre os meios e o contexto de
problemticas prximas que nos interessava abordar.
Enquanto cone assume, aqui, os grandes objetivos deste
artefacto confrontando o pblico com uma hipottica
7th International Conference on Digital Arts ARTECH 2015

Fig. 4 - Planta do artefacto

O som que se ouve o de uma bicicleta em passeio na

cidade. O filme tem apenas cerca de um minuto. Findo
este tempo, -nos pedido para votarmos atravs do nosso
telemvel/tablet. A votao processa-se com a ajuda de

334

A. Carvalho, I. Carvalho and J. Pinheiro / uTurn

um mecanismo de QR Code, atravs do qual, com o nosso

dispositivo, podemos escolher o percurso flmico;
esquerda ou direita, filme A ou filme B. A mquina
processa os votos e d-nos a conhecer o mais votado, que
visionado em seguida.
Tal como em outros processos democrticos, podemos
sempre decidir por onde vamos, mas apenas dois
caminhos maioritrios esto disponveis.
Os pontos seguintes descrevem alguns aspetos do
artefacto:
a. Interatividade - a projeo de filmes curtos de cerca
de 1 minuto entrecortada com um momento de
escolha, focado nos componentes QR Code. O
pblico vota atravs do QR Code e pode escolher o
caminho a seguir, entre 2 opes. A mais votada
prossegue;
b. Componentes o artefacto composto pelos
seguintes elementos: escultura cnica; projeo em
tela; projeo no solo; som de uma bicicleta em
cidade; elemento de software gerador de interao,
disponibilizado atravs de um computador.
c. Espao necessrio para a instalao uma sala
escura (sem janela) com pelo menos 36m2;
d. Material necessrio para instalao projetor
associado a um computador a correr o software
uTurn; segundo projetor colocado junto ao teto
com dvd; colunas de som; 2 bancos corridos para
gerar ambiente de cinema.
Os contedos videogrficos so constitudos por
blocos individuais de cerca de 1 minuto, onde se explora,
de modo artstico, os diversos conceitos abordados neste
artigo, formando um todo reflexivo que se debrua sobre
a temtica em causa.
III. NOTAS FINAIS
Nesta interveno abordmos, atravs de uma
perspetiva aberta e artstica, a importncia da Mdia-Arte
digital como instigadora de processos de reflexo sobre o
universo de questes despontadas pela urbanidade
contempornea, utilizando um processo de cocriao
gerada pelo debate e pela construo exploratria, em que
cada cocriador contribuiu com uma parcela do trabalho
final, originando um todo significativo.
Atravs de um olhar s questes urbanas, foi possvel
provocar uma reflexo sobre a cultura participativa
apoiada/facilitada por dispositivos tecnolgicos como
modo de interveno decisrio num territrio em
constante expanso e definio. Navegmos pela
virtualidade de imagens urbanas captadas e
intervencionadas. Encarmos a cidade de fluxos na sua
dimenso imagtica e procurmos combinar os valores
observados com outras noes que frequentemente
associamos ao espao pblico. Por fim, defendemos a
ideia de que a interatividade deste artefacto digital refora
a necessidade de interveno pblica: s a interveno,

atravs do mecanismo de escolha do caminho a seguir,

permite vivenciar esta experincia.
Agradecimentos
Os autores gostariam de agradecer o apoio do CIAC,
Centro de Investigao da Universidade do Algarve; da
Universidade Aberta especialmente ao Prof. Dr. Adrito
Marcos e ao Prof. Dr. Jos Bidarra; Universidade do
Algarve especialmente Prof. Dr. Mirian Tavares e ao
Prof. Dr. Mauro Figueiredo.

Referncias
[1] Jenkins, Henry (2006). Convergence culture: where old
and new Media collide. New York: New York University
[2] Reinhuber, Elke E. (2014). Decidophobia an artistic
research on the possibilities of immersive environments.
La Revista Icono 14, 12(2), 206-229.
[3] Bauman, Zygmunt (2001). Modernidade Lquida. Rio de
Janeiro, Jorge Zahar Editor
[4]Santos, Milton (1994). Tcnica, Espao, Tempo:
globalizao e meio tcnico-cientfico informacional. So
Paulo: Hucitec
[5] Castells, M. (2000). A Era da Informao: economia,
sociedade e cultura. 2 ed. S. Paulo: Edit. Paz e Terra
[6] Lemos, A. (2007). Ciberespao e Tecnologias Mveis:
processos de Territorializao e Desterritorializao na
Cibercultura. in Mdola, Ana Silvia; Arajo, Denise;
Bruno, Fernanda. (orgs), Imagem, Visibilidade e Cultura
Miditica, Porto Alegre, Editora Sulina, pp. 277-293
[7] Mitchell, W. J. (1988). The reconfigured eye: visual truth
in the post-photographic era. MIT Press. ISBN
9780262631600
[8] Grau, O. (Ed.) (2011): Imagery in the 21st Century. MITPress, Cambridge
[9] Santaella, L. (2005). Por que as comunicacoes e as artes
estao convergindo? Sao Paulo: Paulus ISBN
9788534923002
[10] Pinheiro, J. A. R. (2013). Ps-publicidade: contributo
para o estudo do registo de ps-produo fotogrfica no
domnio da publicidade. Lisboa. Universidade Aberta
[11] McLuhan, M. (2001). Understanding Media (2 ed.).
Routledge
[12] Flusser, V. (1998) Ensaio sobre a fotografia: para uma
filosofia da tcnica. Lisboa: Relgio Dgua.
[13] Campos, R; Brighenti, A. e Spinelli, L. (Eds.) (2011)
Uma Cidade de Imagens. Mundos Sociais. ISBN: 978989-8536-03-7

7th International Conference on Digital Arts ARTECH 2015