• B2B Informationen
• » Archiv
• » Wir über uns
• » Marketing
• » Statistik
• » Updates

Kunst & Kultur & Design

The Tree Sirens (Die Musen des Jenseits) (11.04.2005)

Die Musen des Jenseits (1992 bis 2005)
Originally, three robots formed the band The Three Sirens, those were Aglaopheme (slide guitar), Peisinoe (bass) und Thelxiepeia (drum). By now, a few other artificial intelligences have joined the group: Aciilyzer (Vocals), LynxArm (Percussion) and some off the shelf electronic instruments.
The Three Sirens are not conventional musical instruments but autonomous, self learning robot musicians. They are not controlled by humans. Artificial neural networks control every aspect of the robot's activities. This means that the authorship for their music does not belong to any living being (no predefined material or musical knowledge is available to the system), all musical material is generated by self organizing learning processes in an improvising manner.

Aglaopheme
As an example I will now describe one member of the band in more detail - Aglaopheme the slide guitar robot.

The Body
Aglaopheme's body is both, a robot with framework, actuators and position sensors and a musical instrument (slide guitar) with six strings, machine heads and a guitar pickup. Six solenoids are used to either dampen and release or to pluck the strings. A short piece of cable tie serves as a very durable plectrum that is moved across the strings by a linear motor to pick selected strings. The entire plectrum-drive assembly can be pulled away from the strings by a solenoid to allow the plectrum to drive to the desired strings without hitting any others. A dc motor drives a sledge up and down the guitar neck. This sledge carries the slide and a small solenoid that pushes the slide against the strings if necessary. The sledge also carries a small video camera.

Two big solenoids serve as legs to the robot. They can push up the entire framework in two different directions and thereby make the robot rock. This rocking motion also moves the whaa-whaa pedal up and down. Two more video cameras are attached to the machine. One is located at the lower end of the guitar neck. The other one is mounted on top of a leg-solenoid.

The Brains
Aglaopheme's main behaviour control is composed of six artificial neural networks that control one guitar string each. The neural nets compete in being in control of the robot's mechanics. The network that, at a given time, has the most definite answer to the current sensory input is allowed to generate a command to be sent to the robot controller.

When the robot first started playing in December 1992, the six neural network that control the machine's behaviour were randomly initialised. Today there are several different sets of networks available for different modes of operation (different speeds and tunings). All these sets are descendants of the primal neural nets from 1992. This means that the robot system now has the experience of about ten years of playing. Not constantly but regularly.

The network model used in this system is a variant of the so called Self Organizing Maps (SOM) originally introduced by Tuevo Kohonen [Ko]. A weak inhibitory mechanism was added to the network model in order to avoid excessive feedback.

The Circulation
The sounds generated by the six guitar strings are converted to electrical signals by a guitar pickup, which are then fed into a whaa-whaa pedal that is operated by the motion of the robot's body. The resulting signal then runs through a distortion effect box and an audio mixer before being digitised by a computer that performs a spectrum analysis of the guitar sounds. The resulting spectrum information is transmitted via ethernet to another computer where it serves as sensorial input to the six neural networks (see The Brains). The neural network in command now sends it's response to the robot controller where the mechanics are instructed to make a movement that will result in new sound being generated. The control loop is finally closed and the system can begin to learn by playing.

Observations
When listening to the robot's play, it soon becomes apparent that the machine has a strong preference for the blues (in the Hendrix's sense). This first seems to be surprising but by carefully studying the basic conditions of the system one may find good reasons for this observation.

First of all the tuning. For slide guitar players it is very common to use so called open tunings. This means that the strings are tuned to a chord (preferably something with maj.7 in the end), something you don't do for normal guitar playing. I have experimented with various tunings and the one that the system seems to like the most (or rather, the one where I like the system's performance most) is the chord D#maj.7. This chord clearly is a blues chord as it contains the typical blues harmony.

A second prerequisite for the system's affinity with blues is the guitar string itself. By looking at the first few harmonics in the overtone spectrum of a vibrating string one finds that the first and third harmonic (unequal the fundamental) are the fifth (=tone 5 above fundamental) and that the seventh harmonic (unequal the fundamental) is the forth (=tone 4 above fundamental). Both intervals are essential for the blues scheme. Another interesting candidate is the fourth harmonic (unequal the fundamental). This tone turns an ordinary chord into a ...major7 chord when added. This type of chord is heavily used in blues music.

The other Members of the Band

Peisinoe,
the bass player is a system very similar to the slide guitar robot described above. It is only much more simple in that it only has one string and therefore only one neural network to control it. In order to vary the pitch, the robot uses one strong solenoid to adjust the tension of the string. The machine has two mechanisms to cause vibration of the string: a motorized bow and a slapping device.

Aciilyzer,
the voice of The Three Sirens is still somewhat bodyless. Again, there is a neural network that takes audio spectrum data as sensorial input and that is in control of an sound generating device. But in case of this band-member the visual appearance of the machine is very boring.
The sound generating device is a database filled with vocal sound samples of phonemes. Recordings of my own voice were used to set up the phoneme collection. The neural network is trained by allowing it to explore the outputs of the database. In a later state of learning the vocal sounds fed into the network are mixed with, or even replaced by, audio signals from the other members of the band. Intermixing the sounds of the different instruments makes the individual systems responsive to each other. In other words: they hear each other.
The percussionists in the band are operated differently from the melodically instruments. The rhythm machines are basically just hooked up to the system update frequency. If for example the band plays at 100 bpm, and the guitar- and the bass-system perform a learning cycle every quarter note (roughly 6 analysis per second), the bass drum would make a kick once per measure. All percussion devices can be programmed to act with different repetition rates within this basic quarter note structure.

Thelxiepeia,
the drum was build around an existing rototom, a drum that was fashionable in the seventies. On this drum the player could change the pitch during playing by turning it. I motorised the rotational activity and added a mechanic drumstick.

LynxArm
is a small five axis robot arm kit that I bought during a robotic exhibition in Vienna. After assembling the kit I changed one mechanic function and attached a small camera to what originally was the gripper. I also attached some sound pickups to the framework. The robot now knows two modes of operation. It either follows directly the spectrum analysis of the guitar sounds or knocks the camera against a small wooden board at system update tempo divided by four.


The Questions
The questions I am asked most often after concerts or during exhibitions of The Three Sirens is:

1. How can it ...?
2. If it learns, what are the criteria
3. How does it know what is good and what is bad?
4. The names, where do they come from?

My answers are:

• 1. I don’t know, it simply does it.
• 2. + 3. No criteria, no predefined musical knowledge, the acoustic world is the teacher. The musical systems that we humans developed in the last couple thousand of years did not come out of thin air. It is all derived from the physical constellations of our world and of our hearing apparatus.
• 4. Greek mythology. The sirens that tried to distract Odysseus have individual names. Aglaopheme for example is one of them. The name translates "the one with the bright voice".

Vertigo - der Kletterroboter an der Glasfassade

Ein Bericht von:
Martina Haitz
Diplominformatikerin

Vertigo ist ein Kletterroboter an der Glasfassade des Zentrum für Kunst und Medientechnologie (ZKM) in Karlsruhe. Die Fassade besteht aus vertikal übereinander angeordneten, schräg stehenden Lamellen aus Glas. Der zweiachsige, durch Druckluft angetriebene Roboter bewegt sich mit Hilfe von Saugnäpfen auf deren Oberfläche fort.

Er sucht sich selbstständig neue Ziele und klettert auf diese zu. Die Saugnäpfe halten jeweils eine Achse des Kletterroboters an der Fassade, während sich die zweite Achse vor oder zurück bewegt. Die mit der Steuerung und den technischen Hauptkomponenten versehene vertikale Achse besitzt eine transluzente Hülle, die in Abhängigkeit von den Bewegungen der zwei Achsen farbig illuminiert wird.

Umsetzung: Der Roboter ist aus Komponenten von FESTO aufgebaut, die durch externe Komponenten erweitert wurden. Antriebe: Diepneumatischen Antriebe sind positionierbar und werden von einer zentralen Steuerung kontrolliert. Es handelt sich dabei um zwei Linearantriebe, deren Schlitten miteinander verbunden sind. Das so entstehende Kreuz mit den jeweils an den Stirnseiten angebrachten Beinen bestimmt die Geometrie des Roboters. Zum Abheben und Aufsetzender Beine werden zwei positionierbare Antriebe (Pneumatik-Zylinder mit Führungen) ein- und ausgefahren Beine: Jedes einzelne Bein ist mitvier Saugnäpfen, die mit Vakuumpumpen verbunden sind, versehen.Steuerung: Die Steuerung des Roboters - das 'Gehirn' - kontrolliert sämtliche Einheiten des Roboters. Sie überwacht die Positionierung der Antriebe, reagiert auf die ihr zugeleiteten Informationen der Sensoren, regelt die Beleuchtung, errechnet die Position auf der Scheibe, und steuert Vertigo somit auf seinem Weg an der Fassade.

Sensoren: Mehrere Sensoren überwachen verschiedene Zustände des Roboters. Taster an den Beinen erkennen, ob sie auf der Scheibe sitzen oder nicht; die Vakuumpumpen, die den Unterdruck für die Saugnäpfe erzeugen werden überwacht, ein Neigungssensor erkennt, ob der Roboter senkrecht auf der Scheibe sitzt, Infrarotsensoren melden, wenn die Beine die nächste Scheibe erreicht haben. Die Verbindungen der Sensoren mit der Steuerung werden durch jeweils entwickelte und programmierte Controllerschaltungen hergestellt, die selbständig die Sensordaten auswerten und das Ergebnis jeweils an die Steuerungmelden.

Vertigo wurde 2003 am ZKM entwickelt. Weitere Informationen unter www.climbing-robots.com .

Weitere Informationen:

• www.martinahaitz.de
• www.climbing-robots.com

Real_game -Pacman dient Roboter als Vorlage (18.03.2005)

Ein Bericht von:
Martina Haitz
Diplominformatikerin

Real_game ist eine Installation, die vor Ort und im Internet die Geschichte der Arcade-Spielentwicklung mit technologischer Innovation kombiniert. Pacman diente als Vorlage zu diesem Spiel, das virtuelle Elemente mit realen vermischt. Der Besucher kann am Bildschirm spielen, retten, erobern und hinterlässt dabei eine Spur außerhalb des Computers. Die Aktionen am Online-Terminal kontrollieren die Reaktionen eines Roboterinterfaces: virtuelle Charaktere und reale Roboter spiegeln durch die Bewegung innerhalb eines 25m²-Labyrinths in der Ausstellung den aus dem Netz empfangenen Input.

Umsetzung: Als Plattform wurde der mobile Roboter Arobot der Firma Arrick Robotics Inc. verwendet, bereits erweitert um eine Fernsteuerung und einem Trackingsystem (siehe Intruder). Es wurde eine Spielkonsole gebaut, auf der mehrere Tasten die Bedienung des Systems ermöglichen. Über der Installation wurde eine Kamera angebracht, die für die Positionsbestimmung des Roboters benutzt wird.

Die Software ist in verschiedene Teile gegliedert: Die Spielsoftware selbst, das Tracking sowie die Befehlsgenerierung und Übermittlung an den Roboter laufen auf einem externen Computer in der Konsole und sind in Java geschrieben, die Befehlsauswertung und deren Umsetzung sind auf der Roboterplattform in PBasic geschrieben.

Die Installation war im ZKM in der Ausstellung net_condition 2000 zu sehen.

Weitere Informationen:

www.martinahaitz.de

Intruder ist eine interaktive Umgebung (24.03.2005)

Intruder ist eineinteraktive Umgebung. Der Betrachter interagiert mit der Installation, indem er in ein geschlossenes System aus 20 autonomen mobilen Roboterneindringt. Er betritt einen kreisförmigen Raum, in dem sich alleRoboter frei bewegen. Auf sein Eindringen reagiert das System, seineBewegungen versehen die Roboter mit verschiedenen Emotionen.

Die resultierenden Bewegungsmuster entstehen durch Benutzung vonVerhaltensmustern. Es gibt keine explizite Wissensbasis und nichts istvoraus geplant und wird nur einfach ausgeführt. Jede Reaktion wirddurch die Sensordaten hervorgerufen, die von der Umwelt aufgenommenwerden: Es entsteht ein offenes System, das dynamisch reagiert.

Umsetzung: Für die Realisierung der Arbeit sollten 20 mobile Roboterentwickelt werden, die den gestellten Anforderungen gerecht wurden.Das bedeutet, sie mussten in der Lage sein, ferngesteuert durch denRaum manövriert werden zu können, dabei Informationen über diePosition, auftretende Kollisionen zu erkennen und darauf zu reagieren.Minimale Komponenten sind ein steuerbares Fahrwerk, eine Möglichkeitzur Fernsteuerung, Sensoren zur Erkennung von Kollisionen, eineOdometrie und eine Rechnereinheit, die alle Komponenten steuert. AlsBasis für die Entwicklung wurde ein Grundmodell verwendet, das zwarnicht alle gewünschten Eigenschaften besaß, aber die Möglichkeit zurErweiterung bot: der mobile Roboter ARobot der Firma Arrick Robotics.Die Steuereinheit von ARobot bildet der Controller BasicStampIISX derFirma Parallax Inc.

Hardware: Die Plattform besitzt die wesentlichen Funktionseinheitenwie Antriebsmotor, Servomotor zur Lenkung, Fühler zurKollisionserkennung etc, wurde aber um weitere wie Fernsteuerung, Kompasssensor , erweiterte Energieversorgung etc. erweitert. Desweiteren wurden mechanische Verbesserungen wie z.B. Bau eigener Fühlervorgenommen, um die Roboter in der Ausstellungssituation robuster undleistungsfähiger zu machen.

Software: Die Roboterplattform wurde in PBasic (Controller:BasicStampIISX) programmiert. Der Roboter selbst wurde als reinerAktuator gesehen, der Bewegungsbefehle empfängt und ausführt, Grundverhalten wie Befehle empfangen und ausführen, Kollisionserkennung , Lagebestimmung durch Kompass etc. wurden vomRoboter selbst ausgeführt. Der Steuerrechner, der den Großteil derIntelligenz besitzt, ist in Java programmiert. Hier sind die Robotervirtuell modelliert, sie besitzen eine Positionsbestimmung, Gedächnis, Charakter, planen die nächsten Aktionen , wählen bestimmteVerhaltensmuster aus und senden ihre Befehle an die realenRoboterplattformen.

Weitere Informationen: www.martinahaitz.de

Juke_bots - zwei Roboterlegen auf (25.03.2005)

Ein Bericht von:
Martina Haitz
Diplominformatikerin

In der Installation Juke_bots legen zwei Industrieroboter auf. Siesind umgeben von einem Magazin mit Schallplatten, woraus jeder Roboterfür sich seine Auswahl treffen und auf einem Plattenspieler abspielenkann. Ohne die Platten aus der Hand zu legen fädeln die Roboter dieseunter der Nadel es Plattenspielers ein und drehen sie in ihrer Hand.

Die Maschinen können so die Musik auf ihre charakteristische Weiseverzögern, beschleunigen, fragmentieren und verzerren. Musikstückelassen sich in industrielle Beats transformieren.

Juke_bots funktioniert als autonome Performance oder als interaktiveInstallation. Über ein Pult können Zuhörer Wünsche zur Plattenwahl undzum Scratchstil an die beiden Maschinenkünstler richten. EinGeldeinwurf lässt die Roboter eigene Kompositionen spielen.

Juke_bots ist eine Installation von www.robotlab.de.

Zone - eine Mensch-Maschine Performance

Ein Bericht von:
Martina Haitz
Diplominformatikerin

Zone ist eine Mensch-Maschine Performance, die in Kooperation von robotlab und dem Choreographen Pablo Ventura entwickelt wurde. Pablo Ventura ist Leiter der Ventura Dance Company in Zürich und bekannt für seine Performances im Grenzbereich von Tanz und digitalen Medien.

In der etwa einstündigen Performance Zone sind zwei KR 15/2Industrieroboter und sechs menschliche Tänzer beteiligt. Das bewegte Geschehen wird durch Videos der Schweizer Künstlergruppe tenteki und durch live eingemischte lokale Kamerabilder unterstützt.

In der ersten Dreiviertelstunde beherrschen die Tänzer das Bewegungsgeschehen. Die Maschinen agieren dabei im Hintergrund mit großen verspiegelten Rauten, mit welchen sie sich teilweise verdecken.Die Flächen werden von den Robotern im Zeitlupentempo so im Raum verschoben, dass unterschiedliche geometrische Konfigurationen entstehen. In der letzten Viertelstunde entwickeln die Roboter eine verstärkte Eigendynamik. Sie legen ihre bisherigen Werkzeuge nieder und greifen zu Leuchtobjekten, mit denen sie ihre folgenden, immer intensiveren Aktivitäten betonen. Tänzer und Roboter sind nun stark aufeinander bezogen. Dabei bewegen sich die Roboter zunächst synchron, individualisieren sich dann um erneut in ihren Bewegungen zusammenzufinden.

Die tänzerischen Choreographien wurden von Pablo Ventura im3D-Animationsprogramm Life Forms 3.9 entworfen. Diese wurden am Bildschirm von den Tänzern einstudiert. Auf diese Weise werden die menschlichen Tänzer ähnlich programmiert, wie auch die Bewegungsprogramme der Roboter aus 3D-Animationen generiert wurden.Der digitale Entwurf im virtuellen Raum bleibt daher für die Bewegungen im realen Raum bestimmend. Die aufwendige Produktion dauerte insgesamt über ein dreiviertel Jahr und fand parallel im ZKM, Zentrum für Kunst und Medientechnologie Karlsruhe, und im Tanzhaus Wasserwerk in Zürich statt.

Zone ist eine Installation von www.robotlab.de.

Autoportrait - Portraitzeichnungen aus der Hand eines Roboters (26.03.2005)

Ein Bericht von:
Martina Haitz
Diplominformatikerin

Portraitzeichnungen aus der Hand eines Roboters.

Ein Roboter porträtiert im Museum Menschen. Mit einem Stift in der Hand bietet er seinen ungewöhnlichen Dienst an. Vor ihm befindet sich ein Zeichenbrett und für das Modell steht ein Hocker bereit.

Sobald ein Besucher Platz nimmt, beginnt der Roboter sein Werk. Mit Kamerablicken erfasst der Maschinenkünstler das Gesicht und erstellt mit geschickt anmutenden Handbewegungen ein gezeichnetes Abbild der Person.

Das Ergebnis ist individuell und nicht vorhersehbar. Die handwerklichen Fähigkeiten des Roboters und seine Möglichkeiten die charakteristischen Merkmale eines menschlichen Gesichts zu erkennen prägen den ihm eigenen, typischen Zeichenstil.

Nach dem Zeichenvorgang wischt der Roboter seine Zeichnung eigenhändig wieder aus. Gleichgültig hinterlässt die Maschine kein Erinnerungsbild von der Person, die ihm gegenüber saß und nun dem Löschprozess seines eigenen Abbildes beiwohnt.

In Autoportrait stehen Maschine und Besucher im Verhältnis von Portraitierendem und Modell, von Künstler und Auftraggeber. Derkreative Akt liegt hier bei der Maschine, jedoch ist ihre abbildende Funktion selbst Abbild menschlicher Kreativität.

Empathizer (to empathize = einfühlen) (26.03.2005)

Ein Bericht von:Martina Haitz Diplominformatikerin

Die Installation Empathizer (to empathize = einfühlen) bietet die Möglichkeit eine extreme Mensch-Maschine Kopplung zu erleben. In der laborartigen Installation erhält der Benutzer ein Gehirninterface und wird so mit zwei Industrierobotern vom Typ KUKA KR 15/2 verbunden.

Gehirnspannungen werden mit einem EEG-Gerät gemessen, analysiert und als Daten der Robotersteuerung zugeführt. Das Bild der Gehirnsignale wird auf die Roboter projiziert. Die Roboter bilden die Gehirndaten ab und vollziehen immer neue, individuelle Bewegungen - Interaktion ohne physische Aktion der Benutzer.

Die Interaktionsmöglichkeit zwischen dem Gehirn eines Benutzers und den Maschinen lassen diese zu seinem erweiterten Körper und das Gehirn zum Teil des Steuerprogramms der Maschinen werden. Erfährt der Benutzer eine Körpererweiterung durch die Roboter oder empfindet erein Unwohlsein, weil die Integrität seiner geistigen Aktivitäten durch die Technik gestört wird?

Eempathizer ist eine Installation von www.robotlab.de.

Profiler - Collagen menschlicher Umrisse (26.03.2005)

Ein Bericht von:
Martina Haitz
Diplominformatikerin

Collagen menschlicher Umrisse

Der Roboter in der Installation Profiler erzeugt Portraits von Besuchern in Form von Umrisszeichnungen und ordnet sie in kompositionelle Zusammenhänge. Hat ein Ausstellungsbesucher die Bühne vor einer weißen Hintergrundwand betreten, erkennt dies der Roboter, fährt in Aufnahmeposition und erfasst die menschliche Figur mit seiner Videokamera. Der Computer verarbeitet das aufgenommene Bild, verwandelt es in Linienzüge und der Roboter führt dann mit wenigen Strichen die Zeichnung auf der emaillierten großformatigen Zeichentafel aus.

Die Anordnung der Zeichnungen durch Profiler erfolgt nach einem eigenen Kompositionsprinzip. Der Roboter hat einen durch seine Anatomie begrenzten Arbeitsraum, der sich in der Tafelebene nierenförmig abbildet. Diese für ihn erreichbare Fläche wurde in 16 fest definierte Rechtecke segmentiert, die sich überlagern. Nach und nach werden 13 Umrisszeichnungen von Besuchern zufällig in verschiedene Rechtecke verteilt. Drei Rechtecke bleiben stets leer. Innerhalb eines Rechtecks kann die Zeichnung, ebenfalls durch den Zufall bestimmt, eine von fünf möglichen Positionen einnehmen: in einer der vier Ecken oder im Zentrum. Durch die Kombination von Systematik, Zufall und Auslassung entstehen auf der Tafel unvorhersehbare Anordnungen mit Vereinzelungen, Gruppierungen und Überschneidungen.

Profiler ist eine Installation von www.robotlab.de.