İkinci kısımda ise birinci kere izlediğim bir tecrübe yaşadık, bunu da Atakan Kızıltan’a borçluyuz. Galatasaray Lisesi, Üniversitesi ve Sorbonne iktisat mezunu Kızıltan, İTÜ’de de big veri yüksek lisansı yapmış. Hala data ile yapay zekâ modellemeleri yapıyor. Müzikten iktisata ne orta geçtik derseniz anlatıyorum. Atakan bu bilgi ve yetilerini müzikle birleştiriyor. Orkestrayı dinlerken gerideki ekranda da bir görsel gösteri izliyoruz. Nasıl ve niçin olduğunu kendisinden dinleyelim:
- Böyle bir çalışma yapmaya nasıl karar verdiniz?
Üniversiteden beri data ve bilgi bilimiyle ilgileniyorum. Hepimizin her daim hayatında olan datayı sanatla birleştirme fikri ideolojiye olan merakımdan ortaya çıktı. Sanat ideolojisi ve estetik üzerine yaptığım okumalar sonucunda sanatın tarifini yaparken yeni sorular sorulması gerektiğini hissettim. Tüm çalışmalarım bir soruyla başladı: “Yapay zekâ sanat yapabilir mi?”
İlk çalışmalarımda beni etkileyen filozof ve kanılarını bilgilerle oluşturduğum fotoğraflarla tasvir ettim. Bu tasvirleri ve öykülerini Beylikdüzü Atatürk Kültür Merkezi’nde “Datoptikon” isimli ferdî standımda sergiledim. Amerikalı ressam Jean-Michel Basquiat’nın yapıtlarını incelerken Basquiat’nın net ve baskın usulünü yapay zekâya öğretmeye çalıştım. Yapay zekânın fotoğraflarla neler yapabildiğini gördükten sonra bir senfoni orkestrasının gerisinde müziğin hissettirdiği görsellere uyumlu fotoğraflar çizen ve bu fotoğrafları müziğe uyumlu bir halde değiştiren bir algoritma hayal ettim ve bunun üzerine çalıştım. Yaptığım çalışmaları ve hayalimi CRR Sanat Direktörü ve orkestra şefi Murat Cem Orhan ile paylaştım. Kendisinin sanata olan tutkusu ve yeniliğe açık fikirleriyle birlikte M. Mussorgsky’nin “Bir Sergiden Tablolar” yapıtını yapay zekânın ellerine bıraktık.
(Orkestra çalarken müzikle senkron olarak ekrandan geçen fotoğraflar değişiyor, bunları yapay zekâ seçiyor ve orkestra her çaldığında farklı bir fotoğraf seçeceği için şov “eşsiz” oluyor.)
EĞİTMESİ GÜNLER SÜRÜYOR
- Fotoğraf seçimi ve depolama ne kadar sürdü?
Resimleri Mussorgsky’nin yapıtındaki kesimlere uygun olarak seçtim. Örneğin yapıttaki “Bydlo” modülünde öküzlerin çektiği kağnıyı tasvir edebilmek için ressamlarca çizilmiş on binlerce hayvan fotoğraflarını seçtim. Birebir formda Mussorgsky’nin Samuel ve Schmuyle’nin öyküsünü anlattığı kesimde daha evvelce çizilmiş insan portreleri seçtim. Yapay zekâyı, yazdığım algoritmayla her kesim için başka farklı seçilen fotoğraflarla eğittim. Günler süren eğitim sürecinden sonra on binlerce hayvan fotoğraflarıyla eğitilen yapay zekâ daha evvel hiçbir yerde olmayan yeni hayvan fotoğrafları üretmeye başladı. Tıpkı biçimde insan portreleri yahut kent görünümleri ile eğitilen yapay zekâ, günler süren eğitim süreci sonunda insan portreleri ve kent görüntüleri üretti. CRR Senfoni Orkestrası ile yaptığımız ortak proje öncesindeki çalışmalarımla birlikte fotoğrafların toplanması, algoritmaların yazılması ve yapay zekanın eğitim süreci yaklaşık üç ay sürdü. Tüm fotoğrafların depolanma ve korunma süreçlerini “bulut teknolojisinin” getirdiği depolama araçlarında yönettim. Bulut teknolojisini, internet tabanlı bir ağ üzerinde kullanıcılar ortasında kaynak paylaşımını sağlayan bir hizmet tipi olarak özetleyebiliriz.
‘CANLI PERFORMANS’
- Müzik ve fotoğraf ahengi…
Hem en keyifli hem de en sıkıntı kısım fotoğrafların müzikle olan değişimleriydi. Yapay zekâ tarafından üretilen yapıtların müzikle uyumlu bir formda hareket edebilmesi için data bilimi teknikleriyle müziğin harmonik ve vurmalı seslerini ayırt etmem gerekti. Daha sonrasında müziği bir bilgi olarak anlamamı sağlayacak harmoni dalgası, darbe dalgası, tempo ve gibisi özelliklerini çıkardım. Bu özellikler sayesinde müzik ve resmi birleştirdim. Vurmalıların ağır olduğu modüllerde vurmalı yansılarını daha yüksek tutarken öbür kesimlerde harmonik reaksiyonları daha yüksek tuttum.
Ancak en sıkıntı kısım performansın canlı olmasıydı. Atmosferin verdiği heyecanla birlikte canlı performansta kimi kısımlar daha süratli birtakım kısımlar ise daha yavaş olabiliyor. Konser esnasında hem ben bilgisayar başında orkestraya uymaya çalıştım, hem Murat Cem Orhan orkestranın temposunu yönetti. Kısaca müzik ve fotoğrafların ahengi için konser esnasında hepimiz “canlı bir performans” gerçekleştirdik.
EŞSİZ BİR DENEYİM
Konserin başında Murat Cem Orhan’ın da bilhassa vurguladığı üzere bu tecrübe “ünik” yani eşsizdi. Zira bir kerelikti. Tekrar çalınsa ve birebir algoritma kullanılsa bile fotoğraflar ve değişimleri farklı olacaktı. Hakikaten bu eşsiz tecrübesi daima birlikte yaşadık ve bitti! Bunun bir modülü olmak çok heyecan vericiydi.