A theoretical approach to cognitive visualisation of musical sounds in graphic images
Matsumoto, Daisuke 1987-
A theoretical approach to cognitive visualisation of musical sounds in graphic images Daisuke Matsumoto; Supervisor: Elif Songür Dağ - Nicosia Cyprus International University 2014 - VII,126 p. figure, table, color picture 30.5 cm
Includes references (111-125 p.)
INTRODUCTION 1 Music to Visual Arts 1 Scope and Limitations 6 Methdology 7 CHAPTER 1: Visual Arts and Music 8 Visual Arts 10 Basic Elements of Visual Arts 14 Space in Visual Arts 21 Music 24 Basic Elements of Music 28 Time in Music 34 Formal to Materials 43 CHAPTER 2: Music to Visual Arts 48 Sensations, Perception , and Conceptions 51 Music Congnition 58 Cognitive Correspondences 70 CHAPTER 3: Visualisation of Musical Sounds in Graphic Images 77 Motion and Emotion 79 Kinetic Cues in Visual Arts 81 Emotional Cues in Visual Arts 88 Visualisation of Musical Sounds 97 CHAPTER 4: Conclusion 109 REFERENCES 111
'Abstract The purpose of this study was to find out the possibility of visualising musical sounds in graphic images from an objective viewpoint. In an opposition to the dominant methodological approach to human cognition of the last century, the study initially rejected an idealistic approach by mainly focusing on literatures from the field of cognitive neuroscience. Moreover, in order to discard a realist viewpoint that is the overt dialectic counterpart of idealistic subjectivity, it was shown through the analysis of formal elements of visual arts and music that there was no legitimate materialist connection between them. Nevertheless, although visual arts and music are materialistically antagonistic, human cognitive process of them elucidated important connections of visual arts and music cognition, which were motion and emotion. It was suggested that, considering the three main strata of human cognitive system, motion could connect cognition of visual arts and music in bottom-up processing of sensory stimuli, whereas emotion could connect them in top-down processing of sensory stimuli. In order to elicit musical cognitive experience in an observer of graphic images, therefore, kinetic as well as emotional visual cues that correspond to respective musical cues were proposed to be important elements of visualisation of musical sounds. However, due to the paucity of in-depth information on neurobiological processing of both motion and emotion, that of the latter more particularly, previous empirical researches had to be utilised. Specifically, it was suggested that kinetic visual cues in static graphic images that would cognitively elicit temporal perception included spatial configuration of visual elements in centrifugal direction, perceptually attentive elements, and the number of attentive locations. On the other hand, it was suggested that emotional visual cues that would correspond to emotional musical cues included value and saturation of visual elements, contour and edge configuration of shapes. Other visual emotional cues could be inferred to be useful by considering material characteristics of light and sound. Hues were suggested as effective emotional cues to connect visual and musical perceptual experiences, although they were said to show subjective variances. Keywords: Cognition, Visual Arts, Music, Objectivity, Graphic Images Özet Bu çalışmanın amacı müzikal seslerin objektif bir bakış açısıyla grafik görüntülere görselleştirilmesi olasılığını bulmaktır. Son yüzyılda insan kavrayışına olan baskın metolojik yaklaşıma karşı, bu çalışma ilk olarak, ağırlıkla bilişsel nörobilim alanındaki literature odaklanan idealistik yaklaşımı reddetmiştir. Ayrıca, idealistik öznelliğin açık bir şekilde diyalektik karşılığı olan realistik bakış açısını silmek için, görsel sanatla ve müziğin biçimsel öğelerinin analizi aracılığıyla aralarında meşru bir materyalist bağlantı olmadığı gösterilmiştir. Yine de, görsel sanatlar ve müziğin birbirine karşıt olmasına rağmen, insan kavrayış süreçleri görsel sanatlar ve müzik idrağı arasında önemli bağlantılar açıklar; hareket ve duygu. İnsan idrak sisteminin üç ana tabakasına göre, duygular yukarıdan aşağı süreçle bağlarken, hareketin görsel sanatlar ve müzik idrakını duyusal uyaranların aşağıdan yukarıya işlenme süreçleri ile bağladığı öne sürülmüştür. Grafik görüntüleri gözlemleyenin müzikal kavrayış deneyimini ortaya çıkarmak için, kinetikle birlikte müziksel işaretlere karşılık gelen, duygusal görsel işaretler de müzikal seslerin görselleştirilmesinde önemli unsurlar olarak önerilmiştir. Ancak, hem duygusal hem de hareketsel nörobiyolojik süreçlere dair bilgilerin, özellikle ikincisinin azlığı nedeniyle, önceki ampirik araştırmaların kullanılması gerekmiştir. Özellikle, statik grafik görüntülerdeki kinetik görsel işaretlerin bilişsel olarak merkez-kaç yönündeki görsel unsurların mekansal yapılandırmasını içeren zamansal idrakları, algısal olarak hazır unsurları ve hazır yer sayılarını ortaya çıkarabileceği öne sürülmüştür. Öte yandan, duygusal müzikal işaretlere karşılık olacak, duygusal görsel işaretlerin, görsel unsurların, değer ve doygunluğunu, kontur ve şekillerin kenar yapılarını içerdiği öne sürülmüştür. Diğer duygusal işaretlerin ışık ve sesin materyal karakteristikleri dikkate alınarak faydalı olabileceği anlaşılmaktadır. Renk tonları ,öznel farklılıklar gösterdikleri söylenmesine rağmen, görsel ve müzikal algı deneyimlerini bağlamak için etkili duygusal işaretler olarak önerilmiştir. Anahtar Kelimeler: Kavrayış, Görsel Sanatlar, Müzik, Nesnellik, Grafik Görüntüler'
Visual arts
Görsel sanatlar
Graphic images
Grafik görüntüler
A theoretical approach to cognitive visualisation of musical sounds in graphic images Daisuke Matsumoto; Supervisor: Elif Songür Dağ - Nicosia Cyprus International University 2014 - VII,126 p. figure, table, color picture 30.5 cm
Includes references (111-125 p.)
INTRODUCTION 1 Music to Visual Arts 1 Scope and Limitations 6 Methdology 7 CHAPTER 1: Visual Arts and Music 8 Visual Arts 10 Basic Elements of Visual Arts 14 Space in Visual Arts 21 Music 24 Basic Elements of Music 28 Time in Music 34 Formal to Materials 43 CHAPTER 2: Music to Visual Arts 48 Sensations, Perception , and Conceptions 51 Music Congnition 58 Cognitive Correspondences 70 CHAPTER 3: Visualisation of Musical Sounds in Graphic Images 77 Motion and Emotion 79 Kinetic Cues in Visual Arts 81 Emotional Cues in Visual Arts 88 Visualisation of Musical Sounds 97 CHAPTER 4: Conclusion 109 REFERENCES 111
'Abstract The purpose of this study was to find out the possibility of visualising musical sounds in graphic images from an objective viewpoint. In an opposition to the dominant methodological approach to human cognition of the last century, the study initially rejected an idealistic approach by mainly focusing on literatures from the field of cognitive neuroscience. Moreover, in order to discard a realist viewpoint that is the overt dialectic counterpart of idealistic subjectivity, it was shown through the analysis of formal elements of visual arts and music that there was no legitimate materialist connection between them. Nevertheless, although visual arts and music are materialistically antagonistic, human cognitive process of them elucidated important connections of visual arts and music cognition, which were motion and emotion. It was suggested that, considering the three main strata of human cognitive system, motion could connect cognition of visual arts and music in bottom-up processing of sensory stimuli, whereas emotion could connect them in top-down processing of sensory stimuli. In order to elicit musical cognitive experience in an observer of graphic images, therefore, kinetic as well as emotional visual cues that correspond to respective musical cues were proposed to be important elements of visualisation of musical sounds. However, due to the paucity of in-depth information on neurobiological processing of both motion and emotion, that of the latter more particularly, previous empirical researches had to be utilised. Specifically, it was suggested that kinetic visual cues in static graphic images that would cognitively elicit temporal perception included spatial configuration of visual elements in centrifugal direction, perceptually attentive elements, and the number of attentive locations. On the other hand, it was suggested that emotional visual cues that would correspond to emotional musical cues included value and saturation of visual elements, contour and edge configuration of shapes. Other visual emotional cues could be inferred to be useful by considering material characteristics of light and sound. Hues were suggested as effective emotional cues to connect visual and musical perceptual experiences, although they were said to show subjective variances. Keywords: Cognition, Visual Arts, Music, Objectivity, Graphic Images Özet Bu çalışmanın amacı müzikal seslerin objektif bir bakış açısıyla grafik görüntülere görselleştirilmesi olasılığını bulmaktır. Son yüzyılda insan kavrayışına olan baskın metolojik yaklaşıma karşı, bu çalışma ilk olarak, ağırlıkla bilişsel nörobilim alanındaki literature odaklanan idealistik yaklaşımı reddetmiştir. Ayrıca, idealistik öznelliğin açık bir şekilde diyalektik karşılığı olan realistik bakış açısını silmek için, görsel sanatla ve müziğin biçimsel öğelerinin analizi aracılığıyla aralarında meşru bir materyalist bağlantı olmadığı gösterilmiştir. Yine de, görsel sanatlar ve müziğin birbirine karşıt olmasına rağmen, insan kavrayış süreçleri görsel sanatlar ve müzik idrağı arasında önemli bağlantılar açıklar; hareket ve duygu. İnsan idrak sisteminin üç ana tabakasına göre, duygular yukarıdan aşağı süreçle bağlarken, hareketin görsel sanatlar ve müzik idrakını duyusal uyaranların aşağıdan yukarıya işlenme süreçleri ile bağladığı öne sürülmüştür. Grafik görüntüleri gözlemleyenin müzikal kavrayış deneyimini ortaya çıkarmak için, kinetikle birlikte müziksel işaretlere karşılık gelen, duygusal görsel işaretler de müzikal seslerin görselleştirilmesinde önemli unsurlar olarak önerilmiştir. Ancak, hem duygusal hem de hareketsel nörobiyolojik süreçlere dair bilgilerin, özellikle ikincisinin azlığı nedeniyle, önceki ampirik araştırmaların kullanılması gerekmiştir. Özellikle, statik grafik görüntülerdeki kinetik görsel işaretlerin bilişsel olarak merkez-kaç yönündeki görsel unsurların mekansal yapılandırmasını içeren zamansal idrakları, algısal olarak hazır unsurları ve hazır yer sayılarını ortaya çıkarabileceği öne sürülmüştür. Öte yandan, duygusal müzikal işaretlere karşılık olacak, duygusal görsel işaretlerin, görsel unsurların, değer ve doygunluğunu, kontur ve şekillerin kenar yapılarını içerdiği öne sürülmüştür. Diğer duygusal işaretlerin ışık ve sesin materyal karakteristikleri dikkate alınarak faydalı olabileceği anlaşılmaktadır. Renk tonları ,öznel farklılıklar gösterdikleri söylenmesine rağmen, görsel ve müzikal algı deneyimlerini bağlamak için etkili duygusal işaretler olarak önerilmiştir. Anahtar Kelimeler: Kavrayış, Görsel Sanatlar, Müzik, Nesnellik, Grafik Görüntüler'
Visual arts
Görsel sanatlar
Graphic images
Grafik görüntüler