自古以來書畫和音樂就是一對孿生姐妹，當人們陶醉于世界大師筆下的美術與攝影作品的水墨丹青之時，一首基于該作品的美妙音樂似乎就縈繞在耳旁。例如，在欣賞“奔騰黃河”的畫卷時，人們似乎能聽到黃河的咆哮聲；在欣賞“山林晨曲”的畫卷時，人們又好象聽到了山間小溪的潺潺流水聲、林中小鳥委婉動聽的歌唱聲。本研究受以上聯想的啟發，根據一定的科學與藝術規則，探索圖像與音樂之間的映射關系和映射規律，將圖像信息轉化為MIDI音樂，使人們第一次感受到“聽畫”的驚喜^[1]。
1 圖像與音樂的對應關系^[2]～^[4]
　　無論是西方社會還是東方社會，都有人把音樂與顏色對應起來。例如，早在十七世紀物理學家牛頓就曾以赤、橙、黃、綠、青、藍、紫對應于C、D、bE、F、G、A、bB七個音名。音樂的高低指音響有規律的排序,即由低到高再由高到低形成一種和諧的階梯式音列；音樂的旋律是指一條條由音符串綴起來的線條，它是根據人的情感的高低起伏將音符或級進或跳躍組合形成的；而圖像中多彩繽紛的景色也是根據人的情感用丹青層層遞進繪出的。音樂中音調的變化快慢，即音的長短，形成了節奏。節奏在音樂作品中總是與節拍結合在一起的。音無論長短，在一個小節的單位范圍內，其奏鳴總有循環往復的輕拍與重拍的交替。一般而言，節奏由于有了強弱節拍的內在韻律，又由于有音的長短內外對比的交錯，往往顯示一種力度。這種力度正是支持旋律流動的支架。由于節奏支撐著音調，在時間過程中展開，因此，它就與音樂進行的快慢息息相關。而速度快慢可以使音高與長短，即旋律與節奏產生不同的表現效果；對于圖像而言，它本身也有色彩、亮度等變化劇烈或平緩的表現，人們形容圖像作品時也常用諸如明快、暗淡、柔和、粗獷之類的音樂術語進行描述。
　　音樂是在時間中展開、以訴諸聽覺的聲音為基本材料的藝術。因此時間及表示聲音基本特征的音調、音強、音色就構成了音樂的基本要素。在人的體驗中，聽覺的高頻音和視覺中明亮的色調具有一種潛在的聯系，這種聯系給人以“上升的感覺”；反之，聽覺中的低頻音與視覺中黑暗的色調由于與“下沉的感覺”相類似而被聯系在一起。音調越‘低沉’，體驗到的顏色越‘深’；反之，較‘高’的音調會引起‘淺’亮的感覺。因此可以看出，音樂與顏色有著明顯的直覺類比關系。因此直覺體驗方向上的相同就使不同感覺(視覺與聽覺)之間發生同構聯覺。
2 圖像向音樂的轉化
　　圖像向音樂轉化的系統框圖如圖1所示，首先將圖像文件中的數據讀入文本文件；再對文本文件中的數據進行處理；然后將處理后的數據轉化成規定好的“音樂符號”；最后將“音樂符號”轉換成MIDI音樂。

　　由于音樂與顏色之間存在直覺類比關系，所以本文中圖像信息向音樂的轉換不是指通常意義上的多媒體技術，而是利用圖像與音樂之間的對應關系，根據一定的科學與藝術規則提出相應的算法，對圖像的原始信息進行處理后轉化為MIDI音樂。
2.1 圖像數據的讀取與顏色模型
　　本論文是用24位真彩BMP文件格式存放圖像RGB的灰度值，但由于HSV(色彩H、飽和度S、明度V)模型是直接與藝術家使用顏色的直觀表現相聯系的，所以為了更貼近人的感覺，本系統進行處理的圖像數據采用的是顏色模型HSV中的色彩(H)信息。這里通過式(1)所示的RGB模型與HSV模型之間的轉換關系式將RGB模型的灰度值數據轉換為HSV模型的數據。
　　圖像與音樂的最大區別是：圖像是在二維空間展開，而音樂則是一維時基類媒體中展開的。由于音符必須有一個時間延續方向才能組成樂曲，所以按照大多數人欣賞書畫的習慣，本論文采用圖像的縱向(由上而下)為數據的處理方向，即為音樂的前進方向。
　　
2.2 圖像數據處理
　　根據圖像中的色彩與音樂中的音調的對應關系，考慮到圖像各部分色彩的過渡性及色彩過渡的模糊性，即相鄰像素間的相關性和圖像界限的不確定性，以及14個可用的標準MIDI通道(共有16個通道，其中兩個為其它特殊用途)。將圖像在橫向上近似平均分成14個部分(每個部分都有n列像素)，將圖像的色彩數據進行處理。首先將第1部分的各列數據按列求算術平均值后，作為第1列數據；然后將第1、2兩部分數據求算術平均值后作為第2列數據；再將第1、2、3三部分數據求算術平均值后作為第3列數據；依此類推···，將圖像中所有列數據求算術平均值后得到第14列數據。即第i列第j行數據為:
　　
2.3 數據向音符的轉化
　　參照鋼琴的鍵盤將音調分為高、中、低三個音區，規定用“c、d、e、f、g、a、b”表示低音區的七個音名；用“1、2、3、4、5、6、7”表示中音區的七個音名；用“C、D、E、F、G、A、B”表示高音區的七個音名。在音名前的“/”表示升八度；“\”表示降八度；空白則表示不升也不降。緊跟音名后的“b”表示降半音；“#”表示升半音。從低到高依次分為大字二組、大字一組、大字組、小字組、小字一組、小字二組、小字三組、小字四組、小字五組等九個音組。除了大字二組僅含有三種音調與小字五組僅含有一種音調之外，其余七組均含有七個基本音(鋼琴的白鍵)和五個半音(鋼琴的黑鍵)等十二種音調。又由于有些音如“c”，它的升半音“#c”與其相鄰音“d”的降半音“bd”相同。所以我們統一規定均用前一個音的升半音表示。則一組完整的音組就由“1、2、3、4、5、6、7”七個全音加上“#1、#2、#4、#5、#6”五個半音組成。這樣就可以將音符和圖像色彩對應起來：
　　
　　式中:Ton：音調;Hun:像素的色彩值;MinHue：所有像素色彩值中的最小值;MaxHue：所有像素色彩值中的最大值。
　　節奏是音樂中的重要要素，它涉及與“時間”有關的所有因素，是音在強弱和長短兩方面千變萬化的組織形態^[4]。通過顏色中的色彩變化來控制節奏(音樂的變化)是容易使人接受的；另外，對于14個通道樂器的節奏分別用其各自列的數據來進行控制。并用Difference來表示各列相鄰兩元素色彩差值的絕對值，由公式(4)將色彩對應到11種音長(節奏速度)上。