球棒擊球的脆響伴隨著觀眾的歡呼，即便錯過了觀看本壘打的瞬間，也能瞬間抓住棒球迷的注意力。人類或許是視覺動物，但我們同樣通過聆聽來感知周圍的世界。
為了提升人工感知能力，MIT教授帕里斯·斯馬拉格迪斯（Paris Smaragdis，1997屆碩士、2001屆博士）致力於打造能夠聽懂聲音、甚至比人類聽力更出色的機器。
一台擁有超人聽力的機器，可以通過聆聽輪胎摩擦聲和金屬碰撞聲迅速定位交通事故發生的位置，也能在工業鑽頭穿透緻密基岩挖掘地熱井時，及時識別出鑽頭可能損壞的徵兆。
「我喜歡說，我做的事情和電腦視覺領域的人一樣，只不過我是為聽覺而做。」斯馬拉格迪斯說道。他目前在人文、藝術與社會科學學院的音樂與戲劇藝術項目，以及工程學院和MIT施瓦茨曼計算學院的電氣工程與電腦科學系同時擔任教職。
他的研究團隊探索的領域包括：用於聲源分離的機器學習、能夠增強人類音頻環境感知的智能設備，以及幫助人們理解、處理、分析和創作音樂的更優工具。
「由於有音樂背景，我一直對探索這些想法很感興趣。要讓機器理解聲音，需要具備什麼條件？能聽懂聲音的機器擁有巨大的應用領域。」2025年加入MIT的斯馬拉格迪斯說道。
音樂的序曲
斯馬拉格迪斯在希臘長大，很小的時候就開始學習古典吉他。他喜歡演奏傳統曲目，但當父親帶回家一台小型合成器時，他的音樂之路迎來了一個轉折點。
「那台小合成器有一個可以讓你自己創造聲音的功能，我完全被這種可能性迷住了。」他說道。
20世紀80年代，合成器在流行音樂中占據著越來越重要的地位，這更加深了他對這項技術的痴迷。
隨著求學階段的推進，斯馬拉格迪斯想要學習用合成器創作的音樂。但當時歐洲較為傳統的音樂學院並不提供這樣的教育路徑。
於是，他進入了波士頓伯克利音樂學院，在那裡他可以探索如何利用電腦和合成器來塑造和處理聲音。
「藉助電腦和合成器，我可以創造出前所未有的全新聲音。」他說道。
與此同時，斯馬拉格迪斯深深沉浸在爵士融合音樂中。他在伯克利選擇低音提琴作為主修方向，因為這能讓他獲得更多與爵士樂團合作演出的機會。
「我發現低音提琴在聲音上比吉他更有趣。這是一個更未被探索的領域，而我一直都被未被探索的領域所吸引。」他說道。
這種對未知領域的興趣也延續到了他的課程學習中。他與導師理察·布蘭傑（電子製作與設計教授）一起開發了新工具，幫助人們利用電腦進行音樂創作、製作和優化。
在伯克利學習期間，斯馬拉格迪斯與MIT媒體實驗室的巴里·沃科教授（已於2025年去世）展開合作項目，共同開發用於音樂創作的軟體合成器。在此基礎上，斯馬拉格迪斯進入沃科的研究小組攻讀研究生，完成了碩士和博士學位，隨後在該實驗室繼續從事博士後研究。
「在媒體實驗室里，我更多地接觸到了電腦音樂中計算的部分。我的關注點也因此有所轉變。現在我真正想做的，是製造能夠理解聲音的電腦。」他說道。
調頻未被探索的領域
當時，媒體實驗室的許多學生都在利用信號處理技術來幫助機器處理聲音。斯馬拉格迪斯選擇了一條探索較少的路徑——機器學習，以此將自己與其他人區分開來。
他發現，訓練機器學習模型來理解聲音，能帶來傳統信號處理技術無法實現的優勢。
「隨著時間推移，我越來越清楚地認識到，我們需要教會電腦如何去聽，而不能只是告訴它們該怎麼聽。實際上，我們甚至都不清楚人類自己是如何聽的。」他說道，「我們沒有一套詞彙能夠解釋『聆聽』究竟意味著什麼，或者如何區分貓叫聲和小提琴的聲音。」
完成博士後研究後，斯馬拉格迪斯開始在三菱電機研究實驗室工作，在那裡他研究能夠掃描影片音軌並理解螢幕上正在發生什麼的人工智慧系統。
「假設你錄製了一整場足球比賽，但只想看精彩集錦。在電腦視覺領域，要識別什麼是『精彩瞬間』是非常困難的。但如果只聽聲音，當觀眾歡呼雀躍時，你就能知道發生了有趣的事情。」他說道。
這套系統後來被應用到多種電子設備中，包括三菱當時正在開發的個人影片錄製系統，以及交通監控系統和手機。
後來，斯馬拉格迪斯加入Adobe，在那裡他創建了音頻研究團隊，打造了便於藝術家、音樂人和製作人使用的工具，讓他們無需太多專業知識也能處理聲音。
「在做這些工作的過程中，我不斷遇到更深層次的技術問題需要解決。於是我投身學術界，去滿足這種探索的渴望。」他說道。
斯馬拉格迪斯隨後加入伊利諾伊大學厄巴納-香檳分校任教，他和團隊將最新的機器學習技術融入音頻處理系統之中。
他們開發的其中一項技術利用神經網路從混合音頻中分離出單獨的聲音。這個項目引起了2021年紀錄片迷你劇《披頭士樂隊：重聚》（The Beatles: Get Back）製作團隊的關注。
該製作團隊邀請斯馬拉格迪斯協助修復一些披頭士樂隊的檔案錄音。
「這與我在學術界做的音頻處理工作方式截然不同。這次，我需要做出聽起來效果好的成果，而不一定要在理論上說得通。我們沒有一個可以直接優化的固定公式。」他說道。
每段錄音都面臨不同的挑戰。例如，在一段錄音中，約翰·列儂正在演奏音樂，而保羅·麥卡特尼卻在一旁打鬧，讀著報紙上的頭條新聞，還拿喬治·哈里遜開玩笑。
「我們試圖找到一種能夠幫助我們應對所有情況的技術方案，而不是針對每個問題單獨解決。」他說道。
他的貢獻幫助該製作團隊在2022年獲得了艾美獎「非虛構或真人秀節目聲音剪輯獎」。
協同之力
在伊利諾伊大學任教15年後，斯馬拉格迪斯決定加入MIT，以應對該領域中不斷湧現的複雜跨學科問題。
他的團隊目前專注於兩個主要方向。一方面，他們致力於開發能讓電腦成為音樂人更有用工具的系統。
其中一個項目旨在讓機器學會如何「聆聽」音樂，從而能夠為音樂人提供建設性的反饋意見。
「我們想要增強音樂人手中的工具箱，而不是用電腦來取代音樂人。」他說道。
另一方面，他的團隊專注於開發科學家和藝術家都可以使用的基礎工具，用於處理、分析和操控音頻。
例如，他的團隊最近一直在探索一些精密的信號處理算法，這些算法不依賴固定或明確定義的傳統參照系，比如採樣率、幀大小或上下文窗口等。
斯馬拉格迪斯表示，這意味著存在一些尚未被探索的計算結構，儘管它們具備實現更高效處理的潛力。
「這需要重新思考許多基礎性的問題，但一旦具備了這種能力，你就能開始構建更加靈活、更加強大的系統。」他補充道。
他們還探索如何將大語言模型等最新技術融入語音識別和音頻增強領域。
「AI是一個極其強大的工具，但我認為我們還沒有找到將其應用於聲音和音樂的理想方式。」他說道。
他也很享受指導學生、幫助他們將研究項目的構想變為現實的過程。
由於很少有學生具備運用計算處理聲音的經驗，他格外注重實踐教學，讓學生們能夠親眼見證、親耳聆聽如何將方程式轉化為真實可感的成果。
無論是藉助電腦還是使用更傳統的樂器，斯馬拉格迪斯依然能從創作音樂中感受到興奮與喜悅。在校園之外，只要有時間，他就會演奏爵士低音提琴，並和妻子、15歲的兒子一起，探索波士頓豐富多彩的音樂社區。
在音樂領域之外，他還從事水下曲棍球的比賽和教練工作——這是一項運動員佩戴潛水面罩、用球桿在泳池底部推動重型冰球、將其擊入對方球門的運動。他曾擔任伊利諾伊大學水下曲棍球隊的教練，希望能儘快重啟MIT水下曲棍球俱樂部，並在校園內舉辦相關錦標賽。
儘管水下曲棍球是一項相對小眾的運動，但它與斯馬拉格迪斯一生追求探索未知領域的熱情不謀而合。
「我一直喜歡做一些與眾不同的事情。如果你能創造出前所未有的全新聲音，這又意味著你具備怎樣的創造能力呢？我仍然覺得這些問題充滿了魅力。」他說道。
