十年來，汽車庫存和資訊在線資源公司Edmunds一直在努力整合他們的數據基礎設施。現在，隨著數據中心的基礎設施建設變得井然有序，這家總部位於美國加州的公司開始展望一個以人工智慧和機器學習為核心的大膽新未來。
Edmunds公司技術副總裁Greg Rokita表示：「我們已經解決了大部分整合上的挑戰，現在，我們如何在人工智慧領域保持領先地位？我們應該開發哪些基礎框架來提高產品團隊的生產力並超越競爭對手？」
Rokita在Edmunds公司工作超過18年時間，自2005年開始擔任公司的技術執行總監。現在，他的職責包括數據工程、分析開發以及車輛庫存和統計與定價團隊。
Edmunds創建於1966年，只開始主要是提供一系列印刷版購買指南，從20世紀90年代開始通過CD-ROM提供數據。不久之後，他們就開始轉向線上模式。Rokita在公司推出第一本免費在線雜誌時加入公司，幾年後，他的團隊推出了公司的首款手機應用。
如今，Edmunds公司的網站提供了有關新車和二手車價格、經銷商和庫存清單的數據、國家和地區激勵和回扣資料庫，以及車輛評論、購買和擁有汽車的建議。Edmunds公司在2021年被Carmax以4.04億美元收購。
Rokita希望在人工智慧領域保持領先地位的方法之一，就是打造一個新的ChatGPT插件，將Edmunds公司的非結構化數據（包括車輛評論、評級、社論）公開給生成式AI。
ChatGPT背後的公司OpenAI在名為Common Crawl的數十億個公開網頁的語料庫上訓練了生成式AI。但在一個以網際網路速度發展的世界中，這些數據很快就會過時。Edmunds打造這個新插件背後的想法，是讓ChatGPT能夠從大量專業且不斷更新的數據中進行提取。
Rokita表示：「如果你問它，『2022款豐田凱美瑞駕駛起感覺如何？』你可能什麼也得不到，而通過開發一個插件，我們會公開我們的最新數據。」
對於Edmunds來說，他們希望生成式AI的用戶如果想要了解更多車輛細節或圖片，可以點擊Edmunds的網站鏈接，從而增加流量。
就像21世紀網際網路革命幾乎改變了每個行業一樣，Rokita堅信，現在我們正處於一個新的拐點。
他說：「二十到三十年前，網際網路深深根植中每家企業。我們相信，人工智慧現在也正在發生同樣的事情。無論是農業公司、工業公司還是建築公司，人工智慧都將嵌入其中，用於優化訂購材料的方式、確定農作物是否需要澆水的方式，等等。」
如果人工智慧沒有成為公司結構的一部分，Edmunds就會落後。
他說：「我的團隊面臨的一部分挑戰，是創建框架並推動公司走上這條道路。」
Rokita認為，實現這一轉變的關鍵，是要停止將數據倉庫和AI/ML視為具有自己獨特系統的一個獨立部門。
他說：「人們需要明白，這些實際上是同一系統的不同表現，數據倉庫是關於過去的數據，而模型是關於未來的數據。想像一下有這麼一張表，其中有過去的行為和預測的未來行為，所以這都是一個時間線上的。」
這個想法促使Rokita下定決心，整合Edmunds公司的數據基礎設施，並且像許多早期看到新數據技術優勢的公司一樣，Edmunds的數據基礎設施作為一系列最佳單點解決方案發展起來。
「我們從基於Oracle RAC構建的專用數據倉庫開始，逐步發展到Netezza和Teradata等專業系統。過去我們使用Hadoop來處理數據，然後將其加載到Netezza中供人們查詢。」
大約十年前，Rokita決心開始整合基礎設施。第一步是遷移到雲端，團隊使用Amazon Redshift取代了Netezza，後來又添加了用於數據科學和人工智慧的Databricks雲平台。但這次整合仍然不夠徹底：由於數據科學、數據倉儲和數據處理有不同的系統，因此團隊仍然不得不擔心數據是不同步的。
Rokita表示：「當你與分析師展開合作時，他們會看到兩個不同位置的數據，並且數據是不匹配，他們就會失去信任，組織內的用戶對數據持有一致的看法是至關重要的。」
隨著Databricks向其平台中添加了新的數據倉庫功能，Rokita決定放棄Redshift和Hadoop，轉而使用Databricks作為AWS上的一層來完成所有工作。Rokita表示，這一變化不僅有助於降低成本，還使運營管理變得更加容易。
他說：「現在我們有了一個系統，可以處理數據處理和服務，還有一個額外的好處，那就是你可以在其上創建模型，而無需複製數據。」
現在，Rokita和他的團隊正在使用Databricks的最新功能之一：Databricks Marketplace，這是一個數據、AI模型和應用市場。Databricks還在規劃和發布跨指令跟蹤和文本摘要等常見用例的開源模型，作為其產品的一個組成部分，此外，第三方數據提供商也加入其中，包括S&P Global、Experian、Accuweather、LexisNexis等。
Rokita相信，只需點擊一下，即可將第三方數據加入Edmunds的數據，而無需任何開發時間，這將為Edmunds公司和分析及機器學習使用開闢新的前景。
他說：「你可以搜索你需要的東西，比如說，你的汽車產品潛在消費者的人口統計數據，然後你可以在廣告活動中使用這些數據。你所要做的就是單擊一個框，然後數據集就會出現在Databricks中。」
他特別指出，Edmunds母公司Carmax也運行著他們自己的Databricks實例，但是運行在微軟Azure上的，而Edmunds的實例是運行在AWS上。有了Marketplace，就無需統一基礎設施。
他說：「通常，我們希望彼此共享數據，現在，無需開發成本，我們就可以與他們共享數據集，他們也可以與我們共享數據集。我們對數據共享、以及對接下來的模型共享和儀錶板共享感到十分興奮。」
