用過大模型的都知道，我們不怕它不回答，就怕它亂回答，特別是一眼還看不出來的那種。即便是最先進的AI模型也會說謊，防不勝防。對企業來說，幻覺，已經成為阻礙大模型應用的嚴重缺陷性問題。
除了幻覺，通用大模型無法滿足企業實際業務需求還涉及到知識局限性、資訊安全等問題，企業顯然不能將私域數據上傳到第三方平台訓練。在這種情況下，如何將本地知識庫和大模型連接起來，構建一個專屬的AI知識庫，成為了關鍵問題。
AnythingLLM正是為解決這個問題而生的通用框架。
AnythingLLM是什麼？
從原理上看，構建專屬知識庫可分為三個部分，一是通過LLM處理自然語言；二是嵌入模型把複雜的數據簡化，轉化成易於處理的格式；三是向量資料庫專門存儲和管理那些轉化後的數據。
那麼進入正題，AnythingLLM到底是什麼？AnythingLLM是由Mintplex Labs Inc.開發的一個全棧應用程序，是一款高效、可定製、開源的企業級文檔聊天機器人解決方案。它能夠將任何文檔、資源或內容片段轉化為大語言模型在聊天中可以利用的相關上下文。
AnythingLLM支持幾乎所有的主流大模型和多種文檔類型，可定製化，而且安裝和設置簡單。目前適用於MacOS、Linux和Windows作業系統，也可以使用Docker安裝。官方已經做好了各個版本的應用，直接下載對應版本，像正常軟體一樣安裝啟動即可。
一鍵安裝，支持自定義模型，支持多種文檔類型，可定製化
先看幾個官方解答的用戶問題，進一步了解AnythingLLM。
1、使用AnythingLLM要花錢嗎？
AnythingLLM Desktop是免費的，也可以通過GitHub Repo自託管。AnythingLLM雲託管起價為每月25美元，專為需要AnythingLLM功能但希望擁有AnythingLLM託管實例的企業或團隊而構建。
2、如何使用 AnythingLLM？
AnythingLLM有幾種規格，具體取決於用例。AnythingLLM Desktop是用戶在電腦上安裝應用程序最簡單的方法；AnythingLLM for Docker旨在使用最少的開發人員配置設置一個完整的多用戶實例；AnythingLLM託管則是官方的SaaS產品。
3、我的文檔保存在哪裡？
不管用哪種方式使用AnythingLLM，用戶的文檔和資訊都存儲在運行AnythingLLM的機器上，用戶數據與實例相隔離，以確保數據不會暴露或與其他客戶共享存儲。
4、為什麼用AnythingLLM而不是帶插件的ChatGPT？
AnythingLLM使用戶可以完全控制與任何LLM和向量資料庫的訪問、權限和數據共享，能夠完全離線運行，僅由本地運行的服務提供支持。使用AnythingLLM不必擔心第三方隱私問題，並且可以訪問全球的開源和閉源LLM、任何向量資料庫解決方案。
怎麼用AnythingLLM？
AnythingLLM默認通過Ollama來使用LLama2 7B、Mistral 7B、Gemma 2B等模型，也可以調用OpenAI、Gemini、Mistral等大模型的API服務。因此在使用前，需要啟動Ollama服務，如果沒有安裝Ollama，需要自行下載安裝，這裡使用後端伺服器模式，具體操作本文不再贅述。
打開安裝好的AnythingLLM進行配置。先設置LLM Preference，選擇想用的大模型；再設置Embedding Preference，Embedding Preference可以把本地資料向量化，這樣就可以根據問題匹配對應的資料片段；設置Vector Database，選擇默認的LanceDB即可，這是一款無伺服器向量資料庫，可嵌入到應用程序中，支持向量搜索、全文搜索和SQL。
新建工作區（workspace），每個工作區可以選用不同的模型，也可以修改向量資料庫和代理配置。關於工作區的概念，官方是這麼解釋的：工作區的功能類似於線程，同時增加了文檔的容器化。工作區可以共享文檔，但工作區之間的內容不會互相干擾或污染，因此您可以保持每個工作區的上下文清晰。簡單理解，工作區就是管理各種文件的。
以上設置完成後就會出現對話界面，這時你就擁有了自己本地的大語言模型。接下來上傳資料到工作區，可以上傳本地文檔，也可以粘貼網址，將其更新到工作區就可以開始使用了。
AnythingLLM很酷的一點是支持多用戶模式，有3種角色的權限管理，這一點對企業應用很重要。系統會默認創建一個管理員（Admin）賬號，擁有全部的管理權限。第二種角色是Manager賬號，可管理所有工作區和文檔，但是不能管理大模型、嵌入模型和向量資料庫。普通用戶賬號，則只能基於已授權的工作區與大模型對話，不能對工作區和系統配置做任何更改。
AnythingLLM具有多用戶管理、豐富文檔支持、高效成本優化及雲部署友好等優勢。但從使用體驗上看，一些用戶反饋目前它給出的回答還不夠準確，相信這套系統未來可以在文本召回和重排等方面，進一步調優和完善。
