大型語言模型 （LLM） 憑藉其卓越的生成能力正在為各種產品尋找出路，我們看到新的應用程式如雨後春筍般湧現。這些是通用工具，通常缺乏特定領域的知識，這在一定程度上降低了它們的影響。這些有用的領域知識可能隱藏在不同的企業存儲庫中。

使用您的域數據微調自定義 LLM 可能有助於彌合這一差距。這一過程的一個關鍵步驟是數據準備。這是關鍵的一步，因為這些數據的品質將顯著影響微調模型的性能。嘗試手動管理這樣的數據集可能是一項昂貴且非常耗時的工作。

在本文中，我們將探索一種經濟高效的替代方案，以使用Mistral 7B Instruct模型從內部文檔自動創建指令和訓練數據集。我們將採用一種新穎的指令生成方法，以確保全面覆蓋您的領域。Mistral 7B 還將用於檢索增強生成 （RAG） 設置以生成訓練數據集。一旦我們有了訓練數據集，我們將調用 MLX 框架庫來説明使用此數據集對 Mistral 7B 進行實際微調，以豐富我們的本地領域知識。

由於我們將探討從指令生成到模型微調的端到端工作流程，因此這裡有很多內容需要介紹。讓我們開始吧！