字體：小 中 大 |
|
|
|
| 2022/02/23 14:46:14瀏覽537｜回應1｜推薦4 | |
| Uber 大數據省錢戰略分別從供應端戰略（用來執行大數據儲存和運算工作量的硬體資源如何優化）和需求端戰略（各式各樣的工作量需求如何優化）以及媒合大數據供應和需求之間的平臺效益戰略，從這三大戰略來提高成本效益，這是遵循 CAP 公式，就要同時考慮成本效益（Cost-Efficiency），準確度（Accuracy）和效能（Performance）三者的拿捏，這三者的相乘是一個常數。
結果光是 2019 年第一年，就省下了數百萬美元的成本。Uber 也繼續在 2020 年訂定了大數據省錢發展藍圖，經過 2 年努力，在 2021 年 8 月時，就達到大數據支出節省 25% 的成果，新的目標是要在未來2 ～3 年要將大數據支出減半。 • Uber 大數據供應端省錢術 1. 全面改用便宜的超大容量硬碟 2. 主動預測HDFS區塊的資料熱度 3 讀取時間和寫入時間的負載平衡 4. 善用HDFS節點上的閒置CPU和記憶體 5. 善用線上服務主機上的閒置資源 • Uber大數據需求端省錢術 1. 劃分所有權，找出大數據平臺資源使用者 2. 自建資料族譜追蹤工具，將資料轉為知識 3. 建立資料方塊工具，掌握資源用量 4. 主動分析詮釋資料，找出無用資料集 5. 制定計價機制，使用者付費 • Uber大數據平臺效益優化術 1. 大數據檔案瘦身 2. HDFS抹除碼降低重複性資料 3. 改善YARN排程，提高叢集使用率 4. 用叢集聯邦提高擴充效能 5. 通用負載平衡，強化整體使用率 6. 查詢引擎優化，提高查詢效能 7. 每日更新增量變化，降低運算量需求 8. 靠後臺分擔前臺工作，減少前臺CPU需求 |
|
| ( 創作｜散文 ) |
