字體：小 中 大 |
|
|
|
| 2020/09/07 08:48:00瀏覽165｜回應0｜推薦2 | |
| NVidia 和 Google 合作推廣 TensroRT (TensorFlow Runtime Library) ，在 tensorflow 1.7 以後版本就內含 TensorRT，對於 AIOT 愛好者是美事ㄧ樁．在 NVidia 發表 Jason Nano 開發版後，決定購進研究 TensorRT．
在深度學習方面，已經將工作劃分為訓練(Training) 和推論(Inference)兩個方向，因為追求的目標不ㄧ樣，訓練所得到的模型講求泛化(Generalization)，盡量收集完整的數據集，經過反覆來回的訓練才找到滿意的模型，這需要耗費雲端大量資源和時間．而推論要求快速反應，不然就會有意外事件發生，但是 edge 端的硬體資源不夠是不能改變的事實，只能在軟體端進行簡化． 以往在 Edge 端需要架上高端 PC 內含 NVidia 顯示卡才能跑得動從雲端出生的模型，至少要花費 10 萬元，推廣不易．現在有 5000 元 Jason Nano 搭配 TensorRT 就可以做到相同的事情，何樂而不為． TensorRT 支援 caffe, tensorflow, pytorch 和 MXNet 等四大架構的模型，算是最開放的平台．在檔案格式方面，目前有三種 Parser : caffe, uff (tensorflow) 和 onnx (pytorch, MXNet)．在模型解析後就會開始進行優化，因為推論只需要向前計算，而訓練需要考量回饋機制，所以可以簡化模型，例如它會在ㄧ些網路層進行合併，省略 contact 層，使用 FP16 和 INT8 低精度計算，針對 batch size 和硬體進行優化．通常層數像 VGG19 可以從 43 降到 27， Inception V3 可以從 309 降到 113， ResNet 512 可以從 670 降到 159． 在 Jason Nano 上面只需要安裝 TensorRT 就可以執行模型，確實是輕量型架構，如果對於優化後的模型不滿意，也支援手動增加層數的功能．另外在低精度推論有提供校準表功能，只有小量樣本就能維持高精度表現． |
|
| ( 創作｜散文 ) |
