Diffusion預訓練成本降低6.5倍!Colossal-AI加速AIGC產業落地
而且由於 Colossal-AI 引入視訊記憶體最佳化等技術,僅在普通個人電腦的單張消費級顯示卡上(如 GeForce RTX 2070/3050 8GB),即可快速完成微調任務流程,相比 RTX 3090 或 4090 可降低約 7 倍硬...
而且由於 Colossal-AI 引入視訊記憶體最佳化等技術,僅在普通個人電腦的單張消費級顯示卡上(如 GeForce RTX 2070/3050 8GB),即可快速完成微調任務流程,相比 RTX 3090 或 4090 可降低約 7 倍硬...
透過ZeRO、Gemini、Chunk-based記憶體管理等策略以及Flash Attention模組最佳化Cross-attention計算,Colossal-AI可以讓使用者在8GB視訊記憶體的普通消費級顯示卡(如RTX 2070/3...