資料內(nèi)容：

各框架詳細(xì)對(duì)?分析 
 

1. Hugging Face transformers 
 

框架簡(jiǎn)介： 不僅僅是框架，更是?態(tài)系統(tǒng)的基礎(chǔ)。提供了加載、運(yùn)?和訓(xùn)練Transformer模型的Python API，是
所有其他框架（TGI, vLLM等）通常需要兼容的“事實(shí)標(biāo)準(zhǔn)”?？蚣軆?yōu)點(diǎn)：
模型庫(kù)最全： ?持?jǐn)?shù)以萬(wàn)計(jì)的預(yù)訓(xùn)練模型，是模型分發(fā)的中?。
API標(biāo)準(zhǔn)： 其 AutoModel 、 AutoTokenizer 等API已成為?業(yè)標(biāo)準(zhǔn)。
靈活性極?： ?便?于研究、實(shí)驗(yàn)和模型微調(diào)。
 

框架缺點(diǎn)：
原?推理效率低： 其 pipeline 或 model.generate 接?本?未做深度優(yōu)化，吞吐量低。
??產(chǎn)級(jí)服務(wù)功能： 需要??構(gòu)建Web服務(wù)器、批處理、監(jiān)控等。
框架適?場(chǎng)景： 模型實(shí)驗(yàn)、原型驗(yàn)證、微調(diào)訓(xùn)練。是所有應(yīng)?的起點(diǎn)。
框架經(jīng)典?途： 在Jupyter Notebook中快速測(cè)試?個(gè)新模型的效果。
框架成熟度： 極?，是?態(tài)的基?。
 

2. vLLM 
 

框架簡(jiǎn)介： 由加州伯克利?學(xué)團(tuán)隊(duì)開(kāi)發(fā)的?吞吐、易?的?模型推理和服務(wù)引擎。核?創(chuàng)新是
PagedAttention。
框架優(yōu)點(diǎn)：
?吞吐量： PagedAttention極?減少了KV Cache的內(nèi)存浪費(fèi)，在批處理場(chǎng)景下性能卓越。
易?性好： 安裝部署相對(duì)簡(jiǎn)單，與HuggingFace模型完美兼容。
持續(xù)活躍： 開(kāi)發(fā)??；钴S，不斷加?新模型和特性（如量化?持）。
框架缺點(diǎn)：
早期對(duì)模型的?些特殊?法（如修改注意?機(jī)制）?持不夠靈活，但現(xiàn)在已?幅改善。
框架適?場(chǎng)景： ?并發(fā)在線服務(wù)、批量?本?成任務(wù)。
框架經(jīng)典?途： 為多個(gè)??提供并發(fā)的ChatGPT式API服務(wù)。
框架成熟度： ?常?，被眾多公司?于?產(chǎn)環(huán)境。