Python知識分享網(wǎng) - 專業(yè)的Python學(xué)習(xí)網(wǎng)站 學(xué)Python，上Python222
transformer 論文閱讀理解+代碼注釋解讀 PDF 下載
匿名網(wǎng)友發(fā)布于：2025-12-01 09:52:24
(侵權(quán)舉報)
(假如點擊沒反應(yīng)，多刷新兩次就OK！)

transformer 論文閱讀理解+代碼注釋解讀 PDF 下載 圖1

 

 

資料內(nèi)容：

 

注意力機制是一個很寬泛（宏大》的一個概念，QKV相乘就是注意力，但是他沒有規(guī)定 QKV
是怎么來的
通過一個查詢變量Q，去找到V里面比較重要的東西
假設(shè)K==V，然后 QK 相乘求相似度A，然后 AV相乘得到注意力值Z，這個Z 就是 V的另外一
種形式的表示
Q可以是任何一個東西，V也是任何一個東西，K往往是等同于V的（同源》，K和V不同源
不相等可不可以
他沒有規(guī)定 QKV 怎么來，他只規(guī)定 QKV 怎么做