1. 為什么大模型推理時顯存漲的那么多還一直占著？
2. 大模型在gpu和cpu上推理速度如何？
7B量級下：
3. 推理速度上，int8和fp16比起來怎么樣？
根據實踐經驗，int8模式一般推理會明顯變慢（huggingface的實現）
4. 大模型有推理能力嗎？
大模型有推理能力。有下面2個方面的體現：
ChatGPT擁有in-context correction的能力，即如果說錯了，給出矯正，ChatGPT能“聽懂”錯在哪兒了，并向正確
的方向修正。in-context correction要比in-context learning難了太多，描述越詳細清楚，ChatGPT回答得越好。
要知道，越詳細的描述，在預訓練的文本里越難匹配到的。
