在求學的過程當中老師都會先從課本知識開始，讓我們背一堆東西，然後讓我們自己去摸索出知識之間的相關性。這階段也沒有什麼訣竅，背就對了，記得愈多愈厲害。
這個有點像是 pre-trained model，把世界上各種知識壓縮進去模型中。
-
稍微有點基礎知識之後，我們會學習各個科目，像是中文、數學、歷史。然後有些人會念經濟系，有些人會念資工。
這個有點像 fine-tuning 把特定的知識加強，透過在原本的模型上面套一層新的 data，讓模型可以在不同的應用場景發揮。
-
在學習的過程中都會有老師打分數，如果考得高就給獎勵，如果考得不好搞不好就被當掉。
這個有點像 RLHF，藉由人工批改答案，強化模型的知識，淘汰不需要的訊息。
-
真的畢業之後，到了職場上主管會開始下指令。有些行銷總監會說按鈕改大一點，圖片上面一點，顏色亮一點。
這個很像 Prompt engineer，對模型下指令，限制模型的輸入資料，想法過程以及輸出的資訊。
-
然後工作一陣子之後，知道基本的執行，但是有時候遇到比較少見的問題還是會去翻 SOP 的檔案找答案。
這個有點像 RAG，透過檢索某個知識庫來去快速參照答案，然後在縮小範圍的知識庫當中執行閱讀的作業。
-
好消息是，上面所有的工作都需要文組人的專業。
從營運的角度來看，需要有人幫忙建立資料清理的流程，設計好分類 (taxonomy)，讓原本大量的訊息加上背景 (annotate)，這樣模型在吸收資訊時就會比較清楚狀況。
然後當大型模型開始導入實際應用場景的時候也需要流程來去確保人為的回饋準確，像是除了給 thumbs up thumbs down 以外，瀏覽量，跳出視窗的頻率甚至是點擊的準確率都是要考慮的因素。
在下指令的時候除了要會基本的 Python 以外，更重要的是要思考溝通的邏輯。像是清楚的指令，給模型時間思考，給予範例，防止指令衝突等等都是需要建構在和人互動的基礎上來去設計。
最後為了確保 RAG 答案的準確性，要管理好知識庫，幫碎片化的知識上標籤 (metadata)，參考答案的真實性 (factual) 和準確度 (precision & recall) 都是在營運上常見的方法。
這也讓文組人在打造人機協作的未來環境中可以保有一席之地。
Comentarios