來源：DeepHub IMBA
         
        
       
      
     
    
    

     

      

       

        

         
本文約3200字，建議閱讀6分鐘
         

          本文探索了LlamaIndex對(duì)OpenAI gpt-3.5 turbo微調(diào)的新集成。
         
        
       
      
     
    

OpenAI在2023年8月22日宣布，現(xiàn)在可以對(duì)GPT-3.5 Turbo進(jìn)行微調(diào)了。也就是說，我們可以自定義自己的模型了。然后LlamaIndex就發(fā)布了0.8.7版本，集成了微調(diào)OpenAI gpt-3.5 turbo的功能。

也就是說，我們現(xiàn)在可以使用GPT-4生成訓(xùn)練數(shù)據(jù)，然后用更便宜的API（gpt-3.5 turbo）來進(jìn)行微調(diào)，從而獲得更準(zhǔn)確的模型，并且更便宜。所以在本文中，我們將使用NVIDIA的2022年SEC 10-K文件來仔細(xì)研究LlamaIndex中的這個(gè)新功能。并且將比較gpt-3.5 turbo和其他模型的性能。

RAG vs 微調(diào)

微調(diào)到底是什么?它和RAG有什么不同?什么時(shí)候應(yīng)該使用RAG和微調(diào)?以下兩張總結(jié)圖:

這兩個(gè)圖像總結(jié)了它們基本的差別，為我們選擇正確的工具提供了很好的指導(dǎo)。

但是，RAG和微調(diào)并不相互排斥。將兩者以混合方式應(yīng)用到同一個(gè)應(yīng)用程序中是完全可行的。

RAG/微調(diào)混合方法

LlamaIndex提供了在RAG管道中微調(diào)OpenAI gpt-3.5 turbo的詳細(xì)指南。從較高的層次來看，微調(diào)可以實(shí)現(xiàn)下圖中描述的關(guān)鍵任務(wù):

1. 使用DatasetGenerator實(shí)現(xiàn)評(píng)估數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)生成自動(dòng)化。

2. 在微調(diào)之前，使用第1步生成的Eval數(shù)據(jù)集對(duì)基本模型gpt-3.5-turbo進(jìn)行Eval。

3. 構(gòu)建向量索引查詢引擎，調(diào)用gpt-4根據(jù)訓(xùn)練數(shù)據(jù)集生成新的訓(xùn)練數(shù)據(jù)。

4. 回調(diào)處理程序OpenAIFineTuningHandler收集發(fā)送到gpt-4的所有消息及其響應(yīng)，并將這些消息保存為.jsonl (jsonline)格式，OpenAI API端點(diǎn)可以使用該格式進(jìn)行微調(diào)。

5. OpenAIFinetuneEngine是通過傳入gpt-3.5-turbo和第4步生成的json文件來構(gòu)造的，它向OpenAI發(fā)送一個(gè)微調(diào)調(diào)用，向OpenAI發(fā)起一個(gè)微調(diào)作業(yè)請(qǐng)求。

6. OpenAI根據(jù)您的要求創(chuàng)建微調(diào)的gpt-3.5-turbo模型。

7. 通過使用從第1步生成的Eval數(shù)據(jù)集來對(duì)模型進(jìn)行微調(diào)。

簡(jiǎn)單的總結(jié)來說就是，這種集成使gpt-3.5 turbo能夠?qū)pt-4訓(xùn)練的數(shù)據(jù)進(jìn)行微調(diào)，并輸出更好的響應(yīng)。

步驟2和7是可選的，因?yàn)樗鼈儍H僅是評(píng)估基本模型與微調(diào)模型的性能。

我們下面將演示這個(gè)過程，在演示時(shí)，使用NVIDIA 2022年的SEC 10-K文件。

主要功能點(diǎn)

1、OpenAIFineTuningHandler

這是OpenAI微調(diào)的回調(diào)處理程序，用于收集發(fā)送到gpt-4的所有訓(xùn)練數(shù)據(jù)，以及它們的響應(yīng)。將這些消息保存為.jsonl (jsonline)格式，OpenAI的API端點(diǎn)可以使用該格式進(jìn)行微調(diào)。

2、OpenAIFinetuneEngine

微調(diào)集成的核心是OpenAIFinetuneEngine，它負(fù)責(zé)啟動(dòng)微調(diào)作業(yè)并獲得一個(gè)微調(diào)模型，可以直接將其插件到LlamaIndex工作流程的其余部分。

使用OpenAIFinetuneEngine, LlamaIndex抽象了OpenAI api進(jìn)行微調(diào)的所有實(shí)現(xiàn)細(xì)節(jié)。包括:

• 準(zhǔn)備微調(diào)數(shù)據(jù)并將其轉(zhuǎn)換為json格式。

• 使用OpenAI的文件上傳微調(diào)數(shù)據(jù)。創(chuàng)建端點(diǎn)并從響應(yīng)中獲取文件id。

• 通過調(diào)用OpenAI的FineTuningJob創(chuàng)建一個(gè)新的微調(diào)作業(yè)。創(chuàng)建端點(diǎn)。

• 等待創(chuàng)建新的微調(diào)模型，然后使用新的微調(diào)模型。

我們可以使用OpenAIFinetuneEngine的gpt-4和OpenAIFineTuningHandler來收集我們想要訓(xùn)練的數(shù)據(jù)，也就是說我們使用gpt-4的輸出來訓(xùn)練我們的自定義的gpt-3.5 turbo模型

 from llama_index import ServiceContext from llama_index.llms import OpenAI from llama_index.callbacks import OpenAIFineTuningHandler from llama_index.callbacks import CallbackManager
 # use GPT-4 and the OpenAIFineTuningHandler to collect data that we want to train on. finetuning_handler = OpenAIFineTuningHandler() callback_manager = CallbackManager([finetuning_handler])
 gpt_4_context = ServiceContext.from_defaults(    llm=OpenAI(model="gpt-4", temperature=0.3),    context_window=2048, # limit the context window artifically to test refine process    callback_manager=callback_manager, )
 # load the training questions, auto generated by DatasetGenerator questions = [] with open("train_questions.txt", "r") as f:    for line in f:        questions.append(line.strip())
 from llama_index import VectorStoreIndex
 # create index, query engine, and run query for all questions index = VectorStoreIndex.from_documents(documents, service_context=gpt_4_context) query_engine = index.as_query_engine(similarity_top_k=2)
 for question in questions:    response = query_engine.query(question)
 # save fine-tuning events to jsonl file finetuning_handler.save_finetuning_events("finetuning_events.jsonl")
 from llama_index.finetuning import OpenAIFinetuneEngine
 # construct OpenAIFinetuneEngine finetune_engine = OpenAIFinetuneEngine(    "gpt-3.5-turbo",    "finetuning_events.jsonl" )
 # call finetune, which calls OpenAI API to fine-tune gpt-3.5-turbo based on training data in jsonl file. finetune_engine.finetune()
 # check current job status finetune_engine.get_current_job()
 # get fine-tuned model ft_llm = finetune_engine.get_finetuned_model(temperature=0.3)

需要注意的是，微調(diào)函數(shù)需要時(shí)間，對(duì)于我測(cè)試的169頁(yè)P(yáng)DF文檔，從在finetune_engine上啟動(dòng)finetune到收到OpenAI的電子郵件通知我新的微調(diào)工作已經(jīng)完成，這段時(shí)間大約花了10分鐘。下面的電子郵件如下。

在收到該電子郵件之前，如果在finetune_engine上運(yùn)行g(shù)et_finetuned_model，會(huì)得到一個(gè)錯(cuò)誤，提示微調(diào)作業(yè)還沒有準(zhǔn)備好。

3、ragas框架

ragas是RAG Assessment的縮寫，它提供了基于最新研究的工具，使我們能夠深入了解RAG管道。

ragas根據(jù)不同的維度來衡量管道的表現(xiàn):忠實(shí)度、答案相關(guān)性、上下文相關(guān)性、上下文召回等。對(duì)于這個(gè)演示應(yīng)用程序，我們將專注于衡量忠實(shí)度和答案相關(guān)性。

忠實(shí)度:衡量給定上下文下生成的答案的信息一致性。如果答案中有任何不能從上下文推斷出來的主張，則會(huì)被扣分。

答案相關(guān)性:指回答直接針對(duì)給定問題或上下文的程度。這并不考慮答案的真實(shí)性，而是懲罰給出問題的冗余信息或不完整答案。

在RAG管道中應(yīng)用ragas的詳細(xì)步驟如下:

• 收集一組eval問題(最少20個(gè)，在我們的例子中是40個(gè))來形成我們的測(cè)試數(shù)據(jù)集。

• 在微調(diào)之前和之后使用測(cè)試數(shù)據(jù)集運(yùn)行管道。每次使用上下文和生成的輸出記錄提示。

• 對(duì)它們中的每一個(gè)運(yùn)行ragas評(píng)估以生成評(píng)估分?jǐn)?shù)。

• 比較分?jǐn)?shù)就可以知道微調(diào)對(duì)性能的影響有多大。

代碼如下：

 contexts = [] answers = []
 # loop through the questions, run query for each question for question in questions:    response = query_engine.query(question)    contexts.append([x.node.get_content() for x in response.source_nodes])    answers.append(str(response))
 from datasets import Dataset from ragas import evaluate from ragas.metrics import answer_relevancy, faithfulness
 ds = Dataset.from_dict(    {        "question": questions,        "answer": answers,        "contexts": contexts,    } )
 # call ragas evaluate by passing in dataset, and eval categories result = evaluate(ds, [answer_relevancy, faithfulness]) print(result)
 import pandas as pd
 # print result in pandas dataframe so we can examine the question, answer, context, and ragas metrics pd.set_option('display.max_colwidth', 200) result.to_pandas()

評(píng)估結(jié)果

最后我們可以比較一下微調(diào)前后的eval結(jié)果。

基本gpt-3.5-turbo的評(píng)估請(qǐng)看下面的截圖。answer_relevance的評(píng)分不錯(cuò)，但忠實(shí)度有點(diǎn)低。

經(jīng)過微調(diào)，模型的性能在答案相關(guān)性中略有提高，從0.7475提高到0.7846，提高了4.96%。

使用gpt-4生成訓(xùn)練數(shù)據(jù)對(duì)gpt-3.5 turbo進(jìn)行微調(diào)確實(shí)看到了改善。

一些有趣的發(fā)現(xiàn)

1、對(duì)小文檔進(jìn)行微調(diào)會(huì)導(dǎo)致性能下降

最初用一個(gè)小的10頁(yè)P(yáng)DF文件進(jìn)行了實(shí)驗(yàn)，我發(fā)現(xiàn)eval結(jié)果與基本模型相比性能有所下降。然后又繼續(xù)測(cè)試了兩輪，結(jié)果如下:

第一輪基本模型:Ragas_score: 0.9122, answer_relevance: 0.9601, faithfulness: 0.8688

第一輪微調(diào)模型:Ragas_score: 0.8611, answer_relevance: 0.9380, faithfulness: 0.7958

第二輪基本模型:Ragas_score: 0.9170, answer_relevance: 0.9614, faithfulness: 0.8765

第二輪微調(diào)模型:Ragas_score: 0.8891, answer_relevance: 0.9557, faithfulness: 0.8313

所以換衣小文件可能是微調(diào)模型比基本模型表現(xiàn)更差的原因。所以使用了NVIDIA長(zhǎng)達(dá)169頁(yè)的SEC 10-K文件。對(duì)上面的結(jié)果做了一個(gè)很好的實(shí)驗(yàn)——經(jīng)過微調(diào)的模型表現(xiàn)得更好，忠實(shí)度增加了4.96%。

2、微調(diào)模型的結(jié)果不一致

原因可能是數(shù)據(jù)的大小和評(píng)估問題的質(zhì)量

盡管169頁(yè)文檔的微調(diào)模型獲得了預(yù)期的評(píng)估結(jié)果，但我對(duì)相同的評(píng)估問題和相同的文檔運(yùn)行了第二輪測(cè)試，結(jié)果如下：

第二輪基本模型:Ragas_score: 0.8874, answer_relevance: 0.9623, faithfulness: 0.8233

第二輪微調(diào)模型:Ragas_score: 0.8218, answer_relevance: 0.9498, faithfulness: 0.7242

是什么導(dǎo)致了eval結(jié)果的不一致?

數(shù)據(jù)大小很可能是導(dǎo)致不一致的微調(diào)計(jì)算結(jié)果的根本原因之一。“至少需要1000個(gè)微調(diào)數(shù)據(jù)集的樣本?！边@個(gè)演示應(yīng)用顯然沒有那么多的微調(diào)數(shù)據(jù)集。

另一個(gè)根本原因很可能在于數(shù)據(jù)質(zhì)量，也就是eval問題的質(zhì)量。我將eval結(jié)果打印到一個(gè)df中，列出了每個(gè)問題的問題、答案、上下文、answer_relevance和忠實(shí)度。

通過目測(cè)，有四個(gè)問題在忠實(shí)度中得分為0。而這些答案在文件中沒有提供上下文。

這四個(gè)問題質(zhì)量很差，所以我從eval_questions.txt中刪除了它們，重新運(yùn)行了評(píng)估，得到了更好的結(jié)果:

基本模型eval:Ragas_score: 0.8947, answer_relevance: 0.9627, faithfulness: 0.8356。

微調(diào)模型eval:Ragas_score: 0.9207, answer_relevance: 0.9596, faithfulness: 0.8847。

可以看到在解決了這四個(gè)質(zhì)量差的問題后，微調(diào)版的上升了5.9%。所以評(píng)估問題和訓(xùn)練數(shù)據(jù)需要更多的調(diào)整，以確保良好的數(shù)據(jù)質(zhì)量。這確實(shí)是一個(gè)非常有趣的探索領(lǐng)域。

3、微調(diào)的成本

經(jīng)過微調(diào)的gpt-3.5-turbo的價(jià)格高于基本模型的。我們來看看基本模型、微調(diào)模型和gpt-4之間的成本差異:

比較gpt-3.5-turbo (4K環(huán)境)、微調(diào)gpt-3.5-turbo和gpt-4 (8K環(huán)境)，可以看到:

• 經(jīng)過微調(diào)的gpt-3.5 turbo在輸入和輸出使用方面的成本是基本模型的8倍。

• 對(duì)于輸入使用，Gpt-4的成本是微調(diào)模型的2.5倍，對(duì)于輸出使用則是3.75倍。

• 對(duì)于輸入使用，Gpt-4的成本是基本模型的20倍，對(duì)于輸出使用情況是30倍。

• 另外使用微調(diào)模型會(huì)產(chǎn)生$0.008/1K 令牌的額外成本。

總結(jié)

本文探索了LlamaIndex對(duì)OpenAI gpt-3.5 turbo微調(diào)的新集成。我們通過NVIDIA SEC 10-K歸檔分析的RAG管道，測(cè)試基本模型性能，然后使用gpt-4收集訓(xùn)練數(shù)據(jù)，創(chuàng)建OpenAIFinetuneEngine，創(chuàng)建了一個(gè)新的微調(diào)模型，測(cè)試了它的性能，并將其與基本模型進(jìn)行了比較。

可以看到，因?yàn)镚PT4和gpt-3.5 turbo的巨大成本差異（20倍），在使用微調(diào)后，我們可以得到近似的效果，并且還能節(jié)省不少成本（2.5倍）。