TourExAIGC:用於評估旅遊教學的 AIGC 綜合系統

         旅遊教育,特別是在旅遊景點講解教學往往缺乏現場講解的環境、重複學習的條件以及實時的評估機制,這使得景點講解教學變得複雜和低效。傳統的教學模式難以滿足現代教育對個性化學習和實時反饋的需求,特別是在需要專業語言表達和多媒體結合的旅遊景點講解中。這一領域的教育工作者和學生亟需一種創新的方法來提升學習效果並確保教學的有效性。

 

        在此背景下,本研究提出了一種基於多模態AI生成內容(AIGC)技術的閉環、集成自動化評估系統,該系統名為 TourExAIGC,採用大型語言模型 (LLM)、基於 LoRA 的微調、檢索增強生成 (RAG) 技術、COT思維鏈、圖像和視頻生成工具和多模態分析方法的組合,以創建一個全面的閉環評估框架,用於評估和提高旅遊學生的講解能力。

 

        TourExAIGC 系統旨在為旅遊景點講解的教學和評估提供一種全面且高效的解決方案。學生提供自動生成的旅遊景點視頻以供重複學習並提供實時、多方面的評估報告來滿足對更強大、更動態的教育方法的需求。評估過程涵蓋多個維度,包括知識點覆蓋度、邏輯一致性、表達內容準確性、創新性、互動性、反饋改進和評分一致性。通過結合迭代反饋循環,該系統使學生能夠逐步完善技能,與培養能力和對專業能力的信心的教育目標保持一致。

 

圖1 旅遊景點講解的教學與評估解決方案pipeline,紅色框為系統的操作步驟,綠色框為每個操作步驟對應的AI模型。

 

        首先,學生使用 TourExAIGC 系統,通過step1( Script Drafting)輸入景點描述通過智譜清言的 GLM-4-9B-Chat(128K)大模型得到視頻腳本初稿;其次,視頻腳本初稿通過step2(Script & Image Gen)GLM-4-9B-Chat的RAG技術(檢索澳門旅遊景點信息數據集MLKB中的圖片描述)得到該景點的視頻生成腳本最終描述和通過調用Kling的圖生圖API得到該視頻對應的圖片;第三步,視頻生成腳本最終描述和對應的圖片作為step3( Video Gen)的Prompt輸入,通過視頻CoT技術並調用Kling的圖生視頻API,將一個複雜的景點視頻生成問題分解為一步一步連續的子視頻片段生成問題,其中每個視頻片段step2輸出的視頻腳本和相應的圖像。最後將子視頻片段拼接為一個完整視頻,生成該景點的最終視頻。Step 4(Text Transcription),學生使用TourExAIGC 系統講解step3生成的景點視頻,通過騰訊Speech to Text的API接口16k_zh-PY得到該景點的講解文字描述,並通過Speech to Text的時間戳和視頻的時間進行對齊。第5步,經過時間對齊後的學生講解文字描述作為step5(Scoring & Suggestion)的輸入,提供給經過評分和建議數據集TourGuide微調後的GLM-4-9B-Chat模型,實時得到初步的評分和建議。最後,學生對step5輸出的初步評分和建議進行意見反饋和重複練習,通過微調後的GLM-4-9B-Chat模型得到step6的最終評分和建議報告。

 

        本研究的系統設計對教育工作者和教育軟件開發人員具有重要價值,因為它解決了在旅遊教育背景下評估教育軌跡和改善學生成果的關鍵任務。