国产精品免费一区二区三区四区-精品无码AV一区二区三区不卡-国产麻豆剧传媒精品国产av-国产WW久久久久久久久久

近日，記者從四川大學獲悉，該校計算機學院呂建成教授研究團隊通過收集海量工業(yè)數(shù)據(jù)，創(chuàng)新大模型注意力機制，研制首個工藝設計大模型——“魯班-10B”，在實驗中展現(xiàn)出更高的工藝生成質量，有望提高我國制造業(yè)現(xiàn)有工藝編制效率，展現(xiàn)出人工智能賦能先進制造的廣闊前景。

據(jù)悉，隨著通用大模型在自然語言處理領域的快速發(fā)展，其在文本生成、問答系統(tǒng)和語言理解等任務中已取得顯著成果。然而，在工藝設計等高度專業(yè)化的工程應用場景中，現(xiàn)有大模型的適用性仍面臨諸多挑戰(zhàn)。

今年5月，呂建成教授研究團隊在《四川大學學報（自然科學版）》發(fā)表學術論文《面向工藝設計的領域大模型構建方法》，系統(tǒng)性地闡述工藝設計領域垂直大模型的構建和訓練方法。

文章指出，工藝設計領域的文本生成任務面臨雙重挑戰(zhàn)。一方面，工藝設計文本專業(yè)術語密集、流程描述冗長，傳統(tǒng)注意力機制在處理長文本時，計算效率低下，且全局語義容易出現(xiàn)失穩(wěn)情況，難以精準捕捉文本核心信息。另一方面，通用大語言模型依賴大規(guī)模標注數(shù)據(jù)進行訓練，而工藝設計領域的數(shù)據(jù)具有獨特性，與通用大語言模型的訓練范式存在顯著差異，這使得通用模型難以直接適配工藝設計需求。

為此，該研究團隊提出“混合稀疏注意力機制”，通過動態(tài)篩選關鍵標識符、鎖定起始標識符權重，有效壓縮了非核心語義的計算負擔，把自注意力機制原本需要兩兩對比（N2級別）的計算方式，優(yōu)化成只需要線性級別（N的倍數(shù)）的計算量，在降低資源消耗的同時提升了模型對長文本的生成穩(wěn)定性。

“目前，‘魯班-10B’工藝大模型系統(tǒng)已在多家制造企業(yè)中被實際使用。該大模型的創(chuàng)新實踐表明，針對特定場景的數(shù)據(jù)特征與任務需求設計專用模型架構，或將成為突破行業(yè)瓶頸的關鍵。”呂建成表示。