星凡科技,推理算力產(chǎn)品領(lǐng)航者
2024-11-27 19:04 互聯(lián)網(wǎng)
“星算計劃”由國星宇航、星凡科技聯(lián)合之江實驗室及行業(yè)頭部上市公司、科技獨角獸共同發(fā)起,旨在構(gòu)建領(lǐng)先的地空一體化人工智能算力網(wǎng)絡(luò)。項目規(guī)劃2024年到2032年,完成3000顆太空算力衛(wèi)星發(fā)射并組網(wǎng),同時地面建設(shè)100個地基訓(xùn)推一體化算力節(jié)點,建成后總算力預(yù)計將達(dá)到80000P。“星算計劃”打造的地面算力節(jié)點網(wǎng)絡(luò)系統(tǒng)性優(yōu)勢,結(jié)合太空算力形成天數(shù)天算、地數(shù)地算的協(xié)同服務(wù),助力千行百業(yè)等諸多領(lǐng)域完成數(shù)智化轉(zhuǎn)型,開啟智算服務(wù)新篇章。
星凡星啟(成都)科技有限公司(以下簡稱“星凡科技”)作為國內(nèi)領(lǐng)先的人工智能推理算力產(chǎn)品提供商,以其自有推理芯片“星核”及異構(gòu)中間件加速平臺X-Boost為基礎(chǔ),為“星算計劃”中全國的地面訓(xùn)推一體化算力中心及太空衛(wèi)星算力節(jié)點,打造高性能、低功耗的AI算力產(chǎn)品,助力“星算計劃”快速落地。
近年來,隨著人工智能的快速發(fā)展、大模型等技術(shù)應(yīng)用對數(shù)據(jù)需求和模型參數(shù)的逐步上漲,對更大規(guī)模、更高性能的計算能力提出需求。而以O(shè)pen AI發(fā)布SORA、GPT-O1為代表大模型、多模態(tài),處理復(fù)雜問題的能力更強,推進(jìn)大模型在更多領(lǐng)域的應(yīng)用,從而催生推理算力需求的快速增長。
同時國產(chǎn)算力發(fā)展痛點也備受關(guān)注:算力中心建設(shè)成本高、性價比低、運營回本周期長;模型使用者算力成本高、單一芯片難滿足多元化算力需求、模型嫁接難適配難等都成為迫在眉睫的問題。而星凡科技的軟硬一體算力產(chǎn)品給出了優(yōu)質(zhì)的解決方案。
星凡科技軟硬一體算力解決方案核心分為硬件和軟件兩大部分。核心硬件,星凡科技采用自研“星核”大模型推理芯片,具有高并發(fā)、高吞吐、高能效、高性價比的特點,性能、功耗、顯存等核心指標(biāo)處于國內(nèi)前列水平,同時結(jié)合星凡獨創(chuàng)大模型壓縮方法,可使模型推理性能提升數(shù)倍,并保障模型壓縮后精度損失最小化。
軟件上,公司自研異構(gòu)中間件加速平臺X-Boost,為國內(nèi)領(lǐng)先支持異構(gòu)算力的全性能優(yōu)化平臺。平臺向上深度適配主流大模型及各類傳統(tǒng)深度學(xué)習(xí)算法,向下兼容英偉達(dá)及國產(chǎn)主流芯片,解決模型適配難痛點,并提升大模型在國產(chǎn)芯片上推理性能。同時X-Boost內(nèi)置公司自研大模型加速工具、算子優(yōu)化工具等,針對大小模型均能實現(xiàn)在保證精度的前提下,最高可實現(xiàn)8倍綜合性能效提升,顯著提高計算資源利用率。
基于自有軟硬件、國內(nèi)外主流AI芯片,星凡科技打造訓(xùn)推一體化算力集群、推理側(cè)算力集群、超新星分布式微算力中心等軟硬一體化AI算力產(chǎn)品,賦能算力中心建設(shè)方、垂直行業(yè)等客戶。產(chǎn)品實現(xiàn)算力集群的SOP單元化,能以AI POD形式進(jìn)行整體快速復(fù)制和縱向擴展,快速形成超大規(guī)模算力資源。同時在X-Boost的加持下,集群吞吐量及可部署模型數(shù)量均提升1-2倍,最高可降低45%以上的算力中心運營電費成本,解決算力中心業(yè)主方、行業(yè)用戶建設(shè)成本高、運營回本周期長、算力使用貴等痛點。
目前,星凡科技軟硬一體算力產(chǎn)品獲得下游客戶的廣泛認(rèn)可,并已支持多地區(qū)建設(shè)高性價比智算中心,并布局拓展商業(yè)航天、政務(wù)、文創(chuàng)、交通等垂直行業(yè)。未來,星凡科技將繼續(xù)深化軟硬一體算力產(chǎn)品的技術(shù)創(chuàng)新與應(yīng)用拓展,致力于構(gòu)建更加高效、智能、綠色的算力生態(tài)體系。
廣告