LAMB Optimizer實(shí)戰(zhàn)：大batch訓(xùn)練穩(wěn)定性提升 在當(dāng)今的大模型時(shí)代，訓(xùn)練一個(gè)千億參數(shù)的Transformer不再稀奇，但如何讓這樣的龐然大物穩(wěn)定地“跑起來”，卻是每個(gè)AI工程師都頭疼的問題。尤其是當(dāng)團(tuán)隊(duì)試圖通過增大 batch size 來加速訓(xùn)練…

貝葉斯神經(jīng)網(wǎng)絡(luò)：TensorFlow Probability應(yīng)用實(shí)例 在醫(yī)療影像診斷系統(tǒng)中，一個(gè)深度學(xué)習(xí)模型將肺部CT圖像判定為“高度疑似肺癌”，并給出99.8%的置信度。然而，放射科醫(yī)生卻發(fā)現(xiàn)該圖像其實(shí)屬于罕見的良性結(jié)節(jié)類型——這正是傳統(tǒng)神經(jīng)網(wǎng)…

MLIR在TensorFlow編譯棧中的作用與價(jià)值 在今天的工業(yè)級(jí)AI系統(tǒng)中，一個(gè)看似簡單的問題卻異常棘手：如何讓一個(gè)在服務(wù)器上訓(xùn)練好的深度學(xué)習(xí)模型，高效、穩(wěn)定地跑在從數(shù)據(jù)中心GPU到手機(jī)端NPU的各類硬件上？這不僅僅是“換個(gè)設(shè)備運(yùn)行”那么…

變分自編碼器VAE：TensorFlow實(shí)現(xiàn)細(xì)節(jié) 在圖像生成、異常檢測和表示學(xué)習(xí)等任務(wù)中，如何讓模型不僅“記住”數(shù)據(jù)，還能理解其背后的分布規(guī)律？這是現(xiàn)代深度學(xué)習(xí)面臨的核心挑戰(zhàn)之一。變分自編碼器（Variational Autoencoder, V…

微電網(wǎng)優(yōu)化調(diào)度作為智能電網(wǎng)優(yōu)化的重要組成部分，對(duì)降低能耗、環(huán)境污染具有重要 意義。 微電網(wǎng)的發(fā)展目標(biāo)既要滿足電力供應(yīng)的基本需求，又要提高經(jīng)濟(jì)效益和環(huán)境保護(hù)。 對(duì)此， 提出了一種綜合考慮微電網(wǎng)系統(tǒng)運(yùn)行成本和環(huán)境保護(hù)成本的并網(wǎng)模式下微…

01.微服務(wù)為什么需要契約測試 首先我介紹一下公司的情況。我們使用的是微服務(wù)架構(gòu)，每個(gè)部分會(huì)負(fù)責(zé)其中的幾個(gè)微服務(wù)的研發(fā)和維護(hù)。我所在的部門維護(hù)公司的支付服務(wù)（billing），這個(gè)服務(wù)需要依賴其他部門的幾個(gè)服務(wù)。 當(dāng)用戶需要支…

SparseTensor應(yīng)用：高維稀疏特征建模 在當(dāng)今的推薦系統(tǒng)、廣告點(diǎn)擊率預(yù)測和自然語言處理任務(wù)中，我們常常面對(duì)一個(gè)看似簡單卻極具挑戰(zhàn)的問題：如何高效地表示和計(jì)算那些“幾乎全是零”的數(shù)據(jù)？比如，在一個(gè)擁有上億商品的電商…

百川大模型TensorFlow生態(tài)接入建議 在當(dāng)前大模型加速落地的浪潮中，如何將像百川這樣參數(shù)規(guī)模龐大、推理成本高昂的AI系統(tǒng)穩(wěn)定高效地部署到生產(chǎn)環(huán)境，已成為企業(yè)AI工程團(tuán)隊(duì)的核心挑戰(zhàn)。許多團(tuán)隊(duì)在完成模型訓(xùn)練后才發(fā)現(xiàn)，從實(shí)驗(yàn)室到線上服務(wù)之間存…