The Rise of AI ASICs: How TPUs, Custom Silicon, and MediaTek Are Reshaping AI Infrastructure Beyond NVIDIA

Posted on by White Hsu - The Multinational IT Couch Potato

當 AI 不再只靠 GPU：TPU、ASIC 與聯發科如何進入全球 AI 基礎設施核心

====

The Rise of AI ASICs: How TPUs, Custom Silicon, and MediaTek Are Reshaping AI Infrastructure Beyond NVIDIA
The Rise of AI ASICs: How TPUs, Custom Silicon, and MediaTek Are Reshaping AI Infrastructure Beyond NVIDIA

The Rise of AI ASICs: How TPUs, Custom Silicon, and MediaTek Are Reshaping AI Infrastructure Beyond NVIDIA

For the past several years, the global AI industry has operated under a simple assumption:

AI runs on NVIDIA GPUs.

From ChatGPT to large language models (LLMs), nearly every major breakthrough in generative AI has been powered by massive GPU clusters.

Whether it was:

  • OpenAI
  • Meta
  • xAI
  • Anthropic

the underlying infrastructure almost always depended on NVIDIA.

As a result, NVIDIA became the defining company of the first AI era.

But in 2026, the market is beginning to realize something important:

The future of AI infrastructure may no longer belong exclusively to GPUs.

Instead, a new category is rapidly emerging at the center of the industry:

AI ASICs.

And this shift is bringing companies like MediaTek back into the global AI spotlight.

AI Infrastructure Is Entering Its Second Phase

The first phase of AI infrastructure was dominated by one core problem:

“Can we train frontier AI models?”

That challenge heavily favored GPUs.

NVIDIA’s dominance was built on:

  • CUDA
  • parallel computing performance
  • NVLink and NVSwitch
  • DGX architecture
  • mature developer ecosystems

In many ways, NVIDIA did not simply sell GPUs.

It created the modern AI factory.

But now, the industry is shifting into a different stage.

The core question is no longer only about training capability.

Instead, hyperscalers are increasingly asking:

“Can AI be deployed economically at global scale?”

And that changes everything.

Why AI ASICs Are Becoming More Important
Why AI ASICs Are Becoming More Important

Why AI ASICs Are Becoming More Important

As frontier AI models begin converging in capability, the economics of deployment are becoming more important than raw benchmark performance.

The real bottlenecks inside AI infrastructure are increasingly:

  • electricity consumption
  • cooling requirements
  • inference cost
  • rack density
  • long-term operational expenditure

This is why the industry has started discussing:

  • the cooling wall
  • the power wall
  • AI electricity economics

because modern AI infrastructure is entering an energy-constrained era.

That environment strongly favors AI ASICs.

Unlike general-purpose GPUs, AI ASICs are designed for highly specialized workloads.

Their advantages include:

  • higher power efficiency
  • lower inference cost
  • optimized transformer workloads
  • better performance-per-watt
  • more scalable deployment economics

And for hyperscalers operating AI services at massive scale, those advantages matter enormously.

Google TPU and the Rise of Custom AI Silicon

One of the clearest examples is Google.

Google has invested in TPU development for years, but many people previously viewed TPUs as internal infrastructure designed only for Google itself.

That perception is changing rapidly.

The success of Gemini demonstrates something strategically important:

World-class AI models no longer require a GPU-only architecture.

This is one of the biggest reasons why AI ASICs are attracting renewed attention.

Once AI model capabilities become relatively competitive, hyperscalers begin focusing on a different metric:

How much AI output can be generated per dollar?

That is where custom silicon becomes extremely attractive.

And Google is not alone.

Other hyperscalers are also developing their own AI ASIC strategies:

  • Amazon with Trainium
  • Meta with MTIA
  • Microsoft with Maia

Together, these efforts point toward a larger industry transformation:

AI infrastructure is moving from general-purpose GPU computing toward specialized AI silicon architectures.

Why MediaTek Matters in the AI ASIC Era
Why MediaTek Matters in the AI ASIC Era

Why MediaTek Matters in the AI ASIC Era

This shift is also why MediaTek is becoming increasingly important again.

Many investors still think of MediaTek primarily as a smartphone chip company.

But its real strength lies in something much more valuable for the AI era:

large-scale SoC integration and power efficiency engineering.

MediaTek has decades of experience integrating:

  • CPUs
  • NPUs
  • connectivity
  • memory controllers
  • power management systems

into highly optimized platforms.

And in modern AI infrastructure, power efficiency is becoming one of the industry’s most critical competitive advantages.

The Real Competitive Advantage: Performance Per Watt

MediaTek’s engineering DNA comes from smartphones.

And in smartphones, one metric dominates everything else:

performance per watt.

That expertise is becoming highly relevant to AI infrastructure.

Because AI’s next major bottleneck may no longer be compute availability alone.

It may be electricity.

As AI data centers scale globally, hyperscalers increasingly need:

  • lower power consumption
  • more efficient inference architectures
  • better thermal efficiency
  • lower deployment cost

This is precisely where AI ASICs become strategically important.

Taiwan’s Role in AI Is Also Evolving
Taiwan’s Role in AI Is Also Evolving

Taiwan’s Role in AI Is Also Evolving

For the past several years, Taiwan’s AI narrative has mostly centered around:

  • TSMC manufacturing GPUs
  • Taiwanese ODMs assembling AI servers
  • cooling companies solving thermal challenges

But the rise of AI ASICs is changing Taiwan’s position inside the global AI ecosystem.

Taiwan is no longer participating only through manufacturing infrastructure.

It is beginning to participate directly in:

AI compute architecture itself.

That is a much higher strategic position.

And MediaTek may become one of the few Taiwanese companies deeply embedded in the next generation of hyperscaler AI silicon.

Will AI ASICs Replace NVIDIA?

Probably not.

At least not in the foreseeable future.

Because NVIDIA’s real strength extends far beyond GPUs themselves.

Its competitive moat includes:

  • CUDA
  • developer ecosystems
  • networking infrastructure
  • NVLink and NVSwitch
  • DGX systems
  • the broader AI factory model

Especially in frontier model training, NVIDIA remains extraordinarily difficult to replace.

But that does not mean AI ASICs are unimportant.

What is really happening is this:

AI infrastructure is evolving from a single-GPU era into a multi-architecture ecosystem.

The future AI stack will likely include:

  • GPUs
  • TPUs
  • custom AI ASICs
  • edge AI accelerators

with different architectures optimized for different workloads.

The Next AI War May Be About Economics, Not Models
The Next AI War May Be About Economics, Not Models

The Next AI War May Be About Economics, Not Models

For the past several years, the AI race was defined by one question:

“Whose model is the most powerful?”

But the next defining question may become:

“Who can deploy AI to the world at the lowest cost?”

And that is precisely why AI ASICs are becoming one of the most important technologies of the next AI era.

If you enjoyed this analysis

Subscribe to Taiwan Tech Intelligence on Substack for deeper research and premium insights on:

  • Taiwan’s IT world within the global ecosystems
  • Taiwan’s role in the global AI supply chain
  • Data-driven company and industry analysis
  • Platforms and Startups

👉 https://whitehsu.substack.com/

—

For ongoing shorter insights and industry updates, follow Taiwan Tech Dispatch on LinkedIn:

👉 https://www.linkedin.com/newsletters/taiwan-tech-dispatch-7355532535025586178

—

Explore more articles on the blog:

Further Reading

====

當 AI 不再只靠 GPU：TPU、ASIC 與聯發科如何進入全球 AI 基礎設施核心
當 AI 不再只靠 GPU：TPU、ASIC 與聯發科如何進入全球 AI 基礎設施核心

當 AI 不再只靠 GPU：TPU、ASIC 與聯發科如何進入全球 AI 基礎設施核心

過去幾年，市場幾乎把一件事情視為理所當然：

AI = NVIDIA GPU。

從 ChatGPT 的爆發開始，到大型語言模型（LLM）的軍備競賽，整個產業幾乎都是圍繞著 GPU 建立。

不論是：

  • OpenAI
  • Meta
  • xAI
  • Anthropic

背後都需要大量 GPU cluster 作為基礎設施。

而 NVIDIA 也因此成為 AI 時代最具代表性的公司之一。

但到了 2026 年，市場開始慢慢出現一個重要變化：

世界級 AI，
似乎不一定只能依賴 NVIDIA GPU。

尤其是：

  • Google 的 Gemini
  • Anthropic 的 Claude

都讓市場開始重新注意到：

TPU 與 ASIC，
可能正在成為 AI 基礎設施的下一條主線。

而這個轉變，
也讓 MediaTek 再次站上全球 AI 產業的鎂光燈中心。

GPU 王朝是如何建立的？

必須先說：

NVIDIA 的成功並不是偶然。

事實上，
它幾乎定義了 AI 第一階段的基礎架構。

從 CUDA ecosystem、
到 H100 / B200、
再到 NVLink、NVSwitch、DGX architecture，

NVIDIA 提供的不只是 GPU，
而是一整套 AI factory。

尤其在大型模型訓練（training）領域：

  • 超大規模平行運算
  • 高速互連
  • 開發者生態
  • 軟體工具鏈

都讓 GPU 成為目前最成熟的 AI 運算平台。

也因此，
過去幾年市場形成了一種共識：

「只要 AI 繼續成長，
NVIDIA 就會持續成長。」

但問題是：

AI 產業正在進入下一個階段。

AI 的真正瓶頸，開始變成「部署成本」
AI 的真正瓶頸，開始變成「部署成本」

AI 的真正瓶頸，開始變成「部署成本」

AI 第一階段的核心問題是：

「模型能不能做出來？」

但現在，
產業真正開始思考的是：

「能不能便宜地大規模部署？」

這是一個非常關鍵的轉折。

因為當大型模型能力逐漸接近後，
Hyperscaler 真正關心的事情，
會開始從：

  • benchmark
  • parameter size
  • training capability

轉向：

  • inference cost
  • electricity consumption
  • cooling requirement
  • token economics
  • deployment scalability

換句話說：

AI 的競爭，
開始從「模型競賽」
進入「部署經濟學」。

尤其在大型資料中心裡，
真正昂貴的東西，
可能不再只是 GPU 本身。

而是：

  • 電力
  • 散熱
  • 機櫃密度
  • 長期營運成本（OPEX）

這也是為什麼近年市場開始愈來愈常聽到：

  • cooling wall
  • power wall
  • AI electricity economics

這些詞。

因為 AI infrastructure 正逐漸進入：

「能源限制時代」。

TPU 與 ASIC 為什麼重新崛起？

這正是 TPU 與 ASIC 開始變重要的原因。

GPU 的最大優勢是：

  • 通用性高
  • 生態成熟
  • 開發快速
  • 適合 frontier model training

但 TPU/ASIC 的優勢則是：

  • 更高能效比
  • 特定 workload 成本更低
  • inference scaling 更有效率
  • 更適合 hyperscaler 大規模部署

而這些優勢，
在 AI 第二階段開始變得非常重要。

尤其是 Google。

Google 長年投入 TPU，
過去很多人認為：

TPU 只是 Google 的內部工具。

但現在，
Gemini 的成功，
其實證明了一件事：

世界級 AI，
不一定只能建立在 GPU 之上。

這背後的意義非常巨大。

因為當模型能力開始接近時，
市場真正開始關心的，
就會變成：

「每一美元，
能產生多少 AI output？」

這時候，
TPU 與 ASIC 的價值就開始浮現。

AI 正在從「通用運算」走向「專用化」
AI 正在從「通用運算」走向「專用化」

AI 正在從「通用運算」走向「專用化」

這其實是一個更大的產業趨勢。

早期的雲端世界，
幾乎所有事情都由 CPU 處理。

但後來開始出現：

  • ASIC
  • SmartNIC
  • DPU
  • 專用網路晶片

因為當規模變大時，
「專用化（specialization）」通常會帶來更高效率。

AI 現在也正在發生同樣的事情。

也就是：

從「通用 GPU」
走向：
「GPU + ASIC 共存」。

而且不只是 Google。

包括：

  • Amazon 的 Trainium
  • Meta 的 MTIA
  • Microsoft 的 Maia

都代表同一件事：

Hyperscaler 開始想掌握自己的 AI silicon。

因為 AI 已經不是單一產品，
而是整個雲端基礎設施的核心。

為什麼聯發科突然重新變重要？

這也是這幾年市場開始重新注意 MediaTek 的原因。

很多人仍然停留在：

「聯發科就是手機晶片公司。」

但實際上，
聯發科真正強的，
其實是：

大規模 SoC 整合能力

包括：

  • CPU
  • NPU
  • connectivity
  • memory controller
  • power management

整合成完整平台。

而這種能力，
在 AI 時代反而變得更重要。

聯發科真正的優勢，其實是「power efficiency DNA」

聯發科真正的優勢，其實是「power efficiency DNA」

聯發科是從手機世界成長起來的。

而手機產業最重要的一件事，
就是：

performance per watt。

也就是：

每一瓦電力能提供多少效能。

這與 AI infrastructure 下一階段的需求，
幾乎完全一致。

因為現在 AI 世界真正的大問題之一，
其實就是：

電力。

當 AI data center 的耗電量快速上升時，

更高能效的 ASIC 架構，
就會開始變得非常有價值。

Google TPU 生態，可能才是真正關鍵

市場現在愈來愈注意：

聯發科正在逐漸切入 Google TPU ecosystem。

這件事的戰略意義其實非常大。

因為這代表：

台灣供應鏈開始不只是：

  • AI server assembly
  • cooling
  • PCB
  • packaging

而是：

開始進入 AI compute architecture 本身。

這會是完全不同的產業位置。

過去幾年，
全球 AI 敘事大多集中在：

  • TSMC 幫 NVIDIA 生產 GPU
  • 廣達與緯創組裝 AI server
  • 散熱廠解決 cooling problem

但現在，
另一條新的 AI 路線開始浮現：

Hyperscaler custom silicon。

而聯發科，
很可能是台灣少數真正切入這條路線的 IC design company。

NVIDIA 真的會被取代嗎？

我認為答案是：

不會。

至少短時間內不會。

因為 NVIDIA 真正強大的地方，
早就不只是 GPU。

而是：

  • CUDA ecosystem
  • developer inertia
  • NVLink / NVSwitch
  • networking
  • DGX architecture
  • AI factory concept

這些東西，
形成了極高的護城河。

尤其在 frontier model training 領域，
NVIDIA 仍然極難被取代。

但這不代表 ASIC 不重要。

真正正在發生的事情比較像是：

AI infrastructure 世界，
正從「單一 GPU 王朝」
進入「多極化架構」。

未來的 AI 世界，
很可能會同時存在：

  • GPU
  • TPU
  • custom ASIC
  • edge AI accelerator

而不同 workload，
會使用不同運算架構。

下一場 AI 戰爭，可能不再只是模型競賽
下一場 AI 戰爭，可能不再只是模型競賽

下一場 AI 戰爭，可能不再只是模型競賽

過去幾年，
AI 競爭的核心問題是：

「誰的模型最強？」

但接下來，
真正重要的問題，
可能會變成：

「誰能用最低成本，
把 AI 部署到全世界？」

而這場戰爭，
很可能才正要開始。

如果你喜歡這篇分析

歡迎訂閱我的 Substack 專欄 Taiwan Tech Intelligence，獲取更深入的產業研究與觀察：

  • 台灣的IT以及高科技產業
  • 台灣在全球 AI 供應鏈中的關鍵角色
  • 以數據與案例為基礎的公司與產業分析
  • 平台以及新創生態

👉 https://whitehsu.substack.com/

—

也歡迎在 LinkedIn 上追蹤 Taiwan Tech Dispatch，掌握即時觀點與產業動態：

👉 https://www.linkedin.com/newsletters/taiwan-tech-dispatch-7355532535025586178

—

更多文章請見：
https://whitehsu.blog/

延伸閱讀

Leave a Reply