搜尋引擎與 AI 爬蟲工具箱

提交收錄與 IndexNow

重點摘要:新網站可在 Google Search Console 提交 sitemap(每檔最多 5 萬個網址、未壓縮 50 MB),在 Bing 網站管理員工具提交即同時涵蓋 Yahoo,再用 IndexNow 即時通知 Bing、Yandex 等,單次最多 10,000 個網址。

Google|Google Search Console

  1. 新增資源(網域或網址前置字元),用 DNS 或 HTML 檔驗證
  2. 在「Sitemap」提交 sitemap.xml(每檔最多 5 萬個網址、未壓縮 50 MB)
  3. 新頁面用「網址審查」→「要求建立索引」,每天有數量上限
  4. Indexing API 只能用於職缺(JobPosting)與直播(BroadcastEvent),一般網頁不可用

即時提交:無一般網頁即時提交 API;靠 sitemap 與內部連結 Google Search Console

Bing(含 Yahoo)|Bing 網站管理員工具

  1. 可直接從 Google Search Console 匯入網站
  2. 提交 sitemap.xml
  3. 用 IndexNow 即時通知新增、更新、刪除的網址
  4. 台灣 Yahoo 搜尋結果由 Bing 提供,不需另外提交

即時提交:IndexNow(本站可代送) Bing 網站管理員工具

百度|百度搜尋資源平台

  1. 需中國大陸手機號碼註冊,驗證網站
  2. 「普通收錄」可用 API 推送、sitemap 或手動提交
  3. API 推送:POST http://data.zz.baidu.com/urls?site=你的網站&token=你的金鑰,內容每行一個網址
  4. 回傳 success(成功數)、remain(當天剩餘額度)、not_same_site、not_valid

即時提交:百度普通收錄 API(需自己的 token) 百度搜尋資源平台

YouTube|YouTube Studio

  1. 標題、說明前段放主要關鍵字
  2. 加章節時間碼,第一個必須是 0:00
  3. 上傳字幕檔,幫助搜尋理解內容
  4. 說明中的主題標籤超過 60 個,全部標籤都會被忽略

即時提交:無提交機制,依站內搜尋與推薦 YouTube 說明:影片章節

Yandex、Naver、Seznam 等|IndexNow

  1. 同一次 IndexNow 提交會分享給所有參與的搜尋引擎
  2. 在網站根目錄放 {金鑰}.txt,內容就是金鑰
  3. 單次 POST 最多 10,000 個網址

即時提交:IndexNow IndexNow 官方文件

AI 搜尋(ChatGPT、Claude、Perplexity)|robots.txt 與 llms.txt

  1. robots.txt 允許 OAI-SearchBot、Claude-SearchBot、PerplexityBot
  2. 想擋訓練但保留搜尋曝光:封鎖 GPTBot、ClaudeBot、Google-Extended、CCBot 即可
  3. 提供 /llms.txt 與 Markdown 版頁面,方便 AI 讀取
  4. ChatGPT 搜尋也會參考 Bing 索引,Bing 收錄很重要

即時提交:無提交 API llms.txt 提案

IndexNow 即時提交

先產生金鑰,把 {金鑰}.txt 放到網站根目錄。

Bing 搜尋 API 已於 2025-08-11 停止服務(Microsoft:Bing Search API 於 2025-08-11 停止服務)。Google 沒有參與 IndexNow。

常見問題

新網站怎麼讓 Google 收錄?

在 Google Search Console 新增並驗證網站,於「Sitemap」提交 sitemap.xml,新頁面可用「網址審查」要求建立索引(每天有數量上限)。Google 沒有一般網頁的即時提交 API,主要靠 sitemap 與內部連結。

Google Indexing API 可以用在一般網頁嗎?

不行,Google Indexing API 只能用於職缺(JobPosting)與直播(BroadcastEvent)頁面,一般網頁不可用,請改用 sitemap 與 Search Console。

IndexNow 是什麼?Google 有支援嗎?

IndexNow 是即時通知搜尋引擎網址新增、更新或刪除的協定,一次提交會分享給 Bing、Yandex、Naver、Seznam 等參與的搜尋引擎。Google 沒有參與 IndexNow。

IndexNow 金鑰怎麼設定?

產生一組金鑰後,在網站根目錄放一個「{金鑰}.txt」檔案,內容就是金鑰本身,再用同一組金鑰提交網址。回應 200 代表成功,202 代表已接收、等待驗證金鑰檔,403 代表金鑰無效或找不到金鑰檔。

Yahoo 奇摩需要另外提交網站嗎?

不需要。台灣 Yahoo 的搜尋結果由 Bing 提供,在 Bing 網站管理員工具提交即可;Bing 也能直接從 Google Search Console 匯入網站。

參考來源