データ取得系リソースの選び方
外部のデータを取り込む場合、取得できるかどうかより「取り込んだ後にどう扱うか」の設計が実装の主要な作業になる。取得元が止まる、形式が変わる、重複が届く——といった事態を前提にした作りが要る。
取り込み側で必ず決めること
- 重複排除のキー — URL や ID を正規化してから照合する。トラッキング用パラメータが付いて別物として扱われる事故は多い
- 失敗の検知 — 取得が止まったことに気づける仕組みがないと、静かに古いデータを表示し続ける
- 保存範囲 — 全文を保存するのか、見出しとリンクに留めるのか。著作権の判断が絡む
取得できることと、再利用してよいことは別問題です
API やフィードで本文を取得できても、それを自社サイトに掲載してよいとは限りません。著作権は元の書き手に帰属します。見出しとリンクによる引用の範囲に留めるのが安全で、本文を蓄積して表示する構成にするなら、提供元の利用規約を確認したうえで判断してください。
鮮度と網羅性のトレードオフ
取得頻度を上げれば鮮度は上がるが、提供元への負荷とレート制限の消費が増える。逆に頻度を落とすと、更新の取りこぼしが起きる。多くの場合、更新通知（Webhook）を受け取れるなら通知駆動に寄せ、通知がない場合のみ定期取得で補う構成が効率的だ。
単一ソースに依存しない
情報源が一つだと、その提供元が止まった時点で機能が死ぬ。とくにメディアのフィードは、運営体制の変更で更新が途絶えることがある。重要な用途では複数のソースを併用し、片方が止まっても機能が継続する構成にしておきたい。