ニュース・記事取得リソースの選び方
外部の記事や更新情報を取り込む場合、取得できるかどうかより「取り込んだ後にどう扱うか」の設計が実装の主要な作業になる。情報源が止まる、形式が変わる、重複が届く——といった事態を前提にした作りが要る。
取り込み側で必ず決めること
- 重複排除のキー — URL を正規化してから照合する。トラッキング用パラメータが付いて別物として扱われる事故は多い
- 失敗の検知 — 取得が止まったことに気づける仕組みがないと、静かに古い情報を表示し続ける
- 保存範囲 — 全文を保存するのか、見出しとリンクに留めるのか
取得できることと、掲載してよいことは別問題です
フィードや API で本文を取得できても、それを自社サイトに掲載してよいとは限りません。著作権は元の書き手に帰属します。見出しとリンクによる引用の範囲に留め、原典へ誘導する形にするのが安全です。本文を蓄積して表示する構成にするなら、提供元の利用規約を確認したうえで判断してください。
ノイズをどう絞るか
情報源によっては配信量が多く、そのまま流すと誰も読まなくなる。キーワードでフィルタする、一定の反応数を超えたものだけ通す、といった閾値を設けて初めて実用的になる。「何を通さないか」の設計が、取り込みそのものより重要になることが多い。
単一ソースに依存しない
情報源が一つだと、その提供元が止まった時点で機能が死ぬ。とくにメディアのフィードは、運営体制の変更で更新が途絶えることがある。重要な用途では複数のソースを併用し、片方が止まっても機能が継続する構成にしておきたい。