ページの先頭です


ページ内移動用のリンクです

  1. ホーム
  2. IIJの技術
  3. セキュリティ・技術レポート
  4. Internet Infrastructure Review(IIR)
  5. Vol.41
  6. 3. フォーカス・リサーチ(2) 海底ケーブルとインターネットの信頼性

Internet Infrastructure Review(IIR)Vol.41
2018年12月19日
RSS

目次

3. フォーカス・リサーチ(2)

海底ケーブルとインターネットの信頼性

IIJ技術研究所では計測や解析を通じてグローバルなインターネットの信頼性向上に貢献する研究を行っています。本稿では、インターネットを支える海底ケーブルを理解することで、信頼性の向上を目指す研究について報告します。なお本稿は、ACM HotNet2018で発表した論文の要約です(※1)

3.1 はじめに

インターネットにおける国際データ通信の99%は海底ケーブルによって運ばれています(※2)。19世紀半ばから敷設が始まった海底ケーブルは指数関数的な勢いで総容量が増えており、今日では総長100万キロメートル(※3)を超え、数百本のケーブルからなる複雑な網目構造が、世界のほぼすべての地域を結んでいます(図-1)。この中には、大手事業者のグローバルサービスの大容量運用バックボーンに加え、陸上接続の乏しい地域への接続を確保するためのケーブルがあります(※4)(※5)

図-1 TeleGeograpyによる海底ケーブル図(2018年7月)(※6)

海底ケーブルは、これだけ大規模かつ重要であるにもかかわらず、既存研究では特定の回線障害に着目されたりブラックボックス扱いされたりしており、グローバル・インターネットにおける役割があまり理解されていません。

本稿では、海底ケーブルに関する公開情報から海底ネットワークの成長と現状を明らかにし、海底ケーブルの障害によるネットワークへの影響について、各種の観測データをもとに考察する手法を提案します。

3.2 海底ケーブルをとりまく状況

最初の商用の海底ケーブルは1850年に英国海峡に敷設されました。初期のケーブルは、電話用の撚り銅線でした。光ファイバーケーブルは1980年代に開発され、1988年に大西洋横断ケーブル(TAT-8)で初めて稼動しました。今日ではほぼすべてのケーブルが光ファイバーとなっています。現在の光ファイバーは、水深に応じて、銅チューブ、アルミ防水材、撚り線シールド、ポリエチレンシールドなどを多層に巻いて保護されています(図-2)。ケーブルの種類は、直径約10cm、重さ約40t/kmの浅海ケーブルから、直径約2cm、重さは約1.5t/kmの深海ケーブルまで様々なものがあります。

図-2 多層に保護された海底ケーブルの断面

ほとんどの海底ケーブルは、共同事業として構築、管理され、複数の通信会社によって共有されています。例えば、先述のTAT-8には、AT & T、ブリティッシュ・テレコム、フランス・テレコムなど当時の大手国際通信事業者をはじめとする35社が関わっていました(※7)。最近の敷設ブームは、GoogleやFacebook、Microsoft、Amazonなどのコンテンツ事業者が牽引しているようです。Telegeographyによれば、コンテンツ事業者が配備した容量は、2013年から2017年で10倍に増加し、他のすべての顧客の増加率を上回っています(※8)

3.2.1 海底ケーブルに関わる問題

海底ケーブルの全長が急速に拡大し続けるにつれて、ケーブル問題に起因するネットワークトラブルの可能性も増えています。地震や津波などの大規模災害をはじめ、海底の地滑りや海流による岩盤擦れ、サメによる被害など、自然環境に起因する潜在的なリスクが数多くあります。

また自然の力以上に、意図的であるか否かを問わず、人間の行動はケーブルに対する最大の脅威です。ケーブル破壊の約70%は漁業用トロール網や船舶の錨によって引き起こされている(※3)ほか、脆弱なケーブルに対する意図的な攻撃に対する懸念も高まっています。例えば、米海軍関係者は、重要な海底ケーブル付近でロシアの潜水艦やスパイ船を観測することに懸念を表明しています(※9)(※10)

海底ケーブルの障害の影響は、接続冗長性の高い地域では限定的だと思われますが、特に脆弱と思われる地域もあります(※11)(※12)(※13)。例えばアジア・アメリカ・ゲートウェイ・ケーブル(AAG)は、東南アジアと米国を結び、ベトナムの国際インターネットトラフィックの60%以上を扱っていますが、頻繁に故障することで有名です。2017年だけでも、AAGは少なくとも5回の障害を起こしています(※14)

また、2013年にエジプト沖でSE-WE-ME-4海底ケーブルを切断したダイバーが逮捕された事件では、インターネットの速度が60%低下しました(※11)(※15)。更に、2018年4月には1本の海底ケーブルが切断されたことにより、モーリタニアなどの国全体がオフラインとなりました(※12)

このようなリスクを把握するには、グローバルネットワークの構成要素としての海底ネットワークの役割を明らかにする必要があります。ネットワーク層で異なるパスであるように見えるルートが、物理層では同じケーブルに依存していることもあります。

大規模通信事業者は、太平洋横断や大西洋横断などの特に重要なルートでは複数のケーブルを利用しています。しかし、レイヤー3のトポロジーの詳細を開示していても、ネットワークが物理的にどの管路や海底ケーブルで接続されているかが分からないため、第三者が特定の海底ケーブルへの依存度を知ることは困難です。

3.2.2 世界の海底ケーブル

海底ケーブルの情報は、いくつかのWebサイトで公開されています。本稿では、TeleGeograpyの海底ケーブルマップ(※6)とGreg(Mahlknecth)のケーブルマップ(※16)の2つのサイトから収集したデータを用いて、ケーブルの数や容量の観点から海底ネットワークインフラの成長と現状を見ていきます。どちらのサイトも、数百本の海底ケーブルのグローバルマップを各ケーブルの詳細と共に公開しています。重なりも多くありますが、片方にしかない情報もあり、TeleGeogaphyのマップにはGregのマップよりもかなり多くのケーブル情報が含まれています。

注意すべき点は、どちらのマップも公表されたケーブルに関する詳細のみを掲載していることです(※17)。TeleGeographyによると、2018年初めまでに世界で約448本の海底ケーブルがサービスを提供しており(※18)、その90%が公表されているということです。残りの民間所有の非公開のケーブルの大部分は、データセンター間ネットワークの一部として海底ケーブルに多大な投資を行った、FacebookやGoogleなどのコンテンツ事業者ネットワークです(※17)。本稿では、パブリックなインターネットを支えている海底ケーブルを取り上げていますが、パブリックとプライベートの関係については今後の研究課題です。

各サイトは、ケーブルの名前、所有者、陸揚げ地点、ケーブル長、開通日などを公開しています。いくつかのケーブルについては、外部Webサイトへのリンクを提供しています。図-3は、Telegeographyで公開されている情報の一例で、ケーブル長、所有者、陸揚げ地点などが示されています。

図-3 TeleGeographyのデータ例

3.2.3 ネットワークの成長と現状

海底ケーブルネットワークの数は、1980年代後半以降、一定して増加しています。図-4は、TeleGeographyサイトから収集したデータを用いて、開通日をもとに現在利用されているケーブル数をグラフにしたものです(2020年までに運用開始を計画中のケーブルを含みます)。図-4(左軸)が示すように、過去30年間にわたって平均すると毎月1本新しいケーブルがサービスを開始しています。このデータには廃止されたケーブルは含まれません。例えば、TAT-8(1988年に敷設された)は、TATシリーズの最初の海底ケーブルですが、2002年に廃止され、現在のTeleGeographyのデータには含まれていません。後続のTAT-14は2001年に運用を開始しました。従って、図-4のグラフは、少なくともこれ以上のケーブルが運用されているという数を示しています。

図-4 ケーブル数と総ケーブル長の変化

海底ネットワークは、ケーブルの数だけでなく、これらの総ケーブル長においても増加しています。図-4(右軸)は、各年において運用中のケーブルの総延長(右軸)を示しています。2018年に運用中の総ケーブル長は、120万kmを超えています。

グラフからは、総ケーブル長は2015年頃から急に増えていることが読み取れます。それより伸びが速い1997~2001年は、ドットコム・ブームの時期に当たります。

今日、グローバルな海底ネットワークには、1Pbpsを超える帯域があり、この数十年間で総容量が数桁増加しています。Gregのケーブルマップで公開されている帯域の情報から、海底ケーブルの全帯域幅の増加を示したものが図-5です。図-4のグラフと比較してみると、最近敷設されたケーブルがインターネットトラフィックの大部分を運んでいることが分かります。図-5と図-4から新設ケーブルの平均容量の変化を示したものが図-6です。1990年代の値にはノイズがありますが、おおよそ2015年までにケーブルの平均容量は2~3桁増加していることが分かります。1995年から2010年にかけてはあまり増えていませんが、近年になって急増しています。

これらのデータは、廃止されたケーブルを含んでおらず、またデータは公表されているものに限るため、あくまで推定下限値です。

図-5 運用中のケーブルの総帯域の変化(Gregケーブルマップより)

図-6 新設ケーブルの平均容量の変化(Gregケーブルマップより)

3.3 海底ケーブルとインターネット

ここからは、これらの海底ケーブルとインターネットとの関係について考察していきます。ここでの課題を、(1)海底ケーブルネットワークの接続グラフを作成し、ケーブルの切断などによって影響を受けやすい地域を特定する、(2)物理レイヤーとネットワークレイヤーを関連づけるために、通信がどの海底ケーブルを通って行われているかを推測する、(3)海底ケーブル障害がインターネットユーザに及ぼす影響を調査する、の3つに設定します。

3.3.1 海底ケーブル接続グラフの作成

第1の研究課題である海底ケーブルネットワークの接続グラフ作成は、一見簡単そうですが、異なる国や地域の陸揚げ地点を結ぶ多様なケーブルを1つのグラフに表すのは容易な作業ではありません。

簡素化のため、陸上ネットワークで繋がっている近接地区はグループ化して1つのノードとして扱い、海底ケーブルをノード間のエッジにマップします。たとえば図-7に示すGreenland connectと呼ばれるケーブルは、カナダからグリーンランドの2ヵ所、アイスランドの1ヵ所に接続されています。この場合、グリーンランドの2か所は地上ケーブルによって接続されていると考えてグループ化し、海底ケーブルはカナダとグリーンランド、グリーンランドとアイスランドを結びます(※19)。しかし、陸続きだからと言って陸上ネットワークが存在するとは限りません。例えば、パナマとコロンビアは隣国ですが、ダリエン地峡をまたぐ交通手段はなく、よってケーブルの管路もないため、接続性の点からみるとこれらは別の地域となります。そこで我々は現在、Google MapsとOpen Street Mapの地図データを用いて、このような陸上接続性のない地域を特定しようとしています。

多数の陸揚げ地点が近接している場合は、更に難しくなります。例えば、図-8に示すACE(Africa Coast to Europe)や図-9に示すTelkom IndonesiaのJasukaを見てみましょう。グリーンランドの例とは異なり、アフリカの数十カ国とヨーロッパ大陸の2ヵ所(ポルトガルとフランス)の計22ヵ所に接続しているとあります。この場合、ヨーロッパの2点はまとめることができたとしても、西アフリカの接続点をどうまとめてよいのかは分かりません。Jasukaは更に複雑で、スマトラ島の周りの11ヵ所を接続しており、もはや陸揚げ地点の定義も明確ではありません。

我々は今後、上記のような基本的な方法を応用し、公開されている様々な情報を用いて推定した接続図の共有リポジトリを構築する計画です。このような海底ケーブルのグラフ情報は、地理的な場所と物理ケーブルとの依存関係を調査し、接続性の観点からリスクの高いリンクを特定するのに役立ちます。

図-7 Greenland connect(Telegeograpyケーブルマップより)

図-8 ACE(Africa Coast to Europe)(Telegeograpyケーブルマップより)

図-9 Telkom Indonesia のJasuka(Telegeograpyケーブルマップより)

3.3.2 インターネットへのマッピング

インターネットトポロジに関するほとんどの研究は、ネットワーク層での測定で行われています。ところが、ネットワーク層では別々のネットワーク経路を通っているように見えるトラフィックは、実は同じ物理リソースに依存している可能性があるので、ネットワーク層での分析から信頼性を推測することには限界があります。データセンターなどの共有設備を使っていることもありますし、海底ケーブルは複数のネットワークオペレータによって共有またはリースされています(例えばTAT- 14は、30を超えるネットワークオペレータによって共有されています)。

ネットワーク層での測定とネットワークをつないでいるケーブルとの関係を理解することは、インターネットの頑健性を正確に評価する上で重要です(※20)。将来的には、通過した海底ケーブルの情報を表示する経路探索コマンドサービス(traceroute)があれば便利になるでしょう。

その実現に向けて我々は、RIPE Atlas(※21)のトポロジデータから海底ケーブル区間を特定する研究を行っています。RIPE Atlasは、RIPE NCCによるインターネット計測プロジェクトで、世界中のユーザからtracerouteなどの情報を収集しています。我々は、2018年1月から4月の間にRIPE Atlasプロジェクトによって収集された5億を超えるtracerouteデータを使用し、我々が開発した区間RTT推計手法を用いて各経路でのルータ間の遅延を推定しました(※22)。ここでは、traceroute内の隣接ルータのIPアドレスの組の区間RTTを統計的な手法を用いて推定します。個別のRTTデータには大きなバラつきがありますが、大量のデータを統計処理することで精度を上げることが可能です。

次に、RIPEの地理位置情報サービス(※23)を使用して、各ルータのIPアドレスのおおよその位置を取得します。位置が特定できたIPアドレスの組に対し、地理的距離と区間RTTを比較することで、海底ケーブルを利用している可能性を調べます。具体的には、IPアドレスの組が特定の海底ケーブルを通過すると仮定して、陸揚げ地点を経由した距離を計算します。この値を区間RTTと光の伝搬速度から求めた距離と比較することで、その海底ケーブルを通過している可能性を判断することができます。

取得したRIPE AtlasのデータにおいてIPの各組についてこの解析を実行した結果、海底ケーブルを通過した可能性がある3,429個のIPアドレスの組を抽出することができました。

現在のところ良好な結果を得ていますが、この方法には課題もあります。まず、一部のルータについては位置を得ることができません(例えば、正確な位置推定値を得るために必要なデータがないなど)。また、90%を超えるIPアドレスの組が、2つ以上の海底ケーブルに対応してしまいます。これは、複数の海底ケーブルが同じような地点で上陸し、設備を共有しているため、また、RTTベースの分析の精度の限界によるもので、充分に起こり得ることです。

我々は、精度向上のため、他の方法の追加に取り組んでいます。例えば、各ケーブルの利用事業者の情報を使うと、IPアドレスが属する組織(AS)が利用する可能性のあるケーブルを減らすことができるはずです。

ケーブルの識別のために我々が調査している別の方法は、サービス停止情報の利用です。海底ケーブルは、しばしば保守や故障のため、サービス停止することがあります。ケーブルのサービス停止は、多くの場合、ニュースまたは個人や研究グループのTwitterなどで報告されています。サービス停止と区間RTTの相関から関連性を特定できます。

Palmer-Felgateらは(※24)、2008年から2014年の間に1,000を超える海底ケーブルのサービス停止と復旧の情報を解析しました。解析したケーブルの可用性は最大でも99%に留まり、大多数は年間に9日以上停止していました。過去のtracerouteのデータとケーブルの停止情報を比較することによって、ケーブルの停止と同期して観測されなくなるIPアドレスの組を特定することができます。

3.3.3 ケーブル故障の影響解析

ルータのIPアドレスを特定の物理ケーブルに紐づけることで、海底ケーブルの停止がインターネットユーザに与える影響を調べることができます。

我々は、RIPE Atlasのtraceroute情報を用いて、ここ数カ月のケーブル停止の影響を調べました。その中には、東南アジアにおける最近の障害と復旧の情報があり、大きなネットワーク障害には至らなかったものの、遅延に大きな影響があったことが分かりました。

2018年5月10日のSEA-ME-WE-3ケーブルの破損について見てみます。SEA-ME-WE-3は、西オーストラリアから中東を経由して西ヨーロッパに至る世界最長のケーブルです。このケーブルが損傷すると、特定のトラフィックがより長い代替経路を通らなければならず、結果として遅延が増えます。図-10は、障害前後のオーストラリアとシンガポールの間の遅延の変化を示しています。RTTが97msから、320ms以上と3倍以上になったことが分かります。海底ケーブルの修理が完了するには数週間かかる可能性があり、この遅延の上昇は数日間続きました。

図-10 South-East Asia - Middle East - Western Europe 3(SEA-ME-WE-3)の
海底ケーブル故障時のオーストラリアとシンガポールの遅延の変化(2018年5月10日)

他に遅延の変化を引き起こす可能性がある原因として、海底ネットワークの設定ミスや保守があります。図-11は、SEA-ME-WE4海底ケーブルの構成変更時の遅延の増加を示しています(※25)。約12時間にわたり、シンガポールからバングラデシュへの経路で遅延がほぼ3倍になっていたことが観測されています。

図-11 South East Asia - Middle East - Western Europe 4(SEA-ME-WE 4)のケーブル構成変更(2017年10月)

同様に、2018年1月21日から始まったアジア・アメリカ・ゲートウェイ(AAG)ケーブルの構成変更では、図-12に示すように、香港とベトナムとの間の遅延への影響が観測されています。

図-12 Asia-America Gateway(AAG)ケーブルの構成変更時の香港とベトナムの遅延の変化(2018年1月)

このように、大陸をまたぐ通信のtracerouteデータを、海底ケーブルと対応づけて解析すると、遅延の急な変化の原因を探ることができます。更に、tracerouteデータからケーブルに対応する区間が消えれば、ケーブル切断またはルーティングの変化を意味します。これらの情報の相関を見ることで、性能異常の根本原因の究明につながることを期待しています。

ネットワーク運用者にとっても、海底ケーブルとIPの経路とのマッピング情報があると、ネットワークと海底ケーブルの依存関係を理解しやすくなります。この情報は、将来のネットワークインフラの拡張を計画するために重要です。例えば、信頼性を向上させるために追加する上流ISPを決める場合、異なる海底ケーブルを利用するISPを選ぶことができるようになります。

更に、tracerouteに現れるケーブルを追跡することは、特定の地域で過度に依存度の高いケーブルの発見につながります。そのようなケーブルが損傷を受けた場合、性能及びルーティングに重大な影響を及ぼすことは必至です。Durairajanらは、米国における陸上の長距離光ファイバーに対しての同様の研究を行い(※20)、高リスクのリンクを特定し、リスクと遅延の両方を低減するために特定の地域に新しいリンクを増設する提案を行っています。我々も海底ネットワークで同様の解析を行う予定です。

3.4 まとめ

仮想ネットワークの信頼性向上への取り組みは高い関心を持たれていますが、それを可能にする物理的ネットワークに対する理解はあまり進んでおらず、今後深刻な脆弱性になる可能性があります。本稿では、公開されているデータを利用して海底ネットワークの状況を調査するために、ケーブル情報とネットワーク層での測定値を組み合わせて解析する手法を提案してきました。これにより、物理的経路による接続リスクを考慮した上で、インターネットの冗長性や信頼性を推測できると考えています。

《 謝辞 》
本研究は、JSPS外国人特別研究員プログラムとNSF CNS 1619317の助成を受けています。

  1. (※1)Zachary S. Bischof and Romain Fontugne, Fabian E. Bustamante. Untangling the world-wide mesh of undersea cables. In Proc of HotNet, November 2018.
  2. (※2)P. Edwards. A map of all the underwater cables that connect the Internet, 2015(https://www.vox.com/2015/3/13/8204655/submarine-cables-internet)。
  3. (※3)The various threats to subsea cables.Ultramap(http://www.ultra-map.org/news/the-various-threats-to-subsea-cables)。
  4. (※4)NEC begins construction of submarine cable links to the islands of Palau, Yap and Chuuk. NEC, May 2017(https://www.nec.com/en/press/201705/global_20170504_01.html)。
  5. (※5)Z. S. Bischof, J. P. Rula, and F. E. Bustamante. In and out of Cuba: Characterizing Cuba’s connectivity. In Proc. of IMC, October 2015.
  6. (※6)TeleGeography.Submarine cable map(https://www.submarinecablemap.com/)。
  7. (※7)N. Starosielski. The Undersea Network. Duke University Press.
  8. (※8)A. Mauldin. A complete list of content providers’ submarine cable holdings.
  9. (※9)M. Birnbaum. Russian submarines are prowling around vital undersea cables. it’s making NATO nervous. The Washington Post, December 2017(https://wapo.st/2NW71QP)。
  10. (※10)D. E. Sanger and E. Schmitt. Russian ships near data cables are too close for US comfort. The New York Times, October 2015(https://nyti.ms/2uqCnXh)。
  11. (※11)C. Arthur. Undersea internet cables off Egypt disrupted as navy arrests three. The Guardian, March 2013(https://www.theguardian.com/technology/2013/mar/28/egypt-undersea-cable-arrests)。
  12. (※12)C. Baynes. Entire country taken offline for two days after undersea Internet cable cut. Independent, April 2018(https://ind.pn/2L0zIOn)。
  13. (※13)R. Noordally, X. Nicolay, P. Anelli, R. Lorion, and P. U. Tournoux. Analysis of Internet latency: The Reunion Islan case. In Proc. of AINTEC, 2016.
  14. (※14)B. Anh. Vietnam Internet returns to normal after AAG repairs. Submarine Telecom Forum, June 2018.
  15. (※15)A. Chang. Why undersea Internet cables are more vulnerable than you think. Wired, April 2013(https://www.wired.com/2013/04/how-vulnerable-are-undersea-internet-cables/)。
  16. (※16)G. Mahlknecht. Greg’s cable map(https://www.cablemap.info/)。
  17. (※17)A.Mauldin. A complete list of content providers’ submarine cable holdings. Telegeography blog, November 2017(https://blog.telegeography.com/telegeographys-content-providers-submarine-cable-holdings-list)。
  18. (※18)Telegeography. Submarine cable 101(https://www2.telegeography.com/submarine-cable-faqs-frequently-asked-questions)。
  19. (※19)実際には、この「単純な」例でさえ、それほど簡単なものではありません。同じ陸上にあるにもかかわらず、グリーンランドの2つの地点をつなぐネットワークはないので、別地域であると扱う必要があります。
  20. (※20)R. Durairajan, P. Barford, J. Sommers, and W. Willinger. Intertubes: A study of the US long-haul fiber-optic infrastructure. In Proc. of ACM SIGCOMM, August 2015.
  21. (※21)RIPE NCC. RIPE atlas(http://atlas.ripe.net)。
  22. (※22)R. Fontugne, C. Pelsser, E. Aben, and R. Bush. Pinpointing delay and forwarding anomalies using large-scale traceroute measurements. In Proc. of IMC, November 2017.
  23. (※23)M. Candela. Multi-approach infrastructure geolocation. Presentation at RIPE 75, October 2017.
  24. (※24)A. Palmer-Felgate and P. Booi. How resilent is the global submarine cable network. SubOptic, 2016(https://suboptic.org/wp-content/uploads/2017/05/WE2A.5-How-Resilient-Are-The-Worlds-Submarine-Cables.pdf)。
  25. (※25)T. D. Star. Internet to be slow for next 4 days(https://www.thedailystar.net/backpage/internet-be-slow-four-days-1479988)。

Zachary BISCHOF

執筆者プロフィール

Zachary BISCHOF(ビショフ ザカリー)

IIJ イノベーションインスティテュート技術研究所 訪問研究員。
ネットワーク上の大規模な分散システムの計測に関する研究開発に従事。
DNSやトラフィックの解析を通じて、ブロードバンドネットワークの特徴を明らかにすることを目指している。

共著者:
Romain FONTUGNE(フォンテュニュ ロマン)

IIJ イノベーションインスティテュート技術研究所 主幹研究員。

Fabián E. Bustamante(バスタマンテ ファビアン)

米国ノースウェスタン大学 教授。

3. フォーカス・リサーチ(2) 海底ケーブルとインターネットの信頼性

ページの終わりです

ページの先頭へ戻る