- AP FoundationのAS54316インフラに耐障害性を追加するため、NYCデータセンターの外にあるコネチカット州の自宅に常時稼働の機器を置こうとし、最大の難関はBGP対応回線を自宅まで引き込むことだった
- Verizon FiOSやOptimumのような一般的なFTTHはBGPピアリングを提供しておらず、VPN経由の回避策は可能でも、SLA不在と地域の電柱インフラという共通障害点が残った
- 選択肢は、局舎/POPルーターまで専用の光ファイバ対を引くDIA回線で、Verizon Enterpriseは自宅が「on net」だとして、工事費なし・3年契約・月額課金という条件を提示した
- 導入には約2か月、5回の現地出動、Verizonのエンジニア/技術者10人以上、警察立ち会い、約2.5マイルの光ファイバ工事が必要で、最終構成は Verizon CO ↔ VzT NID ↔ VzB NID ↔ ルーター となった
- 運用開始後は、ポート費用に約30%のFederal Universal Service Fund税が上乗せされ、100% SLAでも瞬断フラップが数回と約30分の障害が発生した
自宅BGPの要件
- AS54316はAP Foundationのサービスを支える基盤ネットワークで、既存インフラはNYC Telehouse ChelseaのNetActuateデータセンターにあった
- 目標は、別のデータセンターに追加コロケーションを置く代わりに、コネチカット州の自宅にある余剰スペースを活用して常時稼働の物理インフラを構築することだった
- 常時稼働機器には冷却、電力、セキュリティ、ネットワーク接続が必要で、このうちネットワーク接続が2か月以上かかった中核作業となった
- 独自のIPv4/IPv6アドレス空間はARINから割り当てを受け、IPトランジット事業者とのBGPピアリングを通じてAS54316としてアナウンスされていた
- データセンターではコロケーション事業者やクロスコネクト経由でGTT、Cogent、HEのようなグローバル事業者と簡単に接続できるが、住宅環境では条件が大きく異なっていた
FTTHとVPN回避策の限界
- 自宅エリアにはVerizon FiOSとOptimumの2つのFTTH事業者があり、個人用途ではすでにFiOSを利用していた
- 両事業者ともBGPピアリングを通常は大企業向け機能とみなし、住宅向けサービスでは提供していなかった
- NeptuneやVultrのようにIPトランジットを提供するVPS事業者とVPNでBGPピアリングする方法は可能だった
- しかし、ほとんどのFTTH事業者にはSLAがなく、基本的な接続品質の保証を受けにくかった
- Verizon FiOSとOptimumの両方を契約してVPNベースのマルチホームを構成することもできたが、両事業者とも地域の電柱にある地上インフラを主に使っており、木が線路に倒れ込むような障害に共通して弱い可能性があった
DIAがもたらす違い
- 代替案はDIA(dedicated internet access) または dedicated ethernet だった
- 一般的な非企業向けFTTH/FTTBは、PONのような技術で近隣がISP局舎までのバックホール回線を共有する構造になっている
- ISPは1本の光ファイバと受動光分配器を使って複数の住宅/建物にサービスを提供できる
- 利用者が1Gbps対称型プランに加入していても、全加入者が同時に1Gbpsをフルに使える構造ではない
- DIAでは、ISPが局舎ルーターから建物まで専用の光ファイバ対を用意し、帯域・稼働率・遅延・ジッタ・修理時間に関する保証を提供する
- この回線は、顧客ルーターとISPのPOPルーターを結ぶ長距離光リンクに近く、コストのため主に大企業で使われる
- この事例で重要だった違いは、DIA事業者が顧客とのBGPピアリングを許可する点だった
事業者選定と料金構造
- 候補としては、地域インフラを持つVerizon EnterpriseとLightpathが自然な選択肢で、AT&T、Cogent、Zayo、Crown Castle、Lumenなど主要な接続事業者にも問い合わせた
- 事業者調査の過程で複数の制約が明らかになった
- 一部事業者は住宅地域の建物接続自体を断った
- 一部は高額な月額最低料金、工事費、1年規模の工事期間を要求した
- ある事業者は、最寄りの「live」バンドルまで1,148フィートの光ファイバを敷設するのに12万8千ドルと見積もった
- 一部事業者はラストワンマイルの物理インフラを第三者の地域交換事業者に委託しており、修理時に調整や責任の押し付け合いが起こり得た
- ほぼすべての事業者が3年契約を求めた
- 最終的な選択はVerizon Enterpriseだった
- 自宅がすでに「on net」で、追加工事費が不要という条件だった
- 価格をWebサイトで透明に公開していた唯一の事業者だった
- Verizonの価格例は回線速度ごとに示されていた
- 50Mbps committed: 月額455ドル
- 100Mbps: 月額661ドル
- 1Gbps: 月額999ドル
- 5Gbps: 月額2,099ドル
- 10Gbps: 月額3,099ドル
- 50Mbpsで月額455ドルの場合、実際のインターネット「access」費用は約90ドルで、残り約365ドルは物理層接続であるport費用だった
- 回線にはSLA、BGPセッション、デュアルスタック接続が含まれ、95パーセンタイル課金方式も可能だったが、100Mbps committedで1Gbps burstableという構成は1Gbps committedより高価で、用途に合わなかった
- サービス設定では、100base-FX、1000base-LX、1000base-T、single-mode、multi-modeといったネットワーク handoffの種類を選択できた
導入プロセス: 現地調査から光接続まで
- 導入は約2か月、Verizonのエンジニア/技術者10人以上、5回の出動、警察立ち会いを経て進められた
- Verizonの内部業務は、物理層を扱うVerizon Telecomとルーティング層を扱うVerizon Businessに分かれており、現地作業の大半はVerizon Telecomが担当した
- 開通プロセスでは、海外の専任order managerが社内調整と導入期間中の主な連絡窓口を担った
-
1回目の出動: 現地調査
- Verizon TelecomのHigh Capacity Outside Plant Engineerが現地調査を実施した
- 道路の電柱、自宅のサービス引き込み地点、サーバーラックの位置を確認し、光ケーブル用コンジット要件と電力・ラックスペース要件を案内した
- Verizon機器には4Uのラックスペースが必要だと説明された
- 幹線道路には大きな光ケーブル束が敷設されており、一部道路には800芯以上があり、将来プロジェクト用のdark fiberも残っていた
- 自宅が幹線道路のすぐ脇にあったため、数百フィートの新規光ファイバを敷設して大きな束に接続し、一方の端をVerizon地域局舎のスイッチポートへ、もう一方をサーバーラックへ接続する計画になった
- 現地調査後、約1.5か月後のfirm order commitment日が設定され、利用者は電力、サービス引き込み、サーバーラック、ネットワーク機器を準備したうえで「site ready」認証を提出した
-
2回目の出動: 光ドロップ
- 数週間後、技術者4人とバケットトラックが来て、電柱から新しいサーバーラックまで光ケーブルを敷設した
- 地域法の特殊性により、警察立ち会いも必要だった
- 作業チームはラックに2Uの光パッチパネルを設置した
- 光ケーブル両端はその場では終端されず、別の融着接続チームが後日、電柱側とパッチパネル側で接続することになった
- 設置されたケーブルはCorningの12芯single-modeケーブルで、既存のFiOS用1芯ケーブルとは異なり、電柱からラックまで直接引き込まれた
-
3回目の出動: 最初のNID設置
- その週の後半、別の技術者がNID(Network Interface Device) を設置し、機器は1Uのラックスペースを占有した
- NIDはVerizonサービスのdemarcation pointであり、Verizonの責任範囲と顧客の責任範囲を分ける地点だった
- Verizon NOCのエンジニアは機器に対して遠隔診断を実行できた
- 設置されたハードウェアはCanoga Perkins 9145Eだった
- telecom/NNI側には40km 1310nm 1.25Gbps single-mode SFPトランシーバーが装着された
- user/UNI側には同様の10kmトランシーバーが入った
- 設置モデルは内部PSUが単一で、メーカーにはデュアルPSUモデルもあったが、Verizon certifiedではないとの回答だった
- 技術者は、自身のキャリアで住宅にNIDを設置しに来たことは一度もないと話した
-
4回目の出動: 光融着接続チーム
- 数週間後、Verizonは2人の接続作業員がマンホール内で地域局舎から自宅までのfiber pairを接続中だと案内した
- 現場に残っていたdark fiberは両端が接続されていなかったため、町内の複数の束の間で光ファイバ対を融着接続し、最終経路を作る必要があった
- その後、道路の端に複数の警察官とVerizonのトラック2台が見え、翌日には自宅内パッチパネルを以前設置した光ケーブルへ接続する作業が行われた
- 作業チームは自宅内で融着接続を行い、別の技術者は電柱側の接続を担当した
- 最終接続後のOTDR試験結果では、地域局舎からパッチパネルまでの全区間は約2.5マイル超だった
- この作業が終わっても回線はまだオンラインではなく、最後の出動が必要だった
Verizon TelecomとVerizon Businessの二重NID
- 物理層インフラは設置・試験済みだったが、IP層にはVerizon Business用の専用NIDが追加で必要だった
- 最後の技術者はCiena 3903と1310nm single-mode opticsを設置した
- このNIDはVerizon Businessの観点では最初のNIDと似た役割を果たした
- Verizon TelecomはVerizon BusinessにEVCを提供し、最終的な顧客関係はVerizon Business側に近かった
- 最終的な接続構成は次のとおりだった
- Verizon CO ↔ 約2.5マイルの光ファイバ ↔ VzT NID ↔ VzB NID ↔ 顧客ルーター
開通と実運用後の確認点
- 最後のNID設置と試験後、回線を上げるためのIP情報とBGPセッションのピアリング情報が提供された
- 開通段階ではVerizon内部インフラの一部も確認できた
- DWDM/ROADMにはFujitsu 9500を使用していた
- gateway/peering routerにはJuniper MX960を使用していた
- ピアリングルーターは地域局舎ではなく、NYCの約30〜40マイル離れた場所にあった
- 数か月運用すると、費用面と運用上の注意点も明らかになった
- port費用には約30%のFederal Universal Service Fund税が追加された
- この税率は四半期ごとに変動し、州際トラフィックが一定以上ある回線の費用分析に含める必要がある
- Verizonヘルプデスクのかなりの部分は海外運用で、断続的な問題の診断が難しいことがあった
- 主要な問題は比較的容易にエスカレーションでき、trouble ticketが開かれると自動システムがNID/ルーターへのping疎通可否とBGPセッションの有効状態を確認した
- SLAが100%とされていても完全無欠を期待するのは難しく、数か月の間に瞬間的なフラップが数回と約30分の障害が発生した
1件のコメント
Hacker News のコメント
SLA 100% と言っても、完璧を期待してはいけない。SLAは特定の障害に対して比例返金やサービスクレジットを請求できる金銭的な取り決めであって、実際の稼働時間がその数値を上回ることを保証するものではない
この記事の回線のように光ファイバー設備が物理的に損傷すれば、接続事業者が場所を特定して復旧するまで数時間は切断されるしかない。Verizonが100% SLAを掲げていても、実際にはファイブナイン水準で設計しているわけではなく、そのためには顧客構内の二重化機器、二重引き込み、エンドツーエンドの経路多様性が必要になる
同時に、責任転嫁にもかなり長けるようになる
月1万ドルの100% SLA専用線が丸1か月落ちていたのに業者が補償金を払わないとしても、1万ドルを受け取るために弁護士を雇い、時間を使うのが合理的とは考えにくい。3時間の障害ならさらにひどく、月1万ドル換算では1時間あたり13.89ドルで、3倍補償でも125ドル程度なので、申請書を書くことすら微妙だ
サプライヤーが実際に気にするコストは評判だ。技術者が回線稼働率に無関心でも、アカウントマネージャーに連絡すると反応がまったく変わることがあるが、これはSLAそのものとは別の話だ
結局、回線とサービスの物理的な現実を理解したうえで購入すべきで、見栄えのよいSLAを付けても結果は変わらない
私が運営しているISPも、希望があれば専用線を提供している。追加の接続作業が必要なので設置費を多めに取り、PONではなく専用ポートとコアを使うため月額料金も少し高くしている
ただし、こうしたサービス費用の大半は実際の稼働時間保証というより、SLAリスクを引き受ける費用に近い。障害確率自体はPONと大きく変わらないので、実質的には財務面・サービス面の保証に近い
妥協案として通常サービスにもBGPを提供し、BGPを提供している親しい他のISPとの紹介体制も置いている。耐障害性の観点では「専用」よりもマルチホーミングを好む。伝送網からピアリングまで、ネットワークスタック全体を分離してくれるからだ
以前、法人担当者に複数の住所を送って確認してもらったことがある。役には立ったが、やり取りが遅すぎて、自分で照会したほうがましだった
後で約款の中に「固定IPアドレスを購入していない場合、当社は通知なしにインターネットプロトコル（IP）アドレスを変更できる」という文言を見つけた
自宅まで「本物の」光ファイバーを引いた人は数えるほどしか見たことがない。うらやましくはあるが、月々のISP料金が自動車ローンの支払いみたいな点を除けば、という話だ
設置後に性能問題が続いたため、問題を証明して解約すると圧力をかけたところ、回線をアップグレードして本来の速度が出るようにし、月2100ドルまで下げてくれた。今でも自動車ローンの支払いのようだが、以前よりはずっと安い
結果としてSLA、クラウドプロバイダーへの直接接続、いくつかのIPブロックのホスティングが可能になり、インターネットに公開したマシンも数台運用できている
最近売った家も悪くなく、AT&Tの5Gbps回線を3本、合計月450ドルで使っていた。冗長性はないが、かなり優秀だった
以前のアパートには数年間光ファイバーが入っていたし、別の同軸ケーブルの建物に移ったときも設置費2000ドルの見積もりをもらった。問題は、光ファイバーサービスが対称型なので、Netflixに必要なダウンロード速度を得るには200Mbps以上のアップロードプランも一緒に買わなければならず、高すぎたことだ。95パーセンタイル課金も提供していない
プライバシー関連の作業やTorノード運用のようなものは理解できる
私の構成も似ています。DIA回線が1本と、ひどいComcast Business回線の上にバックアップVPNを載せ、近くのデータセンターで終端しています
ISPに話をさせるだけでも、かなりしつこく追いかける必要がありました。最初から光ファイバー敷設費用を全額払う用意があると言っていたにもかかわらずです
私の地域のISPは都市をサービス区域に分け合っているようですが、これがどう合法なのか分かりません
私のISPは敷地内に大きなADVAの光回線終端装置を設置しました。これをISP側へ移し、SFP接続だけを受けるようにする件はまだ進行中です
サポートはインドに外注されていて、電話でこちらの望みを理解してもらう過程が苦痛です。幸いWebチケットシステムは使えます
顧客側の配線を終端する機器は当然、顧客側にある必要があります。その機器は大きな箱ではなく単なるSFPかもしれませんが、ISPは自分の責任範囲である終端装置までの接続状態を監視したがります。一般的なSFPだけではそれができないので、SLAを維持しながら受け入れるのは難しいでしょう
箱が大きすぎる、うるさすぎるといった物理的な問題があるなら別の機器を交渉できるかもしれませんが、単にネットワークの制御権が欲しいという理由なら、そういう仕組みにはなりません。顧客ネットワークは境界点から始まり、その手前はISPの内部網で、Ethernetのような標準的な引き渡しインターフェース以降が顧客網です
こうした契約の多くは1970年代か1980年代初頭に結ばれ、AT&Tや地域ベル系電話会社にあった契約を事実上まねた形でした
通常、ISP側からすると帯域課金が大きく減って売上が下がるため、営業担当者は十分に訓練されておらず、通常のチャネルではたどり着きにくいです。しかしいったん構築されれば素晴らしいものです。ルーターを再起動したときにISPの方から電話してくる状況を想像すればよいです
ネットワークスタックには魅了されましたが、Illustrated TCP/IPを読んでtcpdumpを理解しているふりができる程度までしか行けていません。BGPのようなものを自分で触ってみたいのですが、どこから始めるのがよいのか気になります
たいていは職場で徒弟的に学ぶもののようですし、関連システムが高価すぎるか、企業内に閉じ込められていて独学には向かないのかもしれません
ARINと話してASNを取得するには、何らかの事業体があるとずっと楽です
ASNができると、ほかのネットワークに依存せずIPブロックを「所有」できる主体ができます。その次にNeptune Networksの商品を見ると、妥当な月額費用でトランジットを許可するインスタンスを借りられます。ただし最小インスタンスは、世界中のインターネットの完全なBGPテーブルを保存するだけのRAMが足りませんが、その意味が分かる頃には重要になってきます
地域のコロケーションを調べる前でも、安価に多くを学べます
この分野の良いところは、ほぼすべてがオープン標準の上にある点です。RFC 791（IP）、793（TCP）、4271（BGP4）、9499（DNS概要）など、元のRFCからもそれほど遠くありません。無味乾燥ではありますが、概ね中核となる資料です
Stevensの本も低レイヤーの理解には非常に優れているので、良い出発点です。その後は実際に作ってみる必要があります
仮想化ツールでVMを2台作って通信させ、リンクを切ってtcpdumpのようなツールで直してみればよいです。ARPやIPv6のNDPが低レイヤーでどう動くのかを見て、サブネット化も身につける必要があります。VLANインターフェースを作って802.1qタグを付け、複数VLAN間のルーティングを試し、また壊してみればよいです
基本的なOSPFエリアを作り、プライベートASN 2つの間でBGP隣接関係を構成し、異なるプロトコル間で経路を再配布してみるとよいでしょう。DNSのような上位サービス、ローカルAnycast実験網、ロードバランサーとWebサーバーも触ってみるとよいです。作って、壊して、直して、繰り返すことは、専門家が毎日やっていることと大きく変わりません。BIRD、quagga、nginx、haproxy、ip/nftables、dnsmasq/powerdnsのようなソフトウェアを使えばよいです
ソフトウェア側を十分に試して実ハードウェアを触りたくなったら、Quanta/QCT、Edge-coreのような中古のホワイトボックススイッチをeBayで数百ドル以下で探してみるとよいです。ONIEネットワークOSを載せ、オープンソースならSonic、有料でもよければCumulusを使って実機を扱ってみればよいです
SFPトランシーバー、光ファイバーのモード、直接接続ケーブル、ポートチャネルも学べます。fs.comやeBayで安いトランシーバーと光パッチケーブルを入手し、ファームウェアを参照して送信出力、エラー率、システム情報を確認してみればよいです
LLCを作ってARINでまずASNを取れという助言は、基礎がないうちは時間とお金を無駄にし、注意散漫になる可能性があるので無視した方がよいです。まずは豊富なリソースで学び、次の段階が必要だと確信できたら、そのときにやればよいです
この業界の多くのことと同じく、覗き込むほど複雑さがフラクタルのように増えていくことがあります。圧倒されず一段ずつ進み、壊すことを恐れなければ大丈夫です。直す過程で最もよく学べます
FTTHで過剰加入がどう機能しているのか気になる。光ネットワークには詳しくないが、各加入者が自分専用の波長、あるいは帯域幅を載せる波長範囲を持っていて、互いに重ならないものだと思っていた
そうでないなら、パッシブ光ネットワークがどう動いているのか見当がつかない
私の職場では、3段スプリッタを使う4-4-8構成になっている
OLTは各ONU/ONTに、送信に使える時間割り当てを通知する。各ONTは互いに干渉しないよう順番に送信する。この計算にはOLTとONTの間の距離も入る。地理的位置が異なるため、各ONTの遅延時間も異なるからだ
ONUは送信するデータが多い場合、追加の送信時間を要求できる。OLTが割り当てる時間は、ISPが保証する最小値であるCIRと、加入者サービス基準の最大値であるPIRによって変わる
加入者の送信が衝突しない理由は、タイムスロットが重ならないからだ
Verizonは、いったん回線が開通すれば相当なマージンを得ているのだろう。マンホールで1週間、作業員4人と警察の配置までかけて光ファイバーの接続費用を負担するくらいだから
会社がこの費用を全部払うことに同意したというのは信じがたいが、すばらしい。うらやましい
商業ビルにDIAを引き込んだときに経験したプロセスとかなり似ている。ISPは、ビジネスパーク内で半マイルの光ファイバーを引くのに6万ドルを使ったと言っていたが、私たちはその費用を払わなかった
うちのラックにはISP機器が1台しかない。Verizonは本当に組織図をそのまま配送しているようだ
DEMARCからサーバールームまで光ファイバーを敷設するよう当社の請負業者に費用を払ったが、後で聞くとISPが無料でやってくれた可能性もあったらしい
そして3社のビジネス回線プロバイダーから受けたカスタマーサポートの質は本当にすばらしかった。実際に何が起きているのか分かっているエンジニアに電話できるのは驚きだ。払った分だけのものは得られる、というのは本当だ
地下室に降りてみると、境界装置にかすれたUUNETのステッカーがあったが、回線IDはなかった。調べてみると、複数の企業買収を経て、今はVerizonの所有になっていた
Verizon Businessに電話して状況を説明すると、担当者が1時間通話しながら回線を探してくれた。登録住所は建物前の道路にあるマンホールだった
技術者が出動し、約1時間後に復旧した。再び同じことが起きないよう、境界装置に新しい回線IDラベルも貼ってくれた
著者がこれを大ごとのように捉えているのが面白い。私たちは医師の自宅でこういう作業をかなり頻繁にやっている