10GネットワークとSFP+

この記事で実現すること

リモートワークやインターネット回線の高速化に伴い、10Gネットワークが普及し、10GBase-Tの発熱に対する声が聞かれます。10Gネットワークにおいては従来のLANケーブルではなく光ファイバーで省電力化と低発熱が実現できる、SFP+が選択肢となります。実はあまり知られていない低遅延の効果もあります。この記事は3年前に投稿したものですが、最近の情勢を踏まえてアップデートし、10Gネットワークを前提にSFP+についてまとめています。

10Gネットワークの消費電力と発熱

10GBase-Tの消費電力は1Portあたり2W〜3W程度で、単体で見るとさほど大きいものではありませんが、スイッチなどそれが4Port/8Portとなると全体で20W〜30W以上の消費電力となり、PC程度のものになってきます。
10Gbase-Tのネットワーク機器が出す熱は軽く40度を超え、夏場は60度を超える場合もあります。そもそも10Gbpsという高速処理は負荷が高いのに加え、10GBase-Tに必要なエラー訂正とアナログ/デジタル変換の負荷が高くなります。モジュールの消費電力に比例して温度も高くなる傾向があります。

発熱はスイッチやネットワークカード、PC本体などその周辺機器に悪影響を与えます。特に真夏で部屋の温度が40度近くに達する場合は、これらの高熱を出す機器も内部温度は70度近くに上がってしまい一気に故障する可能性が高くなります。ファンが付いているスイッチは大きいファンノイズが発生しますし、エアコンやファンでエアフローにも気を遣う必要が出てきます。一般的な建売戸建やマンションでクローゼットに回線引き込みがされ、各部屋へのCD管またはPF管が集約されている場合、そこにルーターやスイッチングハブを設置せざるを得ません。こうなると発熱対策、騒音対策が結構な問題になってきます。

私の自宅の2階のクローゼットの中にある、インターネット配線設備(マルチメディアポート)の内部。家の中で最も熱が篭る場所に配置されています。。。

右手前がホームゲートウェイ、配線設備の内部にテレビアンテナケーブル(黒)、電話線(グレー)、auひかりのシングルモードファイバケーブル(白)、スイッチングハブから各部屋へのCat6 UTPケーブル(青)、マルチモードファイバケーブル(水色)を通しています。マルチメディアポートの奥に各部屋に繋がるオレンジ色のCD管(直径2cm)が見えます。

SFP/SFP+とは

SFPはSmall Form-factor Pluggableの略で光ファイバーの通信に使われるもので、個人向けのネットワーク機器においても利用可能な価格帯のハードウェアです。本来は遠距離の通信や高速化が主で法人向けでしたが、普及に伴い、価格がこなれてきました。個人向けには発熱を抑えた高速通信という意味で利用価値があります。レイテンシが小さく、自宅の通信経路にFirewallやルーターを通しても遅延が少なく済みます。

10Gネットワークのタイプとレイテンシ

タイプ レイテンシ
1000Base-T 10マイクロ秒前後(幅が大きい)
10GBase-T 2〜2.5マイクロ秒
SFP+ 0.3マイクロ秒

1000Base-Tのネットワークでは10マイクロ秒のレイテンシが発生します。それくらいは気にならないという誤解があります。その遅延はわずか1,500バイトのTCP/IPの送受信毎に発生する遅延であって、どんな小さいファイルであっても、機器間のやりとりは何往復も発生し、その遅延が大きな影響になってきます。また、大きなファイルをダウンロードしないから10Gネットワークが不要というわけではなく、一つひとつの処理をキビキビと動作させるためにSFP+の利用価値があります。通常1,500バイトのMTUを9,000バイトとしたジャンボフレームの設定で遅延を緩和できますが、抜本的改善としてSFP+を選択する効果は大きいです。

SFPは主として光ケーブルを接続するためのインタフェースです。スイッチやネットワークカードにはSFPスロット(ポート)があり、SFPモジュール(トランシーバとも呼ばれます)を挿して使います。モジュールは光ケーブル、銅線のダイレクトアタッチケーブル、従来のLANケーブル(RJ-45端子)などを接続可能なインタフェースがあります。SFPはさまざまなモジュールを使い分けることにより、速度、距離、ケーブルの種類に対応できます。

RJ45を持たず、SFP/SFP+スロットしかないスイッチもあります。もちろん、前述したRJ45モジュールを接続して従来のツイストペアケーブルを使えます。

距離、ケーブルの種類によるモジュールの使い分け

ホームユーザーが自宅でSFPモジュールを使い分けるには、既存ケーブルの有無、配線の距離、価格面の優位性を見ながら選択することになります。

名称 距離 お勧め度 消費電力 発熱 補足説明
パッシブダイレクトアタッチケーブル(DAC) 〜7m 0.2w 微弱 安価。Twinaxとも呼ばれる
アクティブダイレクトアタッチケーブル 〜15m 1w未満 殆ど見かけない
アクティブオプティカルケーブル(AOC) 〜100m 0.5w〜2w 流通量少ない(高価)
MMFモジュール(10GBase-SR)+OM3ケーブル 〜300m 0.6W 安価、取り回しやすい
SMFモジュール+SM1 or SM2ケーブル 100m〜40km〜 0.6w〜1w 長距離向け、ケーブルが折り曲げに弱い
10GBase-Tモジュール 〜100m 2W〜3w 高発熱、やや高額

SFP/SFP+は対向機器の電源が入っていなくてもモジュールを挿すだけで電力を消費します。単体をスイッチに挿し、対向が接続していない状態でDACと1000Base-Tは0.1W程度の消費で誤差の範囲ですが、10GBase-SRは単体で0.5W消費します。10GBase-Tモジュールは1W程度消費します。

DAC

DACのケーブルにはモジュールも両端に付いているので別途モジュールを購入する必要はありません。DACのケーブル長はモジュールの端から端までの距離を示すため、50cmや1mのDACは思ったより短いという印象を持ちやすいです。

パッシブDACは銅線(Copper)で、1mであればCat6の一般的なケーブルよりは細いですが、しなやかさは劣ります。7mまでの距離に応じて線の太さが太くなります。端末、スイッチ間の距離が7m未満であればパッシブダイレクトアタッチケーブル(DAC)を最優先に選定します。DACと言えば、一般的にはパッシブのことを言います。特に電流を増幅させずそのままデータを送信するので消費電力と発熱が極めて少ないですが、距離の制限があります。ホームユーザーが熱対策を考える場合、どうにかして7mの距離以内に端末・スイッチを配置し、DACを使う事が最優先となります。アクティブDACは信号を増幅させる仕組みを使っていますが、現代では殆ど見かけません。

MMF 10GBase-SR+OM3ケーブル

7mを超える距離、例えば異なる部屋にLANを通す場合には、10GBase-SRモジュールとOM3光ケーブルを使います。7mを超える屋内に敷設する場合はこれがスタンダードです。SRとはShort Reach(短距離)の意味です。光ケーブルも発熱は少なく、マルチモードファイバは、かなりケーブルが細くしなやかです。ただし、ツイストペアケーブルほどは強いものではなく、極端な折り曲げは通信エラーになりますし、通線ワイヤーを使い各部屋を通す場合には強い力でぐいぐいと引っ張るわけにもいきません。うっかり足を引っ掛けると断線しますし、ケーブルを絨毯の下に這わせたり、ドアの隙間を通したりするのは難しいでしょう。丁寧に扱う必要があります。

SFP+の10Gbpsで利用するマルチモードファイバは、LC-LCという2対の組みをトランシーバに挿して使います。2本の光ファイバがセットになり、送信用(Tx)と受信用(RX)とに役割があります。また、速度によってケーブルの被覆の色が決められており、OM3、OM4はアクアジャケットになります。2本の線があるからマルチではなく、1本の線の中で複数の光の波形を通すのでマルチモードと呼ばれます。

MMF 1Gbps 10Gbps 40Gbps 100Gbps ジャケット色
OM1 275m 33m オレンジ
OM2 550m 82m オレンジ
OM3 300m 100m 70m アクア
OM4 550m 150m 150m アクア/バイオレット
OM5 550m 150m 150m ライム

ケーブルを自宅内に敷設するなら、将来の拡張性のために40Gbps/100Gbpsを150mの距離に対応しているOM4を選択しても良いように見えます。しかし今のところ25GbpsのスイッチはSFP28インタフェースとなりOM3のLC-LCケーブルが使えますが、40Gbpsはスイッチ側がQSFPインタフェースとなり、LC-LCではなくMPOケーブルとなります。個人向けという意味では、PF管/CD管を通す場合のMPOコネクタは幅・厚みがあることで、管を通すことが難しくなります。OM3のLC-LCであれば、(1ペアづつ地道に通線させ)直径2cmの管に3本〜4本程度のOM3ケーブルを通せます。

10GBase-Tモジュール、1000Base-Tモジュール

既存のRJ45端子のLANケーブル(UTPケーブル)を接続するためのモジュールです。10GBase-Tの口を持っていないSFP+のみのスイッチでは、このモジュールを利用し既存の10GBase-T環境と接続します。10GBase-TモジュールはLANケーブルの長さが30mまでを限界としている製品が多いです。ケーブルが長くなれば電力量が増え3Wを超えてしまうためです。通信量と消費電力とは殆ど関係ありません。確かにIEEE802.3azという規格では無通信時は省電力にする仕組みを持っていますが、消費電力は距離によって変わります。MarvellではなくBroadcomのチップを使った10GBase-Tモジュールも出てきており省電力で80mまたは100mまで可能となっています。

AOC

AOCケーブルは見た目はDACと同じで両端にモジュールが付いており、線の内部は光が使われます。短いケーブルはOM3ですが距離が長いAOCはOM4が使われます。ユーザーにシングルモード/マルチモードのことやケーブルの種類を意識させず、ケーブルの距離だけを意識して選定するというソリューションですが、それなりに知識のある人がSFPを選定する事を考えると、SFPトランシーバとOM3、OM4ケーブルを個別に選定することが一般的で、購入先もなかなか見つからないかもしれません。

その他ケーブル、トランシーバ

  • SCケーブル

古い規格の光ファイバ端子です。GBICとも呼ばれます。これが対となりSC-SCケーブルというものになりますが、SFP/SFP+モジュールには接続できません。

  • MPOケーブル

40GbpsのQSFPトランシーバ(QSFP-40G-SR4)に利用されます。SFP/SFP+/SFP28とは互換性がありません。

モジュールの互換性・ベンダーロックイン

SFP+を語るときに外せないテーマが、互換性の問題とベンダーロックインです。まず互換性の問題ですが、背景としてはSGMIIというCiscoが提唱した方式がデファクトスタンダードとなり、他のメーカーがSGMII対応に倣ってきたため、各社仕様が微妙に異なる状況となっており、互換性の問題で接続できないケースが発生します。また、ベンダーロックインはCisco/HP/intelなどのメーカーが設定しており、動作を担保するためにテスト済みのモジュール以外は使えないようになっています。SFPはMSA(マルチソースアグリーメント)によって業界で標準化されたトランシーバデバイスとして、可能な限り規格を統一されるように取り組まれています。

MMFモジュールの互換性

MMFモジュールの互換性については、Cisco/intel/Dell/Mellanox/HPというグループに分かれます。この互換性に基づきMMFモジュールを購入する必要があります。

MMFモジュールの互換性グループ

メーカー 企業属性 その他互換性のあるメーカー
Cisco ネットワーク Ubiquiti、Mikrotik、NETGEAR
HP サーバー
DELL サーバー
intel 半導体
Mellanox 半導体・ネットワーク

ネットワーク業界においてデファクトスタンダードとなったCiscoのグループは、一般的にUbiquiti、NETGEAR、Mikrotikというネットワーク機器メーカーで互換性があります。
Dell/HPはサーバーのメーカーです。intel/Mellanoxは半導体メーカーです。全体を俯瞰してみると3社の関係性が見えてきます。Ciscoは最もシェアが大きいネットワークメーカーなので他のネットワークメーカーもその接続性が大事になります。また、サーバーメーカーは、自社のライザーカード/メザニンカードという独自の拡張カードを提供し、その上にネットワークカードを載せていたため、そもそも他のサーバーメーカーとの互換性はありません。唯一、intel/Mellanoxは彼らにとってHP/DELLは大切なお客様なはずで互換性を持っても良いのでは無いかと思うところです。しかしながらNICとSFP+モジュールの関係においてはあまりサーバーのメーカーは関係がなく、半導体メーカーとしてのNICとSFP+はセットでサーバーメーカーに卸すため、半導体メーカーで相互に接続する事は求められなかったのでしょう。

MMFモジュールのベンダーロックイン

それぞれの業界のトップシェアの会社(Cisco/HP/intel)はベンダーロックインの道を選びました。ベンダーロックインはプリンタが良い例で、本体を安く販売し、メーカー専用インクで利益を上げるビジネスモデルです。NIC/SFP+の場合は、同一のベンダーのSFP+モジュールでないと使えないというものです。ただ、個人的にはプロテクトというよりは、互換性のテスト済みか否かという点で牽制という意味合いが強いのでは無いかと思います(Ciscoはコマンドの設定で他社モジュールの利用を受容します)。昨今ではモジュールメーカーがこれらの互換性についてノウハウを持っており、過度にベンダーロックについて気にする必要はなく、上記のグループにおける互換性を守ることがまずは基本です。
2015年にはHPは分社化し法人部隊がHPEとなり、Arubaも買収しているので、細かいことを言えばこの2つのメーカーはもう少し複雑です。

これらを守れば100%接続できるというわけではありませんので、事前の下調べをお勧めします。

SFP+ RJ45モジュールも内部的にはMMFモジュールと見せかけて動作させるようになっているので互換性についてはMMFモジュールと同様です。

DACの互換性

DACについては、「Cisco、intelまたはその他色々なメーカー」という大まかな分類で売っていることが多いです。そして殆どのメーカーのNICにもネットワーク機器にも繋がるものですが、ネットワーク装置側が規格に対応していれば、という条件付きです。国内のネットワークメーカーなどではDACの種類を選ぶ機器もあるようです。まずはネットワーク機器を購入される前にネットワーク機器のメーカーに相談されることをお勧めします。海外製品は口コミも多いので状況がよく把握できます。セキュリティ製品などは互換性が厳しくなっています。
稀なケースですが、互換性が不十分でDACで接続できない場合は、MMFモジュール+OM3の方式で接続します。例えば、ホストのNICがintelでスイッチがCisco互換機であれば、両端のモジュールはそれぞれのベンダーのモジュールを購入します。

DACでは(基本的には)ベンダーロックインというよりは繋がらないのはほぼ互換性の問題です。DACは既に両端にモジュールが付いていますから、異なるベンダーの機器を接続する時にどちらかのベンダーの互換性を重視して購入する事がポイントになります(ですのでDACでベンダーロックインという事になるとネットワーク機器とサーバー(NIC)間の他社接続が出来ないわけで現実的にそれを好むベンダーは存在しないというものです)。残念ながらDACであっても互換性の問題は実際に存在しますので、NIC側の互換性をメインに考えるか、スイッチなどのネットワーク機器の互換性をメインに考えるか判断が必要です。

その他ネットワーク機器と接続するMMFモジュールの互換性

NASメーカーからもスイッチは販売していますが、ネットワークの世界で見ればマイナーなメーカーとなり、あまりお勧めはできません。またNETGEARなどは純正モジュールを販売しており、互換モジュールへの対応状況はメーカーサポートとしても言及が難しくなります。過去からの経緯に鑑み、Cisco互換モジュールを中心に選定しますが、メーカーサポート/コミュニティ/口コミを参考に購入していくことになります。

SFP+モジュールのメーカーと購入先

  • 手軽にSFP+関連製品を求めるのであれば日本のAmazonですが、10Gtekの製品を中心に割高です。
  • 信頼性重視ですと、FS社のモジュールがまず候補です。世界的に見てもよく利用されています。日本語のWebサイトがあり円建てで購入できます。高価ではありますが、ネットワークに信頼性を求めるのであればお勧めです。
  • 日本で購入できるトータルソリューションならUbiquiti社です。
  • 最新技術にチャレンジする場合は、米国Amazonです(ある程度信頼性のあるモジュール群があるのと知見のある口コミが豊富です)。WiiTek社、Fibermall社など最新技術を取り入れるモジュールメーカーを取り扱っています。独自の世界観のあるTP-Linkもあれば、一般的な、H!Fiber、QSFPTEK、ipolex、10GTekがあります。
  • 口コミを頼りに最も安価に入手するならAliExpressです。これは正直聞いたことがないメーカーがたくさんあり、ギャンブルっぽいですが、ホームユーザーならば口コミを頼りに入手します。

FSのWebサイトは法人向けがメインとあって、モジュールの注文画面ではCisco、Juniper、Aristaと有名な海外ベンダー名が列挙されています。

FS 10Gモジュール
https://www.fs.com/jp/c/10g-sfp-63

日本で購入できるグローバルなネットワーク機器メーカーのうち、UbiquitiのSFP+MMFモジュールは廉価です。トータルソリューションとなっており、スイッチとMMFモジュールの接続で悩むことはありません。

Ubiquiti SFP アクセサリー
https://jp.store.ui.com/collections/unifi-accessories/products/sfp-accessory

具体的なモジュールと価格については後述しますが、結局のところ、DACやOM3ケーブル、SFP+モジュール(MMF)はさほど高価では無いことや、さまざまなメーカーであっても能力にばらつきはほぼ無いので、信頼性重視として製品を選択されることをお勧めします。特にネットワーク機器同士やNASなど重要な機器と接続する際は信頼性を重視されることをお勧めします。ここからは気になる発熱について説明してきます。結局のところ、従来の銅線とRJ45を使うSFP+RJ45モジュールが最も発熱と価格にも影響してきます。

SFP+モジュールの発熱

室温26度の状況下でそれぞれのモジュールの温度を計測しました。計測するにあたり以下の機器を使いました。これでモジュールの表面にこの金属のセンサを当てて温度を測ります。

併せてスイッチのコマンドラインからモジュールの温度が取得できるのでそれも加え比較します。
SFPトランシーバはDDM(Digital Diagnostic Monitoring)の機能を持ち、スイッチのCLIで光の強さなども把握できます(スイッチがその機能を持つ必要があります)。

  • ファン付きスイッチ
No タイプ 実際の温度 スイッチ上のCLI
1 DAC 27℃ なし
2 10GBase-SR(10m) 32.9℃ 36.8℃
3 10GBase-SR(20m) 33.8℃ 39.1℃
4 10GBase-T “Broadcom 80m” 36.2℃ 40.7℃
5 10GBase-T “Broadcom” 2.5Gbps動作 [1] 32.3℃ 29.5℃
6 10GBase-T “MikroTik” S+RJ10 40.3℃ 61.0℃
7 1000Base-T ASF-GE-T 34.2℃ なし
8 10GBase-T “Marvell” ASF-10G-T 40.2℃ なし
(スイッチ:Ubiquiti USW-Pro-Aggregation)

[1]スイッチは2.5Gbpsに対応し、10GBase-Tモジュールを2.5Gbpsでリンクさせています。

No1-5は常にスイッチに挿したまま、6,7,8は計測の都度挿し替えしています。

  • ファンレススイッチ
No タイプ 実際の温度 スイッチ上のCLI
1 10GBase-SR(20m) 43.6℃ 48.61℃
2 1000Base-T ASF-GE-T 44.6℃ なし
3 10GBase-T “Marvell” ASF-10G-T 48.6℃ なし
4 10GBase-T “Broadcom 80m” 45.4℃ 54.3℃
5 10GBase-T “MikroTik” S+RJ10 49.5℃ 67.06℃
(スイッチ:Ubiquiti USW-Aggregation)

No1,2は常にスイッチに挿したまま、3,4,5は計測の都度挿し替えしています。

ファンレスのスイッチは筐体内部に熱を持つため、それがモジュールにも伝播しているのが分かります。また、”実際の温度”はモジュールのコネクタ部分に近い箇所を計測しています。スイッチのCLIで表示される温度は、モジュールのセンサーの1か所の温度でありモジュール全体ではありません。10GBase-SRの出す熱の範囲は高温ながら範囲が限定的で、センサーがなかなか一定数値にはなりませんでした(最も高い数値を採用しています)。10GBase-Tは測る場所によって多少温度は異なりますがモジュール全体から発熱しています。

60℃を超えるとハードウェア環境面としては相当に厳しいでしょうか。まずはエアフローが大事ということになります。特にファンレススイッチを使う場合、この時期は問題ありませんが、夏場はエアコンまたはサーキュレーターが必要そうです。次に、可能な限り10GBase-Tを使わずDACや10GBase-SRを使い、熱を抑える必要があります。クライアントの10GBase-Tの速度を2.5Gbpsに落とすのも効果的です。ファンレスのスイッチで10GBase-Tを多用すると、スイッチがスローダウンまたはシステムダウンする可能性があります。

技術面でポイントをまとめると以下の通りです。

  • 10GBase-Tを多用する場合はファンレススイッチでは厳しい(特に30mの距離を越えるツイストペアケーブルでは発熱が大きい)
  • 10Gネットワークを使う場合は可能な限りDACや10GBase-SRへの移行を
  • 10GBase-TモジュールのBroadcomチップ対応のもの(80m、100m対応)は熱対策には有効
  • 1000Base-Tのモジュールも意外と発熱する。リビングなど多くの100/1000Mbps機器が揃う箇所にはSFPのスイッチはかえって不向き。4Portなどの小型ハブに逃した方が良い

個人ユーザーのニーズとしては静かなファンレスのスイッチを好む傾向にあり、メーカー側もファンレスや静かなスイッチを販売せざるを得ない傾向のように見えますが、今の10GBase-Tのファンレススイッチは空調がある場所が必要というのが結論です。メインのネットワークスイッチはSFP+を中心に使い、各部屋にOM3で繋いだ上で、ある程度の速度が必要なWi-Fi APやクライアント端末を2.5GbEのUTPで接続する方法が現実的です。24時間稼働する高性能なNASをお使いであり、PCIeがあるのであれば、SFP+のネットワークカードを使う事をお勧めします。

SFP+モジュールの価格

それぞれのケーブル・モジュールの価格帯は以下の通りです。互換性以外で価格および性能(発熱)で意識する必要があるものは前述のとおり、SFP+ RJ45モジュールだけです。特に現在においては、SFP+ RJ45モジュールの30m版は旧式という扱いになってきており、よほど発熱を気にされない方以外であれば80m版を選択すべきです。

信頼性重視(FS社)

タイプ 国内価格
DAC 1,700円〜
MMF+OM3 MMF 6,000円強(2つ:両端のペア)、OM3ケーブル 2,300円前後/20m
10GBase-T(30m)モジュール 11,000円(1つの値段)
10GBase-T(80m)モジュール 18,000円(1つの値段)
10GBase-T(100m)モジュール 22,000円(1つの値段)

FSのMMFモジュールは互換性が高く、価格と安定性のバランスがとても良いです。スイッチでモジュールの情報も確認できます(一部2.5GbEのRJ45モジュールは世界的に見てもモジュールの情報がスイッチから取得できません)。一方、10GbE RJ45モジュールは良い製品が提供されているものの、ホームユーザーとして購入するには割高ではあります。

FS 10Gモジュール
https://www.fs.com/jp/c/10g-sfp-63

最新技術を求めるなら(米国Amazon)

様々なメーカーのものを取り扱っています。昔はAmazonブランドのOM3ケーブルがありましたが、現在は見当たりません。

タイプ 価格(為替145円/ドルで計算)
DAC 1,740円
MMF+OM3 MMF 6,000円(2つ:両端のペア)、OM3ケーブル 2,900円前後/20m
10GBase-T(30m)モジュール ipolexなど 4,350円(1つの値段)
10GBase-T(80m)モジュール Wiitek 5,800円(1つの値段)
10GBase-T(100m)モジュール Wiitek 6,670円(1つの値段)

100mのWiitekは最近使い始めました。温度が低く安定しています。Fibermallはこれより少し割高ですが、80mのものは2年ほど前から存在しており安定して稼働していました。
なお、米国Amazonの場合は送料が別途かかります。

海外通販を利用する際、通常は2%程度の為替手数料を、PayPalに至っては通貨の追加設定をしないと4%の割高な為替手数料を適用されます。また、最近高騰している輸送コストでかえって割高になってしまいます。

価格(安さ)を求めるなら(AliExpress)

様々なメーカーのものを取り扱っています。一例としてZYOPMというメーカーのものを買ってみました。

タイプ 価格(為替145円/ドルで計算)
10GBase-T(80m)モジュール 4,067円(1つの値段)
10GBase-T(100m)モジュール 5,694円(1つの値段)

ZYOPM 80m
https://ja.aliexpress.com/item/1005006875162404.html

ZYOPM 100m
https://ja.aliexpress.com/item/1005008504978560.html

SFP+ RJ45モジュールの80m、100m版について

室温20度の時にRJ45モジュールをスイッチにてDDMの値を取得してみました。前述したファン付きスイッチを使いました。

メーカー スイッチ上の温度
fiber mall 80m 37.3C
Wiitek 100m 36.6C
ZYOPM 100m 40.1C
ZYOPM 80m 41.3C

こうやってみると、ZYOPMという製品は少し温度が高めに出ますが安定しています。少し観察していると、fiber mall80mやWiitek100mはとても低温ですが、通信が発生している時はZYOPM程度には発熱します。fiber mallやWiitekは恐らく無通信時の電力抑制機能が大きく働いているようですし、頻度高くスイッチにもその内容を通知しているようです。30mモジュールよりは格段に低温で動作しますから今購入するのであれば価格的にメリットのある80mモジュールが一般的ということになるでしょう。

80mモジュールと100mモジュールとの違いはその温度や消費電力で異なります。Broadcomのチップには、80mに対応したBCM84891とさらに省電力版で100mに対応したBCM84891Lがありますが、どのチップが使われているかの記載は見つけられませんでした。100mのものは最大消費電力が2wをわずかに切っており、80mのものは2w強あるようです。BCM84891を使って他のパーツで最適化し100mを実現しているというユーザーの書き込みも見たことがあります。ZYOPMに確認を取ったユーザーの情報では以下の通りです。

  • 30mバージョンはAQR113を使用
  • 80mバージョンはBCM84891Lを使用
  • 100mバージョンはBCM84891Lを使用し、PCB回路が優れ、さらに少ない電力。

servethehomeフォーラム
https://forums.servethehome.com/index.php?threads/10gb-sfp-rj45-100m.45817/page-2#post-465674

私は保有していませんが、Ubiquitiにも100mバージョンのRJ45モジュールが存在します(11,700円、最大消費電力1.9W)。

Ubiquiti
https://jp.store.ui.com/jp/ja/category/accessories-modules-fiber/collections/accessories-pro-direct-attach-cables/products/uacc-cm-rj45-mg?variant=uacc-cm-rj45-mg

ネットワークカードの消費電力

intel X710の4Portについて、10GBase-TのモデルとSFP+のモデルとで比較します。

型番 接続方式 通常消費電力 最大消費電力
X710T4(旧型) UTP(RJ45)4Port 10Gbps 23.7W 28.9W
X710TL4 UTP(RJ45)4Port 10Gbps 13.6W 14.2W
X710TL4 UTP(RJ45)4Port 2.5Gbps 9.5W 9.9W
X710DA4 SFP+4Port 10GBase-SR 6.2W 6.6W
X710DA4 SFP+4Port DAC 3.6W 3.8W

10GBase-Tは従来のX710T4はものすごい消費電力でしたが、X710TL4となり随分と消費電力が抑制されています。2.5Gbpsであればさらに抑制することはできますが、速度が1/4になったからといって、消費電力が1/4に下がるわけではありません。X710(40Gbpsのチップ)のポテンシャルが無駄になっているということでしょうか。

これに対してSFPは光の10GBase-SRは最大6.6Wとかなり抑制され、DACに至っては最大で3.8Wです。1Portあたり1w未満です。

intel
https://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-x710-brief.pdf

Mellanoxは2PortのNICが多く出回っています。Connect X-4以降は100Gbpsのチップで高機能という理由もありますが、消費電力も増えるようです。

型番(いずれもパッシブケーブル接続) 通常消費電力 最大消費電力
Connect X-3(MCX311A-XCAT)1Port 3.47W 4.84W
Connect X-4(MCX4121A-ACAT)2Port ※25GbE 9.6W 11.6W
Connect X-5(MCX512A-ACAT)2Port ※25GbE 9.5W 11.8W

Mellanox Connect X-3

Mellanox Connect X-4/X-5
https://docs.nvidia.com/networking/display/CX4LxEN/Specifications#Specifications-MCX4111A-ACATandMCX4111A-ACUTSpecifications
https://docs.nvidia.com/networking/display/ConnectX5EN/Specifications#Specifications-MCX512A-ACATandMCX512A-ACUTSpecifications

Connect X-4/X-5は25GbEのイメージが強いですが、SFP+として10GbEで使えます。

クライアント側の発熱抑制

デスクトップPCを都度電源オフにせずスリープにされる方は、スイッチ側のSFPモジュールは通電している状態かもしれません。Windowsの省電力の設定で殆どリンクダウン状態にする事でより省電力、発熱を抑えられます。WakeOnLanを使わない方は設定を検討してはいかがでしょうか。

SFP/SFP+モジュールの挿入、取り外し

モジュールの挿入は差し込むだけです。カチッと音がし、ロックされます。取り出すときはケーブルを抜き、ラッチを引き下げるとロックが外れます。ラッチを下げないと抜けません。無理に引き抜こうとするとスイッチやNICが破損します

このとき、光が出ている部分を覗き込むと目を痛める恐れがありますので注意してください。

DACも同様に差し込むのは簡単です。取り外すときは、プルタブを指に引っ掛けて引き抜きます。本来は簡単に引き抜けるようになっていますが、Amazonで販売している製品(10Gtek)のDAC、モジュールは特に引き抜きづらいものがあり注意が必要です。無理に片手でプルタブを強く引っ張るとスイッチやNICが破損しますので注意してください。引き抜きづらい製品を購入してしまった場合は、以下のようにモジュールの横を押さえてプルタブを引く事でラッチが外れやすくなります。

10GtekのDACがどうしても抜けない時の対応方法です。
ラッチに細いマイナスドライバーや精密ドライバーを引っ掛けてラッチを引き下げる事で抜けるようになります。

MMFモジュールのラッチもメーカーによって様々ですが、以下のようにラッチを精密ドライバーなどで引っ掛けて手前に引いてラッチを外したり、手前から奥に押し込むと外れるタイプもあります。いずれもバネで止まっているものであり大きな力は不要です。このようにドライバーを引っ掛けるといってもテコの力でグッと強く押したり引いたりすると破損しますので注意してください。

ネットワークカードへのSFP+モジュールの挿入

PCやNASのSFP+対応のネットワークカードにはSFP+モジュールを挿しますが、ネットワークカードからSFPポートへの電力供給は最大3W程度です。従い、DACやMMFトランシーバはもちろん問題ありませんが、10GBase-Tモジュールは電力を要するので基本的にネットワークカードには10GBase-Tモジュールを挿しません。電力供給が不足する可能性が高く、2.5Gbpsに速度が落ちたり、安定しないなどの事象が発生します。また、発熱のためにネットワークカードが破損する可能性があります。

OM3ケーブルを配管に通すには

LC-LCをそのまま直径2cm程度の既存配管に通すのは難しいのですが、一旦端子部分を繋いでいるコネクタを外す事ができます。

私の場合、UTPケーブルの被覆を使い、コネクタ部分を被せるようにしてテープを巻いています。CD管/PF管の内径の大きさの問題もありますが、LCのコネクタは長いので、CD管/PF管が曲がる箇所を通過させるのが難しいところです。コネクタとコネクタの間を少し大きく取り、CD管が曲がっている場所も通りやすくします。通線ワイヤーとテープでしっかりと繋いで配管を通します。電話線など他の配線があって通せない場合は工事業者さんにお願いした方が良いでしょう(一旦電話線を抜いて光を通し、電話線を再配線すると楽ですが、電話線の敷設は資格が必要です)。最近、ショートノーズの新製品が出てきているので配管を通す場合はお勧めです。

失敗事例とスイッチのDDM

光ケーブルは弱いと書きましたが、既に配管にケーブルがあるにも関わらず追加でOM3を通そうとして途中の配管のカーブで詰まってしまい、諦めて戻したことがあります。UTPケーブルなら体重を掛けてぐいぐい引っ張るところですが、さすがにOM3のケーブルなので片手で引っ張る程度で手加減したつもりでしたが損傷していました。

ケーブルに損傷がないかスイッチのCLIで見た結果が以下です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

(UBNT) >show fiber-ports optics all
Output Input
Port Physical Port/ Temp Voltage Current Power Power TX LOS
Lane Number [C] [Volt] [mA] [dBm] [dBm] Fault
------ -------------- ---- ------- ------- ------- ------- ----- ---
0/1 0/1-Lane1 43.9 3.321 7.7 -2.947 -3.036 No No
0/4 0/4-Lane1 44.4 3.348 7.8 -2.818 -2.476 No No
0/16 0/16-Lane1 43.4 3.389 7.8 -3.011 -11.733 No No
0/21 0/21-Lane1 N/A N/A N/A N/A N/A N/A N/A
0/22 0/22-Lane1 N/A N/A N/A N/A N/A N/A N/A
0/23 0/23-Lane1 N/A N/A N/A N/A N/A N/A N/A
0/24 0/24-Lane1 N/A N/A N/A N/A N/A N/A N/A
0/28 0/28-Lane1 46.7 3.372 6.0 -3.010 -3.010 No No

上記Port16が該当のケーブルなんですが、Input Powerが-11.733dBmとなっています。これはケーブルの品質が極めて悪化していることを示しています。光ケーブルの品質は以下の表が参考にすべき内容となっています。大昔よりEMC社が提示しているリストで、多くの方に目安として使われています。私のケースだと、-11.733dBmなので2Gbpsも危ういということがわかります。実際のiperf3の計測では4Gbps〜5Gbpsほどは出ていますが、このケーブルは廃棄するしかありませんでした。

microwatt milliwatt dBm Description
1 0.001 -30 Loss of Signal
10 0.01 -20
25.1 0.0251 -16 2Gbps minimum accept signal
31.6 0.0316 -15 4Gbps minimum accept signal
50 0.05 -13.01
100 0.1 -10 2Gbps minimum send signal
125.9 0.1259 -9 4Gbps minimum send signal
150 0.15 -8.24
200 0.2 -6.99 Normal range of optical signal strength
250 0.25 -6.02
300 0.3 -5.23
350 0.35 -4.26
400 0.4 -3.98

現実的なネットワークカードの選定

intelのNICは低電力でお勧めですが、国内では、X710の2Portで46,750円(秋葉原のオリオスペック)とそれなりの値段です。標準的なNICといえます。日本のAmazonではSFP+のNICを探すのは難しくなっています。X520が売れ残っている状況ですが、セキュリティリスクを理解した上で導入される事をお勧めします。既にEOSL(Discontinued)で最新ファームウェアのダウンロードもできませんし、NIC自体の脆弱性の状況も分かりません。
https://ark.intel.com/content/www/us/en/ark/products/series/42489/intel-ethernet-server-adapter-x520.html

intelはチップのみを販売していることもあって、intel純正のNIC以外に、他社製造のNICでチップがX710という廉価な製品も見かけます。この場合、一般的にネットワークドライバはintelのものを使えますが、ファームウェアはOEMとして個別に提供される場合があるので、購入前に販売者に確認される事をお勧めします。

NICはeBayで揃えるのが1つの方法です。海外通販になりますし、発送元は大半が中国からです。返品不可の出品者が多く、少しハードルは高いです。一般的なセオリーですが、評価の高い出品者から購入するのが無難と言えます。X710の2Portで16,000円程度で4Portで25,000円程度です。

MellanoxのNICも同様にeBayで揃えるのが1つの方法です。
NAS、ESXi7、Windows10など動くとわかっている枯れたOSであれば5,000円未満となるConnect X-3を使ってみるのはアリです。既にEOSLを迎えているのですが最新ファームウェアもダウンロードできますし、Connect Xの脆弱性のレポートは無く比較的安心して使えるNICです。新しいOSを使う場合はConnect X-3は見送った方が良いです。VMware ESXi8やWindows11は対応しません。

新しいOS向けにこれからSFP+を導入するならば、MellanoxのConnect X-4/X-5が対象になります。Connect X-4(MCX4121A-ACAT)が8,500円程度、Connect X-5(MCX512A-ACAT)が25,000円程度です。将来的に25GbEも考えてみようかなと思う場合は、手元に置いておいても良いかもしれません。

NICについては、Fibre Channel、InfiniBandとEthernetとは異なります。SFP+のNICを購入される時は、Ethernetのものを購入してください。

スイッチの選定

ワンルームでスイッチを利用するならファンレスを検討したいところです。先にも述べましたが、NASだけであれば1GbE、2.5GbEが中心でSFP+までは不要でしょう。

私はゲームは詳しくありませんが、オンラインゲームの台頭によってレイテンシという言葉が一般的になったと理解しています。Zoomミーティングなどと比べても極端にレイテンシに気を遣うのでしょう。

LDK〜のマンションや戸建てになれば、4Kの映画やテレビなど家族で楽しむ趣味も増えるでしょうし、Wi-Fiアクセスポイント(AP)も2台は置きたくなりますし、AmazonアレクサやAppleTVなどのIoT機器も増えるでしょう。やがて監視カメラなどを繋げるようになると安定した有線接続も必要になります。
メインのスイッチはSFP+の口を多めのものに、そこにサーバー群を10G SFP+で接続、各部屋へ2.5Gbps/1Gbpsのツイストペア接続、または10GbEのSFP+接続とし、各部屋のスイッチはWi-Fi AP、家電、IoT、監視カメラへと接続しやすい、マルチギガのスイッチまたはPoEスイッチを用意されると良いのではないかと思います。

各部屋の配線全てを光ケーブルにする必要もありませんが、OM3を引いておけば、将来25GbEの対応は容易です。

個人向けのWi-Fiルータは値段なりの機能・品質ですし、4Port程度の機器を繋ぐことができますが、高度なことは出来ません。リモートワークや今後のWi-Fiの進化などを踏まえ、VLANも用意した上でしっかりとしたネットワーク敷設を考えられるのであれば、ネットワークに特化したメーカーの製品を導入される事を検討されてはいかがでしょうか。メインスイッチはファン付きで信頼性のある安定した製品を選定されることをお勧めします。

まとめ

もし、既存のネットワークで発熱、ファンの騒音、電気使用量が気になるのであれば是非SFP+にチャレンジしてみてください。低レイテンシ・低発熱のネットワークが構築できます。

なお、SFPの注意点としてはNBase-T(2.5Gbps/5Gbps)に対応していないスイッチも多く存在することです。一般的なRJ45のSFP+モジュールはNBase-Tへの対応を謳う製品もあり、リンクアップ出来る場合がありますが、モジュールが2.5GbEと認識できていてもスイッチ自体が10GbEと認識しており、速度のミスマッチにより十分な速度が出ません。2.5GbEに対応していないSFP+のスイッチであっても、ハックとして2.5GbEの機器と接続する方法は一応あります。SFP+のNBase-Tへの対応については「SFP+の2.5GbE対応」を参照してください。

ここまで10Gネットワークについて説明してきましたが、最後に本当に必要なものかをどうかよく考えて判断していただきたいと考えており、以下に私見を述べさせていただきます。

既に銅線が自宅内に敷設されている場合、2.5Gネットワークであっても無線やインターネットの利用においては十分な速度であり、例えばNASを使う場合であってもSynologyなどの高機能なNASはPC端末との同期をバックグラウンドで処理してくれ、ローカルファイルにアクセスしているのと同じ感覚です。5Gのインターネット契約を行なっても実効速度は2.5G程度のところも多いようですので費用対効果という意味では1G〜2.5Gくらいが合理的と考えられます。もちろん、ゲームなどで数十ギガバイトのダウンロードがあってそれを待ちたく無いから10ギガネットワークが必要というのは合理的だと思います。

例えば前述したNASで高速化を図りたい場合は10Gのネットワークの高速化に加え、HDDをRAIDなどで多重化する、SSDで構築するなどの方法がありますが、これは結構割高になってきます。また、目的別に多くの機器を置くことになれば、結果的に発熱、電気代が嵩むことになり、本末転倒である事も理解しておく必要があります。
仮に仮想環境の仮想マシンをNASでバックアップ取得するにしても、仮想環境上でスナップショットを撮れば、あとはゆっくりバックアップすることができます(一般的にバックアップは決められた時間に自動実行される製品がほとんどです)。高機能なスイッチがあれば、NASと仮想環境の接続をバックアップ用のVLANで区切り、ネットワークスイッチの当該ポートにスループットの上限設定を加えることでゆっくりと(しかも夜中に)バックアップが取得でき、ネットワークに与える負荷を小さくできます。

私の環境では10Gネットワークは大量のデータ処理というよりはレイテンシ対策でSFP+を使っています。

  • 無線のTVがあること(自宅内のネットワークレイテンシに大きく影響されます)。モニタの子機はあちこち移動できるメリットがある一方で、無線親機が有線接続できる製品を選んでいます
  • リモートワークで画面共有やリモートデスクトップなど多用する
  • Wi-Fiローミングも数10ミリ単位で行いたい(部屋を移動しても通話が途切れないようにしたい)
  • ファイアウォールでセキュリティを維持する(HTTPSで暗号化されたパケットのリアルタイム解読)
  • 仮想環境(ESXi)がある
  • 4Kの監視カメラがある

ちなみにInternet回線も10Gの契約にはなっていますが、レイテンシの小さいISPおよび光回線を使いたいためであり、回線の太さは価格にあまり違いは無いからであって、私の場合、仮に1GbEでも特に困りません。

自身の好みとしては、100Mbpsの低速有線インタフェースを持っている端末を好んで使います。無線の負荷を下げるために有線接続できるものは積極的に有線で繋ぎます。4Kの監視カメラ、前述の無線のTV、AmazonプライムビデオのFireTVなどが100Mbpsです。監視カメラは防犯のことを考えると4Kの解像度が必要ですがスポーツの動画とは異なり静止している領域が多いので圧縮率が高く、帯域は少なく済みます。仕事のモニタは4K(というか大画面)が必要ですがこれは殆ど通信量には影響しません(たくさんウィンドウを開いているだけです)。家電TVや映画などは2K程度で十分と考えています。これらの機器はせいぜい数Mbps〜15Mbps程度の転送処理です。夜間に実行できることは可能な限り夜間に行います。バックアップや機器の自動バージョンアップなど。そして高速なWi-Fiは夜間はスリープさせ、11gの低速Wi-Fiのみ稼働させ電気代を抑制しています。

それでも部屋同士は光ケーブルにしておけば、将来的に困ることはありませんし、将来インターネット回線を増速するか減速するかはわかりませんが、柔軟に対応できる環境を作るように心がけています。