高速ファイル転送サービスとは？

＜最近映像データがものすごく大きくなりました。＞

最近は映像やゲームでBlu-rayを採用しているところも増え、運動会でお父さんが持つビデオカメラがHDになったり、スマホの4K動画で子供を撮影している保護者が増えた昨今、映した映像、みんなどうやって鑑賞しているんだろうなあ、というのが気になるわけです。知人に飲み会で聞いたら、「保存して結婚式で流す」て言ったきり娘の将来を想って泣いて面倒なので閉店まで放置したり、2GBくらいある映像をメールで送れないと文句を言われて「いや無理じゃん」て説明したり、子供の映像をBlu-rayに焼いて祖父母に送ったらDVDプレーヤのままだったとか、久しぶりに実家に帰ったらまさかの一番機械に疎い妹が娘のためにBlu-rayレコーダを設置してた挙句、姪っ子の晴れ姿を延々と見させられる週末を過ごすこともよくある話だと思います。そんなにないか。

綺麗な映像といえばハイビジョン(HD)がもう一般的になりましたが、今後オリンピックでは4K映像、それどころか8K映像まで含めて検討されているという報道もあります。8Kといえば、2K(HD)の16倍。動画のデータも近い将来テラバイトサイズになるんでしょうね。それでなくても既に10ギガ、20ギガもある映像が存在するわけですし、放送業界や映画業界、編集業界でも日常的に巨大なデータファイルを編集して保存して、さてどうやって運んでいるんだろう、という疑問にお答えするのが、高速ファイル転送サービスです。

＜TCPを利用したFTPやSFTP通信が普通の答え＞

セキュリティの面から今はあまり推奨されていませんが、ひと昔前は、巨大なファイルをやりとりする場合はFTPが一般的でした。anonymous FTPでディストロのイメージを頑張ってダウンロードするとか、懐かしい思い出ですね。

ただ、FTPには大きな問題があり、セキュリティが一切考慮されていないため、パスワードやユーザ名、データ自体がそのままネットに流れます。要は暗号化されていません。一般公開するものであればともかく、個人情報や機密情報が含まれているデータをインターネットに直接流すと、盗聴された時に全データが漏洩してしまいますね。データを例えばZIPなどで暗号化したとしても、そもそもFTPを利用するユーザ名とパスワードが平文でやりとりされているので、その情報が盗まれたら大変です。そのファイル自体ではなく、ユーザ名の命名やパスワードの規則性などが漏れると、サーバ自体の乗っ取りといったより大きい被害を受けかねません。

そのような場合は、SFTPというセキュリティ機能付きのFTPを使います。全てのやりとりを暗号化するので、安全にFTPサービスでデータのやりとりが行えます。むしろ今はSFTPが通常で、暗号化されていないFTPは公開情報などの配信以外には利用しない流れになっていますね。

＜TCPは遅いし、UDPは信頼できない＞

さて、転送する仕組み自体はSFTPを利用すればいいとなりましたので、あとはサーバを誰がどうやって用意するかを決めるだけですが、サーバを用意したとしても、実はインターネットでのファイル転送については、仕組みよりも大きな問題があります。それが「TCPは遅い」というものです。

TCP/IP通信はよく考えられた通信手順(プロトコル)ですが、回線の帯域(太さ)や回線の品質により通信速度が影響を受けやすい手順でもあります。データが送られる度に、送る側と受ける側で確認のやりとりが発生しますし、回線の100%の力を引き出すよりは、安全に確実にやりとりすることに主眼が置かれているからです。そして回線の力を100%使い切りたい、と思うのが世の常、人の習い。

TCPと違い、UDPというプロトコルがあり、それは回線の力を100%使い切るために使われることが多いのですが(通信速度が肝のマルチプレイゲームでもよく使われてますね)、このUDPというプロトコルにも問題があり、信頼性がありません。どういうことかというと、送る側は送る事だけを考えているのですが、送ったデータがネット越しの相手にちゃんと届いたかどうかを一切考慮しないのです。これだと回線の力を100%使い切っても意味がありませんね。なお、UDPについてはそもそも「間に合わせ」で考えられた手順という話もあります。

“UDP and me”（UDPを作ったと言われる人のメモ。英語）
http://www.reed.com/blog-dpr/?page_id=6

マルチプレイゲームでUDPを使って開発された結果の大混乱については、こういう記事（英語）もあったりして、なかなか面白いですね。
http://www.gamasutra.com/view/feature/131781/the_internet_sucks_or_what_i_.php?page=5

＜いいとこどりの高速ファイル転送サービス＞

さて、TCPを利用した(s)FTPにおいて、ファイルの伝送が思った以上に遅いという事象は昔から考慮・検討されていて、改善策としていくつかの機能、具体的には
– マルチセッション(複数のセッションで複数ファイルを同時に伝送)
– レジューム(大きいファイルの伝送が中断した時、途中からやり直せる機能)
などの機能が追加されてきましたが、やはりTCP通信の限界がありますし、10GB以上のファイルなど、単一の巨大なファイルのやりとりでは相変わらず時間がかかるわけです。そこで、「UDPを利用しつつ、どうにかTCP並みの信頼性を持つ」手順としてSCTP、DCCPなどの新しい手順がRFCで公開されたり、UDP高速ファイル伝送技術がいくつか考案、実装されてきています。

手順としてSCTPやDDCPなど新しいプロトコルもありますが、機器や手順の上で実際に走らせるサービスとして新しすぎて、対応できていない機器やアプリケーションもありますので、UDPを利用した信頼性の高いサービスが現在最も普及しており、また効率の良いファイル伝送が可能と思われます。

（次回へつづく）