IT系会社員ブロガー

某IT企業に勤める40代会社員の雑記帳

AWS で4時間以上に渡る大規模障害が発生

【追記】2019年8月23日に発生した東京リージョンの障害はこちら

breakthrough1020.hateblo.jp

f:id:breakthrough1020:20170302232025p:plain

昨日(2017年3月1日)、アメリカ現地時間では、2月28日11:00 am から2:00 pm、日本時間では、3月1日AM 4:00からAM 7:00までの約3時間の間(実際には、AM2:37からAM7:00まで4時間以上)、AWSAmazon Web Services)の米国東部バージニア北部、リージョン(us-east-1)のストレージS3(シンプル・ストレージ・サービス)で広範囲な障害が発生しました。(以後は、日本時間で記載)

 

AWSTwitter(@awscloud)では、AM 4:17に

S3 is experiencing high error rates. We are working hard on recovering.

(S3で高いエラーレートが発生しています。回復に努めています。)

The dashboad not changing color is related to S3 issue. See the banner at the top of the dashboad for update.

(S3の問題でダッシュボートは色が変わっていない。更新情報はダッシュボードの上部バナーを参照ください。)

 

AM 4:00過ぎに障害が発生し、AWSで唯一サービスの稼働状況が把握できるダッシュボードが、このS3の問題で正しい情報が表示できなくなっていました。

 

Amazon S3は14万8213のウェブサイトが利用しており、12万1761のドメインが運用されているとのことですが、他サイトの情報によると、影響を受けているサイト・サービスとしては、AdobeiCloud、Q&AのQuora、ニュースレター配信サービスのSailthru、ニュースサイトのBusiness Insider、Giphy、S3が画像をホスティングしている各種yメディア、Slackにおけるファイル共有など多数だ。スマートサーモスタットなどホームIoTのパイオニアであるNestにも障害が発生しており、デバイスのコントロールが不可能になっているとのことです。

 

そして、私の利用している Runkeeper でも、Twitter(@RKSupport)でAM 4:10に

Our app is currently impacted by an AWS Service outage. Sorry for the trouble! We're working with them to resolve this as soon as possible.

(私たちのアプリは現在、AWSサービスの停止の影響を受けています。ご迷惑おかけして申し訳ありません。私たちはできるだけ早くこれを解決するために彼らと協力しています。)

 

そして5時間後のAM 9:23になってようやく

All issue from earlier today hava been resolved ! If you're having any problems with your Runkeeper app please email support@runkeeper.com

(今日発生していたすべての問題は解決されました。Runkeeperアプリに問題がある場合は、サポートまでメールをください。)

 

実際には4:00ごろから9:00過ぎまでAWSで不具合が発生していたようで、今朝たまたまRunkeeperを利用してランニングをしていたのですが、7:00から9:30過ぎまでは、まったくアプリが使えない状態でした。

11:00頃になってやっとアプリが正常に利用することができ、同期されていなかった今朝アクティビティ(ランニング情報)を無事送信することができました。

 

ちなみに、S3はよく99.999999999%(イレブン・ナイン)と表現されていますが、これは可用性(稼働率)ではなく、耐久性のことで、AWSいわく「1万個のオブジェクトが格納されている場合、単一のオブジェクト損失が発生する予測平均発生率は1,000万年に1度」というまったく意味不明な内容です。

 

そして、実際の可用性(稼働率)は明確には定義されておらず、正しくコミットメントされているわけではないですが、年間99.99%、つまり年間52.56分(0.88時間)停止なので、今回は3時間以上停止しているので年間の可用性(稼働率)は守れていないです。

Amazon S3 サービスレベルアグリーメントには、99.0%以上 99.9%未満の場合には10%99.0%未満の場合には25%のサービスクレジットを提供することになっています。要するに、使えなかったらお金を返す、です。

 

また、サービスクレジットとは、サービス利用者がAmazon S3 の将来の支払いに対してのみ利用が可能なクレジットのことで、要するに、99.0%未満になっても、その月の利用料金は100%支払いを行う必要があり、翌月の利用に対して割引をしてやるよ、というとんでもなくAmazon側に優位な内容です。

 

さらに、サービスクレジット請求は、とんでもなく手間がかかります。

手間とサービスクレジットでもらえる金額を考えると、請求をしない場合も多いのではないでしょうか?

 

いずれにせよ、日本リージョンでなくてよかったです。

もし日本でこの障害が発生していたら、クラウドファースト信者の人々は、とんでもないことになっていたと思います。

AWSの代わりに、障害の説明・報告に奔走していたことでしょう。

 

AWSで大規模障害が発生しているのに関わらず、日経クラウドファーストから呑気なニメールマガジンが飛んでくるのも、日経BPはセンスないなぁと思います。

せめて3月1日は仕方なくとも、3日のメールには障害のことを記載すべきでは?

 

それから、TwitterAWSで稼働していたら、もうどうしようもない状態になっていたと思います。

 

【追記】翌日、AWSから今回の障害について報告が提示されました。

 

Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region

 

 「Unfortunately, one of the inputs to the command was entered incorrectly and a larger set of servers was removed than intended. 」

(残念なことに、コマンド入力の1つが間違っており、より大きなサーバーセットを意図せず削除してしまった。)

原因はなんとオペミスでした。

 

あと、実際には、午前9時37分(PST)にオペミスが発生して、午後1時54分(PST)に復旧完了したとのことですが、復旧が完了しても、作業のバックログが蓄積されており、完全復旧までには追加の時間が必要だったとのこと。

つまり、日本時間 AM 2:37 から AM 6:54(+追加時間)までの4時間以上の障害だったことが明らかになっていますので、タイトルも3時間から4時間以上に変更しました。

 

 

アディダス ウルトラブースト(2016年モデル)で 1,000km 走った結果

ここ数年は、アディダスadidasウルトラブースト(UltraBOOST)を愛用しています。

f:id:breakthrough1020:20170228001346p:plain

 

以前に、アディダスウルトラブースト(2015年モデル)で、1,200km走ったレビューを書いています。

breakthrough1020.hateblo.jp

ウルトラブーストについては、正直なところ、上部のニット構造(正しくはプライムニット素材)はフィット感も抜群で、耐久性もバッチリなのですが、ソール(アウトソール)の減りが思った以上に早く、その部分が難点でした。

 

※ちなみに、2,000km走ったレビューも書いていますがソールはボロボロです。

breakthrough1020.hateblo.jp

そして、5ヶ月前(昨年9月)に購入したウルトラブースト(2016年モデル)コアブラック/コアブラック/ソーラーレッド(AQ5930)については以下に書いています。

breakthrough1020.hateblo.jp

 

2016年モデルが、ソール(アウトソール)の色も、2015年モデルと比べ、黒からオレンジに変わっており、「コンチネンタルラバー」が採用されているので耐久性がアップしているとのことでしたので、今回は、実際に1,000km 走ったシューズレビューとなります。

 

ちなみに、スマートフォン向けのランニングアプリ Runkeeper を利用していると、シューズの走行距離も計測できます。

f:id:breakthrough1020:20170227234347p:plain

Runkeeperが、少しやっかいななのは、1,000kmを超えると走るたびに「Almost time to change those shoes! See your shoe tracking progress.」(靴を買い換えろ!)とメッセージが出ることです。

1,000km程度でシューズを買い換えないですよ、私は。1,500~2,000kmは走ります。

 

さて、1,000km(1,111km)走ったレビューとなります。

f:id:breakthrough1020:20170227234513j:plain

f:id:breakthrough1020:20170227234540j:plain

f:id:breakthrough1020:20170227234606j:plain

f:id:breakthrough1020:20170227234627j:plain

 

ソール(アウトソール)は、人それぞれ走り方によって減り方が大きく変わってくると思いますが、前回の2015年モデルと比較しても、全体のソールの減りが大きく改善されています

 

ソールの「コンチネンタルラバー」は、自動車用タイヤで培われたコンチネンタル社のテクノロジーで、優れたグリップ力と耐摩耗性を実現したとのことでしたが、かなり改善されています。

 

コンチネンタルすごい!

 

改めてソールを見ると、つま先のヒビ割れが若干気になりましたが、使用上はまったく問題ありません。あと、グリップ力の強化は殆ど感じないレベルです。

 

上部ニット(正しくはプライムニット)は、相変わらずフィット感抜群で、以前と同じく耐久性もバッチリです。傷み・ほつれ等は一切ありません。

 

前回の2015年モデルは2,000kmでソールが限界でしたが、今回の2016年モデルは、2,000km走っても全く大丈夫そうです。

 

それではまた、5ヶ月後に2,000kmのシューズレビューをします。

 

【追記】2,000kmの結果はこちら。

breakthrough1020.hateblo.jp

 

 

日経クラウドファーストの継続案内が来ました

日経クラウドファーストについて、昨年1月からこの一年間で色々と書きました。

 

breakthrough1020.hateblo.jp

まず、最初に購読料金が高すぎると思います。

購読料金1年(12冊)64,800円(税込)は個人での購読をためらうどころか無理です。

 

breakthrough1020.hateblo.jp

それを察してか、そもそも購読の申し込みが少なかったのか、一ヶ月後には創刊記念特別価格ということで10,000円引きが始まりました。

しかしながら、早期購読申し込み者への返金はなしです。

つまり、1、2月の早期購読申し込み者は、馬鹿だったということになります。

 

breakthrough1020.hateblo.jp

実際に、4月に創刊号が到着して、内容の無さよりも、40ページと言うそもそもの薄さにもビックリしたものです。

この価格でカラーでもないのにも驚きでした。

 

breakthrough1020.hateblo.jp

次に、5月にキャンペーン特別価格ということで、さらに10%オフが始まりました。

通常価格 64,800円から、創刊記念特価 54,000円、さらに10%オフの 48,600円です。

通常価格 64,800円からは、なんと25%オフ(16,200円引き)になります。

つまり、1、2月の早期購読申し込み者は、大馬鹿だったということになりますね。

 

ちなみに、日経ソフトウェアは1年(12冊)14,640円なので、キャンペーン特別価格で購入した方は、1、2月の早期購入者と比べると、日経ソフトウェアを追加購読してもまだオトクです。

 

その後、毎月のように読者アンケート(500円)が継続されましたが、ついに今月(2月)になって「継続購読のご案内」が来ました!

f:id:breakthrough1020:20170226233314j:plain

ご継続いただける場合は、確認書にご希望の購読期間と購読料金のお支払い方法をご記入のうえ、2週間以内にご返送ください。とのこと。

そして、確認書には、

f:id:breakthrough1020:20170226233539j:plain

って、ご希望の購読期間って、購読期間は1年しかないじゃないか!

価格は、64,800円? 昨年64,800円の定価で購入しているのに??

3年分は??? 値引きは?

 

ちなみに、日経コンピュータは、1年(26冊)23,800円 3年(78冊)49,900円と、3年分まとめて支払いにすることで、23,800✕3=71,400に対して、約30%オフとなります。※そもそも日経コンピュータは、昨年に比べて価格が上がっています。

 

昨年は、通常価格 64,800円から、創刊記念特価 54,000円、さらに10%オフの 48,600円と、通常価格 64,800円から、なんと25%オフしたのに関わらず、継続後続は、値引きなし???

3年分まとめて支払いもなし???

 

いや~日経クラウドファーストなかなかやりますね。

このようなヒドい対応でどれくらい継続購読されるのか楽しみですね。

 

 

 

 

Runkeeper 東京フィニッシュラインチャレンジ

2月10日に、スマートフォン向けのランニングアプリRunkeeperにて、東京マラソン2017チャレンジがありました。

ちなみに、東京マラソン2017のオフィシャルパートナーでもあるアシックスは、昨年に、Runkeeper を運営する FitnessKeeper(米国)を買収しています。

breakthrough1020.hateblo.jp

2月23日に、同じくRunkeeperにて東京フィニッシュラインチャレンジが開始されています。

 

f:id:breakthrough1020:20170226001555p:plain

 

東京フィニッシュラインチャレンジは、前回の東京マラソン2017チャレンジと同じく、3月2日までに5km以上走ることで達成されます。

5kmなので、1回で十分だと思いますが、合計5kmなので、複数回でもOKです。



期限内にチャレンジ達成された方は抽選で10名様にアシックスのランニングシューズ、ASICS Noosa FFが当たるキャンペーンにも自動でエントリーされます。

 

f:id:breakthrough1020:20170226002142p:plain

当選の発表は詳しい記載がないですが、Runkeeper事務局より当選者様へのEメール連絡だと思います。

※私は、これまで Runkeeperのキャンペーンは一度も当たったことがないですけど。

 

 

 

浅い記事がとんでもなく迷惑を掛けることを認識すべき

f:id:breakthrough1020:20170219224829p:plain

:%s/private/public/g

随分と前の話しですが、まだ問題解決しておらず、未だに多くの皆さんが大変な迷惑を被っていると思います。

あるブログに、ある海外の銀行のデータセンターで、消防訓練のため消火ガスの噴射をしたところ衝撃音でハードディスク(HDD)が故障した記事が掲載されました。

http://www.privatekey1.jp/blog/16/ingatm.html

※このブログ自体有名かどうかは知れませんが、私自身何度か検索に引っかかって閲覧した経験はあります。

ブログ作者は元雑誌編集者ということで、編集者らしく、広く浅~い記事を量産されており、広告収入で生計を立てられているようです。特に海外イベントへ自ら参加し、いち早く日本語で記事を掲載することで、アクセス数を稼ぐのが多いようです。

で、件の消火ガスの噴射でのハードディスク故障ですが、これはかなり昔から言われていたことです。

2010年頃に幾つか論文が出ているようですが、いわゆるガス噴射型の消火設備において、実際に消化ガス(ハロン、窒素、二酸化炭素など)が噴射される時に、100~130dB(デシベル)の音が発生する可能性があり、その音がコンピュータのハードディスクドライブ(HDD)に影響を与えるというものです。
ちなみに、110dBとは、自動車のクラクション、120dBとは飛行機のエンジン近く、130dBについては、痛覚に近い感覚となり、聴覚に悪影響を与えるレベルらしいです。

これまでも「消火ガス放射時の音圧がハードディスクドライブに影響を与える可能性がある」とされており、認識はあったもののそれ程大きな話題にはなっていなかったのが、この privatekey の中途半端な記事のおかげで、今大変なことになっています。

実際の銀行のニュース記事(BBC)では、シーメンス調査結果として以下が記載されています。

・above 110dB, most hard disks would deliver a degraded performance
 110dBを超えると、ほとんどのハードディスクは性能が低下

・above 130dB most disks would stop delivery data
 130dBを超えると、ほとんどのディスクが配信データが停止

・above 140dB, most disks would suffer permanent damage and there could also be other unpredictable faults
 140dBを超えると、ほとんどのディスクに永久的な損傷が発生し、その他の予期しない障害が発生する可能性がある

そもそも、サーバやストレージが精密機器のため、そりゃそうですよね。

しかしながら

  • 消防訓練や点検で、消化ガスを大量に噴射させることはまずありえない。
  • データセンター内の機器設置フロアに、そもそも可燃物は置かれていないため、火災自体が発生するリスクが極めて低い。
  • 消化ガスを噴射しても機器(ハードディスク)との距離も考慮すると110dB程度で、せいぜい性能低下(転送速度に変化を与える)レベル。


そもそも消化ガスが噴射されること自体が、音ではなくガス自体が機器に影響を与える可能性もあるので消化ガスが噴射されることがないようにも対策を施しています

火災予兆(超高感度煙検知)システムを導入し、消化ガスを噴射させる火災報知設備より先に火災の予兆を検知し、火災を未然に防ぐため、消化ガスが噴射されることはまずないようにしています。

しかしながら、消化ガス噴射のハードディスクドライブへの影響リスクに対し、100%の対策を施すとなると、実際には、対策が施された静音形噴射ヘッドへの取替(取付)が必要になります。
この静音形噴射ヘッドがとんでもなくコストがかかり、データセンター規模にもよるが、億を超える場合も少なくないと思われます。

privatekey にて中途半端な記事のおかげで、おそらく全国のデータセンター事業者は、お客様からの対応にずっと追われていると思われます。お疲れ様です。
そもそも初めに「 privatekey 」のブログ自体の説明をすることがうんざりです...

政府・公共機関でもないのにPublicって名前を付けるなよ。

発生する可能性が限りなく低い火災、それに対する消化ガス噴射の静音対策...


だいたいハードディスクドライブ(HDD)は、半導体メモリのSSD(Solid State Drive)にどんどん入れ替わっています
消費電力も少なく、場所(スペース)も大幅に節約できるため、高い費用の掛かるデータセンターでは尚更ながら急速に入れ替えが進んでおり、少なくともあと数年で、消化ガス噴射で影響のあるハードディスクドライブ(HDD)は無くなるのに、億を超えるような対策が今必要なのか...

「もしも対策をしていないデータセンターがあるとすれば、何らかの対策が求められることになるでしょう。」だと~、分かって書いているのか!?

 

 

 

2017年度プラチナメンバーの通知が来ました

2017年度のプレミアムポイントの限定特典では、すっかり勘違いをしてしまっていました。すみません。

breakthrough1020.hateblo.jp

 

気を取り直して、2017年度のプラチナメンバーになることができていましたので、無事にメンバー通知が来ました。

breakthrough1020.hateblo.jp

 

f:id:breakthrough1020:20170216225455p:plain

 

3月上旬には、プラチナサービスキットが送られてくる予定です。

 

プラチナサービスキットとは、

  • 2017年度ANA「プラチナサービス」ステイタスカード
  • 2017年度ANA「プラチナサービス」サービスガイド(冊子)

のことです。

 

プラチナメンバーの特典(公式ページ)

www.ana.co.jp

breakthrough1020.hateblo.jp

昨年度もプラチナメンバーでしたので、2年連続となります。

 

初年度と、2年連続の違いは、フライト時のボーナスマイルで、90%(95%)から+10%の100%(105%)となることだけだと思います。

※95%、105%の+5%はANAカード・SFCのゴールドカード保有

 

さあ、今年も空港でビールが飲めるぞ!

 

 

 

やっぱり楽天が嫌い

f:id:breakthrough1020:20170215220434p:plain

※このロゴを見ただけでページを閉じられそうな気がしますが...

 

楽天、好きですか?

意外にも、年配の方や女性や子どもに人気があったりしますが、私はやっぱり嫌いですね。

 

私は、そもそもAmazonのプライム会員であるため、基本的にはAmazonプライム商品を前提に、以下の思考プロセスになっています。

 

  • Amazonの方が安い、楽天と同じ価格 → Amazonで購入
  • 楽天の方が安い → Amazonで同じような商品がないか探す、もしあればAmazonで購入
  • 楽天しか取り扱っていない → 泣く泣く楽天で購入

 

なぜ、楽天がこんなにも嫌いなのかを5つにまとめて見ました。

 

1)商品ページが時代遅れ

商品の紹介、内容が見たいのに、その説明に辿り着くことができない。

その前の商品検索の結果(一覧)の表示も酷いですが、とにかく広告が多い。どれだけ下にスクロールさせるの?いつの時代のページ構成?

これは、楽天市場だけでなく、楽天グループのすべてのサイトに共通していますけど。


2)商品の価格が分からない

やっと辿り着くことができた商品の紹介を確認し、商品の価格を見てみると、"送料別"になっていて、送料の記載がどこにも見当たらない。いったい幾らで購入できるのかが分からない。

 

3)商品を購入したらスパム地獄

商品購入時に、その店舗を含めたメールマガジンの購読がデフォルトでオンになっており、知らない間に3~4つのメールマガジンの購読している。

商品購入時はメールマガジン購読は全部オフに!」が楽天ユーザの合言葉。

f:id:breakthrough1020:20170226124723p:plain

ちなみにメールマガジンは、1)と同様に時代遅れで、とんでもなく広告が多い。


4)購入した商品がいつ届くのか分からない

そのままですが、一体いつ商品が届くのかがさっぱり分からない。土日に購入しようものなら、発送は月曜日が当たり前。


5)楽天ポイントが不愉快

ポイント4倍、5倍~10倍など、とにかくポイントで今すぐ購入すべきと煽ってくるが、そもそもどれだけお得かどうかが分からなければ、楽天スーパーセールのときには、ポイント分だけ商品の価格が高くなっているのは有名な話し。

そもそも不可解な楽天ポイントについては後述しています。

 

 

とまあ、とにもかくにも楽天が嫌いなのですが、楽天でしか取り扱っていない商品があるので、仕方なくこれからも楽天を使って行きたいと思います!

楽天でしか商売をされていない方、是非Amazonで出店をお願いします!

 

その他、企業買収した、Edy楽天Edy旅の窓口楽天トラベル...以外は、パクリが満載(ラクマ楽天レシピ、楽天証券楽天銀行楽天生命...)なのも、嫌いな理由です。

劣化コピーの劣化度があまりに酷いから、取り締まりがされないのでしょうか?

 

 

楽天ポイントについて

色々と訳があって、以前に楽天カードを作成したことがあります。

楽天カードマン~」のTVコマーシャルが頻繁に流れていますが、楽天カードの入会時には様々な特典があり、そのひとつが楽天ポイントです。

ただし、その楽天ポイントは、一般のポイントと異なりまさに複雑怪奇です。

 

まず、ポイントは大きく3種類です。

f:id:breakthrough1020:20170215225203p:plain


・利用可能ポイント → 今利用できるポイント。期間限定ポイントを差し引くと、特に制限なく利用が可能な通常ポイント。

・期間限定ポイント → 期間が来ると消失するポイント。利用に制限あり

・獲得予定ポイント → 期間が来ると付与されるポイント。利用に制限あり。

 

いわゆる通常ポイント(使用制限がないポイント)は、利用可能ポイント ー 期間限定ポイント となるのですが、その表記がありません。

楽天カードの入会で7,000ポイントがもらるのは有名です。

新規入会特典2,000ポイント、カード利用特典5,000ポイントが付与されますが、これは通常ポイントではなく、期間限定ポイントとなります。

例えば2月に楽天カードを発行すると、3月中旬~下旬に7,000ポイントが付与されますが、有効期間が約1ヶ月後の4月末までとなります。

つまり約1ヶ月以内にポイントを消費しないとポイントはすべて消失することになります。

期間限定ポイントの利用制限ありと記載しましたが、有効期限が短く、ちょうど今は楽天で欲しいものがないため、ポイント交換で別のポイント(交換可能なのは楽天EdyANAマイル)にしようとしてもできません。

ポイント交換できるのは、あくまでも通常ポイントだけです。

ちなみに、獲得予定ポイントと合算すると欲しいものが買えたとしても、獲得予定ポイントを、先に利用することはできません。

 

あと、楽天ポイントANAマイルの交換(1/2の交換比率)についても、1回最大1,000ポイント(つまり500マイル)で、24時間につき1回しか交換できず、かつ一ヶ月の上限20,000ポイント(最大10,000マイル)、また交換申し込みからマイル登録まで約1週間を要し、 まさにANAマイルへのポイント交換を拒否しているとしか思えない仕組みになっています。

 

また、楽天カードの入会申し込み時に、さらにポイントGET!とあり、「自動リボサービス」に登録するだけで、自動リボ登録で"最大"2,000ポイント、楽天カード30,000円以上利用で6,000ポイントが追加で付与されます。

ポイントがもらえるので、自動リボの申し込みをしがちですが、これが罠です。

楽天の自動リボは支払いコースの金額を高く設定して、リボ払いにならなくても、別途手数料が発生します。

つまり、当月請求額内に収まり、翌月に請求を1円も繰り越さなくとも、「包括信用購入あつせんの手数料」なるものが、請求額の1.24~1.25%掛かってきます。

これは自動リボを解除しない限りずっと請求されつづけます。

要するに、利用者がリボ設定を忘れていてくれれば、実際のカード利用額の1.24~1.25%をタダで徴収できるという仕組みです。

よく携帯電話の3大キャリアが、申し込み時に数ヶ月は無料の不要なサービスをつけてくるのと同じですね。やり方が姑息です。

 

私の楽天カードはというと、クレジットカード利用でなく、実店舗でのポイントカードになっています。意外に使える店舗が多いですよ。

楽天ポイントカード: 使えるお店