最近Sparkの勉強を始めました。 手軽に試せる環境としてPySparkをJupyter Notebookで実行できる環境を作ればよさそうです。 環境構築に手間取りたくなかったので、Dockerで構築できないか調べてみるとDocker Hubでイメージが提供されていましたので、それを…

これまでAWS上では時刻同期について、外部のサーバを利用する必要がありましたが、 AWS内で利用できるサービスがリリースされました。 これで外部へアクセスする必要がなくなりました。またうるう秒も自動で調整してくれるため是非利用するべきだと思います …

S3のマウントにみなさん何を使っていますか？ s3fs?goofys?使い勝手はいかがでしょう？ 今回は、商用ですがObjectiveFS(https://objectivefs.com/)というS3のマウントツールの紹介をしたいと思います。 環境 OS：AmazonLinux 手順 ライセンス取得 14日間のト…

発生した障害 boto(python)で定期的にS3にファイルをアップロードしているスクリプトが突然エラーとなり実行できなくなる問題に遭遇しました。 エラーログを確認すると「403 Forbidden」が発生していました。 調査したこと 何らかの原因で使用しているアクセ…

はじめに AutoScalingを設定していて手動で設定を変更していると、たまに台数がずれるなどして最低台数の制限に引っかかりAutoScalingGroupからEC2をDetachやStandByにできない場合があります。スケーリングポリシーに基づいてインスタンスの増減が実施され…

待望の機能追加があったので実際にやってみました。 これまで起動後のec2インスタンスにはiam-roleが付与できなくて不便な思いをしてきましたがやっと開放されそうです現時点ではawscliからのみしかできません。 またawscliの更新が必要になりますので気をつ…

以下のような構成でrsyslogを使用してログをログ収集サーバへ集約させる要件がありました。 検証で動作確認を実施してみたので、備忘録としてやり方を残しておきたいと思います。 やりたいこと webサーバの/var/log/messagesをログ中継サーバを経由させてロ…