Python – Azure Blob Storageからデータをダウンロード/アップロードしてみる(Blob Storage準備編)

技術的な話

Azure Blob Storageを最近よく使うので、その辺をまとめていきます。

え?使わない?きっと使う時がくるさ!

何でも入るBlob StorageはAWSもGCPにもあるんだよ?使わなきゃ損!

安いので大容量データの格納だったり、一時的な格納スペースとして活用されているのかな?

個人的なハマりポイントもまとめながら手順を説明してきます。

  1. 最終目標
  2. この記事でできること
  3. 環境条件
  4. Azure Blob Storageを用意しよう
      1. そもそもAzure Blob Storageってなんなん?
      2. Azure PortalからBlob Storageを作成
          1. ポータル上部の検索欄で「blob」と検索
          2. 「ストレージ アカウント」を選択します
          3. 左上の「+新規」を選択します
          4. リソースグループが無い場合は新規作成してください
          5. ストレージアカウント名を入力、アカウントの種類は「StorageV2」を選択します
          6. ネットワーク設定はそのままで次へ行きます
          7. データ保護はそのままで次へ行きます
          8. 詳細もそのままで次へ行きます
          9. タグもそのままで次へ行きます
          10. 最後に確認画面が表示されますので、問題無ければ作成を選択します
          11. 作成ボタンを押すと作成中画面になります
      3. Blob Storageの接続文字列をコピー(もしくはSAS作成)
          1. これがBlob Storageの管理画面です
          2. ちなみにSASを作成する場合はこの画面から行います
          3. 接続文字列を確認します
      4. Blob Storage上に何か作成してみる
          1. ここからBlobにアクセスできますので、BLOBコンテナーを右クリックします
          2. 右クリックするとBLOBコンテナーの作成が出てくるので選択します
          3. 画面の右側に新しいコンテナーという画面が表示されるので名前を入力します
          4. 名前を入力したら画面したの作成を選択します
          5. BLOBコンテナーを右クリックし、更新を選択する
          6. 「+新しいフォルダー」を選択します
          7. 画面右側に新しい仮想ディレクトリの作成画面が表示されるので名前を入力し、画面下にある作成を選択します
          8. フォルダ作成後はすぐにファイルをアップしておきます
          9. 同様に「output」フォルダを作成します
          10. 最終的にこんな感じになります
  5. まとめ
  6. PythonでAzure Blob Storageにアクセス

最終目標

  • Pythonを使ってAzure Blob Storageからファイルをダウンロード/アップロードする

この記事でできること

Pythonについては次の投稿でまとめます。

  • Azure Blob Storageの作成

環境条件

今回は以下の条件で進めます。

  • Python 3.9.1
  • Azureのアカウントがあること(無料枠有もしくはクレカ登録済)

Azure Blob Storageを用意しよう

そもそもAzure Blob Storageってなんなん?

一言で言うとストレージです。

尚且つ色々な言語でSDKが用意されているので、アクセスしやすい感じになっています。

普通の共有フォルダに置くより、プログラムから圧倒的にアクセスしやすいです。

データベースを使うほどではなかったり、大容量のデータをやりとりしたいが、コストが…みたいなケースでよく使用される…のかな。

公式はこちら。

Azure Blob Storage | Microsoft Azure
Azure Blob Storage は、クラウドでのスケーラブルでコスト効率に優れたオブジェクト ストレージを提供します。お客様の最も要求の厳しいワークロードに対応し、非構造化データを保存してアクセスできます。

今回はMicrosoft(Azure)での紹介でしたが、他のクラウドサービスにも同等のものがあります。

  • Google Cloud Platform(GCP):Google Cloud Storage
  • Amazon Web Service(AWS):Simple Storage Service (S3)

Azure PortalからBlob Storageを作成

AzureポータルからBlob Storageを作成していきます。

ポータル上部の検索欄で「blob」と検索
「ストレージ アカウント」を選択します
左上の「+新規」を選択します
リソースグループが無い場合は新規作成してください

※リソースグループは各クラウドサービスをグループ化しておいて、このシステムでどれだけコストが掛かっているかを把握するために使ったりします。

ストレージアカウント名を入力、アカウントの種類は「StorageV2」を選択します

StorageV1だとStorage Explore経由での接続が繋がったり、繋がらなかったりします…。

ネットワーク設定はそのままで次へ行きます
データ保護はそのままで次へ行きます
詳細もそのままで次へ行きます
タグもそのままで次へ行きます
最後に確認画面が表示されますので、問題無ければ作成を選択します

これでBlob Storageの作成は完了になります。

次にBlob Storageに接続する接続文字列Blob Storage内の操作について説明します。

作成ボタンを押すと作成中画面になります

以下の画面が表示されるとBlob Storageの作成は完了になります。

次にBlob Storageに接続する接続文字列Blob Storage内の操作について説明します。

リソースに移動を選択すると、Blob Storageの画面に移動します。

Blob Storageの接続文字列をコピー(もしくはSAS作成)

接続文字列はクラウド上のBlob Storageにアクセスするためのものなので、絶対に公開しないようにしましょう。これが漏れると自由にBlob Storageにアクセスできてしまうので…。

複数人で共有する場合はSASを作成して権限を絞ってあげるとよいかもしれません。

これがBlob Storageの管理画面です
ちなみにSASを作成する場合はこの画面から行います

使用可能なサービスや作成、更新権限や有効期限など細かく設定ができます。

権限設定が完了したら画面下にあるSASと接続文字列を要求から接続文字列を作成します。

コピーして忘れないようにしてください。

接続文字列を確認します

Key1 / Key2のどちらでも良いです。

接続文字列部分にフォーカスをあてると、右側の方にコピーマークが出てくるのでコピーします。

後ほどPythonのプログラムにこれを記載します。

Blob Storage上に何か作成してみる

今回は以下のような構成にしたいと思います。

作業はこのままAzure Portal上で行っていきます。

他の方法としてはStorage Exploreを使用する方法があります。

接続文字列があれば接続設定してしまえば使用可能なのでこちらでも良いです。

ブラウザ上でもいいですが、意外と使い勝手が悪かったりするので(一括ダウンロードが出来ないとか…)、普段はStorage Exploreを使用しています。

Azure Storage Explorer – クラウド ストレージ管理 | Microsoft Azure
Azure Storage Explorer を使用すると、Windows、macOS、Linux からクラウドで Azure Storage アカウントを簡単に管理できます。
ここからBlobにアクセスできますので、BLOBコンテナーを右クリックします
右クリックするとBLOBコンテナーの作成が出てくるので選択します
画面の右側に新しいコンテナーという画面が表示されるので名前を入力します
名前を入力したら画面したの作成を選択します

ここでは「Storage」という名称のコンテナーを作成しました。

BLOBコンテナーを右クリックし、更新を選択する

更新すると先ほど作成したBLOBコンテナーが表示されます。

「+新しいフォルダー」を選択します
画面右側に新しい仮想ディレクトリの作成画面が表示されるので名前を入力し、画面下にある作成を選択します

ここでは「input」フォルダを作成しました。

フォルダ作成後はすぐにファイルをアップしておきます

フォルダが作成されるとすぐに作成フォルダ内に移動します。(分かりずらいですが…)

アップロードボタンを選択して、適当なファイルをアップロードしておきましょう。

ここでファイルをアップロードしない場合、作成されたフォルダは削除されます。

フォルダの維持目的でとりあえずアップロードする形です。

同様に「output」フォルダを作成します

手順は先ほどと同じなので省略しています。

ファイルのアップロードを忘れずに…。同じファイルでも問題無いです。

最終的にこんな感じになります

フォルダが作成されました。

次の投稿では実際にここのinputフォルダからファイルをダウンロードして、outputフォルダにファイルをアップロードするようなPythonプログラムを書いていきます。

まとめ

  • 簡単にBlob Storageを作成できます
  • 接続文字列は秘密にしてね
  • Storage Exploreが意外と便利です

PythonでAzure Blob Storageにアクセス

こちらにPythonでアクセスする方法を纏めました。

タイトルとURLをコピーしました