バイナリデータとは

4カ月で1万TB超をAWS移行、戦中のウクライナが進めるデータ保全

ウクライナ政府が、国家の活動継続に向け、各省庁や大学、銀行などが保有するデータのクラウド移行を進めている。同政府はロシアの攻撃が始まった2月24日（現地時間、以下同）から米AWSと協力。6月10日までに27省庁、18大学などのデータ計10PB（1万TB）以上をオンプレミスサーバからAWSに移行済みで、今後も増える見通しという。 AWS社が6月10日に公開したブログによれば、ウクライナではこれまで、政府や一部民間企業のデータは、国内に置いたオンプレミスのサーバに保存するよう法律で定めていた。しかし、ロシアの攻撃が始める1週間ほど前に法律を改正。国家のデータ保全に向け、クラウド移行を可能にしたという。 ただ、法改正が済んだとしても、肝心の保存先が決まらなくては意味がない。そこでウクライナ政府は、民間に対する支援を要請。AWSが応じた。 AWS社は、データ移行支援サービス「AWS Snowball」の提供を決定。これは専用のストレージデバイスを郵送し、現地でデータを移してもらった後、デバイスを返送してもらい、AWSサーバにアップロードするサービスだ。AWSは2月27日までに、ストレージデバイスをウクライナに届けた。 そこから約4カ月間、AWS社の担当者はウクライナの技術者と協力しながら、データの移行作業を進めているという。省庁や大学のデータだけでなく、数十万の子どもに遠隔で教育を提供するサービスの情報や、61の政府機関のデータも戦火の中で移行した。 ウクライナの民間企業数十社も移行の対象になった。例えばウクライナ国民の4割にサービスを提供するという民間銀行「PrivatBank」は、3500台のサーバに保存していた270個のアプリケーションと4PBの顧客情報を、45日で全てクラウドに移した。PrivatBankは現在、以前と同じ状態ではないものの、銀行としてのサービスをオンラインで提供中という。 AWS社によれば、クラウドを活用して保全したデータは、国外に避難した国民の生活支援や、終戦後の再建に役立つという。例えば学位や大学のカリキュラムに関するデータは、ポーランドやモルドバに避難した学生が、別の教育を受けたり、求職したりするとき、自身の学歴を証明するのに利用できる。 不動産の登記情報は、国民が国外からリモートでアクセス可能にした。これにより、誰がどの土地を持っているかを記録・証明でき、都市の再構築に役立てられる見込みという。 「（AWSの活用により）あらゆる物理的な破壊に関係なく、ウクライナ政府は市民を支援できる。クラウドに移動されたデータは全て、終戦後にウクライナ政府や市民が望む再生と再建に利用できる」（AWS社）

4カ月で1万TB超をAWS移行、戦中のウクライナが進めるデータ保全

ウクライナ政府が、国家の活動継続に向け、各省庁や大学、銀行などが保有するデータのクラウド移行を進めている。同政府はロシアの攻撃が始まった2月24日（現地時間、以下同）から米AWSと協力。6月10日までに27省庁、18大学などのデータ計10PB（1万TB）以上をオンプレミスサーバからAWSに移行済みで、今後も増える見通しという。 AWS社が6月10日に公開したブログによれば、ウクライナではこれまで、政府や一部民間企業のデータは、国内に置いたオンプレミスのサーバに保存するよう法律で定めていた。しかし、ロシアの攻撃が始める1週間ほど前に法律を改正。国家のデータ保全に向け、クラウド移行を可能にしたという。 ただ、法改正が済んだとしても、肝心の保存先が決まらなくては意味がない。そこでウクライナ政府は、民間に対する支援を要請。AWSが応じた。 AWS社は、データ移行支援サービス「AWS Snowball」の提供を決定。これは専用のストレージデバイスを郵送し、現地でデータを移してもらった後、デバイスを返送してもらい、AWSサーバにアップロードするサービスだ。AWSは2月27日までに、ストレージデバイスをウクライナに届けた。 そこから約4カ月間、AWS社の担当者はウクライナの技術者と協力しながら、データの移行作業を進めているという。省庁や大学のデータだけでなく、数十万の子どもに遠隔で教育を提供するサービスの情報や、61の政府機関のデータも戦火の中で移行した。 ウクライナの民間企業数十社も移行の対象になった。例えばウクライナ国民の4割にサービスを提供するという民間銀行「PrivatBank」は、3500台のサーバに保存していた270個のアプリケーションと4PBの顧客情報を、45日で全てクラウドに移した。PrivatBankは現在、以前と同じ状態ではないものの、銀行としてのサービスをオンラインで提供中という。 AWS社によれば、クラウドを活用して保全したデータは、国外に避難した国民の生活支援や、終戦後の再建に役立つという。例えば学位や大学のカリキュラムに関するデータは、ポーランドやモルドバに避難した学生が、別の教育を受けたり、求職したりするとき、自身の学歴を証明するのに利用できる。 不動産の登記情報は、国民が国外からリモートでアクセス可能にした。これにより、誰がどの土地を持っているかを記録・証明でき、都市の再構築に役立てられる見込みという。 「（AWSの活用により）あらゆる物理的な破壊に関係なく、ウクライナ政府は市民を支援できる。クラウドに移動されたデータは全て、終戦後にウクライナ政府や市民が望む再生と再建に利用できる」（AWS社）

明日のプログラミング

Windows付属のメモ帳の場合、unicodeとutf8しか比較できないので、無料のエディタであるteraPadをダウンロードしてきて使います。teraPadで保存する文字コードの設定の仕方は、表示＞オプション＞文字コードから選択します。

名前を付けて保存した後、以下のようにしてもう一度確認しましょう。別の文字コードのファイルを開いても、保存する文字コードはそのままなので、utf8n.csvというファイルをunicodeで保存してしまったりすると、混乱してしまうためです。

ファイル名と保存文字コードが同じか、ここで毎回確認しましょう。

下のプログラムがスムーズに確認できるように、ファイルの中身は「あ」の一字だけにしてください。また、デスクトップに新しいフォルダーを作成して、そこに保存すると早いです。

PowerShellでファイルの中身を16進数でバイナリ表示する

読み込むファイルが文字コード別に作成出来たら、PowerShellでプログラムを記述して実行します。
以下のサイトのプログラムを参考にさせていただきました。
https://hosopro.blogspot.com/2017/11/powershell-convert-to-hex.html
ここでは以下のようなシェルスクリプトを考えました。一読して理解したら、実行してみてください。
このプログラムでは、デスクトップに新しいフォルダーを作って、その中に文字コード別のファイルを置いています。そのため、デスクトップに新しいフォルダーを用意しないとうまく動作しません。このまま実行すると、utf8のBOM無しファイルを16進数に変化して表示します。ファイルの中身は「あ」にします。PowerShellを実行して成功すると以下のように表示されます。
つまり、「あ」という文字は、utf8では16進数で e3 81 82 と表示されることがわかります。

utf8の先頭3バイトを指定して確認する

utf8の先頭3バイトを確認するために以下のプログラムを使います。ポイントは、PowerShellの配列を範囲指定する書き方で、 foreach($a in $data[0..2]) というように書くことです。目的が16進数データの先頭の3バイトのみを確認したいので、前後で少し難しい内容になっています。
ファイルを16進数のバイナリに変換して、$dataの配列に入れます。そして、$dataの配列の0番目、1番目、2番目の３つを範囲指定してforeachで回して表示します。

4カ月で1万TB超をAWS移行、戦中のウクライナが進めるデータ保全

ウクライナ政府が、国家の活動継続に向け、各省庁や大学、銀行などが保有するデータのクラウド移行を進めている。同政府はロシアの攻撃が始まった2月24日（現地時間、以下同）から米AWSと協力。6月10日までに27省庁、18大学などのデータ計10PB（1万TB）以上をオンプレミスサーバからAWSに移行済みで、今後も増える見通しという。 AWS社が6月10日に公開したブログによれば、ウクライナではこれまで、政府や一部民間企業のデータは、国内に置いたオンプレミスのサーバに保存するよう法律で定めていた。しかし、ロシアの攻撃が始める1週間ほど前に法律を改正。国家のデータ保全に向け、クラウド移行を可能にしたという。 ただ、法改正が済んだとしても、肝心の保存先が決まらなくては意味がない。そこでウクライナ政府は、民間に対する支援を要請。AWSが応じた。 AWS社は、データ移行支援サービス「AWS Snowball」の提供を決定。これは専用のストレージデバイスを郵送し、現地でデータを移してもらった後、デバイスを返送してもらい、AWSサーバにアップロードするサービスだ。AWSは2月27日までに、ストレージデバイスをウクライナに届けた。 そこから約4カ月間、AWS社の担当者はウクライナの技術者と協力しながら、データの移行作業を進めているという。省庁や大学のデータだけでなく、数十万の子どもに遠隔で教育を提供するサービスの情報や、61の政府機関のデータも戦火の中で移行した。 ウクライナの民間企業数十社も移行の対象になった。例えばウクライナ国民の4割にサービスを提供するという民間銀行「PrivatBank」は、3500台のサーバに保存していた270個のアプリケーションと4PBの顧客情報を、45日で全てクラウドに移した。PrivatBankは現在、以前と同じ状態ではないものの、銀行としてのサービスをオンラインで提供中という。 AWS社によれば、クラウドを活用して保全したデータは、国外に避難した国民の生活支援や、終戦後の再建に役立つという。例えば学位や大学のカリキュラムに関するデータは、ポーランドやモルドバに避難した学生が、別の教育を受けたり、求職したりするとき、自身の学歴を証明するのに利用できる。 不動産の登記情報は、国民が国外からリモートでアクセス可能にした。これにより、誰がどの土地を持っているかを記録・証明でき、都市の再構築に役立てられる見込みという。 「（AWSの活用により）あらゆる物理的な破壊に関係なく、ウクライナ政府は市民を支援できる。クラウドに移動されたデータは全て、終戦後にウクライナ政府や市民が望む再生と再建に利用できる」（AWS社）

明日のプログラミング

Windows付属のメモ帳の場合、unicodeとutf8しか比較できないので、無料のエディタであるteraPadをダウンロードしてきて使います。teraPadで保存する文字コードの設定の仕方は、表示＞オプション＞文字コードから選択します。

名前を付けて保存した後、以下のようにしてもう一度確認しましょう。別の文字コードのファイルを開いても、保存する文字コードはそのままなので、utf8n.csvというファイルをunicodeで保存してしまったりすると、混乱してしまうためです。

ファイル名と保存文字コードが同じか、ここで毎回確認しましょう。

下のプログラムがスムーズに確認できるように、ファイルの中身は「あ」の一字だけにしてください。また、デスクトップに新しいフォルダーを作成して、そこに保存すると早いです。

PowerShellでファイルの中身を16進数でバイナリ表示する

読み込むファイルが文字コード別に作成出来たら、PowerShellでプログラムを記述して実行します。
以下のサイトのプログラムを参考にさせていただきました。
https://hosopro.blogspot.バイナリデータとは com/2017/11/powershell-convert-to-hex.html
ここでは以下のようなシェルスクリプトを考えました。一読して理解したら、実行してみてください。
このプログラムでは、デスクトップに新しいフォルダーを作って、その中に文字コード別のファイルを置いています。そのため、デスクトップに新しいフォルダーを用意しないとうまく動作しません。このまま実行すると、utf8のBOM無しファイルを16進数に変化して表示します。ファイルの中身は「あ」にします。PowerShellを実行して成功すると以下のように表示されます。
つまり、「あ」という文字は、utf8では16進数で e3 81 82 と表示されることがわかります。

utf8の先頭3バイトを指定して確認する

utf8の先頭3バイトを確認するために以下のプログラムを使います。ポイントは、PowerShellの配列を範囲指定する書き方で、 foreach($a in $data[0..2]) というように書くことです。目的が16進数データの先頭の3バイトのみを確認したいので、前後で少し難しい内容になっています。
ファイルを16進数のバイナリに変換して、$dataの配列に入れます。そして、$dataの配列の0番目、1番目、2番目の３つを範囲指定してforeachで回して表示します。

関連記事