G空間情報～データプレップの苦しみ編～
人流オープンデータをMarketAnalyzer™で可視化してみた

今回のエリアマーケティングコラムは、データ加工がいかに煩雑な作業か、またデータプレップでいかにそれらを簡素化できるかを、データプレップサービス「Prepper」を展開されている株式会社truestarの野口様に、実践しながらご紹介いただく寄稿型コラムです。

加工するのは、G空間情報センターが無料提供している人流オープンデータ。それを、当社のGIS（地図情報システム）MarketAnalyzer™に取り込める形に加工するまでを実況いただき、実際に加工したデータをMarketAnalyzer™で可視化したサンプルレポートもご紹介いたします。

扱いにくいと感じていたオープンデータが、ここまで簡単に活用できるようになるという好事例です。
ぜひ、ご覧ください。

■はじめに

Truestarの野口です！

2021年2月に空間情報センターが、1kmメッシュ単位の人流データをオープンしました。
https://www.geospatial.jp/ckan/dataset/mlit-1km-fromto

「こちら貴社でもPrepper Open Data Bankに入れたりしますか？（いれませんか？）
もしそうなら、MarketAnalyzer™で取り込めるような体裁にプレッパーしてもらうなんていう都合の良いお話聞いてくれますか？」
と技研商事インターナショナル市川様よりお誘いいただき、素晴らしい！と思いお誘いに乗らせていただきました。

■日の目を見ないデータ加工の苦しみ

今回の取り組みの本質的なところを一言で表すと、
「オープンデータを求める人々の苦悩を、すべて私たちが引き受ける」
になるのかもしれないなと、データを加工しながらひしひしと感じました。

気軽にデータ加工を引き受けたものの、以外と手間がかかってしまいました。本記事を読んでいただき、オープンデータ加工にどれだけ人が手を動かさなければならないのかを知っていただければ…と思います。

（1）データダウンロードで心が少し折れる

データ元のサイトを開いて、まず心が折れるのが、データが都道府県別に用意され、それぞれZipをポチポチDLする必要があることでした。

「オープンデータを求める人々の苦悩を、すべて私たちが引き受ける」といいつつも、ここでデータの収集とzipの開封をインターンの方に放り投げてしまいました…


（都道府県別に分かれるファイル）


（データダウンロード画面）

（2）zip in zipの恐怖

データをダウンロードしてくれたインターンの方から、「zipの解凍で勤務時間が終わってしまいそうです…」と連絡が入りました。
そんな馬鹿なと思い、確認すると一都道府県分のzipに

2019年、2020年のフォルダが存在し、

そのそれぞれに月別のフォルダがあり、

その中のすべてにcsvファイルのzipがありました…


47都道府県×2年×12ヵ月 =1128ファイルも、解凍する必要が…

またしても私は、「オープンデータを求める人々の苦悩を～」と言っておきながら、弊社のスーパープログラマの方に、zip in zipの解凍ツールを急ぎ作成していただき、何とか短時間でzipの解凍を行うことができました。

（3）データ加工編

MarketAnalyzer™とPrepper Open Data Bankへの取り込みを行うため、それぞれのフォーマットに合わせたデータ加工をついに私が行います。

ここに関しては、何となく申し訳ないのですが、特に汚いデータというわけでもなく、あっさり加工が終わってしまいました。

といっても、こういった加工作業には1，2時間はどうしてもかかってしまいます。
加工にはAlteryxを使用しております。


（元データcsvファイル）


（技研商事インターナショナル様要件）


（Alteryx WF）


（完成したMarketAnalyzer™用データ）


（Prpper Open Data Bank用データ）

こちらは縦持ちのデータで、都道府県、市区町村情報を付与してあります。

〇完成した分析用データセットはこちら

■おわりに

MarketAnalyzer™、もしくはPrepper Open Data Bankで、G空間情報センターの1kmメッシュ単位の人流データを使用すれば、上記のような、不要なリソースを削減することが可能である！ということを皆さんに知っていただければ幸いです。

同じように加工に手間がかかるオープンデータも、すぐに分析に使える形に加工済みで、両サービス共に多数取り揃えておりますので、是非、活用いただき、より生産的な分析の時間を過ごしていただければ嬉しいです。

■おまけ（データを可視化してみた）

野口様に加工していただいた人流オープンデータを、MarketAnalyzer™へ早速インポート。コロナ禍前後において、東京都内の人流がどう変化したかを地図上に可視化してみました。

東京都全域の人流ヒートマップ（昼夜比較）

下記は、コロナ禍第3波直前の2020年12月平日の人流データを昼と夜で分けて可視化し、前年の2019年のデータと比較した図です。



夜間における人流はコロナ禍前後においてさほど大きな変化はみられないものの、昼間の人流は特定エリアは混雑しているエリアが大きく縮小していることが分かります。また、コロナ禍においても人出が変わらないエリアも存在しており、地図上で具体的に把握できます。

都心エリアにおける時間別人流ヒートマップ（時系列比較）

次は、都心エリアにフォーカスし、2019年と2020年の8月におけるコロナ禍前後での人流を比較をしてみました。
（コロナ禍前：2019年8月平日_昼）
（コロナ禍：2020年8月平日_夜）

2020年8月といえば、第1回目の緊急事態宣言が空け、東京発着を除くGo Toトラベル事業が始まった直後となりますが、2019年は人出が多かった東京駅や新宿駅付近では、人出が大きく回復している傾向は見られません。テレワークや不要不急の外出自粛ムードが定着しているのか、減少傾向にあることが見て取れます。このように、コロナ禍のような今までの経験則では予測がしにくい時期においても、データ等で根拠を以て把握することにより様々な知見を得ることができます。


MarketAnalyzer™上で人流データを可視化すると、広域でも狭域でも動態把握や人流分析を直感的に行うことができます。
人流データのみならず、無料で入手できるビッグデータが増えつつある昨今。
データの加工や分析の苦しみはツールやシステムに任せて、手軽に分析結果を入手できビジネスに活用できる環境を整えませんか？

〇データプレップやGIS活用についてなど、お気軽にご相談ください。
お問い合わせはこちら

---

株式会社truestarについて
今回のコラムを執筆していただいた株式会社truestarは、データ分析のコンサルティングやエンジニアリングを展開されている会社です。コラムにも登場した新サービス「Prepper Open Data Bank」は、データ分析者が即座に分析に取り組めるように加工したオープンデータをデータ代無料で共有するもので、分析者にとって最適な形でのデータ提供を目指されています。

〇Prepper Open Data Bankの詳細はこちら
〇［1/11まで］Prepper Open Data Bank＆Snowflake同時お試しキャンペーン実施中！詳細はこちら