読者です 読者をやめる 読者になる 読者になる

データ分析エンジニアが気まぐれに更新するブログ

勉強してきた技術などを適当に書いていければと思います。

ブログ引っ越しました

ブログ引越しをしました。新しいURL : http://www.ie110704.net/もともとVPSサーバーを借りていて、このサイトで立てているデモページもその上で動かしていましたが、せっかくなのでWordpressも勉強してみて、サイト運営の形式にしてみました。 ということで…

Chainerでニューラルネットワーク及び畳み込みニューラルネットワークを実装してみた

明けました。本年もどうぞ、よろしくお願いいたします。 機械学習系のライブラリは去年から何かしら使ってみたいなーと思っていました。今回、Chainerを触ってみまして、MNISTの画像認識アルゴリズムを、ニューラルネットワークと畳み込みニューラルネットワ…

統計検定を受験してみた2

統計検定は毎年春秋と実施していて、準1級は春、1級は秋、2級以下の各レベルは春秋両方実施しています。前回ダメだった準1級は春しか行わないので、「2級は大丈夫なのだろうか」と思い、この秋に2級を受けてみました。前回はろくに勉強せず、直前に過…

Open AI GymのFrozenLakeを強化学習(Q学習)で解いてみた

Google子会社DeepMind社により開発された、人工知能を搭載したコンピューター囲碁プログラム「AlphaGo(アルファ碁)」の活躍により、深層学習や強化学習の注目度がさらに上がった気がします。このアルファ碁で使われている深層強化学習(Deep Q-Network)を…

e-Stat APIをPythonから使って地理データを可視化してみた

e-Stat APIe-Stat : https://www.e-stat.go.jp/SG1/estat/eStatTopPortal.doe-Stat API : http://www.e-stat.go.jp/api/ e-Statは日本政府が調査した統計データを閲覧・ダウンロードできるよう管理されたポータルサイトです。このサイトからよく人口データな…

JupyterNotebookをリモートサーバーで起動してローカルブラウザ接続できるようにしてみた

ちょっと作業環境的なお話。 私はいつもデータのクレンジングや分析、可視化はレンタルサーバー(CentOS)上でやっていて、rbenvだったり、pyenvだったり、Rはコンソールから普通に使ったり、R-studio-serverでブラウザから使ったりしています。Python分析者…

Epoch.jsでリアルタイム可視化をしてみたかった

挫折系タイトル← IoTっぽく、リアルタイムに送信されていくるデータを、Web上で可視化することは出来ないかと思い、少し調べてみましたが...。ひとまず、こんなJavaScriptライブラリが見つかりましたので、紹介します。 Epoch.js : http://epochjs.github.io…

Leaflef.jsとD3.jsでマップデータを可視化してみた

Leaflet.jsLeaflet.jsというWebマップ表示ライブラリを知りましたので、使ってみました。 Leaflet.js : http://leafletjs.com/ 結構前からあったそうな。 ※画像をクリックするとページを移動します。 OpenStreetMapは知っていたけども、敷居が高そうと思って…

統計検定を受験してみた

タイトルの通りです。統計検定を受験してきました。 統計検定:http://www.toukei-kentei.jp レベルは準1級を受けてみましたが...、 落ちました!← 試験1週間前に過去問をやってみるという舐めプレイ笑どんな感じなのかと思っていましたが、結構難しくて、…

D3.jsでよくあるツリーレイアウトの可視化をしてみた

「よくある」ってなんだよって感じではありますが…。ひとまず例のサイトがありますので、こちらになります。例:http://bl.ocks.org/mbostock/1093025これを見ていて、よく端末内のディレクトリ構成と容量を同時に表示しているような感じにしてみようと思い…

都道府県人口データを地形の高さに可視化してみた

明けましておめでとうございます。表題の通り、今回は都道府県人口データを、D3.jsとThree.jsの日本地図に、都道府県ごとの地形の高さに表してみました。地形の色の濃淡で表すのは、国勢調査の封筒の裏にも描いてあるくらいよく見ますけど(ちなみにコロプレ…

MeCabの新語辞書「MeCab-ipadic-NEologd」について

備忘録も兼ねるのですが、形態素解析器のMeCabに、「MeCab-ipadic-NEologd」という素晴らしい新語辞書がありますので、その使い方について記します。 MeCab-ipadic-NEologd : https://github.com/neologd/mecab-ipadic-neologd MeCab-ipadic-NEologdのインス…

性別、職業別、趣味別の行動者数データを対応分析してみた

やってはみたけど、どうなんでしょう?政府統計データのいろんな地域別のデータを眺めながら、先日のマップ可視化に乗せるだけでも面白いなぁとか思っていたのですが、例えば、タイトルの通りの集計データから、業種別で趣味の傾向があるのかどうか、見えた…

D3.jsとThree.jsで日本地図を可視化してみた2

上記の前回記事では、D3.jsとThree.jsを使って日本地図を描画しました。 D3.js : http://d3js.org/Three.js : http://threejs.org/ そこからさらに勉強を進めまして、より3Dに描画できるようになりましたので、データものせて作ってみました。 ※画像をクリッ…

都道府県・市区町村人口データをツリーレイアウトで可視化してみた

日本の人口データなどをD3.jsのツリーレイアウトで可視化してみました。 ※画像をクリックすると、ページを移動します。 データは国勢調査からダウンロードさせていただきまして、RubyでJSONに加工してD3.jsで読み込んでいます。データの大きさが大きいものほ…

D3.jsとThree.jsで日本地図を可視化してみた

D3.jsとThree.jsを使って、日本地図を3D的に描画してみました。 D3.js : http://d3js.org/Three.js : http://threejs.org/ ※画像をクリックするとページを移動します。 3Dといっても、日本地図は平べったいままです。D3.jsで日本地図をHTML5のCanvasに描画し…

青空文庫のデータを形態素解析・感情分析してみた

青空文庫の文書データを形態素解析し、分割された単語ごとにネガティブかポジティブかの判定を行なって、スコアを計算させてみました。形態素解析にはMecabを使わせていただきまして、ネガポジの判定には下記の単語感情極性対応表を使わせていただきました。…

Three.jsで棒グラフを描いてみた

Three.js : http://threejs.org/ ただの棒グラフに、なんて贅沢な使い方...笑 ※画像をクリックするとページを移動します。 var renderer, scene, camera, light; function init(){ $("#target").css("width", window.innerWidth + "px").css("height", windo…

都道府県・市区町村別人口データをD3.jsで可視化してみた

D3.jsを使って、日本の人口データを可視化してみました。 D3.js : http://d3js.org/ ※画像をクリックするとページを移動します データ(都道府県や市区町村の緯度経度の座標・人口)は、ESRIジャパン様からダウンロードさせていただきました。 ESRI Japan : …

各地域の時系列気象データをCanvasとD3.jsで可視化してみた

各地域の気象データをHTML5のCanvasとD3.jsを使って可視化しました。 ※画像をクリックするとページを移動します データは気象庁からダウンロードして、加工させていただきました。 気象庁ホームページ:http://www.jma.go.jp/jma/index.html 操作説明・適当…

都道府県別のデータをD3.jsで可視化してみた

都道府県別のデータをD3.jsを使って可視化しました。 D3.js : http://d3js.org/ ※画像をクリックするとページを移動します データはe-Statからダウンロードしてきて、Rubyで加工しています。e-Statは政府統計データを閲覧・ダウンロードができるサイトです。…

データファイル処理に扱っているコマンドラインツールについて

備忘録も兼ねて、Linux環境でデータファイルを加工したりしているときに扱っているコマンドラインツールをまとめてみました。 cat ファイル内容を表示するファイルの内容を標準出力に表示するコマンドです。 $ cat sample1.csv 都道府県名,人口(人),面積(…