日本語プログラミング言語「なでしこ3」で自然言語処理#2（文生成）
前回：日本語プログラミング言語「なでしこ3」で自然言語処理（言語モデル） 前回、せっかくバイグラム言語モデルを作ったので、文生成をしてみようと思う。 バイグラム言語モデルとは、ある単語の次にどんな単語がどれくらいの割合で … “日本語プログラミング言語「なでしこ3」で自然言語処理#2（文生成）”の続きを読む
カテゴリー: プログラム
日本語プログラミング言語「なでしこ3」で自然言語処理（言語モデル）
時は数年前にさかのぼり、日本語プログラミング言語でなんか遊んでみたいなという雑談をしていたころ。 当時、最もまともだった（ように見えた）日本語プログラミング言語は「なでしこ」で、それを使ってちょっと遊んでみた。 一通りの … “日本語プログラミング言語「なでしこ3」で自然言語処理（言語モデル）”の続きを読む
(Chainer)NLPerのためのConvolution1Dの使い方
自然言語処理やっててまれによくつかうCNN やりたいこと 文字分散表現を畳み込んで単語分散表現を作りたい。 もちろん単語レベルで畳み込んで文をエンコードするのにも使える。 I love you という単語列をそれぞれ窓幅 … “(Chainer)NLPerのためのConvolution1Dの使い方”の続きを読む
Embedの速度比較
単語埋め込みとかで使う、onehotとlook-up tabelの内積計算を比較する。 埋め込み操作(embedding)の式は以下のとおり。 xは[0,1,0,0,0]って感じのonehotベクトル。欲しいインデックス … “Embedの速度比較”の続きを読む
pythonでひらがな、カタカナ判定をする
一覧をリストにしてinで比較してもいいんだけど、もうちょっとスマートにやりたい。 ユニコードとかアスキーとかをちゃんと勉強した人にとっては多分当たり前のことなんだと思う。 ひらがなの「も」 カタカナの「モ」 を判別する時 … “pythonでひらがな、カタカナ判定をする”の続きを読む
【chainer】 crf1d, CRF1dの使い方
chainerのlinks.CRF1dとfunctions.crf1dの使い方メモ。 crfと同様に系列を扱うNStepLSTMとかと同じ気分で使うと事故る。 概要 functions.crf1d(cost, xs, t … “【chainer】 crf1d, CRF1dの使い方”の続きを読む
文系のための自然言語処理入門としての「botの作り方」
毎夏、ついったーのbotを作ろうみたいな連載系動画を投稿しようと計画立てるけど、結局やらないまま夏が終わる — 明太子熊 (@mentaiko_guma) 2017年7月8日 この前の記事とかツイートででぼ … “文系のための自然言語処理入門としての「botの作り方」”の続きを読む
言語の広がりをシミュレートしてみた
…という動画をシリーズもので投稿している。 先日最新版を投稿したので、ブログにも書いておこうかなという次第。 これは何？と言う方に簡単に説明すると、 ライフゲームの陣取り合戦にいくつかルールを与えて、言語の広がり … “言語の広がりをシミュレートしてみた”の続きを読む
地形の自動生成の話
以前、中点変位法を用いた地形の自動生成について書いたことがある。 この方法は、四隅の座標の高さの平均を使ってその中点に高さを与えるやり方。 平均値に適当な乱数を足してやることで自然な地形を生成することができる。 先日これ … “地形の自動生成の話”の続きを読む