カテゴリー: プログラム

前回：日本語プログラミング言語「なでしこ3」で自然言語処理（言語モデル） 前回、せっかくバイグラム言語モデルを作ったので、文生成をしてみようと思う。 バイグラム言語モデルとは、ある単語の次にどんな単語がどれくらいの割合で … “日本語プログラミング言語「なでしこ3」で自然言語処理#2（文生成）”の続きを読む

時は数年前にさかのぼり、日本語プログラミング言語でなんか遊んでみたいなという雑談をしていたころ。 当時、最もまともだった（ように見えた）日本語プログラミング言語は「なでしこ」で、それを使ってちょっと遊んでみた。 一通りの … “日本語プログラミング言語「なでしこ3」で自然言語処理（言語モデル）”の続きを読む

自然言語処理やっててまれによくつかうCNN やりたいこと 文字分散表現を畳み込んで単語分散表現を作りたい。 もちろん単語レベルで畳み込んで文をエンコードするのにも使える。 I love you という単語列をそれぞれ窓幅 … “(Chainer)NLPerのためのConvolution1Dの使い方”の続きを読む

class Model(Chain): def __init__(self): I = self.xp.eyes(size) ってかんじで、selfからxp呼べるみたいです（しらなかった！）。 chanteraさんありが … “ChainerでChain（モデル）にxpを渡したくない”の続きを読む

Chainer MLPでgoogleして出てくるのはLinearの数がハードコーディングなMLPばっかりだし、ユニット数を雑に指定して雑にMLP作れるやつが欲しかったので書いた。 もっとましな書き方あったら教えてください … “chainerでレイヤ数を雑に指定できるMLP”の続きを読む

誰得ネタ 以下のコードを用いて改行できるタイミングを考える import numpy as np a = 1+2+3+4 b = np.array(a) print(a,b) pythonは変数名や関数名を分断する形でな … “pythonの改行で遊ぶ”の続きを読む

anaconda3-x.x.x使用時、python2.7に落とす必要が出たので以下の記事を参考にしてpython2環境を作った。その時に起きたnumpyエラーについて。 Anaconda3を入れた後，python2.7を … “anacondaでnumpy呼ぶ時に、ImportError: No module named libを食らう”の続きを読む

chainerでpaddingするときの方法、備忘録。 パディングするベクトルを用意。 >>> from chainer import functions as F >>> impor … “【chainer】F.padとF.pad_sequenceの使い方”の続きを読む

例えばテキストデータを舐めて単語の種類数を求めたいときとか、重複の無いリストが必要になる。 今まで、何も考えずに以下のように書いてた。 良くない例 >>> a = [1,2,2,1,3,4,1,2,3] … “pythonで重複の無いリスト”の続きを読む

単語埋め込みとかで使う、onehotとlook-up tabelの内積計算を比較する。 埋め込み操作(embedding)の式は以下のとおり。 xは[0,1,0,0,0]って感じのonehotベクトル。欲しいインデックス … “Embedの速度比較”の続きを読む