ものづくりのブログ

うちのネコを題材にしたものづくりができたらいいなと思っていろいろ奮闘してます。

機械学習-NLP

ちょっと古いかもしれないけどGPT-3がすごいらしいが。。。

GPT-3(Generative Pretrained Transformer)はOpenAIが開発している1750億個のパラメータを使用した「文章生成言語モデル」のことで、1つ前のバージョンであるGPT-2がオープンソースで公開されています。github.comGPT-3はサンフランシスコを拠点とする非営…

いろいろな昔話を混ぜてオリジナル昔話を作ってみる(マルコフ連鎖)その2

前回手応えがあったので。。。a1026302.hatenablog.comマルコフ連鎖で試行錯誤していれば、オリジナルの昔話ができることを期待したのですが。。。 結果は以下の通りただただ混沌とた話になってしまいました。。。 別な手法で再挑戦したい。。。とおもいまし…

いろいろな昔話を混ぜてオリジナル昔話を作ってみる(マルコフ連鎖)その1

マルコフ連鎖でいろいろな昔話を混ぜてオリジナル昔話を作ってみました。 いろいろパンチの効いた昔話になって後から笑いがこみあげてくる。。。今回使用した昔話 桃太郎 浦島太郎 金太郎 一寸法師 さるかに合戦 わらしべ長者 teke:0 昔、昔あるところにカニ…

fasttext で Wikipedia の情報を学習させみて、今年1年を振り返る中で浮かんだ言葉の類似語を探してみる(NLP)

2020年もあともう少し、 今年は世界中が大変な1年でした。今年は新型コロナウィルスとかあつもりとかアマビエとか鬼滅の刃とかいろいろあるけど、 これらの言葉がどんな言葉と類似しているかちょっとだけ興味深いです。 fasttext の準備 作業内容 wikipedia …

桃太郎に似た昔話ってなんだろう? - (NLP)文書の類似度を算出する方法

ふと、桃太郎に似た昔話ってなんだろうと思いコサイン類似度を使って桃太郎に似た昔話を探してみました。今回は mecab にneologd 辞書を使ってます。 昔話の取得先 文章の類似度の計算 コサイン類似度 環境準備 類似度の算出 事前準備(追加インストール) m…