ものづくりのブログ

うちのネコを題材にしたものづくりができたらいいなと思っていろいろ奮闘してます。

Python

【python】PyInstaller で作った実行ファイルが crowdstrike で誤検知

Python で作成したプログラムがある日を境にセキュリティソフトに引っかかるようになってしまった。いろいろ回避策を模索しているがうまくいかず。。。 とりあえずこれまでの対応をいったんメモ。。。 状況 エラーメッセージ 検証内容 ウィルスチェックツー…

python3.10 で pyinstaller をインストールすると _bootlocale というモジュールがないといわれる場合の対応

python3.10 で pyinstaller をインストールするとそのままビルドすると "_bootlocale" というモジュールがないというエラーになったためその時の対応方法をここにメモします。 症状 エラー 環境 回避策 参考 症状 エラー 以下のコマンドを実行すると、処理の…

python の実行ファイルで動的リンクエラーを回避する

pyinstaller で python の実行ファイルを作成しても、実行環境によっては動的リンクエラーになることがありました。その場合は、staticx というツールを使って静的リンクのみの実行ファイルを作成することでエラーが回避できるようです。pyinstaller につい…

【python】ubuntu で pyinstaller を使ったらエラーが出た困った話

ubuntu で pyinstaller を使ったらエラーが出た困った時の対応方法をメモします。 症状 エラーメッセージ エラーの内容 対応したこと 実行環境確認 回避策 再度 pyinstaller 実行 症状 ubuntu の環境で pyinstaller を使ったら以下のエラーが出てきました。 …

【python】PyInstaller を使ってバイナリファイルを作ってみる

windows の作業端末に pythonスクリプトの配布を検討していたのですが、配布先に環境構築を依頼するのが手間なので PyInstaller を使ってWindows用の exeファイルを配布することを検討してみました。 今回は、pythonスクリプトを実行ファイルに変換する作成…

【python】windows 環境で CP932 以外のファイルを開こうとしたらエラーになった話

症状 エラー内容 コード 原因 回避方法 症状 エラー内容 windows 環境で python のスクリプトを作成していたら utf-8 のファイルを開こうとしたら以下のようなエラーが出ました。 UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: …

selenium で Message: newSession というエラーが出る

python で selenium を使って Firefox からの自動処理を実装していたところ、ある日を境にエラーが出てしまったので対応方法を調査してみました。 症状 対応方法検討 対策 参考 症状 webdriver.Firefox を使っていたら以下のようなエラーが出ました。 (ちょ…

【python】unicode error “unicodeescape”というエラーの回避方法

windows 環境で python のプログラムを作成していたら unicode error “unicodeescape”というエラーに遭遇しました。 症状 環境 コード エラーの場所 原因 回避方法 補足 raw 文字列 症状 python スクリプトを実行すると、以下のようなエラーが表示されます。…

cron から python で作った selenium のコードを実行したら動かなかった時の話...

cron の定期実行で pythonで作った selenium のコードを動かしてみたら、以下のようなエラーが出て処理が失敗してしまいました。 症状 Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-pac…

mac で cron を使おうとしたら「[Errno 1] Operation not permitted」というエラーが出てしまっとときの対応

Mac で Python のプログラムを cron から実行させようとしたところうまくいきません。 症状 crontab の設定内容 err.log の内容 問題点 回避方法 症状 crontab の設定内容 crontab の設定は以下の通りです。 0,30 * * * * /Users/{{user}}/.pyenv/shims/pyth…

【python】エクセルファイルを pandas の dataframe に読み込ませて spreadsheets に貼り付ける方法

エクセルファイルを pandas の dataframe に読み込ませて spreadsheets に貼り付ける方法をまとめてみました。 事前準備 python gspread-dataframe インストール エクセルファイル操作 スプレッドシート操作 スプレッドシートにコピー 事前準備 python から …

python でスプレッドシートを操作する際の準備について

python で Google のスプレッドシートを操作する際の手順をまとめてみました。 Google Cloud Platform の設定 プロジェクト作成 APIの選択 Google Drive API Google Sheets API 認証情報 スプレッドシートの設定 python パッケージインストール gspread oaut…

【python】pandas でエクセルを読み込もうとしたらエラーになったので対応をメモ

pandas で以下のようにエクセルを読み込もうとしたらエラーになってしまいました。 エラー エラーのコード エラーの内容 対応 openpyxlをインストール コード修正 エラー エラーのコード 以下の処理を実行したところエラーになりました。 import pandas as p…

【python】「WARNING: `pyenv init -` no longer sets PATH.」の対応を調べる

pyenv を使っていたらある時期から以下の「warning」 が出て pyenv がおかしくなりました。 症状 回避方法 症状 pyenv コマンドを実行すると以下のエラーが表示されます。 WARNING: `pyenv init -` no longer sets PATH. Run `pyenv init` to see the necess…

Python で "No module named 'apiclient.discovery'" エラーへの対応

Python で "No module named 'apiclient.discovery'" と出て困った。以下を実行する。 from apiclient.discovery import build こんなエラーが出てくる。 --------------------------------------------------------------------------- ModuleNotFoundError…

【python】Run `pyenv init` to see the necessary changes to make to your configuration.

pyenv のバージョンを上げたら、pyenv の調子がおかしくなった。 (pyenv の表示と実際の python のバージョンが異なる) 症状 原因 回避方法 Warning 解決方法 動作確認 症状 pyenv でバージョンを確認すると、3.9.4 を使用していることになっているけど... $…

「SyntaxError: bytes can only contain ASCII literal characters.」

Pythonで全角文字をバイト変換しようとしたら、以下ようなエラーが出ました。 以下のように対応できそうです。 str = 'あ' print(str.encode("UTF-8")) 出力 b'\xe3\x81\x82'

暗号化処理で「AttributeError: module 'time' has no attribute 'clock'」というエラーが出て困る

暗号モジュールを使って以下のような処理を実行したら、エラーで困りました。 pythonのバージョンは3.8だったのだが。。。 from Crypto.Cipher import PKCS1_OAEP from Crypto.PublicKey import RSA message = b'1234567890987654321' key = RSA.importKey(o…

【Python】Spyder を使ってみる

Windows 環境で Spyder を使ってみたので、使い方を簡単にまとめてみました。 Spyderとは 使い方 起動 画面構成 日本語化 操作 Python コード実行方法 ブレークポイント Spyderとは Spyder の特徴は以下の通りです。 オープンソース Python 分析向けの IDE A…

Windows環境でAnacondaを使ってDjango環境を構築

Windows 環境で Anaconda を使って Django 環境を構築する方法をまとめてみました。 環境構築 Anaconda Navigator起動 Create new enviroment Django install プロジェクト作成 動作確認 環境構築 Anaconda Navigator起動 Anaconda Navigatorを起動 Anaconda…

【python】SOAP 通信をしてみる

API の開発をしていて、[SOAP API]というものにたずさわったため、ここにメモを残します。 今回は WSDL がある [SOAP API] のメモになります。 python で Zeep というライブラリを使用して実装しました。 必要情報 WSDL とは SOAP とは 使い方 準備 SOAP ク…

【python】autopep8 で自動コード整形してみる

python コードが汚いので、autopep8 を使ってきれいなコードにしてみました。 autopep8 インストール 使い方 デフォルトのコード整形 --aggressive オプションをつけた場合 変更点表示 autopep8 autopep8 は自動的にPEP 8スタイルガイドに適合するように Pyt…

Visual Studio に Python 開発環境をインストールする(Windows環境)

Windows 環境で Visual Studio に Python 開発環境をインストールする手順まとめました。 インストール 使ってみる インストール Visual Studioを起動して[ツール]メニューの[ツールと機能を取得]の項目をクリックします。 Visual Studio インストーラーが起…

【python】Torch をインストールしようとすると[Killed]となりインストールに失敗するので回避方法を探る

pytorch をインストールしようと以下のコマンドを実行したら最後の方に「Killed」というメッセージが表示され処理が失敗しました。 症状 回避策 症状 $ pip install torch Collecting torch Downloading torch-1.7.1-cp38-cp38-manylinux1_x86_64.whl (776.8…

e-Stat の API を使って政府統計情報を取得する方法

最近国勢調査があったし、どんな情報が公開されているのかが気になったので政府統計の総合窓口である e-Stat のAPIでどのような情報が取得できるのか調べてみました。 e-Stat e-Stat とは APIを使用する ユーザー登録 アプリケーションID発行 Pythonを使って…

OpenWeatherMap の API を使って天気予報の情報を取得する方法

最近寒くなってきたし、ニュースをみると新型コロナウィルスも気になって、今日はお家でゴロゴロしながら天気予報の情報を取得する API(OpenWeatherMap) を使って遊んでみました。 OpenWeatherMap OpenWeatherMapとは 登録されている観測点 APIでできること …

【python】YouTube の API を使ってデータ収集してみる

YouTube API を使って、YouTube にどのような動画が投稿されているのか調査してみたいと思います。 現在のところ、YouTube API は 以下の4種類が公開されているみたいです。 YouTube Analytics API YouTube Data API v3 YouTube Live API v3 YouTube Reporti…

【python】Twitter API で取得した日付を変換する

Twitter の「REST API」で取得したツイートの日付を、Database 等々に登録する場合、日付の書式を変更したいことがあります。今回はTwitter APIで取得した日付を変換する方法をまとめてみました。 変換前データ コード 実行結果 参考 変換前データ 以下よう…

Twitter APIを使ってみる

Twitterのつぶやきをゲーム作りに活かせないかと思い、Twitter APIを使ってツイート情報を取得する方法を調べてみました。 以下の手順でデータを取得します。 Twitter APIを利用の流れ API利用申請 Twitterにログイン app作成 Twitterデベロッパーツールの利…

Docker を使って Jupyter notebook の環境を構築

Mac のシステムの環境を汚したくなので docker を使って Jupyter notebook の環境を構築しようと思います。 Docker について Docker とは メリット 作業内容 環境 DockerHubからjupyterのimageの取得 コマンド実行後の表示内容 Jupyter Notebook を起動する…