Python
MagicMock を使ってテストコードを作ったので、メモをここに残します。 MagicMock とは 利用場面 使い方 API 呼び出しをモック テストコード 備考 外部 API が例外を返す場合のテスト テストコード MagicMock の主なメリット MagicMock とは MagicMock は Py…
以下の2つの処理の違いがわからなかったので調べてみました。 その１ df["hoge"].astype("str").str.zfill(12) その２ df["hoge"].astype(str).str.zfill(12) 処理の比較 その１ astype("str") は NumPy の dtype "str"（固定長の文字列型）を指定しており、…
センサーから、前後左右の障害物の距離を表示する方法をここにメモします。 センサーから出力される情報を参照する デバック方法 以下の方法で range_min, range_max, angle_min, angle_increment を含めたメッセージ全体が確認できます。 ros2 topic echo /…
Flask で HTML ファイルを読み込んで Web サーバを立ち上げる方法についてここにメモを残します。 構成 コード python(app.py) html(index.html) 手順 その他 ポートを変更する方法 Flask の template_folder を明示的に指定 構成 /sample_project/ │-- app.…
Python でよくわかってないことがあったので、調べたことをここにメモします。 エラーになるケース 出力 エラーの原因 正しい書き方 まとめ エラーになるケース 関数に関数の結果をそのまま渡そうとしたらエラーになりました。 def _a(): a = 1 b = "b" retu…
flake8 の使い方をここにメモします。 flake8 インストール コマンド 実行したディレクトリの配下を再帰的にチェック 特定のファイルのみをチェック 特定の error を無視してチェック 特定のフォルダをチェック対象外 1行あたりの最大文字数を指定 flake8 の…
Firestore で高負荷なシステムでオートインクリメントIDを採番する方法をここにメモします。(失敗例も含め ...) 負荷テスト１ テスト内容 条件 cloud function Firestore コード 結果 次の案 再度負荷テスト２ 分散カウンターの概念 カウンターシャード IDの…
python でスプレッドシートの特定のシートをクリアする対応があったのでその時のメモをここに残します。 準備 認証情報の設定 スプレッドシート準備 コード 準備 認証情報の設定 クレデンシャル JSON ファイルを使用して認証し、APIへのアクセスを可能にさせ…
シンプルな UI で初心者にもおすすめということで、Locust というツールを使って api の負荷テストを行ってみました。 Locust 特徴 インストール 作成 実行 Web UI パラメータ設定 結果 Locust オープンソースの負荷テストツールで、api の負荷テストなどを…
エラーの一部 ERROR: The Python ssl extension was not compiled. Missing the OpenSSL lib? 回避方法 $ CFLAGS=-I/usr/include/openssl LDFLAGS=-L/usr/lib pyenv install -v {{バージョン指定}}
Google Sheets API の batch_update を使ってみたので、その時のメモをここに残します。 updateCells サンプルコード 補足 rowsプロパティ rows.values.CellData.userEnteredValueプロパティ fieldsプロパティ deleteDimension サンプルコード pasteData サ…
Google BigQuery に対してカウントアップするIDを登録する処理を考えてみました。 準備 クレデンシャル設定 GCPの認証を設定します。（GOOGLE_APPLICATION_CREDENTIALS 環境変数でサービスアカウントキーを設定） google-cloud-bigquery ライブラリのインス…
Pandas の .apply() 関数に lambda の処理を入れていたのですが、1レコードでも例外が含まれていると全ての処理に影響してしまうという問題がありました。 コード 問題のコード 改良 参考 コード 問題のコード import pandas as pd import numpy as np _df=p…
pandas のデータフレームの欠損値を除外する方法をここにメモします。 dropna() メソッド 欠損値を除外するには dropna() メソッドを使います。 パラメータ how='all' すべての値が欠損値 NaN である行・列を削除 how='any' 欠損値 NaN が一つでも含まれる行…
pandas の csv 読み込みでヘッダあり・なしの読み込み方法をメモします。 使い方 ヘッダあり df = pd.read_csv(filename, header=0) ヘッダなし 「header」に「None」を渡した場合、ヘッダなしの処理になります。 カラム名の指定がない場合 0, 1, 2, ... と…
pandas の read_csv でどのようなデータが空データになるか検証を行いました。 入力情報 検証したいこと ダブルクォーテーション（"）のみ シングルクォーテーション（'）のみ 空 半角スペースのみ 全角スペースのみ csv $ cat sample.csv 1,1-1,"1-2" 2,"",…
Flask で render_template を使ってみたので、ここにメモを残します。 サンプルコード python html メモ サンプルコード python from flask import Flask, render_template app = Flask(__name__) @app.route('/index') def index(): foo = "sample 01" bar …
pythonを使ってs3のファイルを扱う方法がわからなかったのでここに調査内容をまとめました。 メモ サンプルコード アップロード ファイル確認 ファイルダウンロード ファイル削除 メモ aws_access_key_id / aws_secret_access_key はマスク sample.txt は事…
python で以下のエラーが出たのでその時のメモをここに残します。 AttributeError: cython_sources [end of output] note: This error originates from a subprocess, and is likely not a problem with pip. error: subprocess-exited-with-error × Getting…
Raspberry Pi で「pip install」を実行したところ以下のようなエラーになってしまいました。 test@raspberrypi:~/Desktop/samples $ pip install -r requirements.txt error: externally-managed-environment × This environment is externally managed ╰─> …
mqtt を使ってみたので、その時のメモをここに残します。 mqtt とは メリット 準備 Mosquitto インストール Broker client python paho-mqtt インストール 動作検証 broker(mosquitto) 起動 状態確認 Publisher / Subscriber 動作確認 Subscriber 実行 Publi…
gspread を使ってスプレッドシートを操作するときのよく使うサンプルをここにメモします。 ワークシートの操作 シート新規作成 書式 サンプル シート削除 書式 サンプル シート一覧取得 書式 サンプル シート名変更 書式 サンプル セルの操作 セルの値取得 …
以下の問題をどうにかしたかったのですが、なかなかいい回避方法が思いつきません。;;一旦ここにメモφ(・ω・｀). $ docker run --rm -u "1001" -v `pwd`:/mnt -e "TZ=Asia/Tokyo" -w /mnt --env-file env "sample" python -c "import os;import pandas as pd…
python を使って Google Cloud Storage にファイルをアップロードするタスクがあったので、対応手順をここにメモします。 Google Cloud Storage とは アップロード手順 準備 GOOGLE_APPLICATION_CREDENTIALS 生成 python ライブラリインストール(google-clou…
filecmp を使ってファイルやディレクトリの比較をしてみたので、その時のメモをここに残します。 filecmp とは 使い方 ファイルの比較 ディレクトリにあるファイルの比較 ディレクトリ比較 サンプル ファイルの比較 評価用ファイル コード 実行結果 ディレク…
pybullet を使ってみたので、その時のメモをここに残します。 pybullet インストール セットアップ サンプル実行 humanoid_manual_control.py pybullet pybullet は、オープンソースの物理演算エンジンです。 pybullet を使えば、Pythonで深層強化学習やロボ…
Mac にpyton をインストールしようとしたところ、エラーになってしまったのでその時の対応方法をここにメモします。 エラー 対処法 エラー pyenv で python v3.11.4 をインストールしようとしたところ、"ModuleNotFoundError: No module named '_tkinter'"と…
slackweb を使って slack に投稿する方法をここにメモします。 準備するもの slackweb ドキュメント github インストール サンプルコード text を投稿 attachments を使った投稿 準備するもの Webhook URL slackweb ドキュメント github github.com インスト…
python の json ライブラリを使っていて、json.dumps() で日本語が "\uXXXXXXXXXXXX" となるときの対処法をここにメモします。デフォルトでは、json.dump や json.dumps を使用すると、Unicode文字列はエンコードされてしまいますが、「enseure_ascii = fals…
dolly-japanese-gpt-1b を使って生成AIで遊んでみました。 準備 python バージョン確認 sentencepiece インストール torch インストール transformers インストール 使ってみる コード dolly-japanese-gpt-1b 実行 結果 質問と回答 質問: 一番好きなファイナ…
