sort コマンドで tsv ファイルを並べ替えしたときのメモをここに残します。
やりたいこと
tsv ファイルを、5列目の値を数値として昇順に並べ替える。
コマンド
sort -t $'\t' -k5,5n [ファイル名]
各オプションの意味
- -t $'\t'
- 区切り文字をタブに指定する
- $'\t' は bash / zsh でタブ文字を表す書き方
- 指定しないと「空白(スペースとタブ)の連続」が区切りになるため、列の中にスペースが入っていると列の数え方がずれる
- -k5,5n
- 5列目だけをソートキーにして、数値として比較する指定
- -k5,5 は「5列目から5列目まで」の意味。-k5 とだけ書くと「5列目から行末まで」がキーになる
- 末尾の n は「数値として比較する(numeric sort)」。n がないと文字列(辞書順)比較になる
よく使う追加オプション
- -r
- 降順にする。-k5,5nr のようにキーごとに付けられる
- -s
- 安定ソート。キーが同じ行は入力の順番を保つ(指定しないと行全体の文字列比較で順番が決まる)
- -o [ファイル名]
- 結果をファイルに書き出す。入力と同じファイルを指定して上書きできる
- sort file > file と書くと中身が消えるので、上書きしたいときは -o を使う
- -u
- キーが同じ行を1行にまとめる
- -k[列],[列] を複数
- 複数キー。先に書いたキーで並べ、同じなら次のキーで並べる
具体例
入力(TSV)
a b c d 10 a b c d 2 a b c d 30
実行
sort -t $'\t' -k5,5n sample.tsv
出力
a b c d 2 a b c d 10 a b c d 30
n を付けなかった場合
文字列比較になるので、先頭の文字から順に比較されて 10 → 2 → 30 の順になる。
a b c d 10 a b c d 2 a b c d 30
応用
降順にする
sort -t $'\t' -k5,5nr sample.tsv
複数キーで並べる(3列目を降順、同じなら1列目を昇順)
sort -t $'\t' -k3,3nr -k1,1n sample.tsv
ヘッダー行を残して並べ替える
sort はヘッダー行も一緒に並べ替えてしまうので、1行目を分けて処理する。
(head -n 1 sample.tsv; tail -n +2 sample.tsv | sort -t $'\t' -k5,5n)
同じファイルに上書きする
sort -t $'\t' -k5,5n -o sample.tsv sample.tsv
考慮
5列目に数値以外の値が混ざっているとき、-n がどう扱うかを実際に試した結果。macOS 標準の sort(BSD 版)と GNU coreutils の sort で同じ結果になった。
- n は「先頭から読める数値部分」だけを使い、数値として読めない値は 0 として扱う。
| ケース | -n での扱い | 備考 |
|---|---|---|
| 空文字 | 0 | 先頭付近に来る |
| NULL | 0 | 空文字や - と同じ 0 扱い |
| - | 0 | 負号だけでは数値にならない |
| -5 | -5 | 負の数は正しく扱われる |
| 2.5 | 2.5 | 小数も扱える |
| 10,000 | 10 | カンマで読み取りが止まり、10 と同じ扱いになる |
| 3abc | 3 | 数字の後ろの文字は無視される |
実際の並び順は次のとおり。
-5 → (空文字) → - → NULL → 2 → 2.5 → 3abc → 10 → 10,000 → 30
0 扱いになった「空文字」「-」「NULL」の間の順番は、キーが同じときに行われる行全体の文字列比較で決まる。入力の順番を保ちたいときは -s を付ける。
カンマ区切りの数値をそのまま並べ替えたいときは、事前に sed などでカンマを取り除く。
sed 's/,//g' sample.tsv | sort -t $'\t' -k5,5n
補足
- 1e3 のような指数表記を数値として扱いたいときは n の代わりに g(general numeric)を使う。g は n より遅い
- 文字列比較の結果はロケールに左右される。環境による違いをなくしたいときは LC_ALL=C sort ... のように指定する