ものづくりのブログ

うちのネコを題材にしたものづくりができたらいいなと思っていろいろ奮闘してます。

sort コマンドで tsv ファイルを並べ替え

sort コマンドで tsv ファイルを並べ替えしたときのメモをここに残します。

やりたいこと

tsv ファイルを、5列目の値を数値として昇順に並べ替える。

コマンド

sort -t $'\t' -k5,5n [ファイル名]

各オプションの意味

  • -t $'\t'
    • 区切り文字をタブに指定する
    • $'\t' は bash / zsh でタブ文字を表す書き方
    • 指定しないと「空白(スペースとタブ)の連続」が区切りになるため、列の中にスペースが入っていると列の数え方がずれる
  • -k5,5n
    • 5列目だけをソートキーにして、数値として比較する指定
    • -k5,5 は「5列目から5列目まで」の意味。-k5 とだけ書くと「5列目から行末まで」がキーになる
    • 末尾の n は「数値として比較する(numeric sort)」。n がないと文字列(辞書順)比較になる

よく使う追加オプション

  • -r
    • 降順にする。-k5,5nr のようにキーごとに付けられる
  • -s
    • 安定ソート。キーが同じ行は入力の順番を保つ(指定しないと行全体の文字列比較で順番が決まる)
  • -o [ファイル名]
    • 結果をファイルに書き出す。入力と同じファイルを指定して上書きできる
    • sort file > file と書くと中身が消えるので、上書きしたいときは -o を使う
  • -u
    • キーが同じ行を1行にまとめる
  • -k[列],[列] を複数
    • 複数キー。先に書いたキーで並べ、同じなら次のキーで並べる

具体例

入力(TSV)

a	b	c	d	10
a	b	c	d	2
a	b	c	d	30

実行

sort -t $'\t' -k5,5n sample.tsv

出力

a	b	c	d	2
a	b	c	d	10
a	b	c	d	30

n を付けなかった場合

文字列比較になるので、先頭の文字から順に比較されて 10 → 2 → 30 の順になる。

a	b	c	d	10
a	b	c	d	2
a	b	c	d	30

応用

降順にする

sort -t $'\t' -k5,5nr sample.tsv

複数キーで並べる(3列目を降順、同じなら1列目を昇順)

sort -t $'\t' -k3,3nr -k1,1n sample.tsv

ヘッダー行を残して並べ替える

sort はヘッダー行も一緒に並べ替えてしまうので、1行目を分けて処理する。

(head -n 1 sample.tsv; tail -n +2 sample.tsv | sort -t $'\t' -k5,5n)

同じファイルに上書きする

sort -t $'\t' -k5,5n -o sample.tsv sample.tsv

考慮

5列目に数値以外の値が混ざっているとき、-n がどう扱うかを実際に試した結果。macOS 標準の sort(BSD 版)と GNU coreutils の sort で同じ結果になった。

  • n は「先頭から読める数値部分」だけを使い、数値として読めない値は 0 として扱う。
ケース -n での扱い 備考
空文字 0 先頭付近に来る
NULL 0 空文字や - と同じ 0 扱い
- 0 負号だけでは数値にならない
-5 -5 負の数は正しく扱われる
2.5 2.5 小数も扱える
10,000 10 カンマで読み取りが止まり、10 と同じ扱いになる
3abc 3 数字の後ろの文字は無視される

実際の並び順は次のとおり。

-5 → (空文字) → - → NULL → 2 → 2.5 → 3abc → 10 → 10,000 → 30

0 扱いになった「空文字」「-」「NULL」の間の順番は、キーが同じときに行われる行全体の文字列比較で決まる。入力の順番を保ちたいときは -s を付ける。

カンマ区切りの数値をそのまま並べ替えたいときは、事前に sed などでカンマを取り除く。

sed 's/,//g' sample.tsv | sort -t $'\t' -k5,5n

補足

  • 1e3 のような指数表記を数値として扱いたいときは n の代わりに g(general numeric)を使う。g は n より遅い
  • 文字列比較の結果はロケールに左右される。環境による違いをなくしたいときは LC_ALL=C sort ... のように指定する