並べ替え・切り出し・加工

$ sort names.txt
$ sort -nr scores.txt
$ sort -t, -k3,3n data.csv      # CSVの3列目を数値で
$ du -sh * | sort -h
$ sort -u emails.txt > unique.txt

$ sort list.txt | uniq               # 重複を除く
$ sort list.txt | uniq -c | sort -rn # 出現回数の多い順
$ sort list.txt | uniq -d            # 重複しているものだけ
$ sort list.txt | uniq -u            # 1回しか出てこないものだけ

$ cut -d: -f1 /etc/passwd            # : 区切りの1列目(ユーザー名)
$ cut -d, -f1,3 data.csv             # 1列目と3列目
$ cut -c1-10 file.txt                # 1〜10文字目

$ echo "Hello" | tr 'a-z' 'A-Z'      # 大文字にする
$ tr -d '\r' < win.txt > unix.txt    # Windowsの改行(CRLF)をLFにする
$ tr -s ' ' < file.txt               # 連続する空白を1つにまとめる
$ echo "$PATH" | tr ':' '\n'         # PATH を1行ずつに

$ paste names.txt ages.txt           # 2つのファイルを列として並べる
$ paste -sd, list.txt                # 全行を , でつないで1行に

$ make 2>&1 | tee build.log
$ echo "nameserver 1.1.1.1" | sudo tee /etc/resolv.conf
$ echo "line" | sudo tee -a /etc/some.conf    # 追記

$ find . -name '*.tmp' -print0 | xargs -0 rm -f
$ cat urls.txt | xargs -n1 -P4 curl -sO       # 4並列でダウンロード
$ ls *.png | xargs -I{} convert {} {}.jpg
$ git branch --merged | grep -v main | xargs -r git branch -d

$ fold -w 80 long.txt
$ fmt -w 72 README.txt       # 単語の区切りで整える

$ echo "path/to/file.tar.gz" | rev | cut -d. -f1 | rev   # 最後の拡張子 → gz

$ shuf -n 1 members.txt      # ランダムに1人選ぶ
$ shuf -i 1-100 -n 5         # 1〜100 から5個

$ seq 5                      # 1〜5
$ seq -w 1 10                # 01〜10(桁を揃える)
$ seq 0 5 100                # 0 から 5 刻みで 100 まで

$ comm -12 <(sort a.txt) <(sort b.txt)    # 両方にある行
$ comm -23 <(sort a.txt) <(sort b.txt)    # a にだけある行

$ curl -s https://api.github.com/repos/cli/cli | jq .
$ jq '.name, .stargazers_count' repo.json
$ jq -r '.[] | .name' list.json             # 配列の各要素の name を文字列で
$ jq '.items | length' data.json
$ jq -c 'select(.level == "error")' log.jsonl

$ iconv -f SHIFT_JIS -t UTF-8 sjis.csv > utf8.csv     # Windows(Excel)の CSV を UTF-8 に
$ iconv -f UTF-8 -t CP932 utf8.txt > win.txt
$ iconv -l | grep -i jis                              # 使える文字コード
$ file -i data.csv                                    # 今の文字コードを調べる

$ nkf --guess file.txt          # 文字コードと改行を推測
$ nkf -w --overwrite *.txt      # UTF-8 に一括変換
$ nkf -Lu file.txt              # 改行を LF に

$ dos2unix script.sh            # CRLF → LF(Windows で作ったスクリプトが動かないとき)
$ unix2dos readme.txt           # LF → CRLF

$ expand -t 4 main.c > spaces.c     # タブを空白4つに
$ unexpand -t 4 --first-only a.txt  # 行頭の空白をタブに

$ split -b 100M big.iso part_          # 100MB ごとに part_aa, part_ab…
$ split -l 1000 -d data.csv chunk_     # 1000行ごと、番号付き(chunk_00…)
$ split -n 4 video.mp4 v_              # 4等分
$ cat part_* > big.iso                 # 元に戻す

$ csplit -z notes.md '/^## /' '{*}'    # ## の見出しごとにファイルを分ける

$ join -t, <(sort users.csv) <(sort orders.csv)     # 1列目が一致する行を横につなぐ
$ join -1 2 -2 1 a.txt b.txt                         # a の2列目と b の1列目で結合

$ export DOMAIN=example.com PORT=3000
$ envsubst < nginx.conf.template > nginx.conf           # ${DOMAIN} などを置き換える
$ envsubst '${DOMAIN}' < tmpl > out                      # 指定した変数だけ置き換える

$ yes | sudo apt install something      # 質問にすべて y で答える
$ yes "test" | head -5

$ pr -3 -t list.txt          # 3段組み
$ pr -m -t a.txt b.txt       # 2つのファイルを並べて表示

$ look prog /usr/share/dict/words    # 並べ替え済みのファイルから前方一致で探す(速い)

$ yq -r '.services.web.image' compose.yaml       # 値を取り出す(-r で文字列をそのまま)
$ yq -y '.version = "2.0"' config.yaml         # 結果を YAML で出す
$ yq -yi '.version = "2.0"' config.yaml        # 直接書き換える
$ yq . config.yaml                                # YAML → JSON

$ xmlstarlet sel -t -v '//item/title' feed.xml
$ xmlstarlet fo feed.xml              # 整形

$ mlr --icsv --opprint cat data.csv                  # 表の形で見る
$ mlr --icsv --ojson filter '$price > 1000' data.csv
$ mlr --icsv --opprint sort -nr price then head -n 5 data.csv
$ mlr --icsv --opprint stats1 -a mean,sum -f price -g category data.csv