usskim / AWK
Home / AWKWindows 環境なら busybox-w32 ってのが有って、それで awk が使える。
古くから常用している Windows版 : 1998/08/22 22:02 193,536 mawk32.exe
参考
←お世話になった本、と言うか今でもたまに読み直す。とても好きな本。
概要
正規表現：置換
(2017-10-21)
探すだけでなく同時に置換したい場合がある。
sed を始め、各エディタでは()でグループ化した文字を$や\で指定できるようだ。
拠って match && 置換の２ステップを要する。
if (match(s, /\.[0-9][0-9][0-9][0-9]+$/))
print substr(s, 1, RSTART+3)
但し gawk なら gensub が使えるので、次のように書ける（残したい部分を括弧で括っている処がミソ）。
print gensub(/(\.[0-9][0-9][0-9]) [0-9]+$/,
"\\1", "g", s)
説明を良く読まないと中々判らないが、sed 風に \n で取り出す訳。
match と substr の組み合わせで十分な気もするが、複雑さが増すとバギーなコードになりそうだ。
例えば、次のように整数部と小数部を持つ場合にだけ、変換するよう仕様を変えたとする。
yahoo.co.jp.4649.123456 --> yahoo.co.jp.4649.123
yahoo.co.jp.123456 -------> そのまま
regexp に整数部の適合を加え、次のように書いてみる。
if (match(s, /[0-9]+ \.[0-9][0-9][0-9][0-9]+$/)) {
tmp = substr(s, RSTART, RLENGTH)
print substr(s, 1, RSTART + index(tmp, ".") + 2)
} else
print s
マッチした後に index でドットを探すが、残念ながら開始位置（及び長さ）を指定出来ないので tmp へ一旦切り出している。さもないとマッチ以外の部分も含んでしまう。
一方、gensub なら必要な部分を括り（グループ化）、\1等で参照すれば良い。改めて検索し直さなくて済む部分が大きい。
print gensub(/([0-9]+\.[0-9][0-9][0-9]) [0-9]+$/,
"\\1", "g", s)
尤も、gensub が万能と言えるのかは疑問で、状況に応じて使い分けるのがベストと思われる。
例えば、第２引数は置換文字列だから連接は出来ても、数字に見立てた演算は出来ない。マッチした数字文字列に+10しようと思って "\\1+10" なんて書いても駄目）。
そう言う場合はやっぱり、match+substr 手順を踏まないといけない。
if (match(s, /[0-9]+\.[0-9][0-9][0-9][0-9]+$/)) {
tmp = substr(s, RSTART, RLENGTH) + 10
print substr(s, 1, RSTART-1) sprintf("%.3f", tmp)
} else
print s
正規表現：ミニC版
http://usskim.blog37.fc2.com/blog-entry-571.html
実装っぽい処が判ると、例えば^を付けても付けなくても良い場合、出来るだけ付けようという気になる。
標準エラー出力
Windows 環境でも /dev/＊ が有効なようだ。
print "Serious error detected!" > "/dev/stderr"
頻繁に書くのなら変数にセットしておくと見栄え良いかも。
BEGIN {
STDERR = "/dev/stderr"
print "Hoge" > STDERR
}
複数データファイル
単に引数に並べれば良い。が、ファイルの区切りを知るにはちょっと工夫が要る。
FILENAME
FNR
ここで、これらを判断するタイミングであるが、入力処理しているブロックでやろうとすると、パターンには条件が付き物であるから定型に成り難い。
{ if (FNR == 1) ... } # ここなら新しいファイルを始めた事が判る。
/パターン/ { ... } # ここがファイル毎のやりたい処理。
最後のファイルを処理した後は END に書く。
「パターンによるレコード範囲の指定」の代案
パターンにカンマを使うとレコード範囲を意味するそうな。
例えば dir /s や ls -R のような、ヘッダがディレクトリを表し、それにファイルリストのレコードが続き、それらが繰り返されている様な構造だと、
その場合は教科書にも有るようにフラグ使う方が楽。
$1 ~ /^\// {
if ($1 ~ /^\/hoge/) { skip = 1; next }
skip = 0
}
!skip { ... }
skip フラグ変更はヘッダ（ディレクトリ）を表すレコードの場合だけと言う物。
ふむ、でも次の様に書けばさら良さそう。
$1 ~ /^\/hoge/ { skip = 1; next } # next により以降のパターンも評価しない。
$1 ~ /^\// { skip = 0 }
!skip { ... }
余談：
数値
変数の型は無い、と言うか文脈依存。Excel のセルみたいな感じ。なので if ($2 + 0 > ...) のように数値比較を指示しないといけない場面がある。 比較演算子はオーバーロードされていて文字列なんかも比較出来るかも... と思ったが、文字列は連接以外に明確な演算子を持たない、と説明されているので、+ 0 などが必要な理由は別にあると思う。キャストを書きたくなるが、必要性が少ないのだろう...
数値は一律浮動小数点。
bit演算は無い。有りそうな気がしたが、無い。ちょっと辛い。
32bit整数の制約が有るのか無いのか判らない。
文字列
連結演算子は無い。
(2014-06-21) 文字列の連結に += 演算子等は使えない。エラーにはならないが望む動作にはならない。
数値への変換
配列
素の配列は無く、有るのは連想配列のみ。
連想配列中の要素存在確認は if (x in array)
連想配列の要素の巡回は for (x in array)
多次元配列は [m,n] の形式。m, n は SUBSEP で区切られている。
多次元配列だったか、for (x in array) で得た x を使って array[x] のようにはアクセス出来ない。split で分離してから array[x[1],x2[2]] のようにアクセスしなければならない。
16進表記文字列を数値化
拡張版awk？には用意されているらしいが、手持ちのawkには無かった。
function strhex2dec(str, y,dig,s,tmp)
{
y = 0
dig = 1
for (len = length(str); len >= 1; --len) {
s = substr(str, len, 1)
if (s ~ /[0-9]/) tmp = s + 0;
else if (s == "a" || s == "A") tmp = 10
else if (s == "b" || s == "B") tmp = 11
else if (s == "c" || s == "C") tmp = 12
else if (s == "d" || s == "D") tmp = 13
else if (s == "e" || s == "E") tmp = 14
else if (s == "f" || s == "F") tmp = 15
else
break;
y += tmp * dig
dig *= 16
}
return y
}
ダサいと書いたが連想配列を使う場合、x in array で存在確認する必要が有る。そうしないと（自動的に）連想配列の要素がセットされる、と書いてある。上の例は満更でもない。
(2017-5-18)
某の場合、awk で 16進表現文字列を扱う場合は何らかのツールの出力を読む場合が多い。ならば 2/4桁を前提にすっきり書いた方が良さ気である。
function x4(s)
{
if (s ~ /^[0-9]/) return s + 0
else if (s ~ /^[aA]/) return 10
else if (s ~ /^[bB]/) return 11
else if (s ~ /^[cC]/) return 12
else if (s ~ /^[dD]/) return 13
else if (s ~ /^[eE]/) return 14
else if (s ~ /^[fF]/) return 15
return 0
}
function x8(str)
{
return x4(substr(str, 1, 1)) * 16 +
x4(substr(str, 2, 1))
}
function x16(str)
{
return x4(substr(str, 1, 1)) * 4096 + # 16 * 16 * 16
x4(substr(str, 2, 1)) * 256 + # 16 * 16
x4(substr(str, 3, 1)) * 16 +
x4(substr(str, 4, 1))
}
{ print x16($1) } と書いてテスト。桁数が合わないと正しくなくなるが、良かろう。
>echo fffe | busybox awk -f xxx.awk
65534
ビット表示
printf 書式には無い。C にも無かったはず。珠に出力したいので作っておく。まずはニブルに対応してバイトに。
function bit4(v)
{
return int(v/8) % 2 "" \
int(v/4) % 2 "" \
int(v/2) % 2 "" \
v % 2
}
function bit8(v)
{
return bit4(int(v/16)) \
" " \
bit4(int(v%16))
}
これで { print bit8(x8($1)) } とでも書いて
ここまで出来ればビット演算出来そうだが、気乗りしない。
バイナリファイルを処理する
awk そのものでバイナリファイルを読みのは難しい。が、データをテキストへ変換してやれば良い訳で、そこそこのファイルサイズなら hexdump や od でテキスト変換しまう手がある。
ひとまず今回は（手元に有る）バイナリファイルをゆっくり料理すれば良い状況なので、好きなツールでテキストへダンプする。
16進表記の文字列だと（例に示したように）効率が悪いので、今回は暗黙で数値と見做してくれる10進表記にする。
10進文字を旨く読み取れているかテスト。
{
if ($0 == "*") { # 0が連続する処
print $0
next
}
printf("%s ", $1)
for (i = 2; i <= NF; ++i)
printf("%02x ", $(i)) # 16進で表示
print("")
}
od で10進出力したものを食わせてみる。
ここからは都度…なんだけど、毎度考えるには面倒なので、流用出来そうな基本形を考えておく。
まず入力テキストとなる od の書式を決める。
> busybox od -v -Ad -tuC binfile
0000000 77 90 144 0 3 0 0 0 4 0 0 0 255 255 0 0
0000016 184 0 0 0 0 0 0 0 64 0 0 0 0 0 0 0
0000032 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
…
シーケンシャルな（バイトストリーム風）読み取り関数を拵える。
function fetch()
{
if (POS < 2 || POS > NF) {
if (getline <= 0)
return ""
POS = 2
}
return $(POS++)
}
POS はグローバル変数で一行16列のバイトデータの位置を示し、16列を超えて読み取ろうとした処で次の行を読み取ろうという作戦。
バイト単位で fread するようなものなので、通常のパターンアクションではなく、BEGIN ブロックで全て済ませてしまう。
BEGIN {
POS = 0
…
exit
}
awk の標準は「行単位でパターンアクションを呼び出す」コールバック風な流れなんだが、今回は逆を行く。
2017-8-27 Win10 駄目
Home / AWK