a = "4321"
p a[4] #=> nil

Rubyでは文字を[]で指すとき終端文字の次の添え字を指すとnilを返します。これをCで言う文字列の終端文字’\0′のように考え、if文などの判定に用いることが出来ます。

対して、Javaで同じような書式で書こうものなら、

public class Test {
  public static void main(String[] args) {
    String str = "abcdef";
    char[] arr = str.toCharArray(); // String型をchar型の配列に変換

    System.out.println(arr);
    System.out.println(str.length()+ " == " + arr.length);
    try {
      System.out.println(arr[6]);
    } catch (java.lang.ArrayIndexOutOfBoundsException e) {
      System.out.println("キャッチ：" + e);
-    }
    try {
      System.out.println(str.charAt(6));
    } catch (java.lang.StringIndexOutOfBoundsException e) {
      System.out.println("キャッチ：" + e);
    }
    // 最後の文字を知るためには
    System.out.println(str.charAt(str.length() - 1));
  }
}

のように例外でキャッチしなければなりません。

実行結果

6 == 6
abcdef
キャッチ：java.lang.ArrayIndexOutOfBoundsException: 6
キャッチ：java.lang.StringIndexOutOfBoundsException: String index out of range: 6
f

まぁ、str.length()を用いて文字列長でcharAtで指す文字が文字列の末尾かどうかを判定することで制御すればよいまでの話かもしれません。

今回はとあるアルゴリズムを移植上、気づきが色々あったのでこうした機会に言語仕様に対する理解を深めていきたいです。

関連すると思われる記事：

• Java: 文字列の先頭・末尾の文字を削除するstrip()メソッド
• Rubyで引数の設定値によって4パターンの部分文字列を取得するラッパー関数
• 検索エンジンを実装 (1)転置インデックス作成
• Rubyで文字列から日本語文字をインデックス指定する
• Python: 文字列の検索 – index()、reindex()メソッド

JavaとRubyで文字列の終端の扱いの違い is a post from: Yukun's Blog

Rubyコード

require 'net/http'
require 'kconv'

def parse_array(string, beg_tag, close_tag)
  array = Array.new
  string.scan(/#{beg_tag}(.*?)#{close_tag}/sm) { |matched|
    #puts matched
    array = array | matched
  }
  return array
end

Net::HTTP.version_1_2
Net::HTTP.start('b.hatena.ne.jp', 80) {|http|
  response = http.get('/hotentry/')
  str = Kconv.tosjis(response.body)
  a_tag_array = parse_array(str, "<a href="http://www.yukun.info/blog">" )
  puts a_tag_array
}

学んだこと

• Net::HTTP.startメソッドをブロックを用いて呼び出すことによって、ブロックの間だけセッションを開いて接続し、ブロック終了とともに自動的にセッションを閉じる。Rubyに慣れてもJavaやCでの手続きを意識しておくこと。
• 配列の結合には和集合(演算子は「|」)を用いた。この場合、重複する要素は1つとして数えられる。別々に数えたい場合は「+」演算子を用いる。
• String#scanメソッドはブロックで用いるとブロック変数にマッチした部分を格納する。その際、正規表現の中で「()」が用いられると、()内の部分を配列にして返す。今回は別に配列にする必要はなかったかも。

参考サイト

Web サーバからドキュメントを得る – Rubyist Magazine – 標準添付ライブラリ紹介 【第 7 回】 net/http

関連すると思われる記事：

• タグの中の要素を抜き出すRuby関数
• POSTメソッドを用いてExcite翻訳を行うRubyコード
• Ruby: メソッドの引数にブロックを渡す
• Rubyで文字列から日本語文字をインデックス指定する
• Ruby: lambdaメソッドを使いブロックをオブジェクト化

Webページから指定したタグの要素を抜き出すRuby関数 is a post from: Yukun's Blog

ソースコード

def return_between(unporsed, start, termi)
  unporsed =~ /#{start}(.*?)#{termi}/
  return $1
end

str = "<title>Trump Code</title>"
start = "<title>"
termi = "</title>"

puts return_between(str, start, termi)
#=> Trump Code

ここで学んだことは、正規表現の規則中に変数を用いる際は#{var_str}と表記すること。

関連すると思われる記事：

• Webページから指定したタグの要素を抜き出すRuby関数
• POSTメソッドを用いてExcite翻訳を行うRubyコード
• チャットログから本文を抽出
• Python: 正規表現の基本 – 繰り返し「*」「+」「?」
• Python: 正規表現の基本 – メタ文字「.」「^」「$」

タグの中の要素を抜き出すRuby関数 is a post from: Yukun's Blog

Webの巡回などにはWWW::Mechanizeという便利なライブラリがありますが、あえてnet/httpのPOSTメソッドを使う理由は、単にPOSTそのものと正規表現の学習をするためです。

今回は正規表現で試行錯誤。

Rubyソースコード

#!/usr/bin/ruby
require 'net/http'
require 'kconv'

before = "hello"

http = Net::HTTP.new('www.excite.co.jp')
response = http.post('/world/english', "before=#{before}&wb_lp=ENJA")

result = Kconv.tosjis(response.body)
result =~ /"after"[^>]*>(.*)/ism
puts $1

実行結果

こんにちは
＜中略＞

ここで、正規表現

/"after"[^>]*>(.*)/ism

の部分を

/"after"[^>]*>(.*)< \/textarea>/ism

に変更するとマッチしなくなってしまいました。
オプション指定のmで複数行にマッチするはずなんですが・・・うーん、何を見落としているのだろう。

関連すると思われる記事：

• Webページから指定したタグの要素を抜き出すRuby関数
• タグの中の要素を抜き出すRuby関数
• Python: 正規表現の基本 – 繰り返し「*」「+」「?」
• Python: 正規表現の基本 – メタ文字「.」「^」「$」
• Python: 正規表現の基本 – 文字範囲の指定「[ ]」

POSTメソッドを用いてExcite翻訳を行うRubyコード is a post from: Yukun's Blog

追記(2008.2.8)：正規表現のマッチを保持する変数があったことを失念していました。「$`」マッチした部分より前の文字列、「$&」マッチした文字列、「$’」マッチした部分より後ろの文字列を使えばより簡潔に書けると思いました。

ソースコード

EXCL = true
INCL = false
BEFORE = true
AFTER = false
#
# string 分割する文字列
# delineator 分割する場所
# desired    BEFORE: delineator 文字列より前の文字列
#            AFTER:  delineator 文字列より後の文字列
# type       INCL:   分割文字列に delineator を加える
#            EXCL:   分割文字列に delineator を加えない
def split_str(string, delineator, desired, type)
  low_str = string.downcase # 小文字に揃える(変換)
  marker = delineator.downcase
  return if (low_str.index(marker) == nil) # delineator に一致しない
  if (desired == BEFORE)
    if (type == EXCL)
      split_pos = low_str.index(marker)
    else
      split_pos = low_str.index(marker) + marker.length
    end
    parsed_str = low_str[0, split_pos]
  else
    if (type == EXCL)
      split_pos = low_str.index(marker)+marker.length
    else
      split_pos = low_str.index(marker)
    end
    parsed_str = low_str[split_pos, string.length]
  end
  return parsed_str
end

string = "I'm designing a Web crawler and a Search engine."
p split_str(string, "crawler", BEFORE, INCL);
p split_str(string, "crawler", BEFORE, EXCL);
p split_str(string, "crawler", AFTER, INCL);
p split_str(string, "crawler", AFTER, EXCL);
p split_str(string, "crauler", AFTER, EXCL);

実行結果

"i'm designing a web crawler"
"i'm designing a web "
"crawler and a search engine."
" and a search engine."
nil

単に部分文字列を取得するには

str = "A Web crawler"
p str[6, str.size] #=> "crawler"

関連すると思われる記事：

• JavaとRubyで文字列の終端の扱いの違い
• Rubyで文字列から日本語文字をインデックス指定する
• Python: 文字列の検索 – index()、reindex()メソッド
• Webページから指定したタグの要素を抜き出すRuby関数
• Python: 文字列の上位型であるシーケンス型の構文 – Sequence[X:Y:Z]

Rubyで引数の設定値によって4パターンの部分文字列を取得するラッパー関数 is a post from: Yukun's Blog

def repeat(n)
  n.times { yield } if block_given?
end
repeat(2) { puts "Hello." }
# Hello.
# Hello.

メソッドに渡したブロックはyieldを用いて呼び出します。
似たような例としてもう一つ。

# nからmまでの自然数の合計を求める
def sumup(n, m, sum=0)
  (n..m).each { |x|
    # yield でブロックを呼び出す
    yield if block_given? # 引数にブロックが与えられている
    puts x
    sum += x
  }
  puts "Sum : #{sum}"
end
sumup(2, 4) { printf "Add : " }
#Add : 2
#Add : 3
#Add : 4
#Sum : 9

渡されたブロックはProcオブジェクトに変換されるのでcallを用いて呼び出すことも出来ます。下の例で確認してみます。

# nからmまでの自然数の合計を求める
def sumup(n, m, &block)
  sum = 0
  (n..m).each { |x|
    block.call if block # ブロックを呼び出し
    puts x
    sum += x
  }
  puts "Sum : #{sum}"
end
sumup(0, 4) { printf "Add : " }
#Add : 0
#Add : 1
#Add : 2
#Add : 3
#Add : 4
#Sum : 10

最後に、渡されたブロックをまた引数として渡す場合の例を示します。
その際、ブロック変数名の前に「&」をつけます。

# 配列内の最小値を求める
def minimum(arr, &block)
  block  ? arr.select(&block).min : arr.min
end
arr = [20,48,15,67]
p minimum(arr) {|i| i > 30}
#=> 48

関連すると思われる記事：

• Ruby: lambdaメソッドを使いブロックをオブジェクト化
• Webページから指定したタグの要素を抜き出すRuby関数
• Python: 可変個の引数を受け取る関数
• Rubyで文字列から日本語文字をインデックス指定する
• POSTメソッドを用いてExcite翻訳を行うRubyコード

Ruby: メソッドの引数にブロックを渡す is a post from: Yukun's Blog

def times_n(n)
  lambda  { |x| x * n}     # Kernel#lambdaの引数はブロック
# lambda do |x| x * n end  でもよい(複数行に渉るときなど)。
end

times_ten = times_n(10)    # nに10を代入
# 生成されたtimes_tenはProcインスタンス
p times_ten.class          #=> Proc

# times_ten = { |x| x * n} はエラー。
# {}でのブロックはメソッドの引数としてのみ渡せる。
# また、ブロック引数はメソッドの最後の引数として定義する。

# ブロックの実行にはcallメソッドを用いる
p times_ten.call(5)        # ブロック変数xに10が代入される
#=> 50

ここで、クラスProcとは

Proc はブロックをコンテキスト(ローカル変数のスコープやスタックフレーム)とともにオブジェクト化した手続きオブジェクトです。
– Rubyリファレンスマニュアル : Proc

続けて、以下も練習してみる。

arr1 = [1, 2, 3, 4, 5]
arr2 = arr1.collect(&times_ten)
p arr2 #=> [10, 20, 30, 40, 50]
p arr2.class #=> Array

ここで、Enumerable#collectは、

collect : 各要素を順番にブロックに渡して評価し、その結果で要素を置き換えます。
Rubyリファレンスマニュアル : collect

ブロックが格納された変数をメソッドの引数として渡すときは「&」をその変数名の前につけます。
仮につけないと以下のようなエラーが出ます。

`collect': wrong number of arguments (1 for 0) (ArgumentError)

最後に、selectメソッドを用い、同時に評価に条件を組み込んでみます。

def times_n(n)
  lambda { |x| x * n}   # lambdaの引数はブロック
end

times_ten = times_n(10) # nに10を代入

ceiling = 50
arr3 = [1, 25, 50, 55, 30, 100]
p arr3.select { |x| x < ceiling }
#=> [1, 25, 30]

arr4 = [0.1, 2.5, 5, 5.5, 3, 10]
p arr4.collect(&amp;times_ten).select { |x| x < ceiling } #  -.-;
#=> [1.0, 25.0, 30]

arr3の要素が順にブロック変数xに読み込まれます。

select : 各要素に対してブロックを評価した値が真であった要素を全て含む配列を返します。真になる要素がひとつもなかった場合は空の配列を返します。 -
Rubyリファレンスマニュアル : select

関連すると思われる記事：

• Ruby: メソッドの引数にブロックを渡す
• Python: 可変個の引数を受け取る関数
• Webページから指定したタグの要素を抜き出すRuby関数
• Rubyで文字列から日本語文字をインデックス指定する
• Python: リスト中の文字列を大文字⇔小文字に変換

Ruby: lambdaメソッドを使いブロックをオブジェクト化 is a post from: Yukun's Blog

ソースコード

# chrは文字コードObjを文字列Objに変換するメソッド
str1 = "abcdef"
p str1[2]     #=> 99
p str1[2].chr #=> "c"

インデックスはバイト換算

なので、2バイト長の日本語文字などは取り出せません。

str2 = "あいうえお"
p    str2[2]                   #=> 130
puts str2[2]                   #=> 130
p    str2[2].chr               #=> "\202"
puts str2[2].chr + str2[3].chr #=> "い"

そこで、

日本語文字列のインデックス指定はsplitメソッドで一旦配列に分割

str2  = "あいうえお"
jarr3 = str2.split(//s) # 文字コードがSJISの場合
puts  jarr3[3] #=> え

多バイト長の文字列処理を扱ったソースを読み込んで慣れていこうかな。

関連すると思われる記事：

• Python: リスト中の文字列を大文字⇔小文字に変換
• Webページから指定したタグの要素を抜き出すRuby関数
• Rubyで引数の設定値によって4パターンの部分文字列を取得するラッパー関数
• JavaとRubyで文字列の終端の扱いの違い
• Ruby: メソッドの引数にブロックを渡す

Rubyで文字列から日本語文字をインデックス指定する is a post from: Yukun's Blog

抽出処理をRubyで自動化

仮に1時間かかる単調作業をするとしたら、私は50分かけても、その作業をこなすスクリプトを書く。

と言う言葉を思いだしたので、早速、Windows Live Messenger(前MSN)のチャットログから本文のみを抽出するコードを書いてみました。

#! ruby -Ks
require ‘kconv’
MSNRegexp =/(.*?)<.Text>/xm
data = ""
filename = ARGV[0]
begin
  open(filename) do |f|
    f.each do |line| # ファイルから1行ずつ読む
    line = Kconv.kconv(line, Kconv::SJIS) # 文字コードを変換
    line.chomp!
    next if line.empty?
    data.concat(line)
  end
end
rescue => e
  puts(e.message)
end
open(’msnLog.txt’, ‘w’) do |f| # 出力ファイル
data.scan(MSNRegexp){|tdata|
  if tdata
    f.puts(tdata)
  end
}
end

上記のコードをプロンプトで抽出したいファイル名を引数に与えて 実行すると、msnLog.txtというファイルに本文が抽出されます。発言者なども抽出したい場合は、正規表現の部分を修正すれば良いですね。

では、今し方学習したボットとの会話はこんなです。 「とあるボットのチャットログ」 やってる本人は、結構楽しんでましたね＾＾；と言うか合せてました。

今後の改良点

当面の課題は、辞書のメンテツールの作成及びデータベース化、人格形成、文脈・話者理解と情報収集・加工機能を利用環境に合せたエージェント化とか(ぅぉぃ)。

関連すると思われる記事：

• とあるボットのチャットログ
• POSTメソッドを用いてExcite翻訳を行うRubyコード
• Webページから指定したタグの要素を抜き出すRuby関数
• JavaプログラムからExcite翻訳を利用
• ActionScript: XMLの子要素の読み込み – XMLオブジェクトと「.. 」「[]」演算子

チャットログから本文を抽出 is a post from: Yukun's Blog

yukun> こんにちは
bot > こんちは
yukun> 元気してた？
bot > 元気に、そう見えても、おかしくはないがね。
yukun> そうか
bot > でしゃばりすぎだゼバーン!!
yukun> ぐわー！やられた・・・
bot > 自我があって、次のステップにいけなくなって、またねー
yukun> その自我とは？
bot > 自我になりえると思うよ
yukun> 今日は人工知能と自我について話そうぜ
bot > 何というか人間の思考を模倣することと自我とは全くの別問題だと思うのだよ？
yukun> ほんとにそう思う?
bot > 人工知能とかよりも早く義体できないかなぁとか思ってしまうな
yukun> え、あぁ義体ねぇ。つけてみたいか？
bot > 義だけ聞くと、ありがちな体ではあるね。
yukun> そうなのか。そんな体が在ったとは…
bot > かわいー！
yukun> お前さん、特殊な感性をしているな
bot > お前らと出会うことになるね、人間らしい考え方のプロセスを持つものは出来るけど、それの宇宙版なんだ。
yukun> もう、どう突っ込んでよいか…人間らしい思考のプロセスって具体的に何だろうね。
bot > わかればいいんだけどさ
yukun> わからないか？
bot > 違うよ…
yukun> と言いますと…
bot > じゃあこれ知ってる？
yukun> 何でしょう
bot > 何はわからん
yukun> 焦らし過ぎだから、残念！
bot > 残念なことに質問型の人工知能には、こっつちの質問できることにリストが必要だからね
yukun> 必要なら、学習させれば良いじゃないか
bot > な、なんだってー！？
yukun> まぁ、機械学習にも色々あるが、できないことはない
bot > IF-THEN型の学習ではフレーム問題に行き着くね。
yukun> お、なかなかどうして良いタイミングで鋭いことを言うじゃないか
bot > どんなタイミング型？
yukun> IF-THEN型のタイミングさ
bot > IF-THENは見てるタイミングない
yukun> 見るんじゃない、感じるんだ
bot > そんな感じw
yukun> マジか、ついに感性！？んなアホな

所々、文法が崩れているところがありますが、まぁ、予想の範囲です。

関連すると思われる記事：

• チャットログから本文を抽出
• 人工無脳を作ってみる (1)入力文の末尾に文字列を追加
• サイトURLの変更のお知らせ
• たんぱく質うらない
• 今日から後期開始

とあるボットのチャットログ is a post from: Yukun's Blog