平成１５年度漢籍担当職員講習会： 文字コードとテキスト処理の歴史

• 複数の表記体系
• 文字集合規格
• 符号化方式
• インプットメソッド
• タイポグラフィ

基本概念と用語

• いろいろな略称や略語があるが……
• 国際化および地域化とは……
• 多言語モデルおよびロケールモデルとは……
• 区点とは……
• 文字と字形—違いは何か……
• 書体とフォントの違いは……
• 半角文字、全角文字とは……
• ラテン文字とローマ字

符号化方式

ロケールに依存しない符号化方式

• ASCII/CJKV ローマ字符号化
• EBCDIC/EBCDIK コード
• 半角片仮名コード
• 区点記法
• ISO-2022 符号化
• EUC 符号化

ロケール固有の符号化方式

• GBK 符号化
• Big5 符号化
• Big5 の符号化—香港拡張
• Big5 Plus 符号化
• シフトJIS 符号化
• Johab 符号化

東アジアの符号化方式を比較する

• 異なる符号化方の「漢字」

  中国 (GB 2312-80)
  汉	3A3A	BABA
  字	5756	D7D6
  台湾 (Big5)
  漢		BA7E
  字		A672
  日本 (JIS X 0208:1997)
  漢	3441	B4C1, 8ABF
  字	3B7A	BBFA, 8E9A
  韓国
  漢	7953	F9D3, F7D3
  字	6D2E	EDAE, F1AE
  北朝鮮
  漢	7253	F2D3
  字	662F	E6AF

国際符号化方式

• UCS-2 およびUCS-4
• UTF 符号化
• UCS、UTF と他の符号化の比較

国際基準

漢字コードの問題点

• 漢字とは何か？
• いくらでも足りない！
• 符号化の対象は？

過去 — アナログ 媒体

• 石に刻めた文書
• 筆で紙に書かれた文書
• 友達など小人数へ分布
• 木版印刷で大量作成と分布
• 皇帝による収集: 四庫全書

現在・未来 — ディジタル 中国の二十五正史

• 中国の歴史と文化研究のために極めて大事な資料。
• 1980年代台湾の中央研究院で電子化を始まる、1990年完成。
• 約４千万漢字。
• 若干問題：外字の取り扱い、 テキストの構造など記述。

漢籍仏教関係の電子資料

電子仏典推進協議会。

１９９３年以来、電子仏典推進協議会がいくつかのミーティングやワーク・ショップを行った。電子仏典推進協議会の目的はさまざまな仏典関係入力計画の横の連絡・情報交換・方法コオディネーションにある。

CD-ROM の出版物

• IRIZ ZenBase CD1 (1995)
• 大蔵出版の大正新修大蔵経 CD-ROM (4枚, 1995より)
• 天台電子佛典 CD 1 (1996), CD 2 (2000)
• 高麗大蔵経 (1996, 2000)
• 中華電子仏典協会(CBETA)　(1998, 1999, 2000, 2001)

大規模漢文データベース作成のため

ウルス・アップ氏による、電子達磨　第３号 (http://www.iijnet.or.jp/iriz/irizhtml/maketext/guidelinj.htm)

• 大規模データベース計画を開始する前に、まず、その分野ですでに行われたことを調査し、その質や欠点を研究しなければならない。
• データ入力計画は、関係するデータの量とその目的によって分類されなければならない。
• 計画の当初に基本的決定を行い、それらを専門家と討議することは極めて重要である。これらの決定を行う際に、現在及び未来における使用可能性を念頭に置かなければならない。これは、特に、原本の選定、テキスト編集、付注、基本的データ文字（文字のコード化、データ形式、非標準文字の処理など）、それにハード・ソフト環境にあてはまる。こうした問題は、大規模計画の発足当初、すなわち本格的な入力活動が開始される前に、専門家集団によって検討されなければならない。そして、活動計画はその集団全員の一致した支持を得るべきである。
• 電子文献が国際的なユーザーや多様なハード・ソフト環境を対象としたものである場合、基本的なデータセット（マスター・データセット）は、後に任意の必要とされるコードやフォーマットに自動的に変換できるようになっていなければならない。
• こうした可変性と適応性を確保するためには、マスター・データが最大限の情報を含んでいなければならない。これは、データの質にとって、重要な要因である。中国、韓国、日本のデータの場合（あるいは、標準化されていない文字や、いくつかの基準が競合しているような、あらゆるテキストデータについても同様であるが）、最上の構造と、最大の文字数、それに最高の可変性を持つ文字基準を使用しなければならない。
• もし印刷原本に多様な字体が存在する場合は、電子文献においても、それらをそっくりそのまま再現することに力を尽くすべきである。
• 電子テキストでは、機械は人間より遥かに高い厳密さで検索するために、データの正確さが何よりも重要である。
• チームワークと、種々の基本的問題をチームで討議することによって、データベースの全体的価値が相当に改善されることがよくある。
• データベースはユーザーのために作成されるものである。従って、ユーザの希望や、作業環境、想定される作業習慣といったものを、慎重に研究し、尊重しなければならない。

SGMLとは?

• SGML（文書記述言語）は，機種や装置に依存しない，多目的の，公的な文書交換規格です。
• SGMLという用語には，次のような意味があります。

  Standard	標準	国際規格のISO 8879-l986，国内規格のJIS X 4151-1992として公的に制定されているという意味です。
  Generalized	汎用	用途を特定しない，汎用であるという意味です。
  Markup	マーク付け	テキストに「しるし」を付ける方法であることを意味します。
  Language	言語	コンピュータ言語であることを意味します。

SGMLの関連規格

SGMLに関連した，次のような規格があります。

SGMLの概念

• 文書の分析：文書に含まれるデータを整理し，その「かたち」を分類することです。
• 文書型の定義：SGML用語では文書型定義のことをDTD （Document Type Definition）といいます。
• 文書インスタンス：SGML用語ではインスタンスは文書型の定義にしたがって作成した一つの文書です。
• SGMLインスタンスの検証：文書型の定義に以って、インスタンスは本当に定義の道理で作られたかをプログラムで検証出来ます。

SGML関連情報

• SGML/XML関連豊かな情報はThe XML Coverpages (http://www.oasis-open.org/cover/) にあります（英語）。
• 日本語のＳＧＭＬ・ＸＭＬ情報ページ（社団法人 日本印刷技術協会）：http://www.jagat.or.jp/sgml/
• やさしいSGML入門： http://www.glocom.ac.jp/users/kmmr/p3sg-ja-idx.html　(TEI P3 第二章A Gentle Introduction to SGML のかみむらけいすけ氏による日本語訳。)http://www.age.ne.jp/x/sf/HT/SGML/
• SGMLを考える：http://www.age.ne.jp/x/sf/HT/SGML/

テキスト・エンコーディング・イニシアチブ(TEI) とは何か

• 人文学研究社会から

  • 図書館司書、サイバー空間飛行士（cybernauts）
  • 言語学者、歴史学者、辞書学者、他

• 後援

  • コンピュータと人文学学会 （ACH: Association for Computers and the Humanities）
  • コンピュータ言語学学会 （ACL: Association for Computational Linguistics）
  • 文学・語学コンピュータ学会 （ALLC: Association for Literary and Linguistic Computing）

• 資金提供

  • 合衆国国立人文学基金 （U.S. National Endowment for the Humanities）
  • メロン財団（Mellon Foundation）
  • 欧州共同体委員会第 13 回合同理事会 （Commission of European Communities DG XIII）
  • カナダ社会科学、人文学研究委員会 （Social Science and Humanities Research Council of Canada）

TEI の現在

• 長期的な保証のため、2000年12月にＴＥＩコンソーシアムを創立しました。
• 現在ＴＥＩガイドラインスのP3（1994年公開）訂正版TEI P4が2002年5月公開。
• TEI P4は初めてXML対応となっていいます。
• TEIコンソーシアムはメンバーを常に募集中。　詳しい情報はTEIコン ソーシアム ホームページ (http://www.tei-c.org)参照。

TEI の未来

• 復数なschemaで表現。
• 新たなアプリケーション領域での継続研究。
• 原稿の記述。
• 体裁の記述。
• 非 SGML・XML データ。

TEI の目標

• よりよいデータの交換と統合。
• あらゆる言語、時代のテキストへの対応。
• 不安を抱く人たちへのガイダンス　—何を 　コーディングするのか。
• 専門家への助言 — 関心対象の情報をいかに　コーディングすべきか。

既存の優れた実践を踏まえたユーザ主体の法則化。

TEI の作業方針

• 記法・表現から独立したテキストの重要な特性を表す。
• 口論・過剰反応・中途半端を避ける。
• 一般化可能な解決法を同意可能な方法で追求する。

TEI P4 の成果

• 表現ではなく内容の重視。
• 規範的ではなく記述的。
• オッカムの剃刀 (Note: （＊「本質は不必要にいくつも示すものではない。」 という命 題。TEI J31 参照。）)。
• モジュール化され、拡張可能な ＤＴＤ。
• どのアプリケーションにも共通で、 そのため特定領域ではカスタマイズを必要とすること。

TEI の利用者

http://www.tei-c.org/Applications を参照。

• 電子図書館とアーカイブ作成者

  • Oxford University, Oxford Text Archive (オック スフォード大学 オックスフォード・テキスト・アーカイブ) http://ota.ahds.ac.uk/
  • Library of Congress 米国議会図書館
  • University of Michigan, Humanities Text Initiative (ミシガン大学 人文学テキスト・イニシアチブ) http://www.hti.umich.edu/
  • University of Virginia, Electronic Text Center (ヴァージニア大学電子テキストセンター) http://etext.lib.virginia.edu/
  • Rutgers University , Center for Electronic Text in Humanities (ラトガース大学人文学電子テキストセンター) http://www.ceth.rutgers.edu

• 言語工学プロジェクト

  • EAGLES: （Expert Advisory Group on Language Engineering Standards）言語工学の標準作成専門部会（イタリア、ピサ） http://www.ilc.pi.cnr.it/EAGLES96/home.html
  • BNC: （British National Corpus）BNC 協会によるコーパス　http://info.ox.ac.uk/bnc
  • MULTEXT: (Multilingual Text Tools and Corpora） フランス国立科学研究センターによる言語学コーパス研究プロジェ クト。 http://www.lpl.univ-aix.fr/projects/multext/
  • Parole: イタリアの言語工学プロジェクト。http://www.ilc.pi.cnr.it/parole/parole.html
  • Silfide: （Serveur Interactif pour la Langue Française, son Identité, sa Diffusion, son Étude）フランス国立学術研究センター（CNRS）http://www.loria.fr/Projet/Silfide/silfide.html

• 学術研究者

  • Women Writers Project: アメリカのブラウン大学 （Brown University）女性作家プロジェクト http://www.wwp.brown.edu/
  • Project Orlando: カナダのアルバータ大学（University of Alberta）英国女性作家史（An Integrated History of Women's Writing in the British Isles）プロジェクト。ヴァージニア・ウルフ『オルランド』に因む。 http://www.ualberta.ca/ORLANDO
  • Model Editions Partnership: 副題「デジタル時代の歴史文書」（Historical Editions in the Digital Age）。南カリフォルニア大学等７機関によるアメリカ歴史文書電子化プロジェクト。http://mep.cla.sc.edu
  • Canterbury Tales Project: チョーサー「カンタベリー物語」の本文、書誌、索引等の電子テキ ストサービ ス。イギリスのシェフィールド大学（the University of Sheffield） 等５大学連合プロジェクト。 http://www.shef.ac.uk/uni/projects/ctp/index.html
  • その他多数...

• 漢籍

  • ヴァージニア大学エレクトロニック・テキスト・センターと ピッ ツバー グ大学東アジア図書館が共同で進めている日本語テキスト・イニ シア ティブ （ＷＷＷを用いた日本古典文学の電子テキスト化）の掲載作品が 増加 しました http://etext.lib.virginia.edu/japanese/index.euc.html
  • CBETA 電子仏典シーリース

TEI 関連情報

• ＴＥＩコンソーシアム ホームページ (http://www.tei-c.org)（英語）。
• 日本語のＴＥＩ情報ページはこちらにあります：http://www2s.biglobe.ne.jp/~Taiju/markup.htm