OzCodeでかゆいところに手が届くデバッグを

wizardVisual Studioの拡張機能としてリリースされているOzCodeを紹介します。

記事の発端はtwitterで私がぽろっとRTした内容に反応があったことで:

まさか反応があるとは思ってなかったので、秘孔を突かれた感 (;´Д`) 国内ではR#の事はよく聞くんですが、OzCodeはまだマイナーかもしれないと思い、機能を紹介してみます。

なお、有償ですがTrialできます。また、Personalで全機能使えるので個人ならPersonalでも十分、サポートが必要ならCorporateかSite licenseを選択すればよいでしょう。Personalで$79なので、効果を考えるとお安いですよ!

# 誰かさんが呟いてましたが、Academicなら$25ですよ


デバッガの強化

OzCodeはVisual Studioのデバッガ機能を強化する拡張機能です。特徴的でわかりやすく機能を絞っているので、R#とはまた違う位置づけで良い製品だと思います。

Head-up displayとMagic Glance

Head-up displayは、メソッドの引数や式の評価内容を、いちいちWatchしなくてもインプレースで可視化します。

CodeLensと同じでエディタ上に場所をとるので、最初は慣れが必要かもしれません(しばらくしたら慣れました)。個人的にはプレビューウインドウがモードレスであることと、検索ウインドウから部分的なシンボル名で串刺し検索が出来るのがとても良い感じです。

もうね、このビデオの通りだと思うのですよ…

magicGlanceそして、Magic Glanceは、式のどの部分が評価されて無視されるのかを、色分けで示してくれます。

そもそも副作用のある式を書いたりしないように注意して設計していれば、この事が問題になることはないと思いますが、あまり良い出来ではないサードパーティ製ライブラリなどを使用する場合は、うっかりこのような罠に掛かっている事が見ただけで判ったりするので便利です。

プレビューの強化 (Reveal)

いつも確認するプロパティとか、ファボっておけます。ファボるとプレビューの上位に出てくるので、いちいちスクロールする必要がないのです。

オブジェクトの比較

比較が成立するには条件がありそうです(確認していませんが、パブリックフィールド・メンバじゃないとダメかな)が、あらかじめそういう設計にしておけば、無双感あります。

Exception Trail

例外ビュアーの強化・構造化された例外(InnerException)をマルチペーンビューで簡単に追跡できます。

InnerExceptionを横に並べてくれるので、映像にあるようにいちいちツリーを展開するメンドクササが軽減されます。また、まだあまり例外クラスについての知識がない場合は、その場でGoogleなどから検索できるのもイイんじゃないでしょうか?

まとめ

ほかにも小粒で便利な機能が: この辺を見てもらったほうが早いかも。

まだ日本語化されていませんが、日本語である必要性はほとんど無い(「魅せる」タイプのアプリですね)ので問題ないと感じました。敢えてネタを挙げるとすると:

  • LINQ (IEnumerable<T>)の演算子間を流れるTの観測をしたい。かなり無茶を言ってる事は分かってるんですが、いちいちToListしたりとか、もし回避出来るならかなりいい感じかなと思いました。
  • C#のみサポート。個人的にはぜひF#もサポートしてほしい… F#にはFSharp.Compiler.Serviceがありますよー? :)

今後の機能拡張が楽しみです。

なお、彼らは日本市場にも興味を持っているようですよー アンケート投下しておいたので話題に上れば何かあるかも #あるとは言ってない


ほかのVisual Studio拡張機能については、以下の記事もどうぞ:
Visual Studio 2012/2013 の拡張機能を紹介 (1)
Visual Studio 2012/2013 の拡張機能を紹介 (2)

継続飛行 (1) – 原点

数回に分けて、継続についてのもろもろを、時系列にそって書きます。

そもそも「継続」という学問があるようなのですが、私はここ最近に至るまでそんな学問があるとも知らずに継続を扱ってきたこともあって、きっと厳密性は全く無いと思います。ただ、経験から得られた知識であれど、実際に動作させたという知見があるので、もしそういった方からのアプローチが役に立つのであればそれはそれでいいんじゃないかという妄想によりますので、控えめによろしくお願いします (;´Д`)

※そこんとこは「継続」で言うところの何某だよ、みたいなコメントがあると嬉しいです

ちなみに、近日「継続勉強会」があるようです。うぅ、東京うらやましい…


原点

2000年よりも昔、まだインターネットが大学でしか使えなかったころ、巷ではシリアル通信によるパソコン通信なるものがコミュニケーションの主流でした。そのころに私は某BBSシステムを改良したシステムをフリーソフトウェア(この頃は定義さえ怪しい)として公開して配布していました。

驚いたことに、これはいまだにベクターで公開されており、ソースコードも公開していたので、今回のネタの原点から振り返ってみることが可能でした(肝心のコードはあまりに古く、色々アレなので、ポインタについては勘弁してくださいw)。

コードはTurbo PASCALで書かれており、一部がアセンブラ(x86)です。プラットフォームはMS-DOSであり、RS-232C(シリアル)のドライバも一から書かなければならない頃です。そのBBSシステムは、多チャンネルに対応していたため、複数の電話回線から複数のモデムを通じてのセッションを同時に裁く必要があります。UNIXでいえば、物理的なシリアル何回線かに対して、シリアルコンソールでgettyに接続する感じでしょうか。

現代的なコードであれば、スレッドを使って個々の接続を個別のスレッドで処理するような感じです。しかし相手はMS-DOS、もちろんスレッドなんてありませんし、プロセスは分離されず子プロセスのみでコンカレント動作はありません。MS-DOSを知らない方には想像つかないかもしれませんが…

となると、多チャンネルの操作は、ステートマシンの手動実装、つまり「ステート値」とその値に依存する「巨大なswitch-case」のような実装、そして細切れにされた各ステートの処理の乱立、という、酷すぎて保守したくないコードのようなものにならざるを得ません。

しかし、このシステムには画期的な、ある小さなコードの断片がありました。

code	segment byte public
	assume cs:code, ds:data

public	transfer

trans_stack	struc	; arguments of transfer.
tr_bp	dw	?
return	dd	?
proc2	dd	?
proc1	dd	?
trans_stack	ends

transfer proc far
	push	bp
	mov	bp, sp
	les	di, [bp].proc1
	mov	es:[di], sp	;現在のスタックポインタをproc1が示すtrans_stackに保存
	mov	es:[di+2],ss	
	cli
	mov	sp, word ptr [bp].proc2	; proc2が示すtrans_stackのポインタをスタックポインタに設定
	mov	ss, word ptr [bp].proc2+2
	sti
	pop	bp
	ret	8
transfer endp

code	ends
	end

このコードはx86のアセンブラで、「transfer」と呼ばれるメソッドが定義されています。引数に指定されている「trans_stack」構造体へのポインタを使って、現在のスタックポインタを「無理やり別のスタック位置に入れ替える」操作を行います。

初めてこのコードを見たときは「衝撃」でした(今でもよく覚えている。いまだにこの方面のことに興味があるのは、これのせいかもしれない)。

何しろ動作中にスタックポインタを書き換えるのです。しかもこのコードでは、proc2がどこからやってくるのかがよくわからないため、スタックポインタがどのような値になるのか想像もつきません。更にスタックポインタを書き換えた状態で、「pop」とか「ret」を実行しているのです。一体なにがpopされるのか、その後retでどこに戻るというのか… 頭がパニックになります。

「機械語」 – 先日のILのキホンでも言ったんですが、このような低レベルのコードは、「書いたとおりに動作する」のです。ILの場合は明らかに不正なコード片はCLRが止めてしまいますが、機械語の場合はほぼ書いたとおりに実行されます。

スタックポインタがどこを指しているのかわかりませんが、その「どこか」から値をpopし、更に値を取得してそこに処理が遷移する(ret)のです。特にretは、その動作から、以下のようなジャンプ命令のように振る舞います。

	; @tempというレジスタがあったと仮定して:
	pop	@temp
	jmp	@temp

つまり、あらかじめ「新しいスタックポインタ」が示すメモリ領域に、bpに復元すべき値とジャンプ先のアドレスを書き込んでおき、そこを指すようにtrans_stack構造体を初期化しておいてtransferを呼び出せば、見事ジャンプ先に遷移することになります。

で、こんなめんどくさくてわかりにくい事を何故行うのかというと、一度遷移に成功すれば、再びtransferを呼び出すことで、「以前使っていたスタックポインタの位置から処理を継続できる」からです。

transferは「call命令」で呼び出されることを前提にしています。つまり、transferに遷移してきたとき、すでに戻るべき処理位置へのポインタはスタックに積まれており、これが次回のtransferからretするときに復元されます。元コードはTurbo PASCALで書かれていましたが、Cで書くと以下のような疑似的なコードとなります。

// 疑似コードです。動きません
extern void transfer(trans_stack* fromtr, trans_stack* totr);

static trans_stack main_tr;
static trans_stack sub_tr;

// subのtransfer-processエントリポイント
static void sub()
{
  auto i = 1000;
  while (1)
  {
    printf("sub(): %d\n", i++);

    // subからmainに転送
    transfer(&sub_tr, &main_tr);
  }
}

// main(のtransfer-process)
void main()
{
  // bpの初期値は0で良い
  sub_tr.tr_bp = 0;
  // transfer-processの初期位置はsub関数の先頭
  sub_tr.return = &sub;
  // subのためのスタックを確保
  sub_tr.proc2 = malloc(0x1000);

  for (auto i = 0; i < 10000; i++)
  {
    printf("main(): %d\n", i);

    // mainからsubに転送
    transfer(&main_tr, &sub_tr);
  }
}

よーく見てください。このコードを実行すると、mainのprintfとsubのprintfを交互に実行します。そして、mainで10000回処理を行った後はプログラムが終了します。subは無限ループなので、終了しても放置されていますね。いずれにしても、このプログラムに「スレッド」はありません。環境はMS-DOSです。しかしながら、「transfer」を呼び出す必要があることを除けば、まるでスレッドが存在するかのようです。

こうすれば、各「transfer-process」の暗黙のステートは、それぞれのスタック(mainのスタックと、mallocで確保されたメモリ)に隠されており、独立性を保ち、不要なステートマシンを作る必要がなくなります。当然、各シリアル制御のコードは大幅に簡略化されるでしょう。実際、transferがなければまともなコードにはならなかったはずです。

例えば、上記のsub関数内の自動変数「i」は、mallocで確保されたスタックメモリ領域内にその値が格納されています。コードのどこにも、明示的にmallocのメモリを読み書きしている個所がありませんが、これはスタックなのです。そして自動変数はスタック内に割り当てられます。つまり、subを実行するtransfer-processは、subの実行に必要な暗黙のステートを、スタック内で管理しているのです。そして、transferを呼び出すたびに、このスタックは切り替えられます。

このような構造を「コルーチン(coroutine)」と呼びます。

もちろん、この時にはこれが「継続」と呼ばれる何かだとは、全く気が付いていませんでした。

真・ILのキホン – 第六回 Center CLR 勉強会

WP_20160319_11_10_36_Pro_LIILについての勉強会を、第六回 Center CLR 勉強会でやってきました!

前回色々進行がダメだったので仕切り直しと言う事で、最初に少し解説を加えたりしてみました。


導入

il1扱っているネタが極めて低レベルと言う事もあり、前回同様出題内容を各自で解いてみるという形式で進行しました。
その前に導入として:

  • 「System.Reflection.Emit」名前空間を覚えておくこと。
    System.Reflection.Emit.OpCodesクラスがあり、ここにILのオプコード(OpCode)が定義されているよ。
  • OpCodeとは
    CLRが理解できる中間言語(バイトコード)
  • OpCodeにはいくつか種類がある事。
  • スタック操作・スタックマシンとは:
    CLRがバイトコード由来で動作するための基礎となる構造で、JVMのような類似技術もある。リアルなCPUにはあまり採用されていない事。

を説明しました。


実践して覚える

今回も、前回と同様GitHubのテンプレートとなるコードを元に課題にチャレンジします。

果たして…今回はPart5まで到達出来ました!! Part5では、インスタンスメソッドを扱い、その後のPartでクラス内のフィールドへのアクセス等を扱う予定でしたが、時間足らず。スライドは上げておくので、残りのPartを「忘れないうちに」取り組んでみる事をお勧めします。

# 多分しばらくはILネタのセッションは無いですww


Intermediate Languageを覚えることの意義

ILの基本と言う事で2回も長時間セッションを行ったわけですが、ILを覚えたところで一体何の役に立つのか?と言う疑問を持つ方もいるかも知れません。ILをやっていて重要だなと思うポイントを2点挙げておきます。

  • 参照型と値型の明確な区別
    ChalkTalk CLR – 動的コード生成技術(式木・IL等)でもやりましたが、CLRには大別して「参照型」と「値型」という2つの型の相違があります。これらはCLR内でのメモリの扱われ方が違う上、IL上でも異なる扱われ方をされます。特に参照型の値と、値型の値と、値型が参照される場合、など、IL上でも正しく区別が必要です。これらの区別がC#やVB.netでも正しく出来ていない・苦手という人は多いと思いますが、ILでどのように扱うのかがしっかり理解できれば(しかもこれは単純な法則でもあるので、抽象的な概念などは不要で実は覚えやすい)、C#などでコードを書く場合でも、自信をもって書けるはずです。また、これが分かると、ボクシング(Boxing)・アンボクシング(Unboxing)のコストと、これらがいつ生じるのか、と言う事が正しく理解できます。暗に気が付かないうちにこれらを発生させてしまい、パフォーマンスの低下を招くという事を回避できるようになるはずです。
  • アセンブリメタデータの構造観
    普段はコンパイラが自動的によしなにやってくれる、アセンブリメタデータの構造についての直観的な理解が得られます。なぜC#の言語構造はこうなっているのか、の(すべてではありませんが)ILから見た姿が分かります。記述した型がどこでどのように使われるのか、あるいはメソッドの定義はどこからやってくるのか、ILとどのように関連付けされるのかが分かります。これが分かると、どんな場合にアセンブリを分割すべきなのか、あるいはリフレクションを使用して解決すべき課題なのかそうではないのか、と言ったことを判断できます。こういった判断は、最終的にシステム全体の構造にも影響を与える可能性があるので、システム設計を行う上では無視できない要素の一つだと思います。

学問で言えば本当に基礎的な部分に相当するので、これを習得するメリットが見えにくいのは事実ですが、覚えておいて損はないと思います。大体、ILなんて「単純」なので、難しそうで実は簡単なんですよ!(きわめて抽象度の高い概念を覚える事に比べたら、どんな人でも覚えれる可能性があります)。

Let’s IL!!

それではまた。

「.NET Core5から概観する、.NETのOSSへの取り組み」 – Nagoya ComCamp 2016 powered by MVPs

WP_20160220_10_04_02_ProNagoya ComCamp 2016 powered by MVPsが開催されました。そこで登壇してきた話です。

ComCampは、Microsoft MVPが登壇するコミュニティ主体勉強会です。MVPだけではなく、技術的な強みを持つ方も招きます。一年に一度のペースで、全国の各会場で同日に一斉に開催するので、トータルで見るとかなりの規模となってます。名古屋会場は約60名近い動員がありました。

今年の名古屋会場は「オープンソースソフトウェア」が一つのキーワードとして、様々な角度から発表がありました。私は表題の通り、「.NET Core5」のリリースが迫っていることもあり、ここから展開して、現在のマイクロソフトのOSSに対する取り組みを概観出来たら良いなと考えました。

# ちなみにComCampは初登壇でした。


「.NET Core5」じゃなくて「.NET Core 1.0」とか

タイトルとデスクリプションを決めろと言われて連絡し、公式サイトに掲載されてから3日後、いきなり「.NET Core5は.NET Core 1.0と名称変更」などと言う話が流れ、既にアカンやつやと言う流れにww

まあ、それはそれとして、今回の発表でどんな話を展開しようかと、日程的にギリギリまで考えあぐねてました。と言うのも、マイクロソフトがと言うより、OSSと言う枠組みでなぜ業界がその方向に向かうのかと言うのは非常に幅が広くて、自分が考えている事だけでも1日で話が出来ないような大きな「うねり」です。

で、あまり一般論みたいな話をしても、ComCampで私に期待される話でもない気もするし… 幸いその方面は、OSSコンソーシアムの吉田さんから丁寧に解説して頂いて、私の出る幕などない感じだったので良かったです。

今までの.NET開発とこれからの開発が、OSSというエッセンスが加わることによってどんなふうに変わるのか、そしてマイクロソフトはなぜその方面に向かっているのか。やっぱり技術方面で入口を紹介するのが良いかなと思いました。また、口でしゃべり続けてもアレなので、多分がりっちもデモで攻めてくるだろうと考え、私も全部デモみたいな流れでやってみることにしました(ちなみに、デモ主体は初めての試み)。

大きくは、以下のような構成です。詳しくはスライドを参照してください。

  • What is .NET Core? (.NET Coreって何?)
  • Disposable Infrastructure (破棄可能な環境)
  • Integrated Development Environment (統合開発環境)
  • まとめ

オリジナルスライドはこちら: NETCoreから概観するNETのOSSへの取り組み.pptx


裏話 – デモの悪魔

… やっぱり現れた、それも凶悪な奴が (;´Д`)

まず、登壇前日までデモ機材の不調に悩まされ続けました。.NET Coreがマルチプラットフォーム対応を目指している事を鮮明にしようと、UbuntuをインストールしたノートPC(非仮想マシン)を使って、スライドも含めて完全に非Windows環境でデモしようと準備していたのですが、UEFI BIOSにバグがあって64ビットUbuntuがブートしない…

# これは動いた気がしただけで、実はダメだった

デモでは.NET CoreとDockerを使うので64ビット版がどうしても必要(.NET Coreは現在はまだamd64のみサポート)で、前日まで横でトライし続けていたのですが、これ以上やってるとスライドも完成しないというギリギリ状態になり、泣く泣く断念…

それ以外にも、当日朝からOneDriveの同期が長時間やりまくり、何故か過去のフォルダ構成を再現しようと一生懸命ダウンロードしはじめる… もう危なくてスライドをOneDriveに置いておけないので、OneDriveを切断してローカルディスクにコピーしてUSBメモリにも入れて準備。

デモについては、ThinkPad X201sのHyper-Vで動かす事にしました。所が、このX201sも最近は能力不足が露呈していて、Hyper-Vで仮想マシンを動かしているとどうにも重くて辛い。LibraOfficeでスライドを披露というのも妥協するしかないかなと思っていました。

こういう状況で「とどめを刺される」というのは、何度も経験しているので嫌な予感しかしない。当日会場に入ってからも、念のためにAzure上でUbuntu VMを作り、本当の最悪はこれでデモしようと、2つ目のバックアッププランをちまちまと用意していました。

Azure VM、X201sでローカルで動かすよりも速い! 以前よりも格段にパフォーマンスが向上しているのが体感できます。しかし、Azure VMでは、Ubuntu Desktopを使い、VNC使えるようにするまで持っていかない限り、Visual Studio Codeのデモが出来ないという問題もあり、やっぱり最終手段として取っておくつもりでした。

が、奴はそれだけでは飽き足らず、X201sのHyper-Vをハングさせてボイコットの構えに (*´Д`) 勘弁してくれー (この時点で11時ぐらい)

それからスライドを一部修正したり、脳内で立ち回り方法を再構築したりなど、それはもう酷いプレッシャーぶりで。あとはリアルタイムで聞いて頂いた方ならお分かりの通りな内容でした… すいません。

# 特にVisual Studio Codeのお話は大幅にカットせざるを得ませんでした。幸い殆どの方は使ったことがあるとの事だったので、良かった。Ubuntuでも殆ど使用感は変わらないです。多分!きっと!!

でも、それなりに楽しくやれました。特にDocker周りは語ってない事も多いのですが、事前準備でも結構面白かったです。折角.NET Coreで依存性が大幅に緩和され、MacやLinuxでも動くようになるので、Dockerと組み合わせて是非遊んでみて下さい。そのための足掛かりになるような解説は行ったつもりです。

それではまた!!

NamingFormatterを作りました

NamingFormatterNamingFormatterというライブラリを作りました。このライブラリは単純で、string.Formatの代替です。使い方や狙いなどを紹介したいと思います。

ソースとNuGet

GitHub: CenterCLR.NamingFormatter
NuGet: CenterCLR.NamingFormatter

ライセンスはApache V2です。PCLのProfile1とProfile259、NET2.0、NET3.5に対応させたので、ほとんどの環境で使用可能です。
(NuGetで簡単に導入するには、VS2010以降が必要です。確認はVS2015以降で行っています)

使い方と狙い

標準のstring.Formatは、引数との突き合せに「インデックス番号」を使用します。しかし、NamingFormatterでは「任意の名前」が使えます。以下は、普通のstring.Formatの例:

var formatted = string.Format(
    "Index0:{0}, Index1:{1}",
    arg0,
    arg1);

このコードの問題は、フォーマット文字列内のインデックス番号が、単なる数値であり、コード上のarg0やarg1と直接的な関係が無い事です。C# 6において、「文字列挿入」という機能が追加されましたが、これはあくまでコンパイル時の評価です。

例えば、フォーマット文字列をユーザーが任意に指定可能となるようなシチュエーションがあると思います。ログ出力のフォーマット指定などが良い例ですが、インデックス番号で指定させると、各番号が何を示すのかが分かりにくくなります。ログ出力の例を示します:

// デフォルトのフォーマット文字列:(App.configで変更可能)
//   "Date: {2:yyyyMMdd}, UserName: {0}, Action: {1}"
var formatString = Properties.Settings.Default.LogFormat;

// フォーマットする(引数との対応付けは?)
var formatted = string.Format(
    formatString,
    userName,
    action,
    date);

上記のように、フォーマット文字列を外部入力によってカスタマイズ可能にした場合、インデックス番号の何番が何かと言う事が非常にわかりにくくなります。このような場合に、NamingFormatterを使うと、以下のようにフォーマット文字列を指定することが出来ます:

using CenterCLR;

// デフォルトのフォーマット文字列:(App.configで変更可能)
//  "Date: {date:yyyyMMdd}, UserName: {userName}, Action: {action}"
var formatString = Properties.Settings.Default.LogFormat;

// フォーマットする(NamedクラスのFormatメソッドを使う)
var formatted = Named.Format(
    formatString,
    Named.Pair("userName", userName),
    Named.Pair("action", action),
    Named.Pair("date", date));

Named.Pairメソッドは、KeyValuePair<string, object>を生成するためのユーティリティメソッドです。もちろん自分でnewしても問題ありません。オーバーロードとしては以下のものがあります。

  • params KeyValuePair<string, object>[] : つまり、上記の例で使用した可変引数対応のメソッドです。
  • IEnumerable<KeyValuePair<string, object>> : LINQの結果を渡してフォーマットさせる場合に使用します。IEqualityComparerを指定してキーの特定方法をカスタマイズする事も出来ます。
  • Dictionary<string, object> : 既に辞書として存在する場合には、これを使うことが出来ます。また、IDictionaryやIReadOnlyDictionaryを使う事も出来ます。
  • 一番基礎的なオーバーロードとして、Func<string, object>を指定するメソッドもあります。このメソッドを使うと、キー名に対応する値を完全にカスタマイズ出来ます。
  • IFormatProviderインターフェイスをフォーマットに使用出来るオーバーロードもあります。

フォーマットオプション

フォーマットオプションとは、インデックス番号の指定だけではなく、書式の形式を追加指定させることが出来る機能です。上記の例でも示しましたが:

// 日付(DateTime構造体)の書式指定を行う
var formatted = Named.Format(
    "Date: {date:yyyy/MM/dd HH:mm:ss.fff}",
    Named.Pair("date", date));

のように、string.Formatで指定する書式指定と同じように、オプションを指定することが出来ます。

あるいは:

// 数値の桁数を指定する
var formatted = Named.Format(
    "Result: {result,10}",
    Named.Pair("result", 123));

のように、桁数指定を行う事も出来ます。もちろん、これらを組み合わせ、更に複数のパラメータを同時に指定させることも可能です。

プロパティのトラバース機能

パラメータに対応するインスタンスがプリミティブ型ではなく、任意のクラスや構造体である場合、パブリックプロパティを探索させることもできます。これは丁度XAMLのバインディング式のように、ドットで区切られた式を書きます:

// DateTimeのプロパティをフォーマット文字列で探索させる
var formatted = Named.Format(
    "Millisec: {date.TimeOfDay.TotalMilliseconds}",
    Named.Pair("date", DateTime.Now));

条件としては、パブリックかつインスタンスプロパティである必要があります。ここではDateTime構造体を例として使用しましたが、もちろん独自のクラスや構造体でも使うことが出来ます。プロパティの指定に失敗している(名前が間違っているなど)場合は、空文字列としてフォーマットされます。


特にカスタマイズ要件がある場合などに、小粒ですが応用できるのではないかと思います。ライセンスもゆるくしてあるので、使ってみて下さい。何か問題があればフィードバックを貰えるとありがたいです。

Regional Scrum Gathering Tokyo 2016に参加してきました

WP_20160118_19_04_21_Pro_LI「Regional Scrum Gathering Tokyo 2016」は、ソフトウェア開発手法として知られる「スクラム(Scrum)」に興味のある方、この手法を適用している組織の方、トレーナーの方などが集まる大きなイベントです(一般の方も参加できます)。

私は認定スクラムマスターを2年ほど前に取っていますが、1年前のRSGTには参加できず、今回の参加を非常に楽しみにしていました。セッションの概要や内容はリンク先を参照してもらうとして、参加者の視点で、内容をちょっと紹介したいと思います。

セッションスケジューラーはこちら。

どのセッションも興味深く面白い内容だったのですが、去年末にCSPOを取ったことで、全体を通してちょっと見方が変わったかなという、自分自身への印象がありました。とても全部紹介できないので、勝手視点で勘弁してください。本当にどのセッションも素晴らしかったです。


「生き延びよう!強い組織になろう! – 迷わず行けよ 行けばわかるさ」(Takahiro Kaiharaさん)

スクラムマスターの役割を一人で背負いすぎて折れてしまったという点が、本当に共感できました。これはつらい。つらい、と言うだけで、物事はどんどん悪い方向に転がっていきます。アジャイルソフトウェア開発やスクラムの導入を検討している方は、一人で抱え込まずに協力してくれる人を探して「みんなでやる」と言うのが重要だと思います。

WP_20160118_14_12_25_Pro_LIスクラムによって(いや、本当はスクラムによらず)目指すことは、スクラムなどのソフトウェア開発手法を適用することではなく(それは手段)、企業がどんな価値を提供できるのかだと思っています。

それはすごく大きな問題なのですが、それを「ひとり」で実現するのは、本当につらい事です。このRGSTや他のカンファレンス・勉強会、場合によっては外部コーチの助けを借りよう。ぼっちいかん (´Д`)

まだまだ課題はあるけれども、「学習する組織へ」「組織の文化へ」と、粛々と物事を進めていくのが大切だという話で結ばれていました。

カンファレンス終わった後で少しお話しさせて頂いたのですが、物腰柔らかい方で好印象でしたが、本人は超熱い方だと自負していました。分かる気がしますw


スクラムパタン入門 / Intro to Scrum Patterns(Kiro Haradaさん)

スクラムの共有知として、パタン(パターン / Pattern Language of Programs / PLoP)を適用しよう、それを今整理中ですという話です。パタンとは何か?という話から、何故スクラムの取り組みをパタン化する必要があったのかという経緯を分かりやすく解説していました。スクラムパタンはWikiで編集中で、パタンについてのアイデアがある方は、是非参加して欲しいとの事。最低レギュレーションは「そのパタンを3回適用して成功した」だそうです。

スクラム提唱者の一人「Jeff Sutherland」は、スクラムがこの世界に広まってからもう随分と時間が経っていて、新しい考えやアイデアをもっと取り入れて整理したいと考えています。スクラム自身のカイゼンですね。良い事だと思います。

一方、私はパタン(特にデザインパターン)について懐疑的だったのですが、その理由が「コンテキスト(文脈)」をはっきりさせた状況でないとパタンは有効に機能しない、という、ある意味当たり前の事に気が付いていなかった(無意識では知っていたので、何となく避けていて、いつもパタンに対してモヤモヤしていた)。それをサラッと明らかにして貰えただけで感動でした。

WP_20160118_16_24_10_Pro_LIパタンの使い方:

  • ある状況における問題を解決できる。(状況=文脈)
  • 結果として現れる状況が、新たな問題を生むかもしれない。
  • 新たに生まれた問題には、別のパタンを使う。

この前後関係(何かしかの想定される問題・パタン適用によって何が解決され、副作用としてどんな問題が想定されそうか)というのは、スクラムガイドにも殆ど載っていないため、主に書籍やセミナー・勉強会で経験知として積むしかないかなと思ってた(+パタン懐疑)のですが、パタン化によってデベロッパの事が直接分からなくても意思疎通ができるようになるのであれば、これは良い道具になるなと思いました。もっとも、このような言語化の難しい課題なので、作業は大変困難であるようです。ダメパタン案や置き換え案は、(書いてあるメモを)たき火にくべてサヨナラしたというエピソードが良かった。


Customer Expectations Management of Scrum スクラムにおける事前期待のマネジメント(Mitsunori Sekiさん)

Sekiさんは、同じMSMVP(カテゴリ違い)で、このセッションはプロダクトオーナーよりの話です。そもそも私は自分の会社はあるもののデベロッパー寄りなので、CSPO(認定スクラムプロダクトオーナー)を受けたら、今まで考えてたつもりになってたPOや企業の事業とはどんなものかの片鱗みたいなのを味わったという経緯があります。そんなわけで、このセッションも楽しみにしていたのです。

スライドはこちら。内容は、「サービス」やそれに対する「事前期待」とは何か?そしてそれをスクラムに当てはめた場合にどうなるのか?という話です。特にいきなり「サービスサイエンス」なる言葉も初耳で、そんな分野があるのかというのが第一印象でした。事前期待の対象・持ち方・持ち主や、顧客が求める対象を定義することで、その相関の中で何に対して注力すべきで、あるいはそうではないのかが明らかになります。

この方面、しょっぱなから苦手全開である事を自覚せずにいられなかった。これは非常にまずい事が可視化された! (;´Д`)

重要なことは、サービスの成果とサービスのプロセスの組み合わせで顧客の満足性を考えた場合に、成果側は「根付きにくく」プロセス側が重要度が高いという、サービスを施された側からは当たり前なのに実は見落とされがちだと言う事(あるいは、無意識に避けているか?)でした。「価格.com」に掲載して競争する場合の例が非常に分かりやすかった。

servicequalityで、ここまでは本当の意味での事業戦略みたいな話なんですが、この流れは、スクラムチームの運営にも当てはめることが出来ますよという感じで展開。

この図に身に覚えのある人は多いと思いますがw スクラムチームのアウトプットをサービスとして考えた場合、ステークホルダーが期待している「事前期待」とマッチしていない事はありませんか?

あるいは、このような分析手法を持ち込むことで、一般的に言われている「プロジェクトマネージメント」が、当たり前品質の一部しか担っておらず、そこで努力を続けてもあまり実りはなく、チーム内で差別化品質と言う事に注目できるようになりますよ、という内容でした。

… 素晴らしい、そして課題が増えました。まだまだ遠いなー


それにしても、裏番も超強力で、全部聞けなかったのが非常に悔しい。特に聞き逃した感あったのが「金融系IT企業におけるスクラムへの挑戦(Yasumi Nakanoさん / Hiroko Shimaseさん)」。一体、金融系というどうしようもない企業文化で、どうやってそこに挑戦していったのか、ビデオでいいから見たい… 後から概要聞いてみたら、やっぱりすごかったらしいです。

Publickeyで記事になっていました。注目度高い!

運営の関係者の皆さん、スピーカー・参加者の皆さんありがとうございました。来年も1月ごろに開催される予定です。募集は10月ぐらいかな?まだ参加されていない方、是非参加してみて下さい。またお会いしましょう。

ILのキホン – 第五回Center CLR年末会

WP_20151226_14_13_25_Pro_LI「ILのキホン」と言う題目で、Center CLR年末会で登壇してきました。

Center CLRも第五回で、毎回参加の方と新しく参加の方で程よく盛り上がってうれしい感じです。ChalkTalkもそうですが、遠方からわざわざ参加して頂いた方もありがとうございます。来年も継続して行きたいと思います。

さて、今回のネタは結構前から決めていたものの、年末の忙しさの為に十分な時間が取れず、直前に方針を決めてバタバタしてしまいました。猛省…

と言う事だけではないんですが、ちょっとセッションの進行を変えてみました。


Intermediate Languageのキホン

ILの事については、第一回のChalkTalk CLRで「ChalkTalk CLR – 動的コード生成技術(式木・IL等)」と題してディスカッションを行ったのですが、今回は本会でその展開をしようと思ったのです。

briefingしかし、ただILを説明したのでは、実際にILを使う具体的なシチュエーションでも提起できない限り、右から左へ流れていってしまうだけだと考えて、ハンズオンのような形式で進行してみました。

Emitが可能なコードを一から書いていると、なかなか本題にたどり着けないため、GitHubに元ネタとなるコードを用意しておき、Emitコードから書き始めれられるようにしました。

/// <summary>
/// コードをILで動的に生成するヘルパークラスです。
/// </summary>
internal sealed class Emitter : IDisposable
{
	private readonly AssemblyBuilder assemblyBuilder_;
	private readonly ModuleBuilder moduleBuilder_;

	/// <summary>
	/// コンストラクタです。
	/// </summary>
	/// <param name="name">アセンブリ名</param>
	public Emitter(string name)
	{
		var assemblyName = new AssemblyName(name);
#if NET45
		assemblyBuilder_ = AssemblyBuilder.DefineDynamicAssembly(
			assemblyName,
			AssemblyBuilderAccess.RunAndSave);
#else
		assemblyBuilder_ = AssemblyBuilder.DefineDynamicAssembly(
			assemblyName,
			AssemblyBuilderAccess.Run);
#endif
		moduleBuilder_ = assemblyBuilder_.DefineDynamicModule(name + ".dll");
	}

	/// <summary>
	/// Disposeメソッドです。
	/// </summary>
	public void Dispose()
	{
#if NET45
		// デバッグ用に出力
		assemblyBuilder_.Save(moduleBuilder_.ScopeName);
#endif
	}

	/// <summary>
	/// 引数と戻り値を指定可能なメソッドを定義します。
	/// </summary>
	/// <typeparam name="TArgument">引数の型</typeparam>
	/// <typeparam name="TReturn">戻り値の型</typeparam>
	/// <param name="typeName">クラス名</param>
	/// <param name="methodName">メソッド名</param>
	/// <param name="emitter">Emitを実行するデリゲート</param>
	/// <returns>デリゲート</returns>
	public Func<TArgument, TReturn> EmitMethod<TArgument, TReturn>(
		string typeName,
		string methodName,
		Action<ILGenerator> emitter)
	{
		// クラス定義
		var typeAttribute = TypeAttributes.Public | TypeAttributes.Sealed | TypeAttributes.Abstract;
		var typeBuilder = moduleBuilder_.DefineType(
			typeName,
			typeAttribute,
			typeof(object));

		// メソッド定義
		var methodAttribute = MethodAttributes.Public | MethodAttributes.Static;
		var methodBuilder = typeBuilder.DefineMethod(
			methodName,
			methodAttribute,
			typeof(TReturn),
			new [] { typeof(TArgument) });

		// ILGenerator
		var ilGenerator = methodBuilder.GetILGenerator();

		emitter(ilGenerator);

		// 定義を完了して型を得る
		var typeInfo = typeBuilder.CreateTypeInfo();
		var type = typeInfo.AsType();

		// メソッドを取得する
		var bindingFlags = BindingFlags.Public | BindingFlags.Static;
		var method = type.GetMethod(methodName, bindingFlags);

		// デリゲートを生成する
		return (Func<TArgument, TReturn>)method.CreateDelegate(
			typeof(Func<TArgument, TReturn>));
	}
}

public static class Program
{
	public static void Main(string[] args)
	{
		// 動的アセンブリを生成
		using (var emitter = new Emitter("TestAssembly"))
		{
			// メソッドを動的に生成
			var func = emitter.EmitMethod<int, string>(
				"TestNamespace.TestType",
				"TestMethod",
				ilGenerator =>
				{
					ilGenerator.Emit(OpCodes.Ldstr, "Hello IL coder!");
					ilGenerator.Emit(OpCodes.Ret);
				});

			// 実行
			var result = func(123);

			// 結果
			Console.WriteLine(result);
		}
	}
}

Emitterクラスは、System.Reflection.Emitの煩雑なコードを隠ぺいするために定義しています。課題の多くはMainメソッド内のラムダブロックのEmitメソッドをいじります。

# なお、このコードはnetcore5向けでも実行可能にしてあります。

課題はPart1~Part10まで用意し、はじめに少しだけ「スタックマシン」についての解説を行いました。


Part 1: 引数の値をToStringして返すようにする

part1GitHubのコードを軽く説明して、Emit本体のコードを課題に従って書き換えてもらいました。

テンプレートのコードは、”Hello IL coder!”と言う文字列を返すだけのものですが、引数で与えられたintの値を文字列に変換して返すのが課題です。

最初なので、こんなものだろうと思っていたのですが… 実はこれ、大変な罠が…

やるべきことは、スライド通り大きく3つあります。

引数の値はどうやって入手するか

ヒントに書いておいたのですが、「OpCodesクラス」を見ると、IL命令の一覧が確認できます。

そして、スタックに値を積む(プッシュ)するのは、「Ld~」で始まる命令であることも説明しました。OpCodesの一覧を見ていると、「Ldarg_0」命令が見つかります。これを使うと、引数の最初の値をスタックに積みます。「Ldarg」や「Ldarg_S」命令でもOKです。その場合は、Emitメソッドの引数にインデックス(0ですが)を指定します。

Int32.ToStringのMethodInfoはどうやって入手するか / staticメソッドの呼び出し

メソッドを呼び出すには、「Call」命令を使います。その時、Emitする引数に、呼び出すメソッドの「メソッド情報(MethodInfo)」が必要です。これには、リフレクションを使います。

// Int32のTypeクラスのインスタンスを得る
Type int32Type = typeof(System.Int32);

// Int32.ToStringメソッドのメソッド情報を得る
MethodInfo toStringMethod = int32Type.GetMethod("ToString", Type.EmptyTypes);

ToStringのオーバーロードは複数あるので、正しいメソッド情報を選択するために、Type.EmptyTypesフィールドを使って、「引数0」のオーバーロードを選択させています(このフィールドを使わなくても、0個の配列でもOKです)。

typeofを使うことに対して、一部の方がモヤモヤしていた(チートっぽい)ようです。厳密に0からInt32のTypeを取得したことにならないのではないかとの事で、確かにその通り。typeofを使うと、C#コンパイラがコンパイル時にInt32を解決しようとします。実行時に0から取得する事も不可能ではないのですが、その話をするとまた話がずれていくので、今は諦めてもらう事に。

# Call命令を使うかどうかの更なる議論がありますが、それは後のPartで…


「動かない!」

複数のチームから「動かない!」とか、「NullReferenceExceptionがスローされる!」とか騒ぎが…

ilGenerator.Emit(OpCodes.Ldarg_0);
ilGenerator.Emit(OpCodes.Call, toStringMethod);
ilGenerator.Emit(OpCodes.Ret);

どう見ても間違っていないように見える… そこで、「ILSpy」を使って、C#で書いた等価コードを逆アセンブルした所、引数をスタックに積む際に、「Ldarga」命令を使っていました。

やられた orz

Ldarga命令は、対象の値そのものではなく、その値を示す参照(ポインタ)をスタックに積みます。これは、対象の値が「値型(ValueType)」であり、Callでそのメソッドに遷移した先ではthis参照として扱われなければならないため、Ldarg命令ではなく、Ldarga命令を使う必要があったのです。

Int32の場合は値型と言っても、なぜ参照化しなければならないのか、ピンと来ないかもしれません。以下に構造体(構造体も値型)を使った例を示します:

// 構造体
public struct Hoge
{
	public int A;
	public int B;
	public int C;

	// 計算し、結果をCに代入する
	public void Compute()
	{
		// 計算結果を代入するには、this(自分自身への参照)が必要
		this.C = this.A + this.B;
	}
}

// メソッドを呼び出して計算させる
Hoge hoge = new Hoge();
hoge.A = 1;
hoge.B = 2;
hoge.C = 123;
hoge.Compute();

// hoge.Cは、123か3か?
Console.WriteLine(hoge.C);

Computeメソッドはインスタンスメソッドなので、内部でthis参照が使えます。this参照を使った場合、そのインスタンスは、呼び出し元のhogeとなるはずです。Computeメソッドから呼び出し元が保持するインスタンスにアクセスさせるには、文字通り「参照」が必要なのです。従って、ここではLdarga命令を使って、インスタンスへの参照を渡す必要があります。勿論、対象が参照型(クラス)であれば、Ldarg命令で問題ありません。

# NullReferenceExceptionがスローされたのは、本当に偶然のようで、真の原因は分かりません。


全然足りない!!

そんなわけで、このPart1を30分ぐらいでやるつもりだったのが、これだけで時間使い切ってしまいました。値型と参照型の違いは、実際にはPart6ぐらいでやってもらう予定だったのが、こんな所でやる事になったのが敗因…

時間を延長して続けるかどうかという話もあったのですが、他セッションもあったため、次回に持ち越しとなりました。次回に同じ題目で再チャレンジします。ごめんなさい。スライドはその時まで正式公開はしません。次回も同様に参加する場合は、Part1の内容の復習をしておいてくだしあ。


詰め込みすぎは良くない

年末は… ダメですね。この記事も31日に書いてるし (;´Д`)
でも楽しかったです。来年もよろしくお願いします!

真・Roslyn for Scripting! あなたのアプリケーションにもC#スクリプトを!!

roslynこの記事は「C# Advent Calendar 2015」の18日目の記事です(遅刻しました (;´Д`))。
そして、この記事は以前に書いた「Roslyn for Scriptingで、あなたのアプリケーションにもC#スクリプトを!!」の改訂版なので、先にこちらを眺めてもらえるとスムーズに理解できると思います。


Roslyn for Scriptingの正式版が公開されました!

前記事ではまだ正式版ではありませんでしたが、とうとう正式版が公開されました。この記事では、以前のバージョンと正式版との違いについて焦点を当てたいと思います。

背景

前回の記事で紹介したNuGetのパッケージは、Visual Studio 2015リリースに向けての追い込みの時期に公開されたものです。バージョンは1.0.0-rc2なので、Visual Studio 2015に合わせて正式リリースするつもりであるように見えました。ただ、バックログを見ても色々課題が残っており、本当にあと少しで間に合うのかという不安もあったのです。

すると、何とRoslynのScripting部分はキャンセルされてしまいました!! rc3でそれらのコードはごっそり削除、NuGetの更新も途絶えてしまったのです。

私が知っている(issueにも挙げた)課題としては、以下のようなものがありました。

  • 外部から与えるグローバルインスタンスがDynamicObjectの場合でも、スクリプト環境はそれを認識できない。
  • メソッドの即時実行を行った場合に、非同期メソッドであった場合は、グローバルなクロージャが非同期コンテキストを認識できない。
  • スクリプティング環境では、Roslyn自体は内包されていてアクセス出来ない。IntelliSenseみたいな事をしたくても出来ない

# グロサミで私の写真がちらっと出た時はびっくりしました。ちょっと嬉しかった

これらがどのように解決されたのかも検証したいと思います。


インターフェイスの変更

正式版のバージョンは1.1.1です。これは、Visual Studio 2015 Update1とともにリリースされました。ただし、RoslynやScriptingのNuGetパッケージは独立しているので、VSのバージョンと関係なく個別に使用することができます。出来るのですが… 実際には.NET Framework 4.6以上が必要です。NuGetのパッケージのターゲットフレームワークが「dotnet」となっており、いわゆる「netcore5」に対応するのですが、従来の環境では4.6以上が必要になります。

実現内容を考えると、もっと古いターゲットでも動作させられる可能性はあると思うのですが、netcore5から導入されたライブラリのNuGet細分化を前提としているため、移植は別の意味で面倒かもしれません。

パッケージ名は「Microsoft.CodeAnalysis.CSharp.Scripting」です。NuGetでサクッとインストールしましょう。

PM> Install-Package Microsoft.CodeAnalysis.CSharp.Scripting

さて、正式版で変更を受けたポイントは2つあります。

  • 時間のかかる処理は、すべて非同期(Task)ベースとなりました。
  • デフォルトオプションは完全に「空」になりました。

時間のかかる処理とは、Scriptingで言うならRunメソッドです。rc2ではRunメソッドを呼び出すと、スクリプトが実行されて結果が返却されました。この部分がTaskベースの非同期処理となり、名前も「RunAsync」メソッドとなりました。後方互換性は維持されていないため、正式版を使用する場合は修正が必要です。とは言っても、難しいことは無いでしょう。

// 指定されたスクリプトを非同期で実行する
public static async Task ExecuteScriptAsync()
{
	Trace.WriteLine("Start script...");
	
	var script = CSharpScript.Create("Console.WriteLine(\"Hello C# scripting!\");");
	await script.RunAsync();

	Trace.Write("Finished script");
}

上の例のように、RunAsyncメソッドをawaitで待機します。あるいは、戻り値のTaskを使ってゴニョゴニョすればOKです。合理的な変更だと思います。また、Createメソッドはジェネリックバージョンもあり、RunAsyncの戻り値を型指定で伝搬させ、スクリプトの式評価の結果をタイプセーフに得る事もできます。この辺りも「こうなればいいのに」と思っていたことが実現されていて好感が持てます。

consolenotfoundさて、実は上のコードは動作しません。RunAsync呼び出し時に例外が発生します。

例外の内容を見ると、「Console」が見つからないと出力されています。rc2では、デフォルトのインポート節(C#で言うところのusing句)として「System」が含まれていたのですが、正式版ではこれが削除されて、何もインポートされていない状態となっています。そのため、自分でインポートを追加する必要があります(または、スクリプトコードにusing句を追加するか、完全限定名でクラスを指定します)。

修正したコードは以下の通りです。

// 指定されたスクリプトを非同期で実行する
public static async Task ExecuteScriptAsync()
{
	Trace.WriteLine("Start script...");
	
	var script = CSharpScript.Create("Console.WriteLine(\"Hello C# scripting!\");").
		WithOptions(ScriptOptions.Default.
			WithImports("System").
			WithReferences(typeof(object).Assembly));
	await script.RunAsync();

	Trace.Write("Finished script");
}

WithOptionsメソッドで、スクリプトにオプションを指定できます。前回の記事ではインポート(名前空間)と参照を加えていましたが、ここの扱いは今回も変わっていません。明示的に”System”を追加してあります。参照も追加してありますが、mscorlibの範疇の型は追加しなくても認識出来るようです。


グローバルコードの扱い

グローバルコードの解釈が練られ直されたようです。

前回紹介したように、スクリプティング環境では、単なる

// 以下はスクリプト:
// いきなりvar
var hoge = 123;

// いきなりメソッド呼び出し
Console.WriteLine("ABC");

のように、名前空間の指定もクラスや構造体もメソッドの定義もない所からの実行可能な式や文を許容します(許容する仕様です)。これが満たされないと、スクリプティングの逐次実行(要するにインタプリタのように使う)が出来ないので、魅力半減です。

このような文は、内部でコード生成された時点で、不透明な外郭クロージャクラスとクロージャメソッドが作られ、その中で文を実行する事になります。

所で、次のようなスクリプトを考えてみます。

// 以下はスクリプト:
using (var httpClient = new HttpClient())
{
	return await httpClient.GetStringAsync("http://www.bing.com/");
}

このコードの戻り値はTask<string>となります。コード中でawaitを使っているからなのですが、これも通常のコードとしてコンパイルする場合は、メソッドシグネチャに「async」と書かないとコンパイルエラーになります。同じRoslynを使ってパースしているのですが、グローバルコードではasyncを書かなくても(書けないが)、awaitを認識して、Taskクラスのインスタンスとして返却するのです。

この仕様はかなり奇妙ですが、コードを書かれるまでは、それが同期的なのか非同期的なのかが分からないので、仕方ないと割り切った感があります(これを許すなら、互換性のためのasync句とは何だったのかという気もしなくもない)。

クロージャーとなる実装がどのようなものかを、簡単に眺めてみます。

public static async Task ExecuteScriptAsync()
{
	Trace.WriteLine("Start script...");

	var script = CSharpScript.Create(
@"var sf = new StackFrame();
var method = sf.GetMethod();
var type = method.DeclaringType;
Console.WriteLine(""{0} - {1}"", type.FullName, method.Name);
").
		WithOptions(ScriptOptions.Default.
			WithImports(
				"System",
				"System.Diagnostics",
				"System.Reflection").
			WithReferences(typeof(object).Assembly));

	await script.RunAsync();
	Trace.Write("Finished script");
}

この結果、コンソールにはこのように表示されました:

Submission#0+<<Initialize>>d__0 - MoveNext

興味深い事です。クロージャーの実装は、”Submission#0″クラスのインナークラス”<>d__0″に作られた”MoveNext”メソッドのようです。これは、C#コンパイラがAwaitableなステートマシンを作るときの形に似ているので、おそらくそのまま再現されているのでしょう。そして、仮にスクリプトブロック内にawaitを使わなかったとしても、初めからasync-awaitが有効なコードブロックとして評価している事が分かります。

しかし、問題はそれだけではありません。「遅延実行」が絡む場合は、いつ実際に評価を行うのかが難しいのです。前回の説明で逐次処理を行う方法を説明しましたが、2つのawaitが分割されて処理されたらどうなるのでしょうか?

// 以下はスクリプト:
// 最初の処理単位(わざとusingを使わない)
var httpClient = new HttpClient();
await httpClient.GetStringAsync("http://www.bing.com/");

// (逐次処理評価で分断)

// 2回目の継続処理単位
await httpClient.GetStringAsync("http://www.google.com/");

なまじ、async-awaitがクロージャーに内包されて実行されている事を知っていると、このコード片がどのように実行されるのかに迷いが生じます。つまり、最初と2回目の継続処理は、単一のクロージャーにまとめられる必要があるのではないかと。しかし、「スクリプトである」と考えれば明確で、逐次処理単位毎に実行されます(つまり書いた通りの感じで逐次実行される)。

逐次処理の検証をしてみます。ScriptStateのAPIも整理されました。RunAsyncの結果がScriptStateなので、このクラスのContinueWithAsyncメソッドを使うと簡単に書けます:

public static async Task ExecuteScriptAsync3()
{
	Trace.WriteLine("Start script...");

	var script1 = CSharpScript.Create(
@"var httpClient = new HttpClient();
await httpClient.GetStringAsync(""http://www.bing.com/"");
").
		WithOptions(ScriptOptions.Default.
			WithImports(
				"System",
				"System.Net.Http").
			WithReferences(
				typeof(object).Assembly,
				typeof(HttpClient).Assembly));

	var scriptState1 = await script1.RunAsync();

	var scriptState2 = await scriptState1.ContinueWithAsync(
@"await httpClient.GetStringAsync(""http://www.google.com/"");
");

	Trace.Write("Finished script");
}

これで、最初のRunAsyncでBingが、次のContinueWithAsyncでGoogleが参照されます。しかし、結果は返されません。「return」句を入れると、スクリプトとしてのコードの性質がはっきりします。

public static async Task ExecuteScriptAsync3()
{
	Trace.WriteLine("Start script...");

	// GetStringAsyncをawait後にreturnする
	var script1 = CSharpScript.Create(
@"var httpClient = new HttpClient();
return await httpClient.GetStringAsync(""http://www.bing.com/"");
").
		WithOptions(ScriptOptions.Default.
			WithImports(
				"System",
				"System.Net.Http").
			WithReferences(
				typeof(object).Assembly,
				typeof(HttpClient).Assembly));

	// 戻り値を得る
	var scriptState1 = await script1.RunAsync();
	var result1 = scriptState1.ReturnValue;

	// GetStringAsyncをawait後にreturnする
	var scriptState2 = await scriptState1.ContinueWithAsync(
@"return await httpClient.GetStringAsync(""http://www.google.com/"");
");
	var result2 = scriptState2.ReturnValue;

	Trace.Write("Finished script");
}

結局、逐次処理の単位毎に、式の結果として評価された値が返される事が分かります。同時に、逐次処理させても、内部のクロージャーは包含された大きなメソッドを作るわけではなく分割され、しかし定義された変数は引き続き使えるようにしているのです。

このような挙動を見ていると、同じC#でRoslynでありながら、直観的なコードはかなり感じが違うなと思いました。勿論、メソッドやクラスを定義する事は可能なので、そこまでやればコンパイル前提のC#のコードと変わりませんが…


DynamicObjectの扱い

ホスト環境との通信として、グローバルにアクセス可能なインスタンスを用意して提供すると、スクリプトからアクセス出来る、という機能がありました。新しいバージョンでも引き続きサポートされていますが、その時こんなことを考えました:

// ホストオブジェクトクラス
public sealed class HostObject
{
	public HostObject()
	{
		this.Target = new ExpandoObject();
		this.Target.Id = 123;
		this.Target.Name = "ABC";
	}

	// ExpandoObjectを使ってダイナミックアクセスを指定するホスト環境のプロパティ
	public dynamic Target
	{
		get;
		private set;
	}
}

public static async Task ExecuteScriptAsync()
{
	Trace.WriteLine("Start script...");

	// HostObject.Targetにアクセスする
	var script1 = CSharpScript.Create(
@"Console.WriteLine(""Id={0}, Name={1}"", Target.Id, Target.Name);
",
		ScriptOptions.Default.
		WithImports(
			"System",
			"System.Diagnostics").
		WithReferences(
			typeof(object).Assembly,
			typeof(Microsoft.CSharp.RuntimeBinder.Binder).Assembly),
		typeof(HostObject));	// ホストオブジェクトの型を指定

	// ホストオブジェクト
	var hostObject = new HostObject();

	await script1.RunAsync(hostObject);

	Trace.Write("Finished script");
}

dynamicidnotfoundRunメソッドからRunAsyncメソッドに変わりましたが、引数にホストオブジェクトを渡すことが可能な点は変わっていません。但し、ホストオブジェクトの型を明示的に指定する必要があります。おそらく、C#スクリプトから見て、「静的」には何の型に見えるのかを明示する必要があるのでしょう。CSharpScript.Createに引数で指定します(例ではオプションの指定も引数に寄せてあります)。

また、Microsoft.CSharp.RuntimeBinder.Binderクラスのアセンブリを参照していますが、これは”Microsoft.CSharp”アセンブリを使うためで、要するにDLR対応です(dynamicキーワードを使う場合に必要)。

rc2では上記のコードを書いた場合、IdとNameプロパティには「アクセス出来ません」でした。issueに上げたのですが、どうやら今回も対応しなかったようです。これが出来ると、ホスト側のアクセス可能な要素を動的に定義できると思ったんですけどね。結構根が深そうです。


AST(抽象構文木)の参照

Roslyn for Scriptingは、当然内部でRoslynを使用しているので、スクリプトのパース結果はRoslynの抽象構文木で表現されているはずです。rc2では一体それがどこからアクセス可能なのか良くわかりませんでしたが、1.1.1ではScriptクラスのGetCompilationメソッドからアクセス出来ます。

public static async Task ExecuteScriptAsync()
{
	Trace.WriteLine("Start script...");

	var script1 = CSharpScript.Create(
@"var target = new
{
	Id = 123,
	Name = ""ABC""
};
Console.WriteLine(""Id={0}, Name={1}"", target.Id, target.Name);
").
		WithOptions(
			ScriptOptions.Default.
			WithImports(
				"System",
				"System.Diagnostics").
			WithReferences(
				typeof(object).Assembly);

	var compilation = script1.GetCompilation();
	var tree = compilation.SyntaxTrees.ElementAt(0);
	var compilationUnitSyntax = (CompilationUnitSyntax)tree.GetRoot();
	var members = compilationUnitSyntax.Members.Select(member => member.GetText().ToString());
	
	Console.WriteLine(string.Join(Environment.NewLine, members));

	Trace.Write("Finished script");
}

ToStringして表示しているだけなので何の捻りもありませんが、パース結果をロジック的に探索出来ます。これを使ってIntelliSenseのような表示の仕掛けも可能でしょう。


各種リゾルバー

スクリプトのコンソールインターフェイスが存在する場合は、ソースコードの参照先パスや、アセンブリの参照先パスを指定して、動的に読み込みをサポートしたくなるかもしれません。これらは通常はScriptOptions.WithFilePathやWithReferencesを使用して指定しますが、スクリプト環境内からの参照解決要求に応答するように実装する事も出来ます。

ScriptOptions.SourceResolverやMetadataResolverがそれに該当し、リゾルバー基底クラスを継承して、独自の参照解決を実装して指定する事が出来ます。

リゾルバーがいつ呼び出されるのか、ですが、Roslyn for Scriptingでは、「REPL」と呼ばれる帯域外コマンドが正式に決定されました。例えば、以下のように「#r」コマンドを使うと、スクリプト内で環境にアセンブリをロードすることが出来ます。

public static async Task ExecuteScriptAsync()
{
	Trace.WriteLine("Start script...");

	// スクリプト内で System.Net.Http アセンブリをロードして使う
	var script1 = CSharpScript.Create(
@"#r ""System.Net.Http""
var httpClient = new System.Net.Http.HttpClient();
return await httpClient.GetStringAsync(""http://www.bing.com/"");
").
		WithOptions(
			ScriptOptions.Default.
			WithImports(
				"System").
			WithReferences(
				typeof(object).Assembly));

	var scriptState = await script1.RunAsync();

	Trace.Write("Finished script");
}

この時、ScriptOptions.MetadataResolverには、RuntimeMetadataReferenceResolverがデフォルトで設定されており、このリゾルバーが標準的な.NETのアセンブリロード処理を行う(この場合は、System.Net.Http.dllをGACから読み取る)ので、#rコマンドが成立するのです。


まとめ

前回と今回の記事で、Roslyn for Scriptingの足掛かりは出来たかなと思います。Roslyn、特にASTの辺りはスクリプティングとは関係なく、これまた膨大なトピックが詰まっていると思います。Roslynで言うならば、上はこのスクリプティングやコンパイラインターフェイス、下はVisual Studio 2015の「アナライザー」が、Roslynへの入り口となると思います。

OSS化され、引き続き改良が進むと思われるため、当分の間はこのインフラが使用される事でしょう。参考になれば幸いです。

それでは。

ChalkTalk CLR – COMのすべて

WP_20151219_11_31_11_Pro_LI本日は「ChalkTalk CLR – COMのすべて」と題して、COM(Component Object Model)についてのディスカッションを行ってきました。

参加された方はCOM方面に強い方が半数近くいて(MVP4人、元MVP2人、中には現役で開発やってるという人も)、とにかくこれ以上ないぐらい強力なメンバーで、濃い議論が交わされました。多分、もうこういう企画は無いかな感全開 (;´Д`) 遠方からの参加もありがとうございます。 ChalkTalkバンジャーイ

この記事では、内容を「要約」して記載します。図については内容を考えて起こしなおしました。

前回と同じく、Maker Lab NAGOYAさんのスペースをお借りしました。ありがとうございました。


事前の洗い出し

WP_20151219_18_18_54_Proまず、各参加者のCOMに対してのスキルセットを「バリバリ解説OK」~「COMって何」のレベルで、かつ自分がCOMに対して抱えている課題、という切り口で、いつも通り付箋に5分で書いてもらって張り出しました。

写真は横に集約した後の状態なので分かりにくいですが、上から「COMって何」~「バリバリ解説OK」の順で並べてあります。要約すると:

  • COMの概念的なものへの疑問
  • COMとWinRTとの関係
  • COMの将来展望
  • COMの実践的な実装方法
  • スレッドアパートメントとは何か
  • マーシャリングとは何か

という内容が全体的に知りたいとことと認識できたので、順に掘り下げていきました。


COMの概念的なものへの疑問

そもそもCOMとは何で、何のための技術?技法?なのか? という基本的な疑問です。ディスカッションでは、Essential COM第一章や、Inside OLEでのIUnknownインターフェイスの実装例の話から:

  • 処理系の問題1: リンカー(C言語の)のリンケージの問題
  • 処理系の問題2: メソッドの呼び出し規約の問題
  • コンポーネントインスタンスの生存期間の問題
  • インターフェイス型の認識の問題

と言う問題の解決に集約されるという意見交換がなされました。

処理系の問題

処理系の問題とは、C/C++コンパイラ・リンカーが、それぞれの製品(例:VC++、gcc、BC++など)で、シンボル名の内部的な命名規約が独自仕様である事と、メソッドのエントリポイントが特定されたとしても、その呼び出し規約が異なる事がある、と言う事です。

処理系によってシンボル名が異なる(特にC++において)問題は、シンボル名に引数の型情報を含ませることから発生します。このシンボル名の操作の事を「マングリング(Mangling)」と呼び、その仕様は処理系によって異なります。また、同じ処理系でもバージョンによっても異なる可能性があります。

dependencywalker1(.NETではなく)Win32レベルでのDLLのエクスポートシンボルを調べるツールとして「Dependency Walker」と言うツールがあります。これを使ってEXEやDLLを調べると、エクスポートシンボルの名前が分かります。

このスクリーンショットでは「KERNEL32.DLL」のエクスポートシンボルを見ています。赤枠に表示されていますが、普通にWin32 APIのシンボル名が見えます。シンボル名が普通に見える関数は、呼び出し規約が「stdcall」である事を示しています。

dependencywalker2対比する形で、「MSVCRT.DLL」を見てみます。赤枠を見ると、「exception」とか「badcast」とか読み取れる単語もありますが、何やらわけのわからない記号が沢山見えます。これがマングリングされた状態のシンボル名で、VC++のシンボル名規約に従って変換された結果です。

dependencywalker3そういえば、実際のところこれがC++のどんなシンボルに相当するのかを実演しなかったのを思い出しました。これが、デマングリングした結果です(メニューから「Undecorate C++ symbol」を選択すると表示されます。見比べてみると面白いと思います)。

このような、C言語で言うところの関数名だけでは表現できない、C++のオーバーロードやクラスメンバ関数、const関数などを、シンボル名だけで識別可能にするために、マングリング操作が行われます。そしてこのマングリング操作が、処理系依存(かつバージョン依存)なのです。

したがって、例えばVC++ 6.0で普通に作ったDLLとVBで作ったDLLを直接静的にリンクすることは出来ません。他の処理系についても同様です。COMは、これらの処理系依存シンボルを使わず、COMのランタイムが提供する情報だけでクラスのファクトリを特定し、メンバ関数の位置はvtableと呼ばれる関数ポインタのテーブルの並びの整合性を担保することで、この問題を回避します。

# vtableの話はディスカッションでやらなかったですね。vtableはC++のvtableそのままで、仮想関数へのポインタのテーブルです。

どうやってクラスを特定するのかは、レジストリのHKEY_CLASSES_ROOT配下の情報を使います。ATLでプロジェクトを新規に生成すると、プロジェクト内に*.rgsのようなファイルが配置されます。これはコンポーネントレジストラスクリプトと呼び、要するにregsvr32された時にレジストリのどこにどんな値を書き込むのかを表し、このスクリプトでCOMのクラス(coclass)が特定できるようにします。

# 特定には、COMコンポーネントの実装が、どこのパスにあるDLL内にあり、どのクラス(CLSID –> GUID)なのかという情報を含みます。

もう一つの問題がメソッドの呼び出し規約で、これはWikipediaにあるように複数の規約があり、VC++では各関数単位でこれを指定して実装できるのですが、COMでは例外なく「stdcall」を使います。

生存期間

生存期間とは、COMのクラスのインスタンスが、いつまで生き続けるのかと言う問題です。.NETのインスタンスは、誰からも参照されなくなり、GCが回収する(場合によってはファイナライザーが呼び出され)と死んだ事になるのですが、C言語のようなアンマネージな世界では、「malloc」や「new」によってインスタンスが(ヒープに)生成され、「free」や「delete」によってメモリから取り除かれます。

// 確保する
auto p = static_cast<int*>(malloc(123 * sizeof(int)));

// 使う...

// 解放する
free(p);

このような簡単な例であれば、確保して解放するというサイクルから、解放のタイミングの時点で正しく解放されることが分かります。しかし:

static const int* pUseLate = nullptr;

static void ComputeStep1(const int* pTarget)
{
	// 後で使いたいので保存
	pUseLate = pTarget;
}

static void ComputeStep2()
{
	// (pUseLateを使って何かやる)
}

// 確保する
auto p = static_cast<int*>(malloc(123 * sizeof(int)));

// 使う...

// 処理その1
ComputeStep1(p);

// 処理が終わったので解放する
free(p);

// 処理その2
ComputeStep2();

このような処理があった場合、ComputeStep2の内部実装では、既にpが解放されていることを知る由はありません。このサンプルコードは非常に短く、メインの処理とComputeStepの実装が並べて書いてあるので「こんなのダメに決まってるじゃん!」と分かりますが、ComputeStepの実装は「別のだれか」がやるとしたらどうでしょうか? あるいは、既にComputeStepは別の誰かが実装済みであり、これからメインの処理を書く場合、ComputeStep2の実行前にpを解放してはならない事はどうやって分かるのでしょうか?

このような、インスタンスの生存期間の問題を解決する方法として、COMではクラス実装側に参照カウンタを持ち、このカウンタ値を監視することで不要になったかどうかを判定します。

生存期間のカウンタは、IUnknownインターフェイスAddRefによってカウントアップされ、Releaseによってカウントダウンされます。カウンタの初期値は1で、AddRefのたびにインクリメントされ、Releaseが呼び出されるとデクリメントされます。カウンタが0になると、自己消滅するように実装します。

使用する側は、ポインタをコピーするときにはAddRef、使い終わったらReleaseするという規約を守る事により、生存期間が正しく管理されるようになります。

インターフェイス型の認識

インターフェイス型の認識の問題もあります。C++上でインターフェイスを示すポインタをキャストして、目的のインターフェイスへのポインタを取得しようとしたとします。

// CoCreateInstanceなどで取得したインターフェイスポインタ
IUnknown* pUnknown = ...;

// 目的のインターフェイスポインタを得るためにキャスト
ICalc* pCalc = static_cast<ICalc*>(pUnknown);

このキャストが正しく解釈されるかどうかは、処理系に依存します。IUnknownをICalcにするにはダウンキャストが必要ですが、C++の世界ではコンパイラがその判断を行えるものの、COMの世界ではインターフェイスの情報しか存在しないため、正しくキャストできる保証がありません。そのため、キャストと言う処理自体も、IUnknown.QueryInterfaceメソッド呼び出しで解決します。

// CoCreateInstanceなどで取得したインターフェイスポインタ
IUnknown* pUnknown = ...;

// 目的のインターフェイスポインタを得るためにキャスト
ICalc* pCalc = nullptr;
pUnknown->QueryInterface(IID_ICalc, reinterpret_cast<void**>(&pCalc));

第一引数はインターフェイスID(GUID)で、これが必要なのはCOMの世界は.NETとは異なりリフレクションが存在しないので、インターフェイス型を一意に識別するIDが必要だからです。勿論、この場合のIID_ICalcは、ICalcインターフェイスのIDである前提です。

QueryInterfaceメソッド内でキャストを実装することにより、処理系の範囲内で正しくキャストが行えます。返されるポインタはキャスト後のポインタであるため、呼び出し元は処理系に依存することなくキャスト出来たことになります。

このようなメソッドを提供することで、処理系に(C++固有の)型を認識させる必要をなくし、互換性を維持します。

COMの概念への展開

結局、IUnknownの実装を通じて、どうやって処理系に依存しないでバイナリ互換性を維持するのかという事が、COMの中心にある概念であることを確認しました。COMのIUnknownとその実装はこんな感じだ!というのを、C#ライブコーディングで疑似実装して、参照カウンタの動きや、QueryInterfaceによるキャストの挙動を示して、内容の共有をしました。

# 以下のコードは、クラスファクトリも含めて穴埋めしたコードです。

// (あくまで概念コードです。これは正式なCOMのコードではありません)
public interface IUnknown
{
	T QueryInterface<T>() where T : IUnknown;
	int AddRef();
	int Release();
}

public interface ICalc : IUnknown
{
	int Add(int a, int b);
}

// クラスは直接公開されない
internal sealed class CalcImpl : IUnknown, ICalc
{
	private int count_ = 1;

	public int AddRef()
	{
		return Interlocked.Increment(ref count_);
	}

	public int Release()
	{
		var current = Interlocked.Decrement(ref count_);
		if (count == 0)
		{
			// インスタンスの破棄処理
			// Disposeに近いが、メモリストレージも削除される。
			// 破棄処理を隠蔽することで、処理系依存を排除。
		}
	}

	public T QueryInterface<T>() where T : IUnknown
	{
		// CやC++にはリフレクションは無いので、本当はインターフェイスID(GUID)で判定する。
		// キャスト処理を隠蔽することで、処理系依存を排除。
		if (typeof(T) == typeof(ICalc))
		{
			Interlocked.Increment(ref count_);
			return (T)(object)this;
		}
		if (typeof(T) == typeof(IUnknown))
		{
			Interlocked.Increment(ref count_);
			return (T)(object)this;
		}

		throw new NotImplementedException();
	}

	public int Add(int a, int b)
	{
		return a + b;
	}
}

public interface IClassFactory
{
	T CreateInstance<T>(Guid clsid) where T : IUnknown;
}

// クラスファクトリクラスも公開されない
internal sealed class CalcClassFactory : IClassFactory
{
	public T CreateInstance<T>(Guid clsid) where T : IUnknown
	{
		if (clsid == CLSID_Calc)
		{
			// newの実装を隠蔽することで、処理系依存を排除。
			return new CalcImpl();
		}

		throw new NotImplementedException();
	}
}

// CalcImplを外部から特定するためのGuid
public static readonly Guid CLSID_Calc = new Guid("BD4D1DDD-9C28-4432-A8DD-9CFA77E6433F");

// DLL外からはこのエントリポイントだけが見える
public static IClassFactory DllGetClassObject()
{
	return new CalcClassFactory();
}

もう既にかなりアレですが、まだまだ続きます。


COMとWinRT

discussion_allaboutcomWinRT(ストアアプリ・UWPのフレームワークとして使われるライブラリ)は、基礎がCOMで出来ていることは分かっていましたが、それ以上の理解は私の中になく、あんまり調べる意欲もなかったので、知りたかった部分です。

全てのCOMクラスはIUnknownインターフェイスを実装しますが、WinRTのクラスは、IInspectableインターフェイスも実装します。COMの世界ではITypeInfoインターフェイスをタイプライブラリ情報を公開するのに使いますが、これのWinRT版のような位置づけです。WinRTでは型情報は.NETのメタデータをそのまま使用します(winmd)。この情報との対応付けにIInspectableインターフェイスを使います。したがって、ITypeInfoのように、情報の細部までトラバース可能なメソッドセットは持っていません。

なお、COMにおいてITypeInfoインターフェイスの実装は任意ですが、WinRTのIInspectableの実装は必須です。

WinRTにおいてのもう一つの事情は、スレッドアパートメントの扱いです。WinRTでは、メインスレッドに相当するスレッドがASTAに属し、それ以外のスレッドはMTAに属するそうです。各アパートメント間の関係は、通常のCOMと同一とのこと。なるほど。

# 余談ですが、MSDNライブラリのリンク壊れてたりするよねー、直してほしいよねーみたいな話が… TechNetもぶっ壊れてるなー |д゚) チラッ

こんな話をすると、当然「アパートメントとは何か」みたいなところを避けては通れないけど、とりあえずは次の課題へ。


COMの実践的な実装方法

ようするに、どうやってCOMを書けば良いのかわからない(.NETとかVB6以外で)。

ATLでやる

ということで、一からIUnknownをCで実装するというハードは方法は時間もないのでパスし、ATL(Active Template Library)での実装方法をライブデモしました。ライブデモは私がやったのですが、ATLでバリバリ書いていたのはVisual Studio 2005の時だったので、2005を使ってデモ(こんなこともあろうかと、2005はインスコしてあるのだよ)。ATLは途中から、C#のような属性ベースの指定で楽に書けるようになったはずなのですが、結局私的には移行しなかったので分からず…

atlwizard新しいプロジェクトの追加で、「ATLプロジェクト」を追加し、「プロジェクト-追加-クラス」で、「ATLシンプルオブジェクト」を選択すると、COMをATLで実装するクラスのひな型が追加されるウィザードが表示されます。短い名前の所にクラス名を入れると、各ファイル名とか良しなに決定されます。問題は次のウィザード。

ここのスレッドモデルとアグリゲーションの選択も、結構ディープだよね、ああそれとフリースレッドマーシャラーとかも。でもこの説明をするには、やっぱりアパートメントを避けては通れないしデモが中断してしまうので、ちょっと横に置いておく事に。

これでひな型が生成されたら、あとは「クラスビュー」のCOMインターフェイスのツリーから「追加-メソッド」とか「追加-プロパティ」とかやると、メンバを追加するウィザードが表示されて、メンバ定義を簡単に追加できます。もし、手動で定義するとなると、IDLファイル・ヘッダファイル・ソースファイルを同時に修正しなければならないため、かなり面倒です。そして、追加はウィザードで簡単にできますが、修正するとなると同じように全部直さなければならないので、結構苦痛…

で、実装出来たらビルドしますが、Visual Studioが管理者権限で起動していないと、最後にエラーが出ます。これはregsvr32でDLLを登録しようとしたときに、コンポーネントレジストラスクリプトがレジストリを変更するためで、素直に再起動。

TestPropという文字列(BSTR)のプロパティを追加し:

// メンバには以下のようなフィールドを定義
private: _bstr_t temp;

STDMETHODIMP CTest::get_TestProp(BSTR* pVal)
{
	// TODO: ここに実装コードを追加してください。

	*pVal = temp.copy();
	return S_OK;
}

STDMETHODIMP CTest::put_TestProp(BSTR newVal)
{
	// TODO: ここに実装コードを追加してください。

	temp = newVal;
	return S_OK;
}

テストするコードはC#で書きました。
COM側のビルドとregsvr32が完了していれば、C#の参照設定でCOMコンポーネントが参照出来ます。

using ATLSampleLib;

class Program
{
	static void Main(string[] args)
	{
		var testClass = new TestClass();
		testClass.TestProp = "ABCX";
		Console.WriteLine(testClass.TestProp);
	}
}

これで無事、コンソールに”ABCX”が表示されました。

WinRTでは文字列をHSTRING型で扱いますが、これはリテラル文字列をいちいちメモリ確保してコピーして…というコストを削減するためだそうです。なるほど、それだとCLRの世界での文字列と同じように扱われる訳で、イメージは湧きやすい。BSTRを使うと、内部ではSysAllocString APIなどでメモリを確保したり解放したりするので、コストは高いです。

いつ解放されるのか

上記テストコードで、AddRefもReleaseも呼び出していないのは?という疑問に対し、CLRの世界にはRCW(ランタイム呼び出し可能ラッパー)があって、これがAddRefとかReleaseを呼び出しているのだ、しかし、この例では使用後にすぐプロセスが終了してしまうので、果たして呼び出されるのか?という疑問があり、じゃあ、Marshal.FinalReleaseComObjectを呼び出せばどうだ、いや、それを呼び出すと挙動がおかしい、などの説があって、試しました。

using ATLSampleLib;

class Program
{
	static void Main(string[] args)
	{
		var testClass = new TestClass();
		testClass.TestProp = "ABCX";
		Console.WriteLine(testClass.TestProp);

		Marshal.FinalReleaseComObject(testClass);
	}
}

ATL側では、インスタンスの寿命が尽きる時(参照カウンタが0になったとき)、FinalReleaseメソッドが呼び出されます。ここにブレークを張ってテストしたのですが、やってこない…

FinalReleaseComObjectの代わりにGCを手動実行したらどうだろうと言う事でテスト:

using ATLSampleLib;

class Program
{
	static void Main(string[] args)
	{
		var testClass = new TestClass();
		testClass.TestProp = "ABCX";
		Console.WriteLine(testClass.TestProp);

		GC.Collect(2, GCCollectionMode.Forced, true);
		GC.Collect(2, GCCollectionMode.Forced, true);
		GC.Collect(2, GCCollectionMode.Forced, true);
	}
}

すると来ましたFinalRelease。うーむ、FinalReleaseComObjectとは何なのか? これだとインターフェイスポインタを直接弄った方が安心感があるよなぁと思わなくもない(真相は分からず)。

finalreleasestacktrace1もう一つ気が付いたことが。FinalReleaseでブレークを張ったところ、スタックトレースがこのように。

これワーカースレッドから呼ばれてるよね、何でだ?と思ったらMainメソッドに、STAThread属性を付けていなかった。

finalreleasestacktrace2で、STAThreadを追加したところ、無事にメインスレッドから呼び出された(このCOMコンポーネントがワーカースレッドから呼び出されること自体に問題はないんですが、一瞬えっと思ったので気が付いた次第)。

# しかし、このスタックトレースも大概だなぁ。当然こうなる事は予測できるんだけど…

さて、これの何が問題かと言う事は、やっぱりアパートメントの話に踏み込まないと説明できないよね。と言う事で、そろそろ参加者の意識共有も出来たので、アパートメントを話をし始めました。


アパートメントとは何なのか?

apartment_diagramアパートメントとは、スレッドとCOMのインスタンスをグループ分けする概念で、そのグループとは何なの?というディスカッションをしました。グループの種類は「STA(シングルスレッドアパートメント)」と「MTA(マルチスレッドアパートメント)」の二種類(あと、概念的にはメインSTA)があります。

アパートメントの概念が難しいのは、用語の説明から入らざるを得ないからかなーと思います。このような図が一般的に説明に用いられますが、内部実装的にこうなっているわけではなく、あくまで概念的に分割される、という事も、難解なところかなと。混乱すると良くないので、内部もこの通りになっていると仮定してもいいんじゃないかと思います(実際は違うって事が分かるようになったら、もう説明も不要になってるはず)。

シングルスレッドアパートメント

一つのスレッドだけが特定のSTAに属します。新たなスレッドを作り、STAに属させると、図の通り新しいSTAが作られます。メインスレッドがSTAとなった場合は、特別に「メインSTA」と呼びます(実際には、プロセス内で最初にSTAとして初期化されたスレッドです)。スレッドをSTAに属させるには、CoInitializeEx APIを実行します。.NETの場合は、メインスレッドであれば、Mainメソッドに「STAThread属性」を適用し、ワーカースレッドを作る場合は、Thread.SetApartmentStateメソッドで指定します。

図のように、STAは他のアパートメントと(概念的に)分離されており、そこに属するスレッドやインスタンスは、別のアパートメントから直接参照することが出来ないという原則に従います。

マルチスレッドアパートメント

MTAは、プロセス内にただ一つだけ存在します。そして、MTAに属するスレッドは複数存在できます。スレッドをMTAに属させる方法も、STAとほぼ同等です。Mainメソッドに適用する場合は、「MTAThread属性」を使用します。

STAとアパートメント間の特性

apartment_diagram2STAとMTAの最大の違いは、STAは「ウインドウメッセージキュー」に依存していると言う事です。今までのCOMの説明にはウインドウとかコントロールのようなユーザーインターフェイスの話は全く出て来なかったので、「えっ」てなってました。

ここで説明の順序を逆にして、遠い昔、Win16(つまりWindows 3.1以下)の頃は、マルチスレッド対応がそもそも無く(_beginthreadex APIとか存在しない)、すべての操作を非同期的に処理するためには、メッセージポンプにメッセージを配信する形で協調的に動作させる(ノンプリエンティブマルチタスク)必要がありました。

この頃に作られたアプリケーションは、マルチスレッドのように横から突然割り込まれてメソッドが実行されるような事を全く想定していません(スレッドがそもそも存在しないので)。今でいうところのモニターロックや排他制御がまったく不要だったのです。そのため、マルチスレッド環境で別のスレッドからこのような実装を呼び出すと、容易に破たんします。そして、現在のユーザーインターフェイスも全く同様の構造なのです。

つまり、異なるスレッドからウインドウ要素を操作したりする場合は、すべからく安全策をとる必要があります。WPFであればDispatcherを使う、Windows FormsであればInvokeメソッドを使って簡単に呼び出しの「マーシャリング」を実行できます。しかし、COMが考案されたころには、そのような強力な道具立てがなかったのです。

更に、既存のマルチスレッド非対応コードがバイナリライブラリとして「変更不能」な状態で存在するため、互換性も担保する必要があります。この問題をフレームワーク(COMランタイムライブラリ)で隠蔽し、どうにかして安全性と実装の軽減を両立させたかったのだと推測されます。

apartment_diagram5STAがウインドウメッセージキューに依存しているとは、STA内のCOMコンポーネントインスタンスを操作する場合は、このキューに一旦要求(メソッド呼び出し情報)を格納し、「協調的」に処理させると言う事です。

勿論、STA内のスレッドであれば、同じSTA内のインスタンスは、キューを介することなく操作できます。勿論、メソッド呼び出し結果の返却も、キューに一旦結果を格納して受け取ります。このときのキューは、呼び出し側のキューを使います。

このように、ウインドウメッセージキューを介在させることで、ウインドウメッセージ(ウインドウの移動やリサイズ・ボタンのクリック・テキストの変更など)にいきなり割り込むことなく、順番に規則的に実行されるので、マルチスレッド競合について考えなくても良くなる、というのが、STAに属する利点となり、同時に高いオーバーヘッドが欠点となります。

apartment_diagram6ところで、STAとMTA間で呼び出しを処理する場合は、呼び出し側がMTAであれば、呼び出し時はSTAのキューを使いますが、処理結果はキューに入らず、直接元のスレッドに伝達されます。逆であれば、呼び出しがキューに入らず、結果は一旦キューに入ります。

これは、MTAは特定のウインドウメッセージキューに紐づく事がないからです。したがって、ユーザーインターフェイスを含むCOMコンポーネントをMTAに属させると、クラッシュするなどの予期しない結果を引き起こします。

そして、MTAには複数のスレッドが同居出来て、MTA内のCOMインスタンスはすべて介在される事なく直接呼び出しが成立するので、ほぼコスト0で高速にメソッド呼び出しが行われます。これが、IISにホストされるCOMコンポーネントをSTAではなくMTAで動作させなければならない理由です(MTAにするとパフォーマンスが向上するらしい、という理由で、背景を考えずにMTAに属させるコードを書くと、間違いなくハマります)。

COMインスタンスはどこのアパートメントに配置されるか

atlwizardあるアパートメントに属しているスレッドがCOMコンポーネントのインスタンスを生成(CoCreateInstance API)すると、コンポーネントに指定された属性に従って、インスタンスが配置されるアパートメントが変わります。再びATL COMオブジェクトウィザードのスクリーンショットですが、ここで、「スレッドモデル」を選択可能です。

このスレッドモデルの選択と、現在のスレッドがどのアパートメントに属しているのかによって、配置されるアパートメントが決定されます。昔、この組み合わせの表をどこかで見た記憶があるのですが、改めて書き出してみました(ただし、すべて検証しているわけではないので、間違っているかもしれません)。

メインSTA STA MTA
シングル メインSTA メインSTA メインSTA
アパートメント メインSTA STA STA
両方(Both) メインSTA STA MTA
フリー(Free) MTA MTA MTA
ニュートラル メインSTA STA MTA

この表を眺めていると、何を選択すべきかが見えてきます。

  • ユーザーインターフェイス(ウインドウメッセージを必要とする)を含むコンポーネントであれば、「アパートメント」を選択する。これには、俗に言う「ActiveXコントロール」も含まれます。
  • その中でも特にメインスレッド(メインSTA)でのみ動作可能なコンポーネントであれば、「シングル」を選択する。
    (今やこのようなコードは想像しにくいかもしれません。例えばグローバル変数に状態を持っていて、これを操作しているようなUIコンポーネントは、多分メインSTAでしか動作しません)
  • アパートメントの影響を受けないコンポーネントであれば、「両方」又は「ニュートラル」を選択する。
  • MTAにのみ必ず属させ、ハイパフォーマンスでローコストな環境を必要とするコンポーネントであれば、「フリー」を選択する。

再度確認したのが、MTAに属させたからと言ってハイパフォーマンスになるわけではなく、マーシャリングコストを最小化可能であることがミソなので、ここで不用意に「フリー」を選択すると、アパートメントの選択同様ドツボにはまる事に注意が必要です。

一番無難な選択肢が「両方(Both)」ですが、表の上では「ニュートラル」も同じとなっています。両方とニュートラルの違いは、両方とすると、メインSTA・STA・MTAのどこにでも配置出来るものの、配置されるとそのアパートメントに完全に紐づきます。対して、ニュートラルとは、本当のところは「どのアパートメントにも属さない」状態となります。この違いは、マーシャリングの動作に影響します。


マーシャリングとは

アパートメントの話は抽象的なので、もう少し実装に近寄ります。

apartment_diagram7アパートメントの境界を超えるために、COMのランタイムによって「プロキシ・スタブ」という一種のファサードが自動的に介在し、メソッド呼び出しを自動的にメッセージキューに保存し、目的のSTAのスレッドでこれを取り出して実行する、という処理を行う事を説明しました。一般的にこのような操作を行う事を「マーシャリング」と言います。

マーシャリングは、カスタム「プロキシ・スタブ」コードで完全に独自の実装を行うか、あるいは「COMスタンダードマーシャラー」を使うかを選択できます。正直カスタムマーシャラーは深くて闇で資料も少なく、これを自前で実装する事は殆ど無いと思います。

どちらにしてもこの図のように、アパートメント境界の間に入って、メッセージキューの操作をしたり、スタックを操ってリモートメソッド呼び出しを成立させる役割を担います。呼び出し元は、カスタムマーシャラーが「何故か」目的のインターフェイスを実装したインスタンスに見えるので、アパートメント内呼び出しと全く同じように、インターフェイスメソッドを呼び出す事が出来ます。

# IUnknown.QueryInterfaceメソッドは、インターフェイスIDを受け取って、そのインターフェイスへのポインタを返します。と言う事は、COMスタンダードマーシャラーが、実際には実装を用意していなかったとしても、IID_ICalcのようなインターフェイスIDが存在して、キャストも成立させたように見せかければ、この状況を作り出す事ができます。返されるインターフェイスポインタは、ICalcを動的に実装したスタブクラスです。

さて、このマーシャラーが一体いつ挿入されるのかが、背景を知っていないと分からないと思うため、その説明をしました。

インスタンス生成時

apartment_diagram8CoCreateInstance APIでインスタンスを生成するとき、呼び出し元のスレッドが属するアパートメントと、COMコンポーネントに指定された「スレッドモデル」に応じて、インスタンスが配置されるアパートメントが決定されます。では、呼び出し元スレッドのアパートメントと異なるアパートメントにインスタンスが生成され、配置された場合、呼び出し元はどうやってそのインスタンスにアクセス出来るのか?

答えは、CoCreateInstanceが返すインターフェイスポインタが、「既にCOMスタンダードマーシャラーなどのファサードを示している」ので、呼び出し元は何も考えなくても良い、と言う事です。

この図のように、MTAのワーカースレッドは、CoCreateInstanceが返すインターフェイスポインタを、本物の「ICalc」を実装したインスタンスだと思い込んでいます。しかしその実態はマーシャラーであり、ICalcのメソッドを呼び出すとマーシャラーのメソッドを呼び出し、後は前述のとおり、マーシャリング動作が行われます。

インターフェイスポインタの自動伝搬時

内部的にはここが難しい所で、一度マーシャラー経由のインターフェイスポインタを取得した後は、メソッド呼び出し引数や戻り値にインターフェイスポインタが含まれていれば、マーシャラーが自動的にそのインターフェイスポインタにもマーシャラーを挿入します。

// 呼び出し元の例:
IHogeService* pHogeService = ...;

// 例えば、戻り値がインターフェイスポインタの場合
IResultData* pResultData = nullptr;
pHogeService->GetResult(&pResultData);

// (pResultDataは何を指しているか?)

apartment_diagram9GetResultメソッドの戻り値がIResultDataという、別のCOMコンポーネントインスタンスへのポインタである場合、その実態は呼び出し先のアパートメントに存在する可能性が高いです(必ずと言うわけではない)。

その場合、戻り値として返されるインターフェイスポインタは、あくまで呼び出し先のアパートメントのインスタンスを示しているので、それがそのまま呼び出し元に返されても、その後が困ります(そのまま使うとマーシャリングが行われないので、アパート境界が守られず、酷い問題が発生する)。

そのため、スタンダードマーシャラーは、戻り値のインターフェイスポインタを「マーシャリング」し、新たなマーシャラーを割り当て、マーシャラーのインスタンスへのポインタを呼び出し元に返却します。

呼び出し元がIResultDataのメソッドを呼び出すと、裏ではマーシャラーを介してインスタンスを操作することになり、安全性が担保されます。呼び出し元はIResultDataがマーシャラーである事は知る由もなく、直接呼び出しているのと変わりません。

さて、これを実現するには、引数や戻り値に「インターフェイスポインタが含まれているかどうか」を認識出来なければなりません。CやC++のソースコード上では、インターフェイス型を指定するので(人間の目には)判別できます。しかし、コンパイル後のバイナリには、型情報が含まれないため、自動的に検出する事が出来ません。COMスタンダードマーシャラーが、ノーメンテで動作するには、型の自動判別が可能である必要があるのです。

方法は2つあります。一つは、インターフェイス型のメタデータをタイプライブラリ(*.tlb)として読み取り可能になるようにファイルを配置するか、リソースとしてDLLに埋め込み、「プロキシ/スタブデータ」を提供することです。これにより、COMスタンダードマーシャラーは、引数や戻り値の型情報にアクセスし、それがマーシャリングの対象である事を認識できます。

もう一つは、同じくタイプライブラリを提供する必要がありますが、引数や戻り値の型にVARIANT型を使う事です(プロキシ/スタブデータは不要)。VARIANT型は、格納できるサブタイプを指定して値を格納します。サブタイプの種類にハードコーディングされた制限がありますが、基本的なプリミティブ型やインターフェイスポインタなどを含むことが出来、何が含まれているのかを検知出来ます。但し、VARIANT型を使うと、タイプセーフ性は低下します。

# もちろん、カスタムマーシャラーを書いた場合は、自分でマーシャリングを行うため、タイプライブラリの準備やVARIANT型への依存は不要です。また、IDispatchインターフェイス経由でのみ公開されるメソッドの場合は、すべてVARIANT型である事を想定可能なので、タイプライブラリは不要です。

インターフェイスポインタの手動伝搬時

自動マーシャラーを全く介さないというソリューションもあります。一つは「フリースレッドマーシャラー(FTM)」を集約する事です。詳細は省きますが、この場合はマーシャリングを自分で面倒見なければなりません。もう一つが、スレッドモデルを「ニュートラル」とした場合です。この場合もマーシャリングは自分で面倒を見る必要があります。

マーシャラーを全く介さないと、メソッド呼び出しはダイレクトにCOMインスタンスのメソッドを呼び出す事になります。当然、引数や戻り値に渡されるインターフェイスポインタも生ポインタであるので、アパートメントの境界を越えてアクセスして良いかどうかは全く分かりません。

そのような場合に自分でマーシャリングを実行する必要がありますが、2つの方法があります。

APIやGITを使うと、インターフェイスポインタを再取得したときに、マーシャリングが必要だと判断されれば、マーシャラーが生成されて、マーシャラーへのポインタが返されます。不要と判断されると、直接COMコンポーネントインスタンスへのポインタが返されます。

# 回り回って元のアパートメントでインターフェイスポインタを取得すると、ちゃんと再計算されて、生ポインタが取得できた、ハズ…

現在ではGITを使う方が簡単です。特にATLを使う場合は、CComGITPtrクラスを使うと、非常に簡単にマーシャリングを行うことが出来ます。GITで言うところの「Cookieデータ」が、APIを使う場合の抽象的なデータに相当します。

何故、FTMやニュートラルというオプションがあるのかと言うと、お互いのCOMコンポーネントが何であるかが確実で、お互いに共謀出来るのであれば、異なるアパートメントであろうが、直接生ポインタを操作しても問題ない(と分かっている)はず、という非常に厳しい制約の元でマーシャリングコストを0にすることも出来る、ということです。つまり、ただでさえ複雑なスレッドモデルを正しく理解する必要があるので、FTMやニュートラルを使う事は、よほどの理由がない限り避けた方が良いと言えます(せっかくCOMのランタイムが色々頑張ってくれる機能を放棄することに近しいです)。

DCOMへの拡張

ここまで見てきたアパートメントとマーシャリングの話が分かれば、「DCOM(Distributed COM)」は、延長上の技術でしかない事がわかります。

  • 今までの話は、プロセス内でのアパートメント境界を超える場合のマーシャリング処理ですが、
  • プロセス間通信にも応用できますね?(アウトプロセスCOMサーバー・サービス)
  • プロセス間通信が出来るなら、マシン間でも通信できるよね?(DCOM)

DCOMとは、要するにそういう事です。勿論、マシン境界をまたぐ場合は、セキュリティのトピック(認証と認可をどうするかなど)が存在しますが、基本は全く変わりません。


COMの将来展望(クロージング)

WP_20151219_18_26_52_Pro_LI時間が押してきたので、ほかにもトピックはあるのですがクロージングに入りました。

今回、主題として「All about COM」と銘打ったのですが、実は「隠された副題」がありました。それは、「COM requiem」です。COMの全盛期は2000年頃(つまりもう15年も前)と思っているのですが、まだまだいたるところで使われており、すぐにomitすることは当面出来そうにありません。しかし、プログラミング環境は完全に.NETが主体となり、C++でコードを書く際も、ライブラリのインフラとしてCOMを選択すると言う事は殆ど無くなりました。

自分なりの答えはあったのですが、「何故COMは失敗したのか」あるいは「何故COMは継続してメジャー足り得なかったのか」と言う事を、参加者に聞いてみたかったのです。

意見としては:

  • 設計思想は凄かった。特に「コンポーネント指向」として、処理系依存の排除やバイナリ互換性を維持する方法論、スレッド安全性をランタイムで担保する抽象性の高さ。
  • 「インターフェイス指向設計」に根差している。COMは実態のクラスに一切タッチしないので、インターフェイス分割設計と言う事に強く意識させられた。
  • やっぱり複雑すぎた。時代が早すぎた。複雑性を軽減する開発環境の補助も、現在と比べて全く不足していた。
  • .NETで複雑な処理も簡単に実装できるようになったので、相対的にCOMのランタイムが複雑に見えるようになった。
  • アパートメントという抽象性の高い概念が理解できなくて躓く。
  • COMを正しく実装するのが大変。VB6か、スクリプトコンポーネント(VBSやJSをCOMコンポーネントとして実行可能な、今考えるとやはり早すぎた感のある技術)でないと辛い。

これだけ複雑であるにも関わらず、COMを知っていて良かったと思える事として、やはり「インターフェイス」を強く意識する事になったことが、数人の意見で一致しました。この経験が、現在の.NETのインターフェイスや、ウェブシステムでのAPI設計の粒度やさじ加減と言った点にとても役立っています。

これは、COMのインターフェイスがほぼ最小のメソッドレベルの粒度で公開可能で、しかもDCOMによってマシン間のRPC呼び出しへの簡単にスケールアップ出来るにも関わらず、その細かい(Chatty)呼び出しが、システムのパフォーマンスと安定性に問題を起こす事が経験として理解できたと言う事です。

なので、COMはとても良い経験を与えてくれた良き技術・通過点でした。そろそろ卒業の頃だと思います。

個人的な思い

このブログでも、COMの解説を試みた記事を書いています(未完)。

COMのアパートメント (1) スレッド同期の隠蔽
COMのアパートメント (2) コンポーネントファサード
COMのアパートメント (3) スレッドの属性とコンポーネント
COMのアパートメント (4) スレッド親和性
COMのアパートメント (5) CoInitializeExは初期化ではない
COMのアパートメント (6) アパートメントの種類はどのように決まるのか

これが未完となっていたのと、内容としてこなれていないのが、ずっと喉の奥に引っかかっていたのです。今回のChalkTalkで完全に咀嚼して、完了させたかった。その目的は達成できたかなと。やってよかったなと思います。

COMは愛すべき対象でしたね。「ナナリィ…」って感じです。

次回もよろしくお願いします!


追記

ここで扱っていない、COMの重要な要素として以下のものがあります。メモとして残しておきます。

  • インターフェイスの集約(Aggregation)
  • IDispatchインターフェイス・スクリプティングサポート・イベントソースインターフェイス
  • モジュール生存期間の管理(ATLを使うなら、自動でやってくれる)
  • フリースレッドマーシャラー(FTM・FTMを集約すると、ニュートラルスレッドモデルと同じように振る舞える)
  • モニカ(IMoniker)
  • 情報管理(IStorage・IStream・IPropertyBag)
  • インターフェイスポインタのキャッシュや動的生成
  • ActiveX Controlとは
  • COM+とステートレス設計

メモリを使用する、とは

この投稿は「Windows & Microsoft技術 基礎 Advent Calendar 2015」の16日目の記事です。

本稿では、Windows(広く一般のOSでも、基礎的な知識としては適合する)の、「メモリ使用量」の取り扱いについてまとめたものです。特に、コードからメモリを使用するとはどういうことなのかがちょっとでも明らかになれば良いかなと思っています。


普通の人、普通のプログラム、普通のプロセス

.NET環境であったり、C++で各ネイティブなコードであったり、通常プログラムを書くと「ユーザープロセス空間」で動くコードがビルドされます。C#でコードを書けば、newしたりすることで、「どこかにあるメモリ」を適量確保し、それを使用可能にしてくれます。

このメモリ使用量はどのように決まってくるのか? 例えば以下のコード:

var data = new byte[10 * 1000 * 1000];

は、配列の型がbyteなので、要素数=メモリ使用量となる事が分かります(配列管理に使用する付加的なメモリなどを除く)。他の型であれば、それぞれの「ストレージスペース」と呼ばれるサイズだけ使用されます。.NET環境の場合、クラス(参照型)の場合はもっと事情は複雑ですが、なんにせよ、その使用量は予測可能と言えます。

一般にメモリ使用量を見積もるのが大変な作業であると見られている理由の一つは、こういった個々のメモリ確保量(と解放量)がトータルでどのぐらいなのかを積算するのが難しいからだと思われます。上に挙げたような、コードを見ただけで一目瞭然の場合は問題ありませんが、

// ファイルパスを示す正規表現(Dobon.netから)
var regex = new Regex(@"\A(?:[a-z]:|{1})(?:{1}[^{0}]+)+\z");

のような、実装がカプセル化されている場合、そのメモリ使用量はどのぐらいでしょうか? プログラム全体(例えばコンソールアプリケーション)でどのぐらいのメモリ使用量かと言うのは、この例がスケールアップされたものとして考えられます。

他にもメモリ使用量の見積もりを難しくしている要因はあるのでしょうか? 実際、あまり理解されていない、重要な側面があるのではないかと思っています。以下の記事で、このメモリ使用量について掘り下げていきたいと思います。


Windowsにおけるメモリ使用量の指標

procexpmemoryこのスクリーンショットは、Process Explorerのシステムメモリ使用量の表示です。

赤枠で示した部分に、メモリ使用量の統計情報が表示されています。

  • Commit Charge: コミットチャージとは、アプリケーションが「これだけのメモリを使用する」と宣言した総量です。例えば前述のようなコードで示したメモリ確保コードによって、このコミットチャージが増加します。
  • Physical Memory: 物理メモリ使用量です。PCに搭載されているメモリと言えば、物理メモリを指すわけで、実際にこの物理的なメモリをどれだけ使っているのかを示します。
  • Kernel Memory: Windowsカーネルが使用しているメモリ量です。実際にはWindowsシステムだけではなく、デバイスドライバが確保したメモリなども、多くの場合ここに含まれます。
  • Paging: ページングメモリとは、カーネルが自由に移動可能なメモリの事です。

何故、このようにメモリ使用量を示す指標が沢山あるのかと言うと、「仮想メモリ技術」が存在するからです。


仮想メモリ技術とは

仮想メモリ技術は、文字通り、メモリを仮想化します。メモリを仮想化すると何が嬉しいのかと言うと、2つの見方があります。

ページング・スワッピング処理

physical-virtual-mapping搭載されている物理メモリの総量を超えて、更に多くのメモリを使用可能にします。この処理を、ページングやスワッピングと言います。

ページングとは、物理メモリをある一定のサイズ(現代のOSはほぼ4KBを基準とする)で区切り、これを1ページとして、この単位でメモリの管理を行います。このページを仮想メモリ空間に「割り付ける」事で、プロセスがメモリにアクセス出来るようにしています。

この図中に、緑の線で関連付けられたページがあります。このように、単一の物理メモリ空間を、複数のプロセスから同時に参照できるようにマッピングすることも可能です。こうすることで、コストがほぼ0の共有メモリが実現します。

また、わざとらしく、プロセス123と456の仮想メモリ空間の同じ位置にマッピングしていますが、マッピングする位置が同一でなくても構いません。この図で同一の場所にマッピングした例を示したのは、WindowsのPEローダー(EXEやDLLをメモリにロードする処理)がこの手法を使うためです。EXEやDLLをメモリにロードするとき、基本的に「コード」は不変です(自己書き換えと言う手法もありますが)。PEローダーはロード時にリロケーション処理と呼ばれる処理を行って、コードを少し修正します。その結果は、仮想メモリ空間の同じ位置にロードしようとする場合に限り、全く同じように修正されます。と言う事は、既に物理メモリ上にリロケーション処理済みのコードがある場合は、単にそのページを新しいプロセスの同じ仮想メモリ空間にマッピングすれば、再利用出来ることになります。

この図から、プロセスに割り当てられている仮想メモリは、必ずしも物理メモリ上に連続で配置されている必要も、昇順で並んでいる必要もない事にも注意してください。裏を返せば、Windowsカーネルは、物理メモリ上でいつでもこれを好きなように再配置することが出来て、しかも各プロセスはその事を知らない(感知できない)と言う事です。

pagefile搭載されている物理メモリが8GBとします。もし、仮想メモリ技術が無い場合は、どう頑張っても8GBを超えるメモリを使用する事は出来ません。8GBというと、複数のアプリケーション(複数のプロセス)が同時にメモリを要求するので、簡単に使い切ってしまう恐れがあります。

スワッピングは、仮想メモリ技術を使って、ハードディスクなどの外部ストレージに一時的に使用メモリ情報を(ページ単位で)退避したり復元したりする事で、まるで搭載メモリ以上のメモリが使用可能であるかのように見せかけます。この技術は、Windowsカーネルやデバイスドライバが「自動的」に行っているため、アプリケーションがこの操作を直接認識することは出来ません(Process Explorerのように、統計情報として取得することは出来ます)。

スワッピングは、物理メモリとディスクとの間で退避・復元を行う事に注意してください。プロセスから見える仮想メモリ空間から、直接ディスクが見えているわけではありません。これは、MapViewOfFile APIのような、ファイルマッピング技術においても同様です。つまり、スワッピングを成立させるには、必ず対応する物理メモリが必要です(原理上は不可能ではありませんが、実用的ではないため)。

メモリ空間のセパレーション

動作中の各アプリケーションのプロセス同士は、特別な手順を踏まない限りは不可侵です。不可侵とは、互いのプロセスのメモリ空間内を覗き見ることが出来ないことを指します(前述の共有されたページを除く)。

各プロセスは、それぞれが自身に専用に用意されたメモリを「個別に」十分に持っているかのように見えます。まるで、プロセス毎に専用の物理メモリが存在するかのようです。しかし、当たり前ですがそんな事はあり得ません。仮想メモリ技術が、本物の物理メモリから、一部のページを、それぞれのプロセスにマッピングして分け与えているのです。

セパレーションが行われる前提に立つと、アプリケーションコードは常に同じメモリ環境で動くことを想定出来るので、管理が簡略化されます。かつてのプログラムは、同一のメモリ空間に同居する必要があり、メモリを分割して影響を与えないようにするのは、プログラムを書いた人の責任でした。

# リロケーションと呼びますが、現在のコードは自動リロケーションも可能なので、この点での利点は薄れつつあります。
# また、.NETのようにメモリの管理がランタイムによって完全に支配的に行われる環境では、安全のためにメモリ空間を分割するという意味合いは多少薄れています。


メモリの確保とは

ここで、以下のようなC#のコードを使って、Win32のメモリ割り当てAPIを使用してみます。C++でコードを書いても結果はほとんど同じです。Win32 APIを直接使用する事で、.NETのガベージコレクタやヒープマネージャ、Visual C++のランタイムライブラリが行う追加の操作で結果が分かりにくくなることを回避します。

[Flags]
private enum AllocationType : uint
{
	COMMIT = 0x1000,
	RESERVE = 0x2000,
}

[Flags]
private enum MemoryProtection : uint
{
	READWRITE = 0x04,
}

[DllImport("kernel32.dll", SetLastError = true)]
private static extern UIntPtr VirtualAlloc(
	UIntPtr lpAddress,
	UIntPtr dwSize,
	AllocationType flAllocationType,
	MemoryProtection flProtect);

public static unsafe void Main(string[] args)
{
	// [1]: 仮想メモリ領域を割り当てる
	var size = 30UL*1000*1000*1000;
	var p = VirtualAlloc(
		UIntPtr.Zero,
		new UIntPtr(size),
		AllocationType.COMMIT | AllocationType.RESERVE,
		MemoryProtection.READWRITE);
	if (p == UIntPtr.Zero)
	{
		Marshal.ThrowExceptionForHR(Marshal.GetHRForLastWin32Error());
	}

	// [2]: 割り当てたメモリ領域に値を書き込む
	var pBase = (byte*)p.ToPointer();
	var count = size / 4;
	Parallel.ForEach(
		Enumerable.Range(0, 4),
		baseIndex =>
		{
			var pRangeBase = (ulong*)(pBase + count * (ulong)baseIndex);
			for (ulong index = 0; index < (count / 8); index++)
			{
				*(pRangeBase + index) = ulong.MaxValue;
			}
		});
}

このコードは、VirtualAlloc APIを使用して、プロセス内に30GBのメモリを割り当てます。このときのProcess Explorerの様子を見てみます(テストしたシステムは16GBの物理メモリを搭載したWindows 10 x64です)。

※それぞれのタイミングをブレークポイントで一旦停止させています。

procexpmemory2これは、[1]の仮想メモリの割り当てが完了した直後の状態です。Commit Charge及び、上段の”System Commit”のグラフが36GBに跳ね上がっています。VirtualAlloc APIを呼び出すことで、プロセスの「仮想メモリ」の割り当てが行われたのです。物理メモリは16GBなので、明らかにそれ以上のメモリが「存在する」かのように扱われています。実際、VirtualAllocの戻り値には、メモリの読み書きに使用可能な、有効なポインタが返されます。

commit-bytesと、同時に興味深いこともわかります。Physical Memoryの使用量(Total – Available)又は、上段の”Physical Memory”のグラフは、全く変化していないのです。これはつまり、仮想メモリが割り当てられ、ポインタまで取得できて読み書き可能な状態であるのに、全く物理メモリの割り当てに変化がない、より直接的に言うならば「物理メモリは消費していない」のです。

更に、VirtualAllocの処理は一瞬で完了します。まるで、Windowsカーネルは、メモリを割り当てた「ふり」をして、実際には何もしていないかのようです。このような、メモリを割り当てることを宣言する(必ずしも物理メモリに関連づかない)事を「コミットする(Committed bytes)」と言います。

procexpmemory3この状態から、[2]を実行したときの様子がこのスクリーンショットです。

[2]の処理は、VirtualAllocで返されたポインタが、本当に正しい値を返しているのか、念のため実際にメモリにアクセス(ライト)しています。Parallel.ForEachを使っている理由は後で説明しますが、要するに高速化です(同時に4コアで4分割した領域にライトする)。

VirtualAllocが返したポインタが不誠実なものであれば、このコードは何らかの例外(AccessViolationExceptionなど)を発生させて死ぬでしょう。しかし、実際にはエラー無く成功します。但し、「とてつもなく遅い」のです。

  • ① コードの実行が開始されると、”Physical Memory”のグラフが跳ね上がり、16GB近辺まで上昇します。ここで、Windowsシステム全体が操作不能に近いぐらいにスローダウンします。グラフはスパイク状になっていますが、実際には上昇し切った時点でProcess Explorerもログ不能に陥ったようで、操作が回復するまでログが取れなかったためです。
  • ② 操作が回復したとき、Physical Memoryの値が急激に低下していますが、Parallel.ForEachの処理は終わっても、まだプロセスは終了していません。
  • ③ コードの実行が完了してプロセスが終了すると、System Commitのグラフも低下し、プロセス起動前の状態に戻っています。

physical-full仮想メモリへのポインタにアクセスした途端に、物理メモリを消費しはじめ、ほぼ実装メモリ量上限の16GBまで使い切っています。この事から、仮想メモリは実際に使用するまで、物理メモリを消費しない事が分かります。プロセスの仮想メモリ空間には、いつでもアクセス可能なメモリがそこに存在するように見えますが、使うまでは物理メモリにノータッチです。

①の最初に起きたことが、この図です。物理メモリ空間の未使用のページが、全てプロセスの仮想メモリ空間にマッピングされています。物理メモリ空間が全てマッピングされたため、物理メモリの空きが無くなりました。しかし、要求している仮想メモリは30GBなので不足しており、どうやってもこれ以上割り当てることは出来ません。

physical-full2ここで、スワッピングが始まります。物理メモリ上で「使用頻度の低い」ページが検索され、これらのページがディスクに書き出されます(スワップアウトと言う)。使用頻度が低い、とは、例えばですが、LRUアルゴリズムに従って判断したりすることになります。Windowsの場合はこのアルゴリズムは非公開であるので、どのようにページが決定されているのかはわかりません。

この図では、今まさに大量のアクセスが発生しているページではなく、プログラム開始時に確保した物理メモリ(仮想メモリ空間での緑色枠)が選択されたと仮定して、これらがディスクに書き込まれ、対応する物理メモリのページは「未使用(Unused)」としてマークされました。

プロセス内の仮想メモリ空間で、スワップアウトされたページ(緑色枠)は、「そこにメモリは存在する事になっているが、実際はディスクに存在していて、対応する物理メモリは存在しない」状態です。しかし、実害はありません。プロセス内のコードがこのページにアクセスしないうちは、この事実を知る者は(プロセス内には)居ないからです。この状態は、丁度VirtualAllocでメモリを確保した直後の状態に似ています。

physical-full3さて、これで幾らか物理メモリに空きが出来たので、仮想メモリ空間に割り当てることが出来ました。

が、まだまだ足りない…

physical-full4そうすると、「更に」、物理メモリ上で「使用頻度の低い」ページが検索され、これらのページがディスクに書き出されます。この場合、明らかに使用頻度が低いページはもうないのですが、直近ではスタート直後にライトしたページが、使用頻度が低いと言えなくもないです。もう一度言いますが、どのページが使用頻度が低いと判断するのかは非公開のため、実際にはここで述べたような判断基準ではない可能性がありますが、とにかく何らかの方法で犠牲(?)となるページを決定し、これをディスクに書き出してスワップアウトします。

仮にですが、このアルゴリズムがアホだったりすると、現在アクセスが頻繁に発生しているページをスワップアウトし、すぐにアクセスされてスワップインするという、システムがとてつもなくパフォーマンス低下を引き起こす原因となります。だから、どのページをスワップアウトさせるのかという決定ロジックは非常に重要です。

# 例えば、単にファイルがマッピングされているような状態であれば、復元はファイルを再マッピングするだけなので、ページの解放はディスクにスワップアウトを必要としません。このようなページがあれば、優先的に解放することが出来ます。EXEやDLLであれば、固定データやリソースデータ(COFFの.rdataや.rsrcセクション)などが該当します。

あとは、これをひたすら繰り返し、プロセスが仮想メモリにアクセスするの止める(実行を完了する)まで、仮想メモリへのアクセスを満足させればよいのです。

結局、問題となるのはどこでしょうか? 物理メモリをスワップアウトさせてディスクに書き込んだり、スワップインで復元させる時、ここが最も時間のかかる処理であるため、スワップ処理で忙しくなると、システム全体の応答性が悪くなるのです。

メモリ確保のまとめ

これが、メモリの仮想化による恩恵で、「不要」な、使用中のメモリの情報を一旦ディスクに退避し、これにより物理メモリ空間を未使用状態にし、新たに必要になった仮想メモリ空間に再配置して使用可能にする操作です。この操作はWindowsカーネルが内部で行っているので、アプリケーションは全くそんな事を感知せず、問題なく動作を継続します。

但し、ディスクへの退避と、あとで復元するために読み出す操作は、当然非常に時間がかかります。それが、システムがスローダウンした原因です。また、Parallel.ForEachで書き込み処理を並列化したのは、この退避処理を忙しくてそのほかの処理を行う余裕がないように仕向けるためです。もし、ディスクが非常に高速であった場合、システムがスローダウンせず、更にはスワッピングが高速に行われることで、物理メモリを上限まで消費しない可能性があったためです。

ここまでの実験で、物理メモリ(Physical Memory)の使用量を眺めていても、アプリケーションが消費するメモリ量というのは全く予測出来ない事が分かると思います。この結果から②がメモリ消費の見積もりとして何を意味するのかを考えるのは、無意味であることも想像できます。②で何故物理メモリ使用量が低下したのか、は、アプリケーションのメモリ使用量の考察とは何の関係もないからです。

# 大量の物理メモリを使用した後に、物理メモリのページが解放される挙動は、Windowsカーネルの最適化処理によるものと考えられます。メモリ不足が深刻な状況では、素早く空き物理メモリを確保した方が良いと思われるため、積極的に先回りして解放する手法が考えられます。


ワーキングセットと言う名の亡霊

前節のような、超高負荷アプリケーションが動作していても、ほかのプロセスが異常終了することはありません。もちろん、スワッピングに使用するディスク容量が残っていれば、の話です。しかし、あるプロセスがこのように大量のページに対して読み書きしていたら、ほかのプロセスに割り当てられているページはどうなってしまうのでしょうか?

スワッピングアルゴリズムの例を紹介しましたが、この動作がシステムの全てのプロセスに対して行われると考えればわかります。つまり、「システム全体で見て」使用頻度の低いページをスワップアウトして行くのです。例えば、Windowsのサービスプロセスは、用事があるまで待機したままである事がほとんどですが、このようなプロセスの仮想メモリは、対応する物理メモリがいつもスワップアウトしていても構いません。何故なら「時々しか動作せず、その時にだけページにアクセスされる」からです。

しかし、現在のWindowsは、そもそも物理メモリに余裕がある場合は、積極的にスワップアウトは行わないようです。スワップアウトするにはディスクにアクセスする必要があります。不必要と判断されたときは「暇」だと考えられるので、スワップアウト自体問題になりませんが、いざ動き始めた時にページがスワップアウトされているとスワップインしなければならず、これは高コストであるため、応答性に影響を与えます。

workingsetWindowsのメモリ使用量統計に「ワーキングセット」という数値もあります。これはProcess Explorerでワーキングセットを表示させてみたものです。標準のタスクマネージャでも「メモリ」というあやふやなカラム名で表示されるので、この数値がプロセスが使用するメモリ使用量だと思っている方も多いと思います。

前節の検証により、物理メモリの使用量を見ていても、アプリケーションのメモリ使用量は分からないという話をしましたね?

workingset-detailこのスクリーンショットは、ProcessExplorerで特定のプロセスのプロパティを表示させたものです。赤枠内にワーキングセットの統計値が出ています。が、この枠をよく見て下さい。”Physical Memory”と書いてあります。

ワーキングセットとは、ある時間において、そのプロセスの仮想メモリにマッピングされている物理メモリの総容量(総ページ数)です。つまり、この値は「物理メモリ量」を表しているのですよ!!!

「一体何を見ていたんだ俺たちは…」と思っていただけましたか?

# ほとんどこれが言いたかった (´Д`)

workingset3実際、先ほどのテストコードを実行したときに、テストコード「以外」の各プロセスのワーキングセットの推移を見てみると、とても面白い現象が目撃できます。

これは、テストコード実行直後のスクリーンショットですが、各プロセスのワーキングセットが軒並み低い値になっています。これは、テストコードのプロセスがあまりに大量の物理メモリを必要としたため、ほかのプロセスに割り当てられていた物理メモリもスワップアウトされて流用された結果です。かろうじて残っているワーキングセットは、「頻繁に使用されているページ」と判断されたのでしょう。

# 例えば、ウインドウプロシージャなどのコールバック関数が配置されたページは、コールバックが発生したらすぐに動作する必要があるため、対応するページは保持される可能性が高いでしょう。他にもロックされたページの可能性はありますが、ここでは述べません。

さて、ワーキングセットの統計値ですが、まあ、全く無意味な指標と言うわけでもありません。この値が普段から大きいと言う事は、メモリ参照の局所性が低い可能性があります。テストコードの場合は、30GBのメモリを丸々アクセスしているので仕方ありませんが、特に思い当たる節もなくワーキングセットが大きい場合、効率が良くないアルゴリズムを使っていたりすることが考えられます。

大げさなたとえですが、配列で保持すれば済むようなデータを、わざわざリンクリストで保持したりすると、ページにまたがってデータが分散する可能性があるので、少ない消費量でも複数ページをあっという間に消費する可能性があるのです。

ワーキングセットが大きいと、それだけスワッピングが発生したときのコストが高くなります。また、CPU内のキャッシュにも収まらなくなり、パフォーマンスが低下する原因となります。だから、その予兆を見極める目的で、ワーキングセットを使う事が出来ます。


メモリ使用量を見積もる、と言う事

私たちはシステム導入に際して、PCやサーバーに必要なの物理メモリ量の見積もりをするわけですが(実際のところ、あまりやりたくはない)、一体何を基準に見積もるのか、と言う事は十分考える必要があります。

見積もりの方法の一つとして、原則的にスワッピングやページングを発生させないほどの物理メモリを搭載する、と考える方法があります。これならば、System CommitsがPhysical Memoryを超えないぐらいに物理メモリを乗せれば良いわけで、基準としてはアリだと思います。しかし、この基準を適用すると、システムの直観的な消費量からは程遠い程の大量のメモリが必要になるかもしれません。それは、Committed bytesよりもプロセスのワーキングセットが極端に小さくなるような、メモリ参照局所性の高いアプリケーションに当てはまります。

自分が見積もりを行なおうとしているアプリケーションは、果たして前者のような極端なメモリ量依存の高いアプリケーションなのか、それとも、メモリ参照局所性の高いアプリケーションなのか? あるいはその中間なのか? 今まで示した仮想メモリの処理を前提に、それはどうやったら分かると思いますか?

どうしても見積もってくれと言われれば、そりゃ、計測するしかないですよね、アプリケーションそのものを実環境に近い環境で動かすか、あるいはそれに近しいシミュレーションコードで(それって、コスト掛かる作業ですよね。検証に見合うの?)。なので、私は、前提も明らかではない確定的なメモリ使用量の見積もりを見ると疑ってかかります。

「なにこの数字!どっから来たんだよっ!!」


次は、__yossy__さん、おねがいします!