「Lean と DevOps の科学」という本を読みました。
Kindle で購入しました。(マーカーの引けないタイプの本だったので、Kindle でマーカーを使いたい人はお気をつけを)
この本の概要
科学的手法を使って DevOps の効果を明かにする。というタイトルなのですが、簡単に言うとエンジニアにアンケートを取ってその結果を元に、効果を測定した。という内容の本です。
DevOps 的な手法を適用した組織と、そうで無い組織という対象群を設定して、違いを測定する。というような手法の調査ではないので注意が必要です。
アンケートの結果を解析した結果、例えば「継続的デリバリ」を行う事で、効率化が図られ「バーンアウト（燃え尽きる）する人が減った」「満足度が上がった」のような事がわかった。と著者は主張します。多くは当然と思われる事が多いので、驚きは無いです。
例えばアンケートの解析の結果以下のような事がわかりました。というような図示が多々あります。
残念なのは、これがどういう条件の環境で、アンケートをどう分析した結果なのか。という背景が殆ど示されない事で、これが本当に科学的な分析の結果なのか読者が知る余地が無い事です。それほど不可思議な結果では無いので知る必用が無いと言えばそれまでなのですが、アブストラクトだけの論文を見せられているような感じになります。読者からすると「科学的」には見えません。
例えば、「ソフトウェアのデリバリーパフォーマンスは、組織全体の業績に重要な影響をおよぼす」という結論だけが述べられた時に、私的には次のような疑問が、いろいろ疑問が浮かんできます。
「ソフトウェアのデリバリのパフォーマンスは、デプロイ回数等で測ったんだろうか？(前の方で回数に言及しているので、恐らくそうかな？）デリバリした対象のソフトウェアは、同種のソフトウェアのデリバリの内容だったんだろうか。Webのフロントエンドやっている人と、DBやっている人で同じように扱えないと思うけど、対象群はきちんと分別しているのかな。それとも上手く均す事ができたのだろうか」「「組織全体の業績」とはどうやった測ったんだろう？」
といろいろ疑問が浮かんでくるのですが、この本はそう言った細かなパラメーターや条件については、ほとんど教えてくれません。
パフォーマンスが良好な組織とそうでない組織を比較すると「コードのデプロイ頻度は４６倍」とあります。ただし、同じような開発物の組織の似た規模の組織を比較したのかについての言及はありません。ひょっとしたらそこまで気を使って分析をしているのかもしれませんが、そうでないかもしれないので、読者として判断しかねます。
明確なデータを示している例で、アンケートの受けた人たちの所属の業界についてのデータがあります（この手の数値データが示されているのは本書では本当にごく一部で、基本は「文章」です。）
例えば、日本では金融のシステムの大部分は、金融会社のIT子会社が行っている場合が多いです。その子会社は「製造」や「流通」の案件もやっています。その場合は、「IT」と答えるのか「金融」と答えるのか迷う事でしょう。このデータでは、自分が所属する業界は「ＩＴ」だと思っている人が 34%もいます。
こういった曖昧な分類をしている状況で、DevOps という観点で重要になってくるであろう、調査の対象になったシステムの特徴がうまく分類されているのか、明かされてない内容に対して、少し警戒する必要があると思いました。
アンケートというのは、主観を多く含む、曖昧なデータで、これを元にあれこれを語っても「科学」と言っていいかは、客観的には言わないかなと思います。「科学」であるには、少なくても単一の明確な基準でデータを集めるべきだと思います。例えそれをやったとしても、適切な基準でなかったりという事はあるかもしれませんが、すくなくても「科学」的な態度であると思います。
この本に関して言えば、普通に「アンケートをまとめてみました」とすれば良かったのにと思います。ただ、そのアンケートについても設問やデータ分布が明らかにされる事はほとんどありません。
また、本書は「科学」というタイトルを付けているせいか、不必要に「科学的」風に格式高く見せようとしているのでは？と感じました。
例えば、「リッカート尺度」を使って分析した。というような説明があります。
何だろう？と思ってググってみると、よくある「大変そう思う」～「全くそう思わない」などの選択式のアンケートの事を指すようです。読者の殆どは、そう言った知識が無いと思うので「大変そう思うか～全くそう思わないまでの選択式のアンケートを行った」で良いと思いました。
アンケートを統計的にまとめるための手法について、12章～14章の3章を裂いているので、アンケートのまとめ方に興味のある読者向けの本なのかもしれません。
ただ、アンケートのまとめ方を超えてデータ分析の解説をしている部分もあります。
このような感じで、統計的手法にいてまとめられているのですが、前述のように本書のアンケートのデータの集計が分布として具体的にどういう結果になったのか。と言う数値はこの章でも、ほとんど示されません。
上記の引用部の「予測的分析」については、「本調査研究には含まれていない」と引用に書いているように、この本では予測的分析をアンケートに対してはしていません。
この本には直接関係の無い、世の中にある分析手法について「解説の漏れ」なくこの本で行うスペースを割くのであれば、この本で実際に行った解析について具体的なデータを示すべきだと思いました。私はわざわざ本書を複雑に見せようとするために、余計な情報を入れている印象を受けました。
「予測的分析」の解説で「一般的にこの種の分析には過去の経過データが必用です」と言うレベルの情報を与えられても、私的には当たり前の事を冗長に解説されているだけにしか思えませんでした。
おすすめ度
翻訳も首をひねるような所があり、想像して読み進める必用があります。正直、何度か読み返しても意味が取れない部分も多かったです。
例えば「利用率」によって生産性を測定する。という話があります。意味が良くわからなかったので、「利用率 生産性」でググりましたが、どうやら「稼働率」の事だとわかりました。
得られる結果が当たり前なだけに、全体的に「Ａという事をするとBになる」というような文章で、AとBはほぼ同じ意味（玉子が先か鶏が先か的な問題）というのが結構あります。
例えば、「情報セキュリティの対策を最初からソフトウェアの開発に入れる事で、セキュリティの質も上がる事がわかった」と言われても、「セキュリティの質を上げるために、あらかじめソフトウェアに開発初期から考えるようにした」と言ってもよいわけです。
DevOps に興味がある人に向けて書いた本だとすると、必用以上に読みにくいですし、統計的手法に興味がある人に向けた本だとすると、そこについても章を3つ裂いている割りには詳しい内容はないので、どちらとも付かない感じがしました。