2010年10月26日火曜日

app engine 新機能色々

筆者はGoogle app engineを非仕事で常用していますが、
オフィシャルブログ追っかけはやってないので、
結構出遅れます。

一つは remote_shell_api
もう一つは datastore_admin

remote_shell_api

データストアの中身を、直接CSV形式でダウンロードできたりとか、
app.yamlに書いて損無しのremote_apiですが、

- url: /remote_api  script: $PYTHON_LIB/google/appengine/ext/remote_api/handler.p
  login: admin

恐らくその全機能をコマンドラインで試行錯誤しながら叩けるという
刺激的なツールです。

+ python2.5 ../google_appengine/remote_api_shell.py アプリケーション名
No handlers could be found for logger "google.appengine.tools.appengine_rpc"
Email: ########Password: App Engine remote_api shellPython 2.5.4 (r254:67916, Jan 20 2010, 21:44:03)
[GCC 4.4.1]The db, users, urlfetch, and memcache modules are imported.
アプリケーション名>

メッセージがチラっと出てる限り、

  • memcache
  • データストア
  • グーグル認証

等々は使えるようです。
まあデータストアだけでも、ご飯3杯。

直ぐに思いつくのは、データストアに対する、ややこしい操作。
datastore viewで1個づつ書き換えるにはどうよ?という操作。
これをスクリプトで一括処理しちまおう。というのは誰でも考えると思います。
しかしスクリプト書いてデプロイ、を繰り返すのはかなり面倒です。

アプリケーション名> class sitedata(db.Model):...
 pass...
アプリケーション名> sitedata.all().count()
16
アプリケーション名> 

こんな感じで、(感覚的には)直接クラウドの「あっち側」をイジれます。
実際には、remote_apiが、20レコード単位っぽい感じで送受信してるので、
スピードは早くはありません。

筆者はこれで、念願の、データストア一括削除ができました。

しかし、流石のグーグル。もっと良い方法があったという。

Datastore Admin

builtins:
- datastore_admin: on

これを書いておくと、datastore adminのメニューから、
「一括削除機能」が使えます。
しかも内部で、Map/Reduceを使って削除するらしい。

データストアに、

  • _AE_MR_MapreduceState
  • _AE_MR_ShardState

が増えたり
MainのLogsに

  • /_ah/mapreduce/worker_callbak
  • /_ah/mapreduce/controller_callbak

がドンドコ増えたりとか
Map/Reduceの一端が垣間見える体験です。

2010年10月23日土曜日

大規模WEBサービスは、クラウドに倣うべき

日本国内の、主にケータイサイトの裏側は、「apacheとmysqlで構築してます」
なんて話は良く聞きますが、いずれも物理サーバを自前で置いている場合です。

最近ではamazon ec2の利用が増えているであろうと思いますが、
これを、ただ「安価なレンタルサーバ」として使うのは全面的に間違っています。

データが消えても良いことを最初から考慮して、
むしろ2分で新しいインスタンスが立ち上がることを積極的に利用するべき。

「スケーラブル」にしなければならないのに、「インスタンス1台づつ手動で立ち上げて」どうこうするのは無駄。

つまり、物理サーバとは別の運用パラダイムが必要です。
なんて話は、海外のクラウド畑ではあたりまえの話でしょう。
判ってないのは日本国内のお客さんだけ。

筆者が常用している海外のサービスは、最近ではtumblrぐらいですが、
どうも最近不安定。ポスト失敗したり。ダッシュボードが出なかったり。
リブログ主体ですから、画像の取扱いの主体が大変だろうと推測。

似て非なるtwitterは、質的にはリアルタイムチャット、
twitterのトラフィックの異常さは想像に難しくありません。

彼らの努力を見習って、同じ苦労は極力削減するべき。
この不景気、車輪の再生産をする余裕はありません。

運用面の工夫

TwitterがBitTorrentで高速にデプロイしている仕組みについて
http://www.publickey1.jp/blog/10/twitterbittorrent.html

そこでBitTorrentを使ってデプロイする「Murder」というツールを開発をした。Murderは、BitTorrentを包含して内部ネットワーク用にオプティマイズしたもの。これまで約900秒かかっていたデプロイの時間が約12秒になり、75倍も速くなった。


Twitterの大規模システム運用技術、あるいはクジラの腹の中(前編)~ログの科学的な分析と、Twitterの「ダークモード」
http://www.publickey1.jp/blog/10/twittertwitter.html

Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
http://www.publickey1.jp/blog/10/twitter_4.html
ボトルネック調査

Twitterの大規模システム運用技術、あるいはクジラの腹の中(後編)~Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」
http://www.publickey1.jp/blog/10/twittertwitterunicornkestrelflock_db.html
ボトルネックの具体的な解消。ミドルウエアの積極的な交換。

kestrel
tiny queue system based on starling, in scala
http://github.com/robey/kestrel
タスクスケジューリングの解法(cronやatには限界があるのは周知)
memcachedの基盤を利用して、大規模分散キューを実現してる。らしい。

ストレージ面

基本的にshardingだけど、アプリケーションが個別に頑張るんじゃなくて、
RDBとの間にアダプタを挟むのが現実的。

Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア
http://www.publickey1.jp/blog/10/twittergizzard_scalasharding.html

GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。

なんか日本語が変。「ScalaでかかれたJavaVM」に読める。こういう書き方をする人は多いですが。

GizzardはJavaVM上で動作するミドルウェアで、Scalaで書かれてる。Webアプリケーションからの要求を、自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。

http://engineering.twitter.com/2010/04/introducing-gizzard-framework-for.html
http://github.com/twitter/gizzard

NoSQLは
思ったより運用実績はないみたいですね。

TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
http://www.publickey1.jp/blog/10/twitterdiggnosqlcassandra.html

Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」
http://www.publickey1.jp/blog/10/twittercassandra.html

それにしても、このうちGizzardとKestrelが、Scalaで書いてるらしい。
JVMベースの、「JAVAでない言語」恐るべし。

2010年10月22日金曜日

「天才」は「便利屋」という意味かも知れない

結論から言っちゃうと
一般人が期待する「天才」は、一般人がほとんど出会うことはありません。
住んでいる世界が違いすぎるので。多分。

ソフトウエア業界で言うと、
グーグル社内には何人か居るかも知れません。
普通の大企業には中々居ません。
居たら上司は扱いにくい筈だから。

誰かが他人を「天才」と称したときは、
「彼が何をしているか私には判らない」=「イミわかんない」

と最近は解釈しています。
穿った見方ですが、当たらずとも遠からずでしょう。

人間は、自分が理解できないものを見たときは、
理解するための努力を放棄することがままあります。


筆者の「天才」の定義は、

自分が思考していると自覚せずに、いきなり結論を導き出せる。

だと思います。
決して、

自分にはどうやってるか判らないが、何でもやってくれる人

ではありません。

誰かに「天才」呼ばわりされたら、喜ぶ前に、
何か大仕事を頼もうとしてないかを
警戒すべきでしょう。

「天才」は「便利屋」でも「魔法使い」でもない。

プログラマは魔法使いである。らしい。

何処かのSF作家の名言で、

http://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%A9%E3%83%BC%E3%82%AF%E3%81%AE%E4%B8%89%E6%B3%95%E5%89%87

充分に発達した科学技術は、魔法と見分けが付かない。
というものがあります。
魔法と科学を区別するには、知識が必要である。そういう事です。
ズブの素人には、現代の技術も、魔法にしか見えないらしい。

http://www.webcreatorbox.com/webinfo/clients-funny-requests/
  • クライアントとレイアウトの変更について話しあっていた時、クライアントが油性ペンで私のMacBookのスクリーンにレイアウトを描き出したことがある。
  • 「サイトを印刷してみたんですが、GIFアニメーションが動きません。」
  • 写真に後ろ向きで写っている人を指さして「Photoshopでこの人を正面に向かせてください。」

流石に嘘くさいです。創作だと思いたい。しかしあり得ない話でもない。

これらのエピソードが示すのは、
素人は、「コンピュータが再現しているモノ」と「現実」の
区別が付いてない事が推測できます。

そして、「パソコン教室」のニーズが普遍であることも。
でも、前述の例の解説をするのは、骨が折れそう。

彼らにとって、「コンピュータが再現している事象」は全て「魔法」なのでしょう。
コンピュータなのだから、プリントアウトが「動く」なんて、簡単なのです。

って言うか、「鏡に驚く猫」レベルじゃね?

2010年10月21日木曜日

「海外製品の日本上陸は、何もかも2年遅れ」for Android 2.2

筆者は出稼ぎで忙しく、だいぶ出遅れましたが、
auが冬モデル2機種(?)発表しましたね。Androidです。

1年判前(2008年1月)、Android事業をやるのやらないの、
と議論していた筆者にとっては、ようやくか、という感じです。
あの時の取引先Kさんは、今頃どう思ってるだろうか?
  • ドコモの失敗は、自前で作ってないところ。
    • HT-03aでは市場を牽引する力は無かった。
    • Xperiaも同様。オサイフ機能ないからね。筆者は要らないけどね。
    • Galaxyを持ってきたって駄目よ。
    • っていうか山田隆持社長は基本、何言ってるのか判らん http://plusd.itmedia.co.jp/mobile/articles/1010/05/news033.html
    • ドコモは、未だにガラパゴスで行けると思ってる予感がします。
  • ソフトバンクはもちろんiPhoneを愛してます。
    • Desireは、とりあえず「Androidも有りますよ」と言いたいだけ。

日本に限ったことですが、現状のスマートフォン市場は、間違いなく、iPhone4のお陰です。
故にソフトバンクのお陰です。電車で眺めてると実感します。

戸袋の辺りで、ケータイをイジってる3人が3人ともiPhone4/3GSだった、
という事があります。
しかし、その3人ともケータイ入力だったりするという。

ケータイ入力は根強いです。

#iPhone4っぽいモノを操作していた女子高生が、珍しくフリック入力っぽかったですが。
#隣の車両だったので、詳細は不明です。

それでようやく、キャリア側も「携帯電話にオサイフ&ワンセグが付いてなくても買う」
そういう市場があることが実感できた。誰もそう言ってないけど、そうでしょう?
日本は何もかも保守的ですよね。だから世界から2年遅れる。
銀行が融資しないから、企業も勝負に出られない。

しかし、外国のベンチャーキャピタルは金を出す。
だから面白いサービスは海外からしか出てこない。

日本でどうにかなってるのは、ガラパゴス市場だけでしょう。
いや筆者も受け売りですが。

http://trendy.nikkeibp.co.jp/article/column/20101018/1033375/?P=5
今更何言ってんのかと。

2010年10月20日水曜日

「視聴者」じゃなくて「お客さん」と思ったらどうか?

いまだに放送業界は判ってないというか。

番組(コンテンツ)があれば、視聴者を30分単位で拘束できる。

という妄想は捨てるべきでしょう。

不景気→忙しい→時間がない→テレビなんか等速で見てられん。

というのは当たり前の話でしょう。
ワンセグに望みをつなごうって言ったってたかが知れてます。

民放なんかもう行き詰まって、Youtubeの再掲載だったりする。らしい。
そんなもん何処かのブログで十分だし、彼ら自身がそこからパクった筈。
なのに、改めて放送を見る奴がどれだけ居るのか?

いや気づいているのかも知れない。下っ端は。

知ってる人は、退屈するだけ。
インターネットを知らない人だけならどうにか。
「視聴者」を舐めてるのかと。

テレビ業界のそもそもの歪みは、
「視聴者」を「CMを見せる相手」としか思ってないところでしょう。
誰も言ってませんけどね。明らかでしょう。

「CMを見せる相手」の母集団を確保して、時間枠を大企業に売る。
そういうビジネスモデルで成り立ってきた。
あくまで彼らの「お客さん」は、「視聴者」ではない。

しかし、視聴者は、CMのために見てるわけではない。
テレビ局のために、テレビ番組を見てあげる義理はない。
暇だから。好きなタレントが出てるから。

娯楽の少ない昭和初期は、テレビの前にかじり付くしか無かった。
しかしそれもインターネットの普及まで。
いまの20代は「パソコン通信」なんて通じませんよ。

暇つぶしのネタには事欠きません。
携帯電話アプリおよび携帯ゲーム機もその一つでしょう。
そして最初に書いたように、時間がない。

ましてや、地デジの売りの高解像度は、無線なればこそ。
インターネットストリーミングではとっくの昔。
しかもPCの解像度は、HDの面積比で4倍以上も既に存在します。

地デジ化で受信料収入1割減の試算 ピンチのNHK「給料、職員減らせ」
http://news.livedoor.com/article/detail/5077481/

っていうか、衰退していく民放を尻目に、
「受信料」にあぐらをかいてるのは最初から。

外国人が日本のテレビ番組をつまらないと思うワケ
http://news.livedoor.com/article/detail/4465638/

民放は既に「コンテンツ製作」を放棄してるってことよね。

いや、楽しみ。地デジ始まった途端。テレビ局がボコボコ潰れそう。
アナログでやってりゃ良かったのに。

2010年10月19日火曜日

バクマン。アニメ化。劇中劇は未だに。

アニメも放送開始で絶好調の本作です。しかもNHKで。
今考えると漫画業界のイメージ回復計画だったような気がします。

ある作家は自分の原稿を無くしたとして、編集社を訴えたり。
ある作家は紙媒体に限界を感じ、自分で漫画ネット配信サービス始めたり。

漫画は日本の誇るコンテンツの一つでしょう。
嫌う人やら馬鹿にする人やら居ますが、
それは他のコンテンツでも事情は同じ。
野球しかり、プロレスしかり。

  • さて亜城木夢叶が、週刊ジャンプ連載の進退を賭けた三作目、「PCP-完全犯罪党」。
  • 本編では、どうにか+NATURALに勝利で終わったり、更にドラマCDの話まで。しかし、邪道であるが故に、アニメ化の望みが薄いと聞いて、意気消沈。浮いたり沈んだり、忙しいな亜城木。
  • シュージンはどんどん筆が早くなり、ドラマCDの原案まで書く余裕まであったりする。
  • 流石に今度は終わらせる訳にもいかず、もう一作連載する方向で望みを繋ぐ。
  • そこで新アシスタントの二人が浮上。速筆で上手い白鳥くんがここで絡んで連載デビューの兆し。しかも原作シュージン。


ここからは筆者の予想ですが。

今のところは白鳥くんの進退で盛り上げて、
彼の連載は実はかなり早期にアニメ化すると踏んでます。
しかも声は亜豆に決定したりとか。
ドラマCD、白鳥君の新連載、どっちも絡んでいるのはシュージンで、サイコー出番なし。
サイコー複雑。

2010年10月3日日曜日

今一度内需拡大を、というのは簡単だが

最近、tumblrを多用しています。活用しているとは言い難いですが。
「この景気をどうにかしよう」的な考察を集めた記事&リブログも多々あり、
考えさせることしきり。

筆者も、自営業をやってはみたものの、受注開発は無理があり、
また、今ご厄介になっている会社も、受注開発業務が主体であり、
ジリ貧ムードが漂ってます。

まず消費者としては、財布の紐がガチガチに固くなってること。
「紐を接着しちゃってる」んじゃないかという程に。
元を正せば、収入が減ってるから、であるとは思いますが、

実は現代社会人は結構「満たされてる」んじゃないかという説もあり
単純に無駄使いを辞めたのかもしれません。

その消費者が消費する筈の利益の一部が、
巡り巡って、誰かさんの給料になってるはずであり、
金が天下のまわり物たる所以を実感するところです。

なかなか買ってくれないのだから、
少ない購入頻度から少しでも利益をあげようとするのは、
企業としては当然の理屈です。

特に、製造業では、人件費を下げるため、中国への流出が目立ちます。

人件費は分かるんだけど、日本人労働者にいくはずだった金が、
中国人労働者に行っちゃってるって事になるのか?ならないのか?

ましてや日本にも、中国人労働者を大量に見かけたりします。
目立つところでは、繁華街のコンビニでレジ打ってますね。
しかも彼らはクニの家族に仕送りしてるに違いない。

「金は地球のまわり物」になってるならまだ良いのですが、
回ってないとしたら??

高いiPadなんか彼らはなかなか買いません。
中華Androidタブレットで十分らしい。安さこそ正義。
内需拡大にも程があります。

アレ?日本ってひょっとしてどんどん金が減ってるんじゃね?

しかしながら問題の「中国製」、台湾製より遥に品質が劣る気がします。
中華Androidタブレットを何台か買ってみた感想。
製造は同じところがやってるはずなのに不思議だよね。なんだろね。

しかし、台湾マイクロソフトのスタンドプレイ(?)を見るにつけ、
日本人文化ともっとも相性が良いのは、やはり台湾だと思う次第です。

メイドインタイワンを辞めたのは、日本人には損失だったと思いますね。