ページ

2011年10月19日水曜日

Softbank vs KDDI - Synthetic Monitoring - MobileによるiPhoneアプリのパフォーマンス計測ランキング

0 コメント
この記事では、Softbank vs KDDIと題してCompuware Gomez:Synthetic Monitoring - Mobileを使ったiPhoneアプリケーションのパフォーマンス計測によって、どちらが早いか調査した結果をご紹介します。調査方法は9月13日の記事でご紹介した「iPhoneアプリケーションのパフォーマンス計測方法 」に基づいています。

計測対象は、通販サイトランキングの対象となっている通販新聞社が2011年8月4日(第1328号)に発表した「第56回通販・通教売上高ランキング」(実績対象決算期:10年6月~11年5月)を基に、上位30社が提供しているiPhoneアプリを計測しています。

さて10月14日にKDDIからもiPhoneが発売され、巷では「SoftbankとKDDIのどちらが早いのか計測してみた」と言った内容のブログや記事が見受けられます。色々なデータが出ておりとても参考になりますが、私もSoftbankのiPhoneとKDDIのiPhoneを使い比べてみて、その違いに驚いておりました。そこでCompuware Gomez:Synthetic Monitoring - Mobileを使って計測してみたらどうなるか興味を持ったので実際に計ってみました。その結果が下記の表となります。

Softbankの応答時間とKDDIの応答時間を比較し早い応答時間に対して青色で塗りつぶしています。11アプリケーション中8アプリケーションでKDDIの方が早い結果となっています。因みにBaseline応答時間とあるものは3G回線網では無く通常のインターネット回線で計測した場合の応答時間を示しています。


順位
売上
順位
企業名アプリケーション名
Softbank
応答時間
(秒)
Baseline
応答時間
(秒)
KDDI
応答時間
(秒)
130カタログハウスコスメブック3.028 0.023 0.553
211QVCジャパンQVC iShop2.297 0.048 0.755
36オークローンマーケティングイケメンカウンター5.839 0.253 1.051
48ジュピターショップチャンネルShopChannel3.506 0.382 0.625
51アマゾンAmazonモバイルiPhoneアプリ1.275 0.701 1.560
67千趣会ベルメゾン デジタルカタログ2.903 0.870 0.928
718カウネットカウネット お得ニュース!3.066 1.202 1.324
814セシールcecile/dinos digital catalog6.415 1.309 4.013
95ニッセンニッセン スマートカタログ2.563 1.467 1.144
1028楽天(楽天ブックス)楽天ブックス3.682 2.013 6.028
Average
3.457 0.827 1.798
1120フェリシモフェリシモ20.569 26.350 20.816

■補足
各アプリケーションは目的が異なりますので、単純にアプリケーションを起動して最初の画面を表示するまでの間に、サーバー側とのアクセスで取得するデータが完了するまでの時間を計測しています。

■計測期間
2011年10月18日~10月19日

■測定方法:
Compuware Gomez:Synthetic Monitoring - Mobileソリューションを用いて、iPhoneアプリケーションの応答時間(レスポンスタイム)を測定しております。測定には国内データセンターに設置した測定ピアを使用し、SoftbankとKDDIの3G回線網経由で1時間に1回、計測を実施しております。

■測定項目
応答時間(レスポンスタイム):訪問者が特定のURLにアクセスしたときに、そのページの全コンテンツが読み込まれるまでの時間を示し、短いほど良いとされます。

■測定結果
アマゾン
ニッセン

千趣会

ジュピターショップチャンネル

QVCジャパン

セシール

オークローンマーケティング

カウネット

フェリシモ

楽天ブックス

カタログハウス

2011年10月12日水曜日

【重要】2011年11月 NTT/KDDIノードプロバイダーメンテナンスのご連絡

0 コメント
■KDDI 東京ノードのメンテナンス日時
11月10日(木)03:00~11:00(日本時間)

■NTTノードのメンテナンス日時
11月14日(月)03:00~11:00(日本時間)

■KDDI 大阪ノードのメンテナンス日時
11月15日(火)03:00~11:00(日本時間)

上記予定でブラウザAgentのアップグレードを目的としたメンテナンスを実施致します。ご迷惑をおかけして誠に申し訳ございませんが、メンテナンスの間、当該ノードのテストは停止されますので、ご了承いただけますようお願い申し上げます。

尚、メンテナンス期間もテストを継続したい場合には、一時的にメンテナンスの無い他の国内ノードへ振り替えていただけますようお願い申し上げます。

このメンテナンスに関するご連絡についてご質問などございましたら、お手数ですがCompuware GomezサポートセンターへE-mailまたは電話にてご連絡ください。

また、国外ノードについても同様にメンテナンスの予定がございます。海外ノードをご利用のお客様はGomezポータルのサポートページで下記の記事をご確認いただくか、またはCompuware Gomezサポートセンターへご連絡下さい。

MAINTENANCE (SCHEDULED) Monday, 17 October 2011 to Tuesday 15, November 2011
Backbone Node Browser Agent Upgrade Maintenance

2011年10月7日金曜日

Synthetic Monitoring - MobileによるiPhoneアプリのパフォーマンス計測ランキング

0 コメント
この記事では9月13日の記事でご紹介した「iPhoneアプリケーションのパフォーマンス計測方法 」に基づき、Compuware Gomez:Synthetic Monitoring - MobileでiPhoneアプリのパフォーマンスを計測した結果をご紹介致します。

計測対象は、通販サイトランキングの対象となっている通販新聞社が2011年8月4日(第1328号)に発表した「第56回通販・通教売上高ランキング」(実績対象決算期:10年6月~11年5月)を基に、上位30社が提供しているiPhoneアプリを計測しています。

順位 売上



順位

企業名 アプリケーション名 得点 可用性(%)
1 1 アマゾン AmazonモバイルiPhoneアプリ 1.326 99.8
2 5 ニッセン ニッセン スマートカタログ 2.675 100.0
3 11 QVCジャパン QVC iShop 2.679 99.2
4 18 カウネット カウネット お得ニュース! 3.068 100.0
5 7 千趣会 ベルメゾン デジタルカタログ 3.211 99.8
6 30 カタログハウス コスメブック 3.29 100.0
7 8 ジュピターショップチャンネル ShopChannel 3.588 99.8
8 28 楽天(楽天ブックス) 楽天ブックス 3.695 99.6
Average
4.789 99.8
9 6 オークローンマーケティング イケメンカウンター 5.181 100.0
10 14 セシール cecile/dinos digital catalog 6.491 99.8
11 20 フェリシモ フェリシモ 17.483 99.8

各アプリケーションは目的が異なりますので、単純にアプリケーションを起動して最初の画面を表示するまでの間に、サーバー側とのアクセスで取得するデータが完了するまでの時間を計測しています。

また、今回はAndroidアプリを計測していませんがSynthetic Monitoring - MobileソリューションではAndroidアプリの計測も可能ですので、ご要望がありましたらCompuware Gomez無償計測キャンペーンにご連絡下さい。同様に他のiPhoneアプリの計測も可能ですのでCompuware Gomez無償計測キャンペーンへご連絡下さい。


■計測期間
2011年9月15日~9月30日

■測定方法:
Compuware Gomez:Synthetic Monitoring - Mobileソリューションを用いて、iPhoneアプリケーションのレスポンスタイムと可用性を測定しております。測定には国内データセンターに設置した測定ピアを使用し、Softbank 3G回線網経由で1時間に1回、計測を実施しております。

■測定項目
  • レスポンスタイム(秒):訪問者が特定のURLにアクセスしたときに、そのページの全コンテンツが読み込まれるまでの時間を示し、短いほど良いとされます。
  •  可用性(%):訪問者が特定のURLにアクセスしようとした際に、アクセスできた割合を示し、100%に近いほど良いとされます。

2011年9月13日火曜日

iPhoneアプリケーションのパフォーマンス計測方法

0 コメント
本記事では、Synthetic Monitoring - Mobileを使ってiPhoneアプリケーションのパフォーマンスを計測する方法について説明します。

■手順
iPhoneアプリケーションのパフォーマンスを計測するには、下記の手順が必要になります。

(1)ノートPCを無線LANアクセスポイントにする設定
(2)iPhoneのWi-Fi接続を使い手順(1)のアクセスポイントへアクセスする
(3)Gomez Recorderを使った計測用スクリプトの作成
(4)Synthetic Monitoring - Mobileテストの設定

■用意する物
無線LANが使用できるノートPC(無線LANデバイスがあるPCでもOK)
iPhone(iPadでも可)
※ノートPCにはGomez Recorderがインストールされているものとします。
※2 本記事ではWindows7ベースで設定方法を説明しています。他のOSでも同様の方法で可能となると思います。ウェブ上に様々な説明がありますので、それらを参考にして下さい。
(参考例:へっぽこPGの部屋: ノートPCの無線LANアクセスポイント化

■手順(1)ノートPCを無線LANアクセスポイントにする設定
①コントロールパネル>ネットワークとインターネット>ネットワークと共有センターを開く。
②ワイヤレスネットワークの管理をクリックし、追加ボタンを押す。
③「アドホックネットワークを追加します」をクリックし、「ワイヤレスアドホックネットワークをセットアップします」が表示されたら、次へボタンを押す。
④下記を設定し、次へボタンを押し、OSのセットアップが完了したら閉じるボタンを押す。
ネットワーク名=任意の文字列。ユニークでかつ分かり易い名前を推奨。
セキュリティの種類=WEPを選択。
セキュリティキー=接続時のパスワードとして使用されるので注意。
このネットワークを保存します=チェックする。


⑤ワイヤレスネットワークの管理に上記で設定したネットワークが表示されます。
⑥コントロールパネル>ネットワークとインターネット>ネットワークと共有センターを開く。
⑦アダプターの設定の変更をクリックし、ローカルエリア接続を右クリックして、プルダウンメニューからプロパティを選択する。
⑧ローカルエリア接続のプロパティダイアログで共有タブをクリックし、「ネットワークのほかのユーザーに、このコンピュータのインターネット接続をとおしての接続を許可する」をチェックし、OKボタンをクリックする。









■手順(2)iPhoneのWi-Fi接続を使い手順(1)のアクセスポイントへアクセスする
①iPhoneの設定で機内モードをオンにする。
②Wi-Fiをオンにし手順(1)の④で設定したネットワーク名を選択する。初回はパスワードの入力を促されるので、手順(1)の④で設定したセキュリティキーを入力する。
③Safariを起動し、何れかのサイトへアクセスして応答があればOK。
※③でアクセスできない場合、設定を再確認して下さい。PCでファイアウォールが動作している場合、接続を遮断しないよう設定を変更します。avast!の場合、ユーザーインタフェースを開き、ファイアウォールの設定で「詳細な設定」ボタンを押し、「インターネット接続共有モード」をチェックして下さい。






■手順(3)Gomez Recorderを使った計測用スクリプトの作成
①Gomez Recorderを起動しRecord via Proxyボタンを押す。
②Change Portボタンを押す。プロキシー用ポート番号を入力する。例では8080を入力。
IPv6を使用している場合、IPアドレスが表示されないので、この場合はipconfigを使ってLANアダプターのIPv4アドレスを調べておく。
③Onボタンを押す。





④iPhoneで設定>Wi-Fiへ移動し、手順(1)の④で設定したネットワーク名の「>」ボタンを押す。
⑤HTTPプロキシ(画面一番下へ移動)で「手動」を選択。「サーバ」と「ポート」に手順(3)の②のIPアドレスとポート番号を設定する。
⑥iPhoneのSafariからhttp://IP address/certへアクセスする。
⑦プロファイル画面が表示されGomez Certificationが表示されるのでインストールを押す。「信頼されています」と表示されたらOK。
⑧iPhoneの設定>メール/連絡先/カレンダーを選択し、アカウントを押します。アカウントに紐付いているメールとメモをオフにします。
⑨iPhoneのSafariで任意のURLを入力します。例ではweather.comへアクセスしています。Gomez RecorderにアクセスしたURLが表示されればOKです。一切表示が現れない場合やiPhone側にエラーが表示される場合、設定を見直して下さい。
Clear allをクリックしキャプチャエリアをクリアします。
⑩スクリプトを作成したいiPhoneアプリケーションを起動します。例ではAmazonアプリを使用します。Amazon.co.jpで検索に対し「ハイパフォーマンスwebサイト」と入力して検索します。該当する本のリストが表示されます。
⑪Gomez RecorderでキャプチャされたHTTPリクエストを選択し、Add HTTP Actionボタンを押してアクションを生成します。この手順をiPhoneアプリケーションの操作毎に繰り返しアクションを追加していきます。例ではAmazonアプリのトップで検索したリストの最初の書籍を選択し、画面下部の「カートに入れる」ボタンをクリック。画面最下部に並ぶボタンの内「カート」ボタンを押し、画面上部の「レジに進む」ボタンを押し、注文内容の確認でパスワードを入力する、一連のトランザクションをキャプチャします。






⑫全ての操作が完了したらGomez RecorderでSTOPボタンを押します。
⑬HTTPアクションとWaitアクションを一つのステップとし、区切りとしてSTEPを追加します。
⑭全ての区切りを設定します。
⑮各ステップ毎にedit nameをクリックしてステップ名称を設定します。文字化けを避ける為、アルファベットの使用を推奨します。
⑯PLAYボタンを押してスクリプトを確認します。「This script ran successfully.」と表示されたらOKです。
⑰File>Save(remote)を選択します。Gomezポータルのログインアカウントでログインします。
⑱Save to the Gomez Platformでスクリプト名を設定してSaveボタンを押します。例ではamazon mobileとしています。










■手順(4)Synthetic Monitoring - Mobileテストの設定
①GomezポータルでログインしAdmin画面を表示します。Add/Edit Mobile Testsをクリックします。
②Add Mobile testsをクリックします。
③Transaction Firefox Agentを選択し、手順(3)の⑱で保存したamazon mobileスクリプトを選択し、Continueボタンをクリックします。
④デフォルト設定でContinueボタンをクリックします。
⑤All Mobile Populationsから計測用のピアを選択します。例ではSoftbankと比較対象用のBaselineを選択し、# of measurements per hourに2(1時間に2回計測する設定)を入力し、→ボタンをクリックし、Continueボタンをクリックします。
⑥PERFORMANCE TESTSタブをクリックし、Mobileボタンをクリックし、登録したamazon mobile - FF Agent(Pvt)を選択して→ボタンを押し、Create chartボタンを押すと計測結果を確認できます。

2011年9月7日水曜日

第8回通販業界Webサイトパフォーマンスランキング掲載のお知らせ

0 コメント
本日(2011年9月7日)サムライズは8月1日から8月31日迄Compuware Gomez:Synthetic Monitoring - Backbone(旧Gomez Performance Network)で計測して集計した下記ランキングを発表しました。

通販サイトランキング(8回目)
健康食品通販サイトランキング(7回目)
化粧品通販総合ランキング(6回目)
ネット通販総合ランキング(6回目)
衣料品通販総合ランキング(5回目)

詳細については下記をご覧下さい。

サムライズ サイトランキング ページ
プレスリリース

★次回ランキング発表は10月7日(金)を予定しております。

■お知らせ
次回ランキングから通販新聞社が2011年8月4日に発表した10年6月期~11年5月期の
売上高ランキングに基づいた、主要サイトトップページのパフォーマンスランキング
を発表致します。

この変更に伴い、ネット通販総合ランキングは第6回(今回発表)をもって終了と
致します。また、通販サイトランキングを除く、健康食品通販サイトランキング、
化粧品通販総合ランキング、衣料品通販総合ランキングは上位20社を対象と致します。

2011年8月25日木曜日

ランキング評価レポートの作成とデータ収集方法

0 コメント
本記事では、サムライズが実施している「通販業界Webサイトパフォーマンスランキング」のベースとなるデータを収集する為に利用しているCompuware Gomez:Synthetic Monitoring - Backboneテストのレポートを作成する方法について解説します。

■レスポンスと可用性データの収集方法
Gomezポータルからログインし、PERFORMANCE TESTSタブへ移動し、下記を設定してレポートを作成します。
①レポート対象となるテストを選択します。
②X軸の表示方法を選択します。Countryを選択し棒グラフにします。
③集計方法を選択します。デフォルトのAverageを選択します。
④対象期間を選択します。最大33日間から任意の期間を選択できます。例では8月1日から10日迄を対象としています。
⑤Download Dataボタンを押しCSVデータを取得します。
⑥⑦Microsoft ExcelでCSVデータを開くと、レスポンスタイムと可用性の二つのデータを取得できます。



■効率性データの収集方法
レスポンスタイムと同じ対象の効率性データを収集するには下記を設定してレポートを作成します。
①レスポンスレポートの画面下部にあるEdit all parametersをクリックします。
②X軸の表示方法を選択します。Timeを選択し折れ線グラフにします。
③Component Level Chartボタンを押します。
④ポップアップメニューからBytes Downloadを選択します。
⑤Components Chart画面が表示されます。チャート下部のData SummaryにBytes DownloadがKB単位で表示されます。効率性を求めるには、Bytes Downloadの値をレスポンスタイムで割ることにより求められます。








■均一性データの収集方法
レスポンスタイムと同じ対象の均一性データを収集するには下記を設定してレポートを作成します。
①レスポンスレポートの画面下部にあるEdit all parametersをクリックします。
②集計方法を変更します。Standard Deviationを選択しUpdate chartボタンを押します。
③Download Dataボタンを押しCSVデータを取得します。均一性を参照したい場合、棒グラフにマウスカーソルを移動するとポップアップして表示されます。
④Microsoft ExcelでCSVデータを開くと、均一性のデータを取得できます。

2011年8月11日木曜日

新Backboneノードリリースのお知らせ

0 コメント
2011年8月9日(火)にCompuware社は新しいBackboneノード「JAPAN:Osaka - KDDI - Japan」をリリースしました。通常のSynthetic Monitoring - Backboneによる計測だけで無く、Synthetic Monitoring - Streamingによる計測も可能となっております。(※Synthetic Monitoring - Streamingに関しては、Compuware Gomez Spring2011 Releaseについての新機能をご確認下さい。)

2011年8月10日水曜日

【重要】NTT/KDDI Backboneノードメンテナンスのお知らせ

0 コメント
■KDDIノードのメンテナンス日時
8月21日(日)03:00~11:00(日本時間)

■NTTノードのメンテナンス日時
8月23日(火)03:00~11:00(日本時間)

上記予定でFirewallとアンチウィルスソフトウェアのアップグレードを目的としたメンテナンスを実施致します。ご迷惑をおかけして誠に申し訳ございませんが、メンテナンスの間、当該ノードのテストは停止されますので、ご了承いただけますようお願い申し上げます。

尚、メンテナンス期間もテストを継続したい場合には、一時的にメンテナンスの無い他の国内ノードへ振り替えていただけますようお願い申し上げます。

このメンテナンスに関するご連絡についてご質問などございましたら、お手数ですがCompuware GomezサポートセンターへE-mailまたは電話にてご連絡ください。