インシデントNo.88

発生日時

2024年12月3日　16時38分～2024年12月3日　16時57分の19分間
新関東データセンターにて繋がりにくい状況となっていました。

原因と対応

2つのサーバーに異常が発生したことにより繋がりにくい状況となっていました。
システムにより異常が発生したサーバーの切り離しと、別サーバーの起動により正常稼働となりました。

インシデントNo.87

発生日時

2024年9月20日9時8分から9時15分の間関西データセンターにて繋がりにくい状況が発生していました

原因と対応

稼働に影響がないと考えていたメンテナンス時に障害が発生しました。
今後メンテナンス作業は0時から5時で実施します。

インシデントNo.86

発生日時

2024年9月2日より関西データセンターにてWeb-APIが繋がりにくい状況が発生していましたが、2024年9月11日18時までに解決しました。

原因と対応

セキュリティソフトによるリアルタイムスキャンにて高負荷が発生していましたが、設定変更により解消しました。

インシデントNo.85

発生日時

2024年8月19日 10時12分～2024年8月19日 11時13分の61分間
新関西データセンターにて繋がりにくい状況となっていました。

原因と対応

1つのサーバーに異常が発生したことにより、影響を受けた各データベースの負荷が上昇しました。
サーバーリソースを増強することにより正常稼働となりました。

インシデントNo.84

発生日時

2024年7月31日 15時58分～2024年7月31日 16時48分の50分間
新関西データセンターにて繋がりにくい状況となっていました。

原因と対応

1つのサーバーに異常が発生したことにより、影響を受けた各データベースの負荷が上昇しました。
サーバーリソースを増強することにより正常稼働となりました。

インシデントNo.83

発生日時

2024年7月19日 15時30分～2024年7月19日 16時20分の50分間
新関東データセンターにて繋がりにくい状況となっていました。

原因と対応

1つのサーバーに異常が発生したことにより、影響を受けた各データベースの負荷が上昇しました。
サーバーの再起動を実施することにより正常稼働となりました。

インシデントNo.82

発生日時

2024年7月17日 16時50分～2024年7月17日 17時15分の25分間
新関東データセンターにて繋がりにくい状況となっていました。

原因と対応

1つのサーバーに異常が発生したことにより、影響を受けた各データベースの負荷が上昇しました。
サーバーの再起動を実施することにより正常稼働となりました。

インシデントNo.81

発生日時

2024年7月16日 16時52分～2024年7月16日 17時31分の39分間
新関東データセンターにて繋がりにくい状況となっていました。

原因と対応

1つのサーバーに異常が発生したことにより、影響を受けた各データベースの負荷が上昇しました。
サーバーの再起動を実施することにより正常稼働となりました。

インシデントNo.80

発生日時

2024年7月9日 16時18分～2024年7月9日 17時48分の90分間
新関東データセンターにて繋がりにくい状況となっていました。

原因と対応

1つのサーバーに異常が発生したことにより、影響を受けた各データベースの負荷が上昇しました。
サーバーの再起動を実施することにより正常稼働となりました。

インシデントNo.79

発生日時

2024年1月5日から2024年7月4日までの0時00分～5時00分
新関東データセンター、新関西データセンターの『Web-API』をご利用いただけない状態になっておりました。

原因と対応

Web-APIの稼働時間を旧関東データセンター、旧関西データセンターのWeb-APIの稼働時間と同じ時間に設定したため。
Web-APIの稼働時間の設定を24時間に設定変更しました。

インシデントNo.78

発生日時

2024年4月23日 5時0分～2024年4月23日 5時7分の7分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用いただけない状態になっておりました。

原因と対応

前日に設定したデータ配置の調整が自動実行されず、手動にてデータ配置の調整を行いました。

インシデントNo.77

発生日時

2024年4月22日 16時19分～2024年4月22日 16時25分
2024年4月22日 18時2分～2024年4月22日 18時3分
の計7分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用いただきづらい状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにてデータ急増によるリソース不足が発生しておりました。
サーバーの再起動により、若干のリソースの確保を行いました。
空きリソースを増やすため、夜間メンテナンス時間帯にデータ配置の調整が行われるよう設定しました。

インシデントNo.76

発生日時

2024年2月27日 16時43分～2024年2月27日 17時41分の58分間
新関東データセンターをご利用のお客様で『PCAクラウド』をご利用いただきづらい状態になっておりました。

原因と対応

新関東データセンターのサーバーが高負荷になっていました。
対策として、サーバーのリソースを追加しました。

インシデントNo.75

発生日時

2024年1月29日 17時00分～2024年1月29日 18時10分の70分間
関東データセンターをご利用のお客様で『PCAクラウド』をご利用いただきづらい状態になっておりました。

原因と対応

関東データセンターの認証サーバーが高負荷になっていました。
対策として、認証サーバーにリソースを追加しました。

インシデントNo.74

発生日時

2023年9月7日 23時40分～2023年9月7日 23時44分の4分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて応答しない状態が発生しましたが、自動復旧しました。

インシデントNo.73

発生日時

2023年04月06日 17時43分～2023年04月06日 18時00分の17分間
関東データセンターでハイポートをご利用のお客様にて、認証機能をご利用頂けない状態になっておりました。

原因と対応

設定変更に不備があり、正常に機能しない状態となっていました。
元の設定に戻すことで復旧しました。

インシデントNo.72

発生日時

2022年10月12日 05時57分～2022年10月12日 05時58分の1分間
関西データセンターご利用のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

夜間メンテナンス中の設定変更に不備がありました。
修正を行い、復旧しました。

インシデントNo.71

発生日時

2022年10月12日 05時00分～2022年10月12日 05時34分の34分間
関西データセンターご利用のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

夜間メンテナンス中の設定変更に不備がありました。
修正を行い、復旧しました。

インシデントNo.70

発生日時

2022年10月12日 05時56分～2022年10月12日 05時57分の1分間
関東データセンターご利用のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

夜間メンテナンス中の設定変更に不備がありました。
修正を行い、復旧しました。

インシデントNo.69

発生日時

2022年10月12日 05時00分～2022年10月12日 05時33分の33分間
関東データセンターご利用のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

夜間メンテナンス中の設定変更に不備がありました。
修正を行い、復旧しました。

インシデントNo.68

発生日時

2022年09月16日 18時58分～2022年09月16日 19時03分の5分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.67

発生日時

2022年8月26日 9時14分～2022年8月26日 9時15分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.66

発生日時

2022年8月17日 13時42分～2022年8月17日 13時52分の10分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.65

発生日時

2022年08月10日 19時05分～2022年08月10日 19時08分の3分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

機器の予期せぬ再起動が発生し、その後、自動復旧しました。
機器の交換を実施しました。

インシデントNo.64

発生日時

2022年08月02日 13時04分～2022年08月02日 13時07分の3分間
特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.63

発生日時

2022年07月22日 09時15分～2022年07月22日 09時45分の30分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて、サーバーの容量不足が発生していました。
サーバーのログ回収が正常に行えていないことが原因で、再設定を行うことで解消しました。

インシデントNo.62

発生日時

2022年07月19日 10時25分～2022年07月19日 10時26分の1分間
特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.61

発生日時

2022年06月29日 16時24分～2022年06月29日 16時25分の1分間
特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.60

発生日時

2022年05月26日 13時41分～2022年05月26日 13時42分の1分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて応答しない状態が発生しました。
サーバー内部のセッション異常が原因ですが、自動復旧しました。

インシデントNo.59

発生日時

2022年3月14日 14時46分～2022年3月14日 14時49分の3分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しましたが、自動復旧しました。
サーバー内部のセッション異常が原因で、再接続により回復しました。

インシデントNo.58

発生日時

2022年03月10日 16時05分～2022年03月10日 16時09分の4分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しましたが、自動復旧しました。
サーバー内部のセッション異常が原因で、再接続により回復しました。

インシデントNo.57

発生日時

2022年01月12日 11時10分～2022年01月12日 11時13分の3分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しましたが、自動復旧しました。
サーバー内部のセッション異常が原因で、再接続により回復しました。

インシデントNo.56

発生日時

2021年12月08日 15時15分～2021年12月08日 15時16分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しましたが、自動復旧しました。
サーバー内部のセッション異常が原因で、再接続により回復しました。

インシデントNo.55

発生日時

2021年12月07日 10時43分～2021年12月07日 10時46分の3分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて応答しない状態が発生しましたが、自動復旧しました。
サーバー内部のセッション異常が原因で、再接続により回復しました。

インシデントNo.54

発生日時

2021年06月26日 12時22分～2021年06月26日 12時24分の2分間
関東データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、
死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.53

発生日時

2021年06月17日 13時45分～2021年06月17日 13時46分の1分間
関東データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、
死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.52

発生日時

2021年06月03日 20時41分～2021年06月03日 20時42分の1分間
関西データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、
死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.51

発生日時

2021年06月03日 14時34分～2021年06月03日 14時35分の1分間
関東データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、
死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.50

発生日時

2021年06月02日 21時18分～2021年06月02日 21時19分の1分間
関西データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて接続が不安定な状態が発生し、
死活監視システムによる検知・再起動により自動復旧を行ったため、その間停止が発生いたしました。

インシデントNo.49

発生日時

2021年06月02日 17時38分～2021年06月02日 17時50分の12分間
関東データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、ステータスを注視していたところ、時間経過により解消いたしました。

インシデントNo.48

発生日時

2021年05月21日 17時23分～2021年05月21日 17時25分の2分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生し、
死活監視システムによる検知・再起動により自動復旧を行ったため、その間停止が発生いたしました。

インシデントNo.47

発生日時

2021年05月18日 12時11分～2021年05月18日 12時12分の1分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて接続が不安定な状態が発生し、死活監視システムによる検知・再起動により自動復旧を行ったため、その間停止が発生いたしました。

インシデントNo.46

発生日時

2021年04月05日 18時08分～2021年04月05日 18時18分の10分間
関東データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、ステータスを注視していたところ、時間経過により解消いたしました。

インシデントNo.45

発生日時

2021年03月29日 18時03分～2021年03月29日 18時22分の19分間
関東データセンターへの接続が一部不安定となる状態が発生しておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて接続が不安定な状態が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.44

発生日時

2021年03月29日 10時38分～2021年03月29日 10時41分の3分間
特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて一時的なシステム障害が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.43

発生日時

2021年02月10日18時10分～2021年02月10日19時30分の1時間20分
Web-APIをご利用頂けない状態になっておりました。

原因と対応

Web-APIサーバーに障害が発生しました。サーバーの再起動により復旧しました。

インシデントNo.42

発生日時

2021年01月19日9時28分～2021年01月19日11時04分の1時間36分
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

一つの仮想OSに障害が発生しました。仮想OSの再起動より復旧しました。

インシデントNo.41

発生日時

2020年12月02日12時51分～2020年12月02日12時58分の7分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

モニタリング中に発見された通信障害への対応時に一部のサービスの起動に失敗しておりましたが、再起動を行い復旧いたしました。

インシデントNo.40

発生日時

2020年07月16日 08時00分～2020年07月16日 08時24分の24分間
関東データセンターへの接続が不安定となる状態が発生しておりました。

原因と対応

関東データセンターで利用しているDNSサーバーが不安定となり、関東データセンターへの接続が不安定となる状態が発生しておりましたが、現在は復旧し、正常に稼働しております。

インシデントNo.39

発生日時

2020年02月12日09時54分～2020年02月12日09時56分の2分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.38

発生日時

2020年01月30日13時35分～2020年01月30日13時45分の10分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定の処理を実行した場合に、サーバーに一時ファイルが大量に作成され、リソース不足を引き起こしておりました。
現在は、リソース不足を解消し、サービスは復旧しております。
一時ファイルのアーカイブ方法を高速化し、リソース不足とならない様、システムの改善を行いました。

インシデントNo.37

発生日時

2020年01月18日14時10分～2020年01月18日14時11分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.36

発生日時

2019年12月05日16時32分～2019年12月05日16時33分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

ブレード1台が故障し、冗長化構成による代替機能により自動復旧しました。

インシデントNo.35

発生日時

2019年12月02日14時42分～2019年12月02日14時44分の2分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.34

発生日時

2019年09月02日10時08分～2019年09月02日10時09分の1分間
2019年09月02日10時15分～2019年09月02日10時16分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.33

発生日時

2019年04月22日11時22分～2019年04月22日11時23分の1分間
2019年04月22日11時30分～2019年04月22日11時31分の1分間
2019年04月22日11時36分～2019年04月22日11時37分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.32

発生日時

2019年04月04日18時22分～2019年04月04日19時02分の40分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

NW機器のメンテナンスにおいて設定に不備があったため、一部サーバーへのアクセスが行われなくなりました。監視システムにより検知し、設定の切り戻しを行いました。

インシデントNo.31

発生日時

2018年12月26日15時10分～2018年12月26日15時11分の1分間
2018年12月26日15時16分～2018年12月26日15時18分の2分間
2018年12月26日15時31分～2018年12月26日15時32分の1分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムによる検知・再起動により自動復旧いたしました。

インシデントNo.30

発生日時

2018年08月20日15時07分～2018年08月20日15時13分の6分間
2018年08月20日15時32分～2018年08月20日15時37分の5分間
関東データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムにより検知し、再起動を実施する事により復旧いたしました。

インシデントNo.29

発生日時

2018年03月07日11時42分～2018年03月07日11時57分の15分間
関西データセンターご利用の特定のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しましたが、死活監視システムにより検知し、再起動を実施する事により復旧いたしました。

インシデントNo.28

発生日時

2018年01月17日11時41分～2018年01月17日11時46分の5分間（インシデントNo.28_01）
2018年01月17日11時51分～2018年01月17日11時54分の3分間（インシデントNo.28_02）
2018年01月17日13時39分～2018年01月17日13時43分の4分間（インシデントNo.28_03）
2018年01月17日13時48分～2018年01月17日13時49分の1分間（インシデントNo.28_04）
関西データセンターご利用の一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて、Webコンテナが停止していたため。死活監視システムにより検知し、再起動を実施する事により、復旧いたしました。
特定のお客様からの接続について、不完全な接続終了状態が短時間に急速に累積されたことで、リソース不足によるWebコンテナ停止が発生しました。
当該お客様の領域を別の仮想サーバーに移動し他のお客様に影響しない対策をとりました。

インシデントNo.27

発生日時

2018年01月15日16時50分～2018年01月16日12時00分の間、一部のお客様が『PCAクラウド』サービスで新規領域の作成が行えない状態になっておりました。

原因と対応

サーバーコンポーネントの更新時の作業に漏れがあり、新規領域作成時のメソッド呼び出しに失敗しておりました。
原因判明後に速やかに対応作業を行いました。
テスト環境での実施時の作業手順書の確認・修正を徹底する事とし、本番適用時の作業漏れを無くすようにいたします。

インシデントNo.26

発生日時

2017年12月20日16時02分～2017年12月20日16時07分の間、関西データセンターご利用の一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて、Webコンテナが停止していたため。死活監視システムにより検知し、再起動を実施する事により、復旧いたしました。ログを分析した結果、Webコンテナの動作不良と判定致しました。継続してモニタリング強化に努めております。

インシデントNo.25

発生日時

2017年12月16日13時05分～2017年12月16日13時22分の間、関東データセンターご利用の一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

関東データセンターの1つの仮想サーバーにて、Webコンテナが停止していたため。死活監視システムにより検知し、再起動を実施する事により、復旧いたしました。ログを分析した結果、Webコンテナの動作不良と判定し、モニタリング強化を実施いたしました。

インシデントNo.24

発生日時

2017年04月03日20時58分～2017年04月03日21時02分の間、関東データセンターご利用の一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

ブレード１台が故障し、冗長化構成による代替機能により自動復旧しました。

インシデントNo.23

発生日時

2017年03月21日14時25分～2017年03月21日14時29分の間、関西データセンターご利用の一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

ブレード１台が故障し、冗長化構成による代替機能により自動復旧しました。

インシデントNo.22

発生日時

2016年11月26日13時31分～2016年11月26日13時35分の間、関東データセンターご利用の一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

ブレード１台が故障し、冗長化構成による代替機能により自動復旧しました。

インシデントNo.21

発生日時

2016年10月03日午前中 関西データセンターの一部のお客様で一時的に接続エラーなどのメッセッージが出て動作不安定な状態が発生しておりました。

原因と対応

あるお客様の契約区画にて当社とご契約頂いたサイズを超えるストレージ使用量となり、関西データセンターの1つの仮想サーバーが極度の高負荷に陥ったため障害が発生しました。
今回、お客様がデータ移行処理（コンバート処理）を行う際にデータ領域の複写を複数回行った事で、不要なデータ領域が複数出来上がりストレージ容量を圧迫した事が原因となっています。
不要なデータ領域を削除する事により正常な状態になりました。

インシデントNo.20

発生日時

2016年08月25日18時24分～2016年08月25日18時40分の間、関東データセンターご利用の一部のお客様で、当該時間にPCAクラウドアプリケーションを起動しようとした場合に、『PCAクラウド』サービスをご利用頂けない状態になっておりました。現在は正常稼働しています。

原因と対応

関東データセンターのテストサーバーを対象としたネットワーク機器の設定変更時に本番稼働用サーバーに影響を及ぼす設定ミスがあり、ポートの接続方法により新規のログオン要求を受け付けできない状態になっておりました。障害検知後に正しい状態に設定し復旧を確認しました。

インシデントNo.19

発生日時

2015年08月11日10時01分～2015年08月11日10時15分の間、関東データセンターの一部のお客様に『PCAクラウド』サービスをご利用いただけない状態になっておりました。現在は正常稼働しています。

原因と対応

あるお客様の契約区画にて当社の再三の警告・督促にも関わらずご契約頂いたサイズの２００％を超えるストレージ使用量となり、関東データセンターの1つの仮想サーバーが極度の高負荷に陥ったために障害が発生しましたが、サーバーアプリケーションのリカバリー機能が働き、自動復旧し正常動作に戻りました。リソースの強化は既に実施済みでしたが、今回の障害を受けて更なるリソースの強化を8月11日に実施いたしました。また、今回のような異常な使用状況下に陥った場合に備え、サーバーへの負荷を抑えるようアプリケーションの改善を行っております。現在はお客様側の過度な容量超過は既に改善し、ご安心してお使い頂ける状態になっております。

インシデントNo.18

発生日時

2015年07月01日11時55分～2015年07月01日11時56分の間、関西データセンターご利用の一部のお客様に『PCAクラウド』サービスをご利用頂けない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにて、Webコンテナの動作不良に起因する障害が発生しましたが、サーバーアプリケーションの機能により、自動復旧いたしました。ログを分析した結果から、Webコンテナの動作不良と判定し、リソースモニタリング強化を7月1日に実施いたしました。

インシデントNo.17

発生日時

2015年03月30日14時33分～2015年03月30日15時08分の間、関西データセンターご利用の一部のお客様が『PCAクラウド』サービスに接続できない状態になっておりました。

原因と対応

関西データセンターの1つの仮想サーバーにてストレージ増設後のプロビジョニング容量制限設定が原因で障害が発生いたしました。
設定を変更し復旧いたしました。

インシデントNo.16

発生日時

2015年01月17日18時13分～2015年01月17日20時35分の間、関西データセンターご利用の一部のお客様が『PCAクラウド』サービスに接続し難い状態になっておりました。

原因と対応

関西データセンターのネットワーク機器（スイッチ）の主系機器がフェイルオーバー時にアクティブ状態のまま稼働を継続し通信が出来ない状態が断続的に発生した事によるものです。手動により副系への切り替えを実施し復旧しております。恒久対応として、当事象のような特殊なトラフィックパターンにも対応できるよう、監視方法を強化しました。

インシデントNo.12

発生日時

2014年05月24日6時00分～2014年5月24日8時50分の間、認証サーバーのデータベースの障害により、関東データセンターご利用の一部のお客様が『PCAクラウドサービス』に接続できない状態になっておりました。

原因と対応

今回の障害は、あるＳＩパートナー様が弊社提供のカスタマイズ用ツール（クラウドＡＰＩ）を使用して開発されたテストプログラム（以下、テストＰＧと略す）が引き金となって発生したシステム上の潜在的な不具合によるものでした。また、長時間停止となった原因は、稼働状況確認システムの不備によるものでした。

そのテストＰＧは、１分間隔でログインとログアウトを無限に繰り返す処理が含まれており、障害の発生した前日（5月22日）の正午から、ＰＣＡクラウドサービスの本番環境で実行されていました。24時以降のクラウドサービス終了後も、ログインとログアウトを繰り返しており（ログインはサービス停止中のため不成功）、夜間メンテナンス処理後の認証システムに悪影響を及ぼしていました。

他方、ＰＣＡクラウドの認証システムでは、お客様からのログイン要求をコンテナと呼ばれるプログラムが中継し、データベースとの接続（ＤＢセッション）をプールして再利用していますが、夜間メンテナンス時のデータベースの停止のときには、一旦ＤＢセッションが無効になります。通常は無効になったＤＢセッションはタイムアウトにより破棄されるので、メンテナンス終了後は正常な状態を回復していました。

ところが、今回はテストＰＧによりログイン処理が1分毎に反復実行されたため、タイムアウトによるＤＢセッションの破棄が行われず、無効状態のまま朝6:00のサービス開始を迎えておりました。その結果、お客様がログインできない障害が発生しました。

また、ＰＣＡクラウドの稼働状況確認システムに不備があり、認証サーバーの死活監視、データベースのプロセス監視はしていましたが、コンテナが保持するＤＢセッションが無効な状態でないかをチェックする処理が漏れておりました。その為、始業点検時、障害通報時に不具合の検知ができませんでした。障害発生中のＰＣＡのホームページの「現在の稼働状況」の表示が「正常稼働中」になっていましたが、同じ理由によるものです。 稼働状況確認システムのチェックプログラムは既に機能改善し、5月28日に差し替えました。

一般のお客様がＰＣＡのアプリケーションを使用してクラウドサービスに接続される場合、サービス時間外にログインはできませんし、一晩中、1分間隔でログインを繰り返すようなことは起こらないものと考えておりましたが、クラウドＡＰＩで作成されたプログラムであったために実際に起こってしまい、深く反省しております。

また、弊社サポートセンターの営業時間外に障害通報して頂くためのＷｅｂサイト（https://ssl.pca.co.jp/SaaSSrvRep/）のシステムをご利用できなかったお客様が複数あったとのご連絡を頂きました。万が一の場合に備え、弊社サポートセンターが個別に投稿テストのお願いをしております。

本件の不具合につきましては、今後再発することは無いものと弊社では確信しております。多大なるご不便、ご迷惑をおかけしましたことを深くお詫び申し上げます。

インシデントNo.11

発生日時

2014年05月23日6時00分～2014年5月23日10時07分の間、認証サーバーのデータベースの障害により、関東データセンターご利用の一部のお客様が『PCAクラウドサービス』に接続できない状態になっておりました。

原因と対応

2014年05月24日の「原因と対応」と同じです。

インシデントNo.10

発生日時

2014年1月7日21時24分～2014年1月7日21時29分の間、一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

ブレード１台が故障し、冗長化構成による代替機能により自動復旧しました。

インシデントNo.9

発生日時

2013年02月16日22時31分～2013年02月16日24時00分の間、一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

データセンターでの法定点検作業の中で、自家発電装置と無停電電源の作動確認テストを実施した際に、バッテリー異常による電源事故が発生したため、サービス停止となりました。
バッテリー異常を想定した法定点検作業の見直しと作業時間帯の変更をデータセンターに要求しております。

インシデントNo.8

発生日時

2012年11月14日13時45分～2012年11月14日13時46分の間、一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

契約容量を超えた異常な使用状態が一時的に発生し、一部システムが使用不能になりました。
使用不能の原因となった該当個所へは、異常な使用状態時も過負荷に陥らないようプログラムの改変を行いました。

インシデントNo.5

発生日時

2012年4月22日 7時00分～2012年4月22日 9時04分の間、一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

サーバーの１つにおいて自動メンテナンス処理による過負荷が原因でデータベースシステムが停止したため、接続できない状態となりました。
対応として、原因となった自動メンテナンス処理の見直しを実施し、負荷があがらないようにしました。

インシデントNo.4

発生日時

2012年3月7日 9時16分～9時19分の間、一部のサーバーで障害が発生し、18社のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

2月15日に追加したサーバーにおいてハードウェア障害が発生したものと考えられます。当該サーバーは運用開始前に2週間の動作テストを実施し正常動作を確認していたものですが、障害の原因についてはメーカーへの調査を依頼しております。『PCAクラウド』サービスについては予備のサーバーへの自動切り替えにて復旧しております。

インシデントNo.3

発生日時

2010年08月25日07時06分頃～2010年08月25日08時07分の間、一つの仮想サーバー領域で障害が発生し、２社のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

夜間の自動メンテナンス処理（データベースの最適化処理等）が想定以上に遅延し、その後の自動データバックアップ処理がサービス開始時間内に実行されたことにより、データベースに接続できない状態となりました。対応として、夜間の自動メンテナンス処理の前に自動データバックアップ処理を実行し、サービス開始時間後にデータベースに接続できない状態にならないように設定変更しました。

インシデントNo.2

発生日時

2010年04月03日07時07分頃～2010年04月03日12時12分の間、一部のお客様がご利用されている認証サーバーの障害により、『PCAクラウド』をご利用できない状態になっていました。本年２月に行われた障害検知システムの設定ミスにより、データセンター側で障害を検知できず、お客様からの弊社営業および関連会社への電話による通報により障害を認識し復旧作業をしたため、ダウンタイムが長時間となってしまいました。１０社ものお客様に多大なるご不便・ご迷惑をおかけしましたことを深くお詫び申し上げます。

原因と対応

認証サーバー障害の原因についてはソフトウェア上の不具合で、認証サーバーを定期的に再起動させることにより停止を防止します。障害検知システムの設定を2010年4月5日に修正しました。データセンター側の監視システムでシステムの異常を検知できなかった場合に備え、2010年4月16日よりWebでの障害通報システムを稼働させました。

インシデントNo.1

発生日時

2008年11月21日10時26分頃～2008年11月21日10時27分の間、一部のお客様に『PCAクラウド』をご利用頂けない状態になっておりました。

原因と対応

ブレードの１台が故障したためで、冗長化構成による代替機能により自動復旧しております。故障したブレードにつきましては、2008年11月22日１時より交換作業を実施し、動作確認をしましたので、22日以降のサービス提供に支障はございません。

＊なお、上記以外のブレードに関しましては稼働率100％です。
＊上記の稼働時間には、計画停止時間と、保守作業用動作確認領域の停止時間は含まれておりません。