【連立一次方程式】共役勾配法（CG法）　C++コード付き

今回は正定値対称行列に対して適用可能な、共役勾配法（Conjugate Gradient法）のC++コードを公開します。CG法は連立一次方程式の解法のひとつであり、有限回数の反復で解へと収束する面白い方法です（ただし丸め誤差に弱く、必ずしも理論通りにはいってくれない）。連立一次方程式を同値な最適化問題へと置き換えて解を探索していきます。理論は

これなら分かる最適化数学―基礎原理から計算手法まで

作者: 金谷健一
出版社/メーカー: 共立出版
発売日: 2005/09/01
メディア: 単行本
購入: 29人クリック: 424回
この商品を含むブログ (42件) を見る

がわかりやすいです。肝は「共役方向」とは何か理解することでしょう。私の理解では楕円に対して円になるような座標変換を施して、円の中心へと向かう方向が「共役方向」です。金谷さんの本と矢部さんのPDFが説明してくれています。

しくみはおいおい説明するとして、とりあえずコードをおいておきます。私も自身のCG法の解説を書く予定です（こうやって書く予定のものがどんどんたまっていきます）。

今回解く連立一次方程式は

$Ax=b$

とあらわされます。ここで、 $A$ は $3 \times 3$ の正定値対称行列、 $x$ と $b$ は $3$ 次元のベクトルです。 $A$ と $b$ が既知で、 $x$ が未知です。具体的には

$\left( \begin{array}{ccc} 1 & 2 & -3 \\ 2 & 5 & -4 \\ -3 & -4 & 8 \end{array} \right) \left( \begin{array}{c} x_1 \\ x_2 \\ x_3 \end{array} \right) = \left( \begin{array}{c} -4 \\ -3 \\ 12 \end{array} \right)$

であり、これを解くと $x_1=0, x_2=1, x_3=2$ となります。ではコードを以下に示します。

#include <iostream>
#include <cmath>
#include <fstream>
#include <iomanip>

using namespace std;

int i,j,k;

//matix vector multiplication Ax=b
inline void mvm(double A[],double x[],double b[], int size)
{
	for(i=0;i<size;i++)
	{
		b[i]=0.;
		for(j=0;j<size;j++)
		{
			b[i]+=A[i*size+j]*x[j];
		}
	}
}

//inner product//
inline double ip(double a[], double b[], int size)
{
	double value=0.;
	for(i=0;i<size;i++) value+=a[i]*b[i];
	return value;
}

main()
{
	int size=3;
	double alpha,beta;
	double r0,rk,rk1;
	double eps=pow(2.0,-50);
	
	double *r=new double[size];
	double *p=new double[size];
	double *b=new double[size];
	double *x=new double[size];
	double *Ax=new double[size];
	double *Ap=new double[size];
	double *A=new double[size*size];
	
	
	A[0*size+0]=1.;A[0*size+1]=2.;A[0*size+2]=-3.;
	A[1*size+0]=2.;A[1*size+1]=5.;A[1*size+2]=-4.;
	A[2*size+0]=-3.;A[2*size+1]=-4.;A[2*size+2]=8.;
	
	b[0]=-4;b[1]=-3;b[2]=12;
	
	//Initial condition//
	for(i=0;i<size;i++) x[i]=0.;
	
	mvm(A,x,Ax,size);
	for(i=0;i<size;i++) r[i]=b[i]-Ax[i];
	for(i=0;i<size;i++) p[i]=r[i];
	
	r0=sqrt(ip(r,r,size));
	
	//main loop//
	for(k=0;k<100000;k++)
	{
		mvm(A,p,Ap,size);
		alpha=ip(r,r,size)/ip(p,Ap,size);
		rk=ip(r,r,size);
		
		for(i=0;i<size;i++) x[i]=x[i]+alpha*p[i];
		for(i=0;i<size;i++) r[i]=r[i]-alpha*Ap[i];
		
		rk1=sqrt(ip(r,r,size));
		if(rk1/r0<=eps) break;
		
		beta=ip(r,r,size)/rk;
		for(i=0;i<size;i++) p[i]=r[i]+beta*p[i];
	}

	for(i=0;i<size;i++) cout<<x[i]<<endl;
	
	delete [] r,p,b,x,Ax,Ap,A;

    return 0;
}

CG法を発展させてさらに安定化させた安定化双共役勾配法（Bi-CGSTAB法）についてはこちらをご覧ください。