数学とか語学とか楽しいよね

フランス語、ドイツ語、ロシア語、アラビア語、オランダ語、英語、スペイン語、ラテン語とか数学とか数値計算(有限要素法、有限体積法、差分法、格子ボルツマン法、数理最適化、C++コード付き)とか勉強したことをまとめます。右のカテゴリーから興味のある記事を探してください。最近はクラシックの名演も紹介しています。noteにも書いています。https://note.mu/kumag_min

【連立一次方程式】共役勾配法(CG法) C++コード付き

今回は正定値対称行列に対して適用可能な、共役勾配法(Conjugate Gradient法)のC++コードを公開します。CG法は連立一次方程式の解法のひとつであり、有限回数の反復で解へと収束する面白い方法です(ただし丸め誤差に弱く、必ずしも理論通りにはいってくれない)。連立一次方程式を同値な最適化問題へと置き換えて解を探索していきます。理論は

http://nalab.mind.meiji.ac.jp/~mk/labo/text/linear-eq-2.pdf

http://www.orsj.or.jp/~archive/pdf/bul/Vol.32_06_363.pdf

https://na-inet.jp/nasoft/chap10.pdf

これなら分かる最適化数学―基礎原理から計算手法まで

これなら分かる最適化数学―基礎原理から計算手法まで

がわかりやすいです。肝は「共役方向」とは何か理解することでしょう。私の理解では楕円に対して円になるような座標変換を施して、円の中心へと向かう方向が「共役方向」です。金谷さんの本と矢部さんのPDFが説明してくれています。

しくみはおいおい説明するとして、とりあえずコードをおいておきます。私も自身のCG法の解説を書く予定です(こうやって書く予定のものがどんどんたまっていきます)。


今回解く連立一次方程式は

 Ax=b

とあらわされます。ここで、  A 3 \times 3 の正定値対称行列、 x b 3 次元のベクトルです。 A b が既知で、 x が未知です。具体的には

 \left( \begin{array}{ccc} 1 & 2 & -3 \\ 2 & 5 & -4 \\ -3 & -4 & 8 \end{array} \right) \left( \begin{array}{c} x_1 \\ x_2 \\ x_3 \end{array} \right) = \left( \begin{array}{c} -4 \\ -3 \\ 12 \end{array} \right)

であり、これを解くと  x_1=0, x_2=1, x_3=2 となります。ではコードを以下に示します。

#include <iostream>
#include <cmath>
#include <fstream>
#include <iomanip>

using namespace std;

int i,j,k;

//matix vector multiplication Ax=b
inline void mvm(double A[],double x[],double b[], int size)
{
	for(i=0;i<size;i++)
	{
		b[i]=0.;
		for(j=0;j<size;j++)
		{
			b[i]+=A[i*size+j]*x[j];
		}
	}
}

//inner product//
inline double ip(double a[], double b[], int size)
{
	double value=0.;
	for(i=0;i<size;i++) value+=a[i]*b[i];
	return value;
}

main()
{
	int size=3;
	double alpha,beta;
	double r0,rk,rk1;
	double eps=pow(2.0,-50);
	
	double *r=new double[size];
	double *p=new double[size];
	double *b=new double[size];
	double *x=new double[size];
	double *Ax=new double[size];
	double *Ap=new double[size];
	double *A=new double[size*size];
	
	
	A[0*size+0]=1.;A[0*size+1]=2.;A[0*size+2]=-3.;
	A[1*size+0]=2.;A[1*size+1]=5.;A[1*size+2]=-4.;
	A[2*size+0]=-3.;A[2*size+1]=-4.;A[2*size+2]=8.;
	
	b[0]=-4;b[1]=-3;b[2]=12;
	
	//Initial condition//
	for(i=0;i<size;i++) x[i]=0.;
	
	mvm(A,x,Ax,size);
	for(i=0;i<size;i++) r[i]=b[i]-Ax[i];
	for(i=0;i<size;i++) p[i]=r[i];
	
	r0=sqrt(ip(r,r,size));
	
	//main loop//
	for(k=0;k<100000;k++)
	{
		mvm(A,p,Ap,size);
		alpha=ip(r,r,size)/ip(p,Ap,size);
		rk=ip(r,r,size);
		
		for(i=0;i<size;i++) x[i]=x[i]+alpha*p[i];
		for(i=0;i<size;i++) r[i]=r[i]-alpha*Ap[i];
		
		rk1=sqrt(ip(r,r,size));
		if(rk1/r0<=eps) break;
		
		beta=ip(r,r,size)/rk;
		for(i=0;i<size;i++) p[i]=r[i]+beta*p[i];
	}

	for(i=0;i<size;i++) cout<<x[i]<<endl;
	
	delete [] r,p,b,x,Ax,Ap,A;

    return 0;
}


CG法を発展させてさらに安定化させた安定化双共役勾配法(Bi-CGSTAB法)についてはこちらをご覧ください。