Introduction to Optimum Design

10. Numerical Methods for Unconstrained Optimum Design

- 이 장의 주요내용:

비제약조건 최적설계 문제
- 1차원 문제
- 다차원 문제 (1차원 문제로 환원 가능)
1차원 탐색 - 선 탐색, 1D 탐색
경사도 기반 최적화 방법

\(\tilde{x}^{k+1} = \tilde{x}^k + \Delta \tilde{x}^k;\quad k=0,1,2,...\)

\(\Delta \tilde{x}^k = \alpha_k d^k\), \(\alpha\)는 이동거리 (>0), \(d\)는 ‘바람직한’ 탐색 방향
목적함수의 gradient와 바람직한 방향 \(d\)(강하방향)의 내적은 <0 이어야 함

\(c \cdot d < 0\) → 강하조건

- 이동거리 계산을 위한 해석적 방법

\(f(\alpha)\)가 간단한 함수라면 \(\alpha_k\)를 결정하기 위해 4.3절의 필요조건, 충분조건 사용 가능
- 필요조건: \(\frac{df(\alpha_k)}{d\alpha}=0\)
- 충분조건: \(\frac{d^2f(\alpha_k)}{d\alpha^2}>0\)
\(\Delta f(\tilde{x}^{k+1}) \cdot \tilde{d}^k = \tilde{c}^{k+1} \cdot \tilde{d}^k = 0\) → 선 탐색 종료 판정 기준

p.415 예제풀이 연습

- 이동거리 계산을 위한 수치 방법

해석적인 해를 얻는 것이 어려운 경우 알려진 방향 \(\tilde{d}^k\) 하에서 \(f(\tilde{x})\)를 최소화 할 때 \(\alpha_k\)를 찾기 위해서 수치 탐색법 사용
단봉성에 대한 가정
구간 감소법
1. 최솟값 처음 포괄하기 → 2. 불확실 구간 줄이기
\(\quad\ \ \ \)└ 대안 등구간 탐색, 황금 분할 탐색

경사도법, 1계 방법 이라고도 함
\(\tilde{d}\)를 따라 작은 이동거리를 움직이면 목적함수가 감소해야함. 이를 만족하는 방향?: 강하방향
한 점 \(\tilde{x}\)에서 경사도 벡터는 목적함수의 최대 ‘증가’ 방향.

즉, 최대 감소 방향은 이 벡터의 반대 방향

\(\tilde{d} = -\tilde{c}, \quad (\tilde{c} \cdot \tilde{d}) = -||\tilde{c}||^2 < 0\)
헤시안의 조건수?
수렴은 보장되지만 최소점에 도달하기까지 많은 수의 반복이 요구될 수 있다.
매 반복은 서로 독립적, 이전의 반복에서 계산되었던 정보를 사용하지 않는다. 이는 비효율적일 수 있다.
1계 정보만을 사용, 수렴이 느린 이유 중 하나
최속 강하법의 수렴률은 목적함수 헤시안의 조건수에 좌우됨. 조건수가 크다면 이 방법의 수렴률이 느리다.
목적함수의 대부분 감소는 초반 몇 번의 반복으로 이루어지고 그 다음 반복부터는 이런 감소가 눈에 띄게 느려짐.

플래처와 리브스(1964)에 의해 개발된 방법을 설명
공액경사법은 매우 간단하고 효과적으로 최속강하법을 개선한 방법
최속강하 방향들은 서로 직교. 이런 성질은 최속강하법을 국소 최소점에 수렴하는 것이 보장되었다 하더라도 느리게 만드는 경향

공액경사도 방향은 서로 직교하지 않는다. 오히려 이 방향들은 서로 직교하는 최속강하 방향의 중앙을 가로지르는 경향이 있다.

그러므로 이 방향들은 최속강하법의 수렴률을 크게 향상
실제로 공액경사도 방향 \(\tilde{d}^{(i)}\)는 대칭이고 양정인 행렬 A에 대해서 직교.

\[\mathbf{d}^{(i)T}\mathbf{A}\mathbf{d}^{(j)}= 0 \quad \text{for all \ \ }i\ \text{and}\ j,\quad i \neq j\]

알고리즘