2024 금융산업전문인력 AI역량강화 - 5회차 강연, 트랜스포머 어텐션: 금융산업을 바꿀 새 기술

 

문병로 서울대 컴퓨터공부 교수 / 옴투스자산운용 대표

 

AI혁명은 생성(Ex. ChatGPT)과 최적화로 나눌 수 있고 오늘은 최적화 AI를 다룰 예정

 

초기 인공지능은 기호주의와 연결주의로 나뉘는데, 연결주의가 암흑기를 거쳐 2012년부터 12년간 각광받은 것의 결과가 ChatGPT

 

2. 

사전지식: 행렬 곱셈은 공간 이동이다.

[2,5](2차원) * 2*3행렬 = 3차원

è 공간 이동이 가능함

 

우리가 보는 모두 그림자이다

그림자는 3차원 사람의 2차원 투사(공간 변환)

 

전통적인 문제해결: 변수를 직접 다룬다 à 변수가 사람의 시야 안에 있었다

신경망: 시작 공간 -> 공간 변환 à 다른 공간 à 공간 변환 à 답(사람이 인식하는)

500 *[ 500,100]= 1000개 변수(1000 차원)

 

근데 잘 안됨 à 새로운 공간에서 새로운 변환이 일어남(기존 데이터가 손상될 가능성이 있음)

 

2012년 Alexnet

공간 변환을 1만배 이상으로 키워보자

 

3. 트렌스포머 어텐션은 관계를 만드는 시스템

차원을 높이면 관계는 더욱 풍부하게 반영된다

 

4. 번역시스템으로부터의 확장

언어의 기본 구성 요소인 단어가 다른 곳으로 확장 가능함을 발견

 

5. 위치나 개념 어휘는 모두 상대적이다

생각의 시작은 위치 감각이다

고등사고는 위치 감각이 추상화

고등교육은 긴장도 높은 은유 감지 능력을 기르는 것

 

전통적 사고는 연역적, 탑 다운 à 구식의 접근법

서로의 관계를 찾는 것

 

두 트랙의 차이점

생성AI: 정확한 답을 말하는 것이 목표가 아닌, 그럴 듯한 출력을 내는 것이 목표

최적화AI: 정확한 답을 맞히는 것이 목표. 생성형보다 덜 관대하고 더 까다롭다

제약, 공정, 물류 등등

구글 딥마인드의 경우 제일 먼저 상용화 하는 것이 제약

 

6.

현재 금융권은 CS에 우선 LLM을 도입해야 함

 

결론

상관성이 인과성을 압도한 시대가 오고 있다

인과성의 다양한 반영 방식이 출현

명시적 접근에서 은유적 접근으로!!!