본문 바로가기
반응형

{Programing}131

Fundamental of Reinforcement Learning 공부 정리!!(5) MDP의 value funtion 사이의 연관성을 나타내는 식. Bellman Equation. Bellman Expectation Equation 앞서 보았듯이 value function은 크게 policy, action value function으로 나타난다. 일반적인 value function 부터 policy, action function을 Return의 정의에 따라서 풀어쓰고 discount ratio로 묶으면 bellman equation 이라고 부른다. 이렇게 expectation으로 표현하는 것은 좀 이해하기 힘들수도 있으니 다른 방식으로 표현해보자. 현재 state 의 value function과 다음 state의 value function의 상관관계의 식을 구하려면 state-actio.. 2017. 11. 5.
리눅스 쉘 스크립트 예제 분석 #! /bin/sh //쉘 스크립트의 시작.DEV="eth0" // 변수VIP="10.0.0.1 10.0.0.2" //변수 리스트. //함수.ip_add(){ //MAC 이라는 변수에 $DEV 장치의 ip에 해당하는 정보중에// 파일 첫머리 부터 :를 지우고 정규식에 해당하는 내용이 only한 것이 있으면 MAC=`ip link show $DEV | egrep -o `([0-9a-f]{2}:){5}[0-9a-f]{2}` | head -n 1 | tr -d :` //장치에 ip를 추가. ip addr add $1/24 dev $DEV //IP주소와 MAC주소를 다른서버에 통지. send_arp $1 $MAC 255.255.255.255 ffffffffffff} //함수ip_del(){//장치의 IP 주소를.. 2017. 10. 23.
리눅스 쉘 스크립트 1. 개요 확장자 .sh 로 끝나는 파일 쉘을 통해 프로그램을 만든 것으로 윈도우나 도스의 batch 파일과 비슷하지만 좀더 강력한 기능들을 가짐. 파일 내용의 시작을 #! 로 작성해야함. 기본 약속으로 #! 은 본 쉘인 #! /bin/sh 로 인식됨. 배쉬 쉘을 이용하고자 하면 #! /bin/bash 로 작성하면 됨. 2. 쉘 스크립트의 실행 스크립트의 실행권한을 확인한뒤 (ls -al : 현재 디렉토리의 파일들의 자세한 정보를 보여주는 명령어) 실행권한이 없으면 chmod -x 파일명 명령어를 통해 실행권한을 부여하고 ./파일명.sh 로 실행하면 된다. 3. 변수쉘 스크립트의 변수는 기본적으로 문자열로 인식된다. 숫자로 사용하고싶다면 `expr 변수` 으로 쓰면 된다. 양 끝을 `(숫자 1키 왼쪽)로.. 2017. 10. 23.
Fundamental of Reinforcement Learning 공부 정리!!(4) Value Function State value function 여기서의 감마는 Discount Factor 값.감마 값은 할인 인자 0~1사이 값. 미래 보상의 현재가치를 나타냄. 0에 가까우면 근시적인 평가. 1에 가까우면 원시적인 평가. Return : 한 episode 안에 agent가 행한 action의 할인된 reward의 총 합. return의 expectation이 State value function. 아래와 같이 표현. MRP의 State value function은 시작된 어떤 상태 s 의 기대 가치이다. agent가 다음 state로 가기위해서는 다음 stage들의 가치를 보고 높은 가치를 가진 state로 이동한다.그렇기 때문에 value function이 상당히 중요해지고 효율적.. 2017. 10. 14.
(리눅스) - make 관련 make : 파일 관리 유틸리티파일간의 종속관계를 파악해 makefile에 적힌 내용대로 컴파일러에 명령하여, shell 명령을 순차적으로 실행한다. makefile을 통해 make 명령을 사용하는 이유 1. 파일에 대한 반복적 명령을 자동화.2. 프로그램의 종속구조를 파악하기 쉽게 해주며 관리가 용이해짐.3. 단순 반복작업의 재작성을 최소화한다. 기본적인 리눅스의 빌드방식. 1. gcc -c -o xxx.o xxx.c 명령어를 통해 컴파일해 object파일로 만든다.2. gcc -o app.out xxx.o yyy.o 명령어를 통해 묶을 object파일을 링크해 실행파일(.out)으로 만든다. Makefile이 제공하는 강력한 기능 중 하나인 Incremental build 반복적인 빌드 과정에서 변경.. 2017. 10. 9.
Fundamental of Reinforcement Learning 공부 정리!!(3) MDP(Markov Decision Process) 란? 앞서 보았던 MP의 심화형으로 Markov Reward Process 에 Decision을 추가한 것으로 MP가 이전 상태에만 영향을 받았다면 MDP는 이전 상태와 취한 행동에 영항을 받고 그에 대한 보상이 있는 것이다. State Agent가 인식하는 자신의 상태. 사람의 경우 오감으로 인식하는 모든 상태가 될수 있고,Atari게임에서는 게임화면 그자체의 pixel값이 된다.즉, 어떠한 문제에 대한 상태는 정의 하기 나름이다. 같은 문제라도 다른 ML 알고리즘을 적용하면 더 나은 결과를 가져오는 문제가 있을수 있으므로 잘 비교해보고 선택해야한다. 강화학습은 이전에도 설명했지만 '시간'의 개념이 적용된 문제를 푸는데 사용하는 ML기법이므로 강화학습.. 2017. 9. 25.
반응형

티스토리툴바