본문 바로가기
반응형

전체 글

 (112)
[핸즈온] 텐서플로 저수준 API 살펴보기 ㅁ 12장에서는 텐서플로 저수준 API를 살펴봄 - 자신만의 손실 함수, 지표, 층, 모델, 초기화, 규제, 가중치 규제 등을 만들때 필요할 때를 대비 12. 1. 텐서플로 훑어보기 ㅁ 텐서플로 제공 기능 요약 (1) GPU 지원 ( NumPy는 GPU위에서의 계산을 지원하지 않음) (2) (여러 장치/서버에 대한) 분산 컴퓨팅 지원 (3) 계산 최적화 (ex. 사용하지 않는 노드 가지치기, 독립적 연산을 자동으로 병렬 실행 등) (4) 다른 환경에서 호환성 (ex. 리눅스와 안드로이드) (5) 모든 종류의 손실함수 쉽게 최소화 (자동 미분, 고성능 옵티마이저 제공) ㅁ 텐서플로 파이썬 API 사진 삭제 그림 12-1 텐서플로 파이썬 API - 많은 연산은 커널이라 부르는 여러 구현을 가짐 - 각 커널은..
아마겟돈을 회상하며 - 커트 보니것 ‘아마겟돈을 회상하며'는 커트 보니것이 세상을 떠난 뒤, 아들인 마크 보니것이 아버지의 미발표작을 묶어 출간한 책이다. 이 책은 대부분 전쟁에 대한 이야기로 커트 보니것의 전쟁에 대한 고찰을 어떻게 소설로 녹여낼 것인가 고심했던 흔적이 담겨있다. 이 책은 그를 그리워할 팬들을 위로하는 데 목적이 있는 것 같다. 그가 살아생전 출간하지 않은데는 이유가 있는 것이다. 미발표작은 미발표작일 뿐. 그의 이야기를 듣고싶다면 대표작인 제 5도살장을 보는 것으로 충분해 보인다. [인디애나폴리스 클로우스 홀 연설문] p.30 수천 년 된 인간의 두개골을 연구해온 형질 인류학자들은 우리의 수명이 원래 서른다섯 살 정도에 불과했다고 말합니다. 우리 치아가 현대 치의학 없이 버틸 수 있는 기간이 그 정도밖에 안 되기 때문이..
[핸즈온] 인공신경망 규제 사용 ㅁ 규제 사용 - 과대적합을 피하기 위함 (1) $l_{1}$과 $l_{2}$ 규제 ㅁ $l_{1}$과 $l_{2}$ 사용 - $l_{2}$ 규제 : 연결 가중치 제한 - $l_{1}$ 규제 : (많은 가중치들을 0으로 하는) 희소모델을 만듦 ㅁ 파이썬으로 keras의 l2(), l1() 함수 사용 layer = keras.layers.Dense(100, activation = "elu", kernel_initializer = "he_normal", kernel_regularizer = keras.regularizers.l2(0.01)) ㅁ 일반적으로 모든 은닉층에 동일한 활성화 함수/초기화 전략/규제를 적용 하는 경우 多 - 반복문 사용하도록 코드 리팩터링 - functiools.partial() 함수..
[핸즈온] 고속옵티마이저 : AdaGrad - 경사 하강법 외 다른 최적화 방법 소개 고속 옵티마이저 (1) 모멘텀 최적화 (2) 네스테로프 가속 경사 (3) AdaGrad (Adaptive Gradient) - 그레디언트 최적점을 향해 가파른 곳은 빨리가고, 완만한 곳은 느리게 감 Step 1. where ⊗: Hadamard Product (같은 행렬 위치끼리 곱해줌) - 점화식임 - s가 편미분 제곱한 그레디언트만큼 커지면서 업데이트 Step 2. - 뒤에 항을 빼주며 𝜃조정함 - 경사하강법과 비슷함 - 차이는 ⊘ $\sqrt{s+\epsilon}$임 - 여기서 𝜖은 0으로 나누는 걸 방지해주는 용도 (주로 $10^{-10}$ 사용함) - 잘 뜯어보면, 경사하강법에서 학습률이 $\eta$ $\oslash$ $\sqrt{s+\epsilon}$..
[핸즈온] 인공 신경망 소개 ㅁ 인공신경망 : 뇌 속 뉴런의 네트워크에서 영감을 받은 머신러닝 모델 딥러닝 핵심! 확장성이 좋음 ex) 구글 이미지 분류/시리야 음성 인식/ 유튜브 추천 알고리즘/알파고 10.1 생물학적 뉴런에서 인공 뉴런까지 1943년 신경생리학자 워런 매컬런과 수학자 윌터 피츠의 논문에서 소개 처음 주목을 받았으나, 번번히 제약사항 때문에 꺾임 최근 다시 주목받고 있는 이유 : 기술의 변천 1) 데이터가 많아짐 2) 컴퓨터 성능 향상 3) 훈련 알고리즘 향상 4) 이론상 제한이 실전에서 문제되지 않음이 입증 ex) 지역 최저점 문제 5) 사람들의 주목 10.1.1 생물학적 뉴런 ㅁ 뉴런 하나의 동작 생물학적 뉴런은 활동전위(AP, action potential/신호,Signal)라고 부르는 전기 자극을 만들어 냄..
2020 읽은 책 결산 #추천 도서 (노벨문학상 수상자 대표작 포함) - 총평 - 2020년은 "소설을 읽기 시작한 해"였다. 원래 소설보단 지식도서나 에세이류를 좋아했다. 성향이 애매하거나 돌려말하는 것을 좋아하지 않기도 하고, 소설이 일상 생활에 도움되지 않아 덜 유익하다고 생각했다. 그나마 읽는 소설이라면 무가지스러운 로맨스류가 전부였다. 그러다 소설을 읽기 시작한 계기는 잠깐 다녔던 독서모임에서 '존재의 세 가지 거짓말'을 만나게 되면서다. 그때부터 지식도서는 뒤로하고 소설만 주구장창 읽었다. 어느덧 돌아보니 20년도에 읽은 책 절반이 소설이더라. 소설의 묘미는.. 비문학/에세이는 작가의 직접적 워딩을 통해 경험하는 구조라면, 소설은 인물들 + 그 너머 작가의 생각까지 유추함으로써 이중 구조로 경험을 쌓아 올리는 데 있었다. 쉽게 말하면, 소설에 숨은 작가를 끄집어..
도리언 그레이의 초상 -오스카 와일드 #자신의 혐오스러운 이면을 들여다 본다는 것 독서 카테고리에 마지막 글을 남긴 지 벌써 한 달이 넘었다. 꾸준히 글을 쓰자고 다짐하며 열었던 블로그인데, 그동안 포스트를 올리지 못했던 건 ‘도리언 그레이의 초상’이 안 읽히기도 했고, 공감 가지 않아서 애먹었기 때문이다. 어떤 눈으로 이 책을 봐야 하는지 모르니 줄거리와 생각할 거리를 어떻게 남겨야 할지도 감이 오지 않았다.. 무엇부터 안 맞는 건지 초반부터 이 책은 나와 계속 삐그덕 거리는 느낌이었다. 그래서! 이 번 독서노트는 건너 뛰어볼 까 생각도 했지만, 이 공감가지 않는 책에 대해 기록을 남기는 이유는 언젠가 다시 읽을지 말지도 모르는 '훗날의 나'를 위해서다. 아마 이 글도 미래의 그 친구가 수정해주지 않을까 하는 기대를 걸면서 말이다.. 소개글 도리언 그레이는 용모가 아름다운 미남자이다..
아픈 것도 아닌데, 고양이 엉덩이가 더러운 이유 가끔 할 일 하다가 돌아보면, 첫째 고양이 아쿠가 한쪽 다리를 하늘 높이 치켜든 체 열심히 그루밍을 하고 있는 걸 발견한다.본래 목표 지점은 똥꼬였겠지만 자기주장이 강한 그녀의 뱃살들은 쉽게 닿도록 허락하지 않는다.그래서 언제나 배 언저리만 핥고 있다. 그 모습을 짠하게 보고 있노라면 금새 나와 눈이 마주친다.그러면 아쿠의 눈엔 긴장감이 서리기 시작한다.내가 금방 휴지를 들어서 엉덩이를 닦아줄 것을 알기 때문이다. 꼴에 고양이라고 육중한 몸으로 잽싸게 도망가는 아쿠를 집어들어 엉덩이를 닦아준다.휴지에 축축하게 이물질이 묻어나온다. 엉덩이는 늘 축축하고 습해있다. 아쿠 엉덩이에 이물질이 묻어난 건 작년 중순부터였다.처음엔 질염이니 뭐니 오진을 받고 탄식했는데, 4 군데 병원을 돌아다닌 끝에 밝혀진 원인은 ..

티스토리툴바