Thursday, April 20, 2017

AWS vs. GCP

AWS vs. GCP

2017/04/17

雲端服務,AWS 目前是首選,但後續考量到 AI 的話,GCP 似乎也值得注意。不知版上的朋友們看法如何,願聞其詳!

https://www.facebook.com/groups/awsugtw/permalink/1312645825478592/

https://www.facebook.com/ericj.tw/posts/10155274908659826

-----

呂昭寬:看任務類型囉;目前 AWS 的 ML 以 Linear 線性為主,如果目標函數非線性,可能要透過人為介入,例如加入 dummy 參數啦(多項式型態)、或以其它方式縮小範圍(小範圍裡所有曲線看起來都像直線)提升效度。

我沒玩過 GCP 的 Prediction / Azure 的 ML,但前者貌似是基於線性算法 (Linear regression, SVM, Bayesian; https://www.quora.com/What-algorithms-underlie-the......),後者則是讓你自己挑。

高階服務方面,AWS 提供的 Lex, Polly, Rekognition 目前要自幹都有點累;G 社旗下的 DeepMind 在去年 re:Invent 前發表了 WaveNet,大幅壓低 re:Invent 發佈 Polly 帶給我的震撼。然而 WaveNet 目前還沒得玩(配上 Google Translate,或是純 TTS Service?),後者已商業化 (Preview);M 社的即時翻譯更是新鮮感滿滿。這類服務猜想會進入戰國時代,設計架構時一定要保留抽換彈性;誰能勝出還很難說。

https://www.quora.com/What-algorithms-underlie-the-Google-Prediction-API 

-----

徐凡耘:最可怕的是價錢, 小資料小小跑就台幣 100 元

Marcel Wang:價位是極大的考量!

呂昭寬:使用雲端服務一定要注意價目表,包含計費週期、人頭、低消等等,不是只有均化單價。另外用完要記得清掉,不然哪間都一樣,信用卡就一直燒 XD

-----

Stephon Chen:看用途選擇需要的 CSP 並保留抽換的彈性,應付 DR 非常重要

Marcel Wang:https://zhidao.baidu.com/question/24364295

Scrum

Scrum

2017/04/20

最近又看到一篇 Scrum [1]。之前奉命研究 LINE 時 [2],看到 LINE 台灣技術總監,同時也是前雅虎台灣首席工程師陳鴻嘉很推崇 Scrum [3],所以留意了一下,找了不少書來看。

粗略的印象是想辦法在陷入開發太多的功能中先推出一個可用的版本。

這次因為有FB朋友提供訊息:Jira/redmine/trello 這些帶有PMS的工具。特別做個筆記。

-----

Jason Tsai:這個我以前推過,愈資深的軟體經理或工程師愈帶頭反對施行 Scrum、愈捍衛習以為常的 waterfall 開發模式,新創公司比較沒有包袱或許推行阻力較低。

Marcel Wang:計畫當然很重要,但計畫通常趕不上變化。

Zachary Jen:scrum就是為了應變變化而產生的~ 不過其他相對應的工具也滿需要一起帶來配合會比較好推~

Marcel Wang:請教有何其他相對應的工具?

Zachary Jen:我是覺得Scrum其實有一部分需要滿大的自動化 Jira/redmine/trello 這些帶有PMS的工具配合 可能會比較好推一點,在每個iteration中,大家工作一目瞭然也可以更加抓得住進度

Marcel Wang:謝謝,是非常寶貴的資訊。

-----

[1] 敏捷方法的成功密技(一):Scrum 為何對你很重要? |威廉網紙
http://www.ezproject.tw/2017/02/WhyScrumIsImportantToYou.html

[2] A Glance at LINE_v003
http://hemingwang.blogspot.tw/2017/01/a-glance-at-linev003.html

[3] 用小案子「練兵」 繼Google、雅虎之後,LINE會成為台灣下一個國際網路開發者搖籃嗎
https://www.bnext.com.tw/article/41311/line-development-international-internet-company-talent

[4] JIRA - 維基百科,自由的百科全書
https://zh.wikipedia.org/wiki/JIRA  

[5] Redmine - 維基百科,自由的百科全書
https://zh.wikipedia.org/wiki/Redmine

[6] Trello - 維基百科,自由的百科全書
https://zh.wikipedia.org/wiki/Trello

mAiLab_0002:Random Number

mAiLab_0002:Random Number

2017/04/19

前言:

本來第二次作業要討論 Python 哪本書適合本次實作,但我想就直接進入主題了!

p.s.

果然不出我所料,作業一出,馬上有人覺得太簡單。基本上,這一系列實作就是把 LeNet 儘量拆解成簡單的元素。

覺得太簡單的,我還是建議您讀完我寫的 LeNet 文章後,就自行把 LeNet 實作出來,這個應該還蠻有挑戰性的。同時,這也是期末作業!

-----

HW0002:

◎ 基本題
1. 產生五個亂數,並將其輸出。
2. 產生N個介於-1與1之間的亂數,計算其平均值與標準差並輸出,每個亂數的值則不用輸出。N=10^1, 10^2, 10^3, 10^4, 10^5。

◎ 進階題
3. 做基本題2時,一併輸出產生每N個亂數前後的系統時間,並計算所需的時間。
4. 自己寫一個亂數產生器。

p.s.

1. 進階題可以不做。
2. 作業要有檔頭。
3. 作業要有註解。原則上英文優於繁體中文優於簡體中文優於不寫註解。
4. 作業答案請以註解方式呈現在程式碼下方。
5. 作業的連結請回覆至FB本貼文下方。

https://www.facebook.com/groups/pythontw/permalink/10156276123488438/

-----

精華留言(依時間序):

# 很棒的提問
1. 吳啟聖:哪一種機率分布的亂數? Uniform? Gaussian(Normal)? 除了Uniform、Gaussian外 還有很多初始化的方式 可參考Keras提供的method: https://keras.io/initializers/

# 很棒的作業
2. Wei-zen Liu:https://github.com/dennisliuu/mAiLab-homework/blob/master/mAiLab_002%20Random%20Number.py

-----

Q&A:

Q1. Corvo Attano:是要自己實作random generator還是直接用python的就好?亂數型態是floatpoint還是decimal?

A1. Marcel Wang:都可以。

Q2. 邱得源:如果可以 import random 的話是很簡單,但是要『 自己寫一個亂數產生器』的話感覺很難??

A2. Marcel Wang:是啊,是設計出來給覺得作業太簡單的人享用的。

-----



-----

說明:

1. 為何要產生亂數,因為在要指定 weights 跟 biases,參考圖1 [1]。w 跟 b 是什麼意思,後續的實作會解釋。

2. 為何要計算平均值與標準差,是為了驗證產生的亂數是不是常態分布 [2]。

3. 亂數產生器請自行參考 [3]。

4. 取得系統時間,有助於後續評估程式的效能。


Fig. 1. Back-propagation algorithm, p. 66 [1]. 

-----

References

[1] 2015_Automatic speech recognition, a deep learning approach - Chapter 4: Deep Neural Networks, pp. 57-77.

[2] Normal distribution - Wikipedia
https://en.wikipedia.org/wiki/Normal_distribution

[3] Random number generation - Wikipedia
https://en.wikipedia.org/wiki/Random_number_generation

LeNet實作團 - 參加辦法與會員編號

LeNet實作團 - 參加辦法與會員編號

2017/04/13

本活動在 Python Taiwan
https://www.facebook.com/groups/pythontw/permalink/10156251541933438/

報名方式只要在上方連結填入三項基本資料即可。

1. 身份別:助教或學員。助教表示你比較熱心與積極。學員表示你會交作業。
2. 地區別:填一個就可以,原則上是中文三個字。填上地區表示你願意跟同一地區者交流。若不方便則填互聯網。
3. 臉書帳號:不要填真實姓名啦,除非你臉書就用這個。

範例:

助教 台北市 楊樂群

-----

LeNet實作團終於要正式啟動了,在開始之前,我想提幾位台灣「人工智慧」社團同好:

Jason Tsai:重理論
Mark Chang:喜歡動手實作
Ton Ton Hsien-De Huang:喜歡動手裝GPU

由於他們幾位的熱心指點,才有今天 LeNet 實作團的產生。

-----

念頭雖是一時興起,但已經醞釀很久,原因是我認同某位去 DeepMind 的高手傳達給 Mark 的理念,學 Deep Learning 最好的方法,是動手下去 coding,而不是一直停在看理論。我幾經考慮,決定社團雖然成立,但是就不另外開版,留在 Python Taiwan 繼續討論即可,因為討論內容並不違背宗旨。

社團是比較鬆散的學習方式,但也可以很有效率。第一個是現成的:LeNet-5 原理的講解。第二個不容易達到:Python 完成 LeNet-5。如果這項可以通過,那麼後續 Caffe 跑 LeNet-5、AlexNet、GoogLeNet、VGGNet等,才比較有意義。

我講完了,歡迎加入:)

-----

參加辦法:

1. 具 Python coding 能力。
2. 有微積分基礎。
3. 希望能以 Python 實作 LeNet-5。
4. 無人數限制,稍後才加入者希望能自行閱讀文章、跟上進度。

要填的只有三項:報名項目、居住地、FB帳號

◎ 報名項目分為助教與學員。選擇助教,代表您有較高的意願參加討論與協助其他的學員。 選擇學員,代表您因種種限制例如時間不夠等,只能有限度的參與。由於屬於非強制性質,我個人希望報名助教人數多一點,受惠人數也會多一點。

◎ 居住地原則是中文三個字。例如台北市、新竹市等。兩個字例如香港也可以。填上居住地代表您有較高的意願與同一個城市的成員交流。如果因種種因素不易交流,請填「互聯網」。

◎ 名單會以流水號記錄,後續同一城市若要辦活動可以剪貼到 excel 編輯。

◎ 意者請以下列格式在FB本則貼文底下留言即可,例如楊樂群同學就讀台大,想參加成為助教,那他可以留言如下:

助教 台北市 楊樂群

接下來我提供編號,記錄在此,即完成報名

例:000001 助教 台北市 楊樂群

-----


-----

助教群:

000005 助教 台北市 林裕軒
000006 助教 台北市 邱建璋
000016 助教 新北市 劉馬克
000020 助教 竹北市 彭子洋
000032 助教 台北市 郭宗賢
000034 助教 新竹市 楊士永
000035 助教 新竹市 吳啟聖
000081 助教 新北市 Musha Sun

-----

社員編號

000001 學員 台北市 鄭仕群
000002 學員 互聯網 Fu-te Wong
000003 學員 台北市 Alex Wang
000004 學員 台北市 Andy Chong
000005 助教 台北市 林裕軒
000006 助教 台北市 邱建璋
000007 學員 新北市 Walter Chang
000008 學員 新北市 Patrick NienChi Shih
000009 學員 台中市 呂姵萱 ?
000010 學員 新北市 Yi-Chang Juan
000011 學員 新北市 黃琮閔
000012 學員 台北市 Chris Chou
000013 學員 基隆市 Claude Hsu
000014 學員 台北市 Nick Yang
000015 學員 桃園市 林尚興
000016 助教 新北市 劉馬克
000017 學員 新北市 張舜龍
000018 學員 新竹市 張伍賢
000019 學員 台北市 蔣秉芳
000020 助教 竹北市 彭子洋
000021 學員 台北市 William Tai
000022 學員 台北市 鄭御廷
000023 學員 台北市 李博儒
000024 學員 桃園市 Cheng Yu Wang
000025 學員 新北市 Larry Huang
000026 學員 新竹市 Jerry Hsiao
000027 學員 台東市 鐘怡茜
000028 學員 雲林縣 林建安
000029 學員 台北市 Arthur Yueh
000030 學員 新北市 Roymond Liao
000031 學員 高雄市 顏宏達
000032 助教 台北市 郭宗賢
000033 學員 新竹市 Schwartz Lyu
000034 助教 新竹市 楊士永
000035 助教 新竹市 吳啟聖
000036 學員 台北市 Titan Jer-ming Lin
000037 學員 台北市 Ricky Huang
000038 學員 高雄市 Steve Yang
000039 學員 台北市 Chia-chuan Ho
000040 學員 新竹市 曾柏軒
000041 學員 台北市 T Yi En
000042 學員 台中市 王國明
000043 學員 台北市 Weiti Kuo
000044 學員 新北市 林稚偉
000045 學員 新北市 陳昱安
000046 學員 桃園市 蔡有為
000047 學員 新北市 陳俊豪
000048 學員 新竹市 許建平
000049 學員 互聯網 馮建凱
000050 學員 彰化市 陳詠揆
000051 學員 南投縣 王漢廷
000052 學員 新北市 Ashing Tsai
000053 學員 新北巿 Rhine Ni
000054 學員 互聯網 曾子航
000055 學員 新北市 Rex Wang
000056 學員 互聯網 葉泓佑
000057 學員 新竹市 朱立平
000058 學員 新北市 Jason Tsai
000059 學員 互聯網 裘凱叡
000060 學員 新竹市 王又田
000061 學員 新竹市 宋元堯
000062 學員 新竹市 鍾嘉峻
000063 學員 新竹市 Awan Hsu
000064 學員 新竹市 邱立平
000065 學員 互聯網 謝佳霖
000066 學員 互聯網 林彥廷
000067 學員 高雄市 Wen Chung
000068 學員 臺北市 廖婉琪
000069 學員 互聯網 Jiaxin Yu
000070 學員 新竹市 官彥廷
000071 學員 台北市 湯智帆
000072 學員 新竹市 Yijhan Tseng
000073 學員 台中市 陳耀宗
000074 學員 新北市 張盛閎
000075 學員 新北市 Caleb Teo
000076 學員 臺北市 周秉宇
000077 學員 台中市 邱得源
000078 學員 臺北市 Brian Sung
000079 學員 新竹市 陳俊誠
000080 學員 台北市 潘柏任
000081 助教 新北市 Musha Sun
000082 學員 台北市 Frank Chu
000083 學員 高雄市 賴宏暉
000084 學員 台北市 鄒適文
000085 學員 台北市 Gary Lee
000086 學員 台北市 蔡睿翊
000087 學員 嘉義市 Tomas Lin
000088 學員 新北市 后羿

跑步(六七):10圈

跑步(六七):10圈

2017/04/20

赤腳。跑1,伸展,跑(5*2),伸展。順10

-----

沒太陽,人不多,順時針跑。第七圈後感覺不錯。

整體不算好,原因應該是後來下雨了,濕度太大。

Wednesday, April 19, 2017

「四為」、「三心」的經營之道

「四為」、「三心」的經營之道

http://www.new7.com.tw/NewsView.aspx?t=HIS&i=TXT20170322170546KSE

「錢很重要,但做事情不能老是把成本擺在第一位,有時候要擺在第二位,這樣才會有新的東西出來。」

「為地球、為社會、為後代、為別人」,王其祥一直要求自己要秉持這「四為」經營企業。王其祥半開玩笑地說,做生意若能顧及到這四點,才不會從「商人」變成「傷人」,但如果你跟投資人講這些話,有些投資人可能不太敢投資你。

除了「四為」,王其祥認為做生意還要掌握信心、用心及恆心這「三心」,如果業者對自己的產品沒信心、不用心,供應商一給壓力就改變自己的原則,沒有恆心堅持下去,這樣生意就無法做得長久。

-----

謹記在心!

FB社團:AI

FB社團:AI

-----



◎ 台灣「人工智慧」社團
https://www.facebook.com/groups/Taiwan.AI.Group/?fref=ts 

台灣機器學習與人工智慧同好會
https://www.facebook.com/groups/1126153717456741/

人工智慧/自然語言處理/搜尋引擎
https://www.facebook.com/groups/959050367523488/?fref=ts

AI人工智慧與機器人社團
https://www.facebook.com/groups/1852135541678378/ 

人工智慧與機器人學習交流俱樂部
https://www.facebook.com/groups/205835109792195/

Deep Learning Taiwan
https://www.facebook.com/groups/twdnn/?fref=ts

OpenAI@TW
https://www.facebook.com/groups/259799017688463/?fref=ts

香港深度學習交流會 - Hong Kong Deep Learning Study Group
https://www.facebook.com/groups/170776840085989/

-----

TensorFlow Taiwan
https://www.facebook.com/groups/294714030866185/

TensorFlow Group
https://www.facebook.com/groups/tensorflowdevelopers/?fref=ts

GPU Taiwan Facebook
https://www.facebook.com/groups/marketing.gpu/

-----



人工知能応用研究室
https://www.facebook.com/groups/AIAppLab/

人工知能研究会 / AIR
https://www.facebook.com/groups/1024547137580925/

汎用人工知能について語ろう!
https://www.facebook.com/groups/sig.agi.jp/

--

◎ ロボットと人工知能のある社会
https://www.facebook.com/groups/813342132068841/

-----



AI Korea (Deep Learning)
https://www.facebook.com/groups/AIKoreaOpen/

--

TensorFlow KR
https://www.facebook.com/groups/TensorFlowKR/

딥러닝 오픈소스 스터디 (TensorFlow, Caffe 등)
https://www.facebook.com/groups/caffestudy/

-----



AI & Deep Learning Enthusiasts Bay Area
https://www.facebook.com/groups/1691724667816799/?fref=ts

Artificial Intelligence & Deep Learning
https://www.facebook.com/groups/DeepNetGroup/?fref=ts

Deep AI
https://www.facebook.com/groups/DeepAI/

Deep learning
https://www.facebook.com/groups/DeepLearnng/?fref=ts

Deep Learning / AI
https://www.facebook.com/groups/1738168866424224/

HH Machine Learning and Artificial Intelligence
https://www.facebook.com/groups/hhmachinelearning/?fref=ts

Nvidia Deep Learning
https://www.facebook.com/groups/NvidiaDL/

Strong Artificial Intelligence
https://www.facebook.com/groups/strongartificialintelligence/?fref=ts

Wit.ai Hackers
https://www.facebook.com/groups/withackers/?fref=ts

-----



Deep Learning & Artificial Intelligence Germany
https://www.facebook.com/groups/939105009506344/?fref=ts
 
-----



Intelligence Artificielle, Neurotechnologie, Robotique et Transhumanisme
https://www.facebook.com/groups/1655802661300145/

-----



Deep Learning Italia
https://www.facebook.com/groups/196584677432705/?fref=ts

-----

西



-----




-----

希伯來

Machine & Deep learning Israel
https://www.facebook.com/groups/543283492502370/?fref=ts

-----

FB社團:其他技術:

Angular User Group Taiwan
https://www.facebook.com/groups/augularjs.tw/

◎ AWS User Group Taiwan
https://www.facebook.com/groups/awsugtw/

◎ Azure Taiwan User Group
https://www.facebook.com/groups/AzureTWUG/

Backend 台灣 (Backend Tw)
https://www.facebook.com/groups/616369245163622/

Computer Vision Taiwanese Group
https://www.facebook.com/groups/112719202116662/

◎ GCPUG.TW(Google Cloud Platform User Group Taiwan)
https://www.facebook.com/groups/GCPUG.TW/

golang
https://www.facebook.com/groups/golanggonuts/?fref=ts

Front-End Developers Taiwan
https://www.facebook.com/groups/f2e.tw/

Golang Gopher Taiwan
https://www.facebook.com/groups/1667684473462867/

Go程式語言 (Golang Taiwan, Gopher Taipei)
https://www.facebook.com/groups/269001993248363/?fref=ts 

Julia Taiwan
https://www.facebook.com/groups/1787971081482186/

Python Taiwan
https://www.facebook.com/groups/pythontw/

AI從頭學(二二):A Glance at Reinforcement Learning

AI從頭學(二二):A Glance at Reinforcement Learning

2017/04/12


-----

前言:

施工中...

-----

Summary:

Reinforcement Learning (RL) [1]-[6] (參考圖1)的基礎是 Markov Decision Process (MDP) [7] (參考圖2.1a)以及 Bellman equation [1]。在應用上可以分成三種:Critic Only、Action Only、以及 Action-Critic [1]。其中 Critic Only 的 Q-Learning [8], [9] 以及 Actor-Critic 的 policy gradient methods [10]-[13] 是裡面比較重要的。

近年來由於跟 Deep Learning (DL) 整合成 Deep Reinforcement Learning (DRL),在應用上更加靈活 [14]-[16]。 除了跟 Q-Learning 與 Actor-Critic 整合成 DQN [17]、A3C [18]、UNREAL [19] 之外,還有 Recurrent reinforcement learning [20]、Reinforcement Learning Neural Turing Machines [21]、PGQ, Combining policy gradient and Q-learning [22] 等種種新奇的組合。


Fig. 1. Reinforcement learning.

-----

Outline:

本文的講解以 [1] 為主,章節上分為

1. Markov Decision Process (MDP)
2. Bellman Equation
3. Q-Learning
4. Actor-Critic
5. DRL

介紹基本的概念。

-----

1.  Markov Decision Process (MDP)

參考圖2.1a,MDP的組成有五,另外要先提 agent,最後有 expected discounted return。以自問自答的方式進行。

Q1:Agent
Q2:States
Q3:Action
Q4:Reward
Q5:Transition Function
Q6:Policy
Q7:Expected discounted return





Fig. 2.1a. Markov decision process, p. 513 [4].

-----

Q1:Agent

A1:Agent,可以想成一個人,一隻狗,或者是一組電腦程式,跟環境之間的互動,參考圖2.1b跟2.1c。

-----

Q2:States

A2:State,中文是狀態。如果以 game 來說,可能是游標的位置。如果以機器人來說,可能是機器手臂的角度,等等。總之,就是一個狀態。狀態大體上會伴隨著時間,所以,就是 s0, s1, s2, 等等,參考圖2.1c與2.1h。

-----

Q3:Action

A3:Action,中文是行動,或者動作。還是以 game 為例,譬如,上下左右,或者再加發射,可以參考圖2.1h。

-----

Q4:Reward

A4:Reword,可以翻譯成獎勵,這個值,一般就是一個實數。如果是負值,就是 punishment,變成懲罰了。參考圖2.1h。

-----

Q5:Transition Function

A5:這個比較複雜一點,定義寫出來,就比較清楚,參考圖2.1f。我們可以看到,transition function 是一個狀態,執行一個動作,變成另一個狀態。這個函數會得到一個值,介於0與1之間,是一個機率值。它不是選擇這個動作的機率,而是執行動作成功得到 reward 的機率,參考圖2.1d與2.1e。

-----

Q6:Policy

A6:Policy,是在一個狀態下,選擇某個動作,參考圖2.1g。

-----

Q7:Expected discounted return

A7:我們可以看到,這是一串 rewards,隨著時間遞減,然後再加總。遞減是合理的,今天給你一百塊錢,明天也給你一百塊,哪個感覺,或者真正的效用,對現在的你比較高,當然是今天的一百塊囉! 參考圖2.1i。

-----


Fig. 2.1b. The agent-environment interaction, p. 47 [5].



Fig. 2.1c. SARS, p. 524 [4].



Fig. 2.1d. Transition function, p. 2 [1].



Fig. 2.1e. Probability of s a s’ [7].



Fig. 2.1f. Markov decision process, p. 12 [6].



Fig. 2.1g. Policy, p. 2 [1].



Fig. 2.1h. Markov decision process (Q-Learning) [9].



Fig. 2.1i. Expected discounted return, p. 71 [5].

-----

2. Bellman Equation

這應該算是等式,還是定義呢?

首先看到圖2.2a,以及2.1i。



-----


Fig. 2.2a. Bellman equation, p. 2 [1].



Fig. 2.2b. Bellman equation, p. 81 [5].



Fig. 2.2c. Generalized policy iteration (GPI), p. 19 [6].



Fig. 2.2d. V*, p. 527 [4].



Fig. 2.2e. π* (greedy), p. 16 [6].



Fig. 2.2f. Generalized policy iteration (GPI), p. 12 [2].



Fig. 2.2g. Generalized policy iteration (GPI), p. 13 [2].



Fig. 2.3a. Value iteration [7].



Fig. 2.3b. Policy iteration [7].



Fig. 3.1a. TD=MCM+DP, p. 535 [4].



Fig. 3.1b. Q-learning, p. 4 [1].



Fig. 3.1c. Q-learning, p. 140 [5].



Fig. 3.1d. Q-learning, p. 140 [5].



Fig. 3.1e. Q-learning, p. 537 [4].



Fig. 3.1f. Q-learning, p. 31 [6].



Fig. 3.1g, Learning rate [9].



Fig. 4.1a. Actor-Critic [16].



Fig. 4.1b. Actor-Critic, p. 538 [4].



Fig. 4.1c. Actor-Critic, p. 7 [1].



Fig. 5.1a. DQN: the optimal action-value function, p. 1 [17].



Fig. 5.1b. DQN: loss function, p. 1 [17].



Fig. 5.1c. DQN [16].



Fig. 5.2a. OSQ, p. 2 [18].



Fig. 5.2b. AOSQ, p. 3 [18].



Fig. 5.2c. A3C, p. 4 [18].



Fig. 5.3a. UNREAL, p. 2 [19].



Fig. 5.3b. UNREAL, p. 6 [19].



Fig. 5.3c. A3C: Loss function, p. 3 [19].



Fig. 5.3d. VR: Loss function, p. 3 [19].



Fig. 5.3e. PAI: Loss function, p. 3 [19].



Fig. 5.3f. QC: Loss function, p. 4 [19].



Fig. 5.3g. UNREAL: auxiliary tasks, p. 4 [19].



Fig. 5.3h. Gradient of PAI, p. 3 [19].



-----

References

◎ 1 1 RL Paper

[1] Heidrich-Meisner, Verena, et al. "Reinforcement learning in a nutshell." ESANN. 2007.
[2] Kaelbling, Leslie Pack, Michael L. Littman, and Andrew W. Moore. "Reinforcement learning: A survey." Journal of artificial intelligence research 4 (1996): 237-285.

[3] Kober, Jens, J. Andrew Bagnell, and Jan Peters. "Reinforcement learning in robotics: A survey." The International Journal of Robotics Research 32.11 (2013): 1238-1274.

◎ 1 2 RL Book

[4] Gollapudi, Sunila . Practical machine learning. Packt Publishing, 2016.
https://ebooks-it.org/178439968x-ebook.htm

[5] Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. (2016): 424.
http://incompleteideas.net/sutton/book/bookdraft2016sep.pdf

[6] Gollapudi, Sunila . Reinforcement learning : State-of-the-Art. Springer, 2012.
https://ebooks-it.org/178439968x-ebook.htm

◎ 2 MDP

[7] 机器学习 cs229学习笔记6(增强学习 reinforcement learning,MDP) - 深度学习知识库
http://lib.csdn.net/article/deeplearning/54747

◎ 3 Critic Q-Learning

[8] Watkins, Christopher JCH, and Peter Dayan. "Q-learning." Machine learning 8.3-4 (1992): 279-292.

[9] Artificial Intelligence - foundations of computational agents -- 11_3_3 Q-learning
http://artint.info/html/ArtInt_265.html

◎ 4 Actor-Critic PGM

[10] Sutton, Richard S., et al. "Policy gradient methods for reinforcement learning with function approximation." NIPS. Vol. 99. 1999.

[11] Kakade, Sham. "A natural policy gradient." Advances in neural information processing systems 2 (2002): 1531-1538.

[12] Kohl, Nate, and Peter Stone. "Policy gradient reinforcement learning for fast quadrupedal locomotion." Robotics and Automation, 2004. Proceedings. ICRA'04. 2004 IEEE International Conference on. Vol. 3. IEEE, 2004.

[13] Peters, Jan, and Stefan Schaal. "Policy gradient methods for robotics." Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference on. IEEE, 2006.

◎ 5 DRL

[14] Li, Yuxi. "Deep reinforcement learning: An overview." arXiv preprint arXiv:1701.07274 (2017).

[15] Krakovsky, Marina. "Reinforcement renaissance." Communications of the ACM 59.8 (2016): 12-14.

[16] 深度增強學習前沿算法思想 - 歌穀穀
http://www.gegugu.com/2017/02/17/1360.html

[17] Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533.

[18] Mnih, Volodymyr, et al. "Asynchronous methods for deep reinforcement learning." International Conference on Machine Learning. 2016.

[19] Jaderberg, Max, et al. "Reinforcement learning with unsupervised auxiliary tasks." arXiv preprint arXiv:1611.05397 (2016).

[20] Li, Xiujun, et al. "Recurrent reinforcement learning: a hybrid approach." arXiv preprint arXiv:1509.03044 (2015).

[21] O'Donoghue, Brendan, et al. "PGQ: Combining policy gradient and Q-learning." arXiv preprint arXiv:1611.01626 (2016).

[22] Zaremba, Wojciech, and Ilya Sutskever. "Reinforcement Learning Neural Turing Machines-Revised." arXiv preprint arXiv:1505.00521 (2015).

Tuesday, April 18, 2017

跑步(六六):10圈

跑步(六六):10圈

2017/04/18

赤腳。跑1,伸展,跑(5*2),伸展。逆10

-----

跑到後面很舒服,跑完睡覺也很舒服。

Monday, April 17, 2017

mAiLab_0001:GitHub

mAiLab_0001:GitHub

2017/04/17

前言:

網路下載電子資源,請注意安全!

HW0001:

還沒有 GitHub 帳號的,請註冊一個,用來繳交作業。 註冊好後將您的 GitHub 首頁網址回覆在FB本貼文下方即可。

https://www.facebook.com/groups/pythontw/permalink/10156267862838438/?pnref=story

本項並無嚴格規定,若不註冊,您後續還是要想辦法讓作業被看到,所以還是建議您註冊。

-----

Summary:

本實作課程以我自學拉丁文 [1], [2] 的經驗,將每次課程儘量簡單化,以每次一個主題,實作配合主題講解為原則。接下來推薦對幾個開發程式有幫助的網站 [3]-[6]。然後推薦一本關於 GitHub 的免費電子書 [7], [8],以及幾個可以下載免費電子書的網站 [9]-[11]。

-----

Outline:

一:簡單化
二:輔助開發
三:電子書下載

-----

一:簡單化

在正式開始前,我想說一下我學拉丁文的小故事,這一段很重要,它跟接下來一段時間的實作有很大的關係,所以請仔細閱讀!

在讀博士班時,通過資格考之後,有段空檔,我利用這段時間自學了一些外語,其中一個是拉丁文 [1], [2]。

拉丁文有多難 [2] 並不重要,重點是這本書讓學拉丁文這件事變的很簡單 [1]。它一課只講一個單字,一個文法觀念,然後配合內容有十個很簡單的練習題。我我發誓這輩子從來沒有這麼喜歡做習題過。

講拉丁文不是要炫耀,因為我的拉丁文程度就停在這本書,現在估計也還回去了。但這讓我領略到一點:再難的事,你只要想辦法分解它,拆成簡單的單元,最後再組起來,就容易多了。

所以,本實作的練習有可能簡單到讓你覺得無聊,但這些練習都是為了讓你瞭解 LeNet 背後的原理而設計。

覺得太簡單的,有一些替代方案。你可以找幾個朋友比賽交作業的速度,或者我 assign 一些我想讀的論文給你,甚至我還有更瘋狂的計畫,找幾個人一起出 paper。但不管怎樣,既然報名了,我還是希望這些作業可以好好做,說不定以後實作 LeNet 會變成 interview AI工程師的基本條件!

總之別擔心,習題一定是很簡單,然後才越來越有挑戰性的!

-----

二:輔助開發

主要是 Stack Overflow [3] 跟 GitHub [4]。Stack Overflow 你可以去問問題。至於 GitHub,現在好像有 Kite 打算取而代之 [5], [6]。總之,GitHub 只是推薦,並不是硬性規定。原則上這個社團應該不存在任何硬性規定的事,而是要讓大家覺得有趣、刺激、可以學到東西為主。

-----

三:電子書下載

講到 GitHub,但 Amazon 上有一本書有五顆星的評價 [7],可以參考圖1。

另外還有保證合法的地點,就是台聯大的圖書館 [8]。你可以換證進去,有很多免費、合法的電子資源可以使用,除了電子書之外,甚至還有一些當期雜誌的電子檔。台聯大之外,一般國立大學或其他大專學府的圖書館應該也會有。

-----


Fig. 1. 2015_GitHub Essentials [7].

-----

結論:

有關 GitHub,相信很多人會有問題,也可回覆在FB本貼文下方,相信會有助教跟同學熱心回答的!:)

-----

References

[1] Getting Started with Latin
https://www.amazon.com/Getting-Started-Latin-Homeschoolers-Self-Taught/dp/0979505100/ref=sr_1_1?ie=UTF8&qid=1492394589&sr=8-1&keywords=latin

[2] 拉丁文究竟有多難學?連邱吉爾也頭痛!
http://gushi.tw/%E6%8B%89%E4%B8%81%E6%96%87%E7%A9%B6%E7%AB%9F%E6%9C%89%E5%A4%9A%E9%9B%A3%E5%AD%B8%EF%BC%9F%E9%82%B1%E5%90%89%E7%88%BE%E4%B9%9F%E9%A0%AD%E7%97%9B/

[3] Stack Overflow
https://stackoverflow.com/

[4] GitHub
https://github.com/

[5] Kite
https://kite.com/ 

[6] 能夠幫你省下整整半天查 code 時間的 AI 助手 Kite,有機會成為下一個 Github 嗎? 
https://buzzorange.com/techorange/2017/04/10/next-github-kite/ 

[7] GitHub Essentials  Achilleas Pipinellis  9781783553716  Amazon.com  Books
https://www.amazon.com/GitHub-Essentials-Achilleas-Pipinellis/dp/1783553715/ref=sr_1_1?ie=UTF8&qid=1492396706&sr=8-1&keywords=GitHub+Essentials

[8] 國立清華大學圖書館(National Tsing Hua University Library)
http://www.lib.nthu.edu.tw/

日文從頭學(目錄)

FB社團:

推:楊德輝日文
https://www.facebook.com/groups/Yang.index/

科技日文

日文從頭學

日文學習同好社 

日文從頭學(目錄)

日文從頭學(一):工具

日文從頭學(二):日本語聽讀文庫

日文從頭學(三):階梯日本語雜誌

日文從頭學(四):青空朗讀

日文從頭學(五):福娘童話集

日文從頭學(六):朗読たんぽぽ

日文從頭學(七):河野清人の思いつきボイス!

日文從頭學(八):躺著學英文

日文從頭學(九):圖表日文法

日文從頭學(一0):基礎日本語文法

日文從頭學(一一):体言と用言、一@ベネッセ新修

日文從頭學(一二):体言と用言、二@例解新

日文從頭學(一三):体言と用言、三@学研現代新 

日文從頭學(一四):体言と用言、四@三省堂


日文從頭學(終):日文流程圖

-----

日文小教室(目錄)

日文從頭學(終):日文流程圖

日文從頭學(終):日文流程圖

2017/04/17

有關日文從頭學,本來想要在介紹完我的日文辭典收藏,再來慢慢講解文法。由於現在忙著在網路上教人AI,眼看日文這邊遙遙無期,所以就把珍藏的武功秘笈提前公開。

這張圖其實在楊德輝老師的文法書第二冊與精華版都有,他也鼓勵大家分享,所以我就義不容辭把它貼出來了。第二張圖稍作影像處理,聊勝於無。

-----



-----

這張圖應該是把大部分日文文法濃縮成一張圖,告訴你什麼叫「正確」的日文。特別是你想讀懂泉鏡花或森鷗外等老派作家的文章,開頭總喜歡用一個長句。日文有一個很難的地方就是長句分解。

規則其實主要就是楊老師的幾本文法書的內容。大家可以慢慢研究。

有關文法,在我剛開始學的時候,認為超重要的。

我現在還是認為文法很重要,但是要「真正」提升日文程度,我想還是要靠「多聽」、「多說」、「多讀」、「多寫」。所以文法觀念有了之後,還是多靠上面四到,等到有一天,如果日文程度很不錯之後,再回過頭來研究。至於現在如果文法遇到問題,靠日文辭典就可以解決部分了。

以上是一個日文初學者的小小心得,跟大家分享!

LeNet實作團(目錄)

LeNet實作團(目錄)

2017/04/12

◎ Python Taiwan
https://www.facebook.com/groups/pythontw/

◎ 台灣「人工智慧」社團
https://www.facebook.com/groups/Taiwan.AI.Group/

-----

 
-----

LeNet實作團(目錄)

報名請至第八篇。

LeNet實作團(一):AI從頭學
https://www.facebook.com/groups/pythontw/permalink/10156220181993438/

LeNet實作團(二):CNN
https://www.facebook.com/groups/pythontw/permalink/10156224919098438/

LeNet實作團(三):LeNet 論文解說
https://www.facebook.com/groups/pythontw/permalink/10156243319308438/

LeNet實作團(四):LeNet 論文
https://www.facebook.com/groups/pythontw/permalink/10156246446733438/ 

LeNet實作團(五):BP
https://www.facebook.com/groups/pythontw/permalink/10156247392878438/ 

LeNet實作團(六):AD
https://www.facebook.com/groups/pythontw/permalink/10156250431318438/ 

LeNet實作團(七):convolutions
https://www.facebook.com/groups/pythontw/permalink/10156250972298438/

LeNet實作團(八):開動(報名由此進)
https://www.facebook.com/groups/pythontw/permalink/10156251541933438/

mAiLab_0001:GitHub
http://hemingwang.blogspot.tw/2017/04/mailab0001github.html