ReLu雖然在大于0的區(qū)間是線性的，在小于等于0的部分也是線性的，但是它整體不是線性的，因為不是一條直線。

多個線性操作的組合也是一個線性操作，沒有非線性激活，就相當于只有一個超平面去劃分空間。但是ReLu是非線性的，效果類似于劃分和折疊空間，組合多個（線性操作 + ReLu）就可以任意的劃分空間。

很多ReLU改進版：leaky relu、prelu、elu、crelu……各有各的效果和性能，都不比為relu常見：

1. 不一定有效，例如沒遇到dying relu，就沒必要用leaky relu，用了也不一定會更好
2. 更復雜、性能不如relu

參考：

1. How Do Neural Networks Work?

同意樓上的回答，再補充一點吧：
關于線性非線性的解釋：在數(shù)學中，函數(shù)是線性函數(shù)，那么這個函數(shù)就是一條直線；而剩下的所有情況都屬于非線性函數(shù)。
根據(jù)以上定義，折線也不屬于線性函數(shù)，而Relu就是折線的一種，所以就是非線性了。。