zZh的小窝

靡不有初 鲜克有终

0%

发表于 分类于 阅读次数： ℃ Valine：
本文字数： 367 阅读时长 ≈ 1 分钟

信息量定义\(f(x)=-log_2x\)，表明信息量的多少，x是概率，通俗来说概率越小信息量越大。

熵的定义是信息量的期望，即\(H(P)=\sum _{i=1}^{m}p_i*f(p_i)\)

相对熵(KL散度)是两个系统“差距”， 比如以P为基准，与Q相差多少：\(D_{KL}(P||Q)=\sum_{i=1}^{m}p_i*(f_Q(q_i)-f_p(p_i))=\sum_{i=1}^{m}p_i*(-log_2q_i)-\sum_{i=1}^{m}p_i(-log_2p_i)\)

后面一项是P的熵，前面一项是P与Q的交叉熵

交叉熵 \(H(P, Q)=\sum_{i=1}^{m}p_i(-log_2q_i)=-\sum_{i=1}^{n}(y_ilog_2\hat{y_i}+(1-y_i)log_2(1-\hat{y_i}))\)

发表于 更新于 分类于 阅读次数： ℃ Valine：
本文字数： 366 阅读时长 ≈ 1 分钟
这有一份密文~
阅读全文 »

发表于 更新于 分类于 > 阅读次数： ℃ Valine：
本文字数： 219 阅读时长 ≈ 1 分钟

8.4

今天休息，起床就下午了...然后搭了一天博客，初见成效。

明天再看看怎么装修吧。

昨天本来搭得差不多了，渲染的时候被自己给搞崩了，今天重新来的....

阅读全文 »