応用数学の確率や統計などを利用して、事象が発生する確率や情報の量の関係などを数値として求めることができる。

情報量(エントロピー)とは、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。

頻繁に起こるできごとが起こったことを知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらないできごとが起これば、それはより多くの「情報」を含んでいると考えられる。
情報量はそのできごとがどれだけの情報をもっているかの尺度であるともみなすことができる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる純粋に数学的な量のことである。
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値をも情報量と呼ぶ。両者を区別する場合には、前者を選択情報量（自己エントロピーとも）、後者を平均情報量（エントロピーとも）と呼ぶ。

生起確率・・・事象が発生する確率
情報量・・・事象が持っている情報の量

事象 A が起こる確率をP(A)とするとき、 事象 A が起こったことを知らされたとき受け取る（選択）情報量L(A) とした場合、

• P(A)が小であれば、L(A)が大
  
• P(A)が大であれば、L(A)が小
  

生起確率と情報量の関係は、

起こりにくい事象（＝生起確率が低い事象）の情報量ほど、値が大きい。
上式中の対数 (log) の底として何を選んでも、情報量の値が定数倍変わるだけなので、本質的な差はないものの、底としては2を選ぶことが多い。
底が 2 の場合、P(A) ＝ 1 / 2ⁿの確率で起こる事象の情報量は n である。
つまり、nビットは確率 1 / 2ⁿ で起こる事象を伝える情報量になる。