密尔并不想放弃这样一种观点，即：某些生活方式比其他的更加高贵，即使以这种方式生活的人更不容易感到满足。“相比较于一个较低级的人而言，一个拥有更高能力的人需要更多的东西来使他感到高兴，他也可能会有更多的痛苦……然而，尽管具有这些不利因素，他却怎么也不会真的希望沦落成一种他感觉是更低级的存在。”为什么我们不愿意用一种要求我们运用更髙能力的生活，去换取一种低级的、满足的生活呢？密尔认为此处原因与“对独立和个人独立性的热爱”有关，他还总结道：“它的最恰当的称号就是一种尊严感，所有的人类都以这种或那种方式拥有这种尊严感。”

与边沁不同，他相信我们可以区分高级的和低级的快乐——评估我们欲望的质量，而不仅评估其数量和强度。并且他认为，除了功利本身之外，他可以不依赖于任何道德观念而作出这一区分。密尔一开始就宣誓忠诚于功利主义的信条：“当行为能够促进幸福时，它们合情合理地就是对的；当它们促进幸福的对立面时，它们就是错的。幸福就是我们所欲求的幸福和无痛苦，不幸福就是痛苦和缺乏快乐。”……尽管密尔坚持认为快乐和痛苦同样重要，但是他也承认“有些快乐比其他的更加值得欲求，更有价值”。我们怎么能够知道哪些快乐在质量上更高一些呢？密尔提出了一种简单的检验：“对于两种快乐而言，如果所有或几乎所有体验过这两种快乐的人，都对其中某一种表现出明确的偏好，而不顾及任何道德责任感去偏爱它，那么这种快乐就是更加值得欲求的快乐。”这个检验有一个明显的优势：它并没有远离功利主义的这一观念——道德完全并仅仅依赖于我们实际的欲望。

对于边沁而言，快乐就是快乐，痛苦就是痛苦。评判一种体验与其他相比是更好还是更坏的唯一基础，就是它所产生的快乐或痛苦的强度和持久度。所谓的更高级的快乐或更髙贵的德性，不过是那些产生更强烈、更持久的快乐与德性。边沁并没有认识到不同的快乐所具有的质的差别。“快乐的量是平等的，”他写道，“图钉游戏与诗歌一样好。”边沁功利主义的部分吸引力正在于这种不加评判的精神。它如其所是地接受人们的各种偏好，而不对它们的道德价值作任何评判。所有的偏好都同等重要。边沁认为，将某些快乐看做在本质上优于其他快乐的行为，是一种专横。……所有的价值都能在一个尺度上加以衡量和比较。如果我们各种经验之间的差别，仅仅在于它们所产生的快乐或痛苦上的量的差别，那么，我们就能在同一个尺度上衡量它们。

他坚持认为，个人自由的理由完全建立在功利主义的考量之上：“我恰当地声明：我放弃任何可能从抽象权利观念得出的、独立于功利的、对我的论证有利的东西。我将功利看做是所有伦理问题的终极诉求，可是，这里所说的功利必须是最宽泛意义上的功利，建立在作为进取性存在的人的永恒利益之上。”密尔认为我们不应当逐事地使功利最大化，而应当从长远来看。他认为，尊重个体自由从长远来看，会导致最大的人类幸福。允许大多数人使持异议者保持沉默或抑制自由思考者，可能会使目前的功利最大化，可是从长远来看，这会使社会变得更坏——更加缺乏快乐。

密尔的著作可以被看做是一次调和个人权利和他从父亲那里继承而来，从边沁那里接受而来的功利主义哲学的艰难尝试。他的著作《论自由》（On Liberty）是英语世界为个体自由所作的经典辩护，其中心原则是:倘若不伤害到他人的话，人们应该可以自由地去做任何他们想做的事情。政府不能为了保护人们不受到伤害，而干涉个体的自由，或将大多数人的关于怎样最好地生活的观念强加于每个人。密尔认为，一个人要对社会负责的唯一一种行为，就是影响他人的行为。只要我不伤害到任何他人，那么，我的“权利的独立性就是绝对的。个体是他自己，是自己身体和思想的最高统治者”。