Quyền lực của xã hội đối với sự tự do cá nhân chỉ dừng ở mức hướng dẫn, thuyết phục và tỏ ý không tán thành, chứ tuyệt nhiên không được tác động trực tiếp tới cá nhân con người.
Vậy làm cách nào để phân biệt hành vi nào hoàn toàn nằm trong khu vực lợi ích cá nhân, hành vi nào có liên quan tới những thành viên khác của xã hội? Về vấn đề này, J.S. Mill viết: "Mặc dù xã hội không được tạo dựng trên cơ sở khế ước, và mặc dù sự sáng chế ra khế ước để từ đó suy ra các nghĩa vụ cũng chẳng đáp ững được mục đích tốt đẹp nào, nhưng bất cứ ai nhận được sự bảo trợ của xã hội cũng có bổn phận hoàn trả lợi ích trở lại, và bản thân sự kiện được ssốngsống trong xã hội cũng nói lên điều không thể thiếu được, rằng mỗi người phải bị ràng buộc tuân thủ theo một đường hướng cư xử đối với những người khác. Các cư xử ấy bao gồm, thứ nhất là, không làm hại đến quyền lợi của nhau; hay nói đúng hơn là những lợi ích nào đó vốn cần phải được coi là quyền dù là căn cứ vào những quy phạm pháp luật tường minh hay dựa trên sự hiểu biết ngầm; thứ hai là, mỗi người phải thực hiện bổn phận đóng góp (được xác định trên nguyên lý bình đẳng nào đó) lao động hay hy sinh để bảo vệ xã hội và các thành viên của nó khỏi bị xâm hại và quấy rối. Xã hội được biện minh cho việc ép buộc những điều kiện ấy bằng mọi giá đối với ai muốn từ chối không chịu thực hiện... Hành vi của một cá nhân có thể gây tổn thương cho những người khác hay thiếu cân nhắc đối với hạnh phúc của họ, những chưa đến mức vi phạm pháp quyền đầy đủ của họ. Khi đó người vi phạm bị trừng phạt đúng lẽ bởi dư luận, tuy không dùng đến luật pháp."<ref>Chương IV, sách đã dẫn</ref>.
