「もっと大きな子がいると思った」と言われてモヤモヤした時の切りかえ方

会話の中で、悪気なく言った言葉なのに相手を傷つけたことってありませんか？ 先日、ネット上では「『もっと大きなお子さんがいると思った！』って言われた…」というコメントが。日常的に使われているフレーズに思えますが、何が問題なのでしょうか？