日本では一度の支払いで同一額面の硬貨は20枚までしか使えないことになっています。
通貨の単位及び貨幣の発行等に関する法律
第七条 貨幣は、額面価格の二十倍までを限り、法貨として通用する。
政府が発行する硬貨や日本銀行が発行する日本銀行券、いわゆる現金は法律で強制通用力が認められています。強制通用力というのは支払いを受ける側は現金での支払いを拒否することはできないということですね。現金の価値を国が保証する重要な決まりです。
しかし、高額の支払いを大量の小銭で行うと金額の確認に時間がかかるうえ、支払いを受ける側は大量の小銭を受け取ることになりとても不便です。このため硬貨に関しては20枚までしか強制通用力を認めませんよ、ということになっているのです。
もしこのルールが無いとお店への嫌がらせで1円玉10,000万枚で支払うといったことができてしまいますからね。
これは支払いを受ける側が拒否できるということであって、支払いをする側、受ける側の両者が同意している場合は大量の硬貨で支払っても問題はありません。
なお、20枚までに限定されるのはあくまで同一額面の硬貨だけなので、例えば「百円玉15枚と十円玉10枚で合わせて25枚」のような支払い方は問題ありません。また、お札には枚数制限はありません。