কীভাবে প্রমাণ করবেন যে কোনও ভাষা প্রসঙ্গ-মুক্ত নয়?

Question

আমরা প্রসঙ্গ-মুক্ত প্রত্যেক বর্গ সম্পর্কে শিখেছি । এটি প্রসঙ্গ-মুক্ত ব্যাকরণ এবং পুশডাউন অটোমেটা উভয়ই দ্বারা চিহ্নিত করা তাই কোনও প্রদত্ত ভাষা প্রসঙ্গমুক্ত তা দেখাতে সহজ।$\mathrm{CFL}$

আমি বিপরীতটি কীভাবে দেখাব? আমার টিএ অনড় ছিল যে এটি করার জন্য, আমাদের সমস্ত ব্যাকরণ (বা অটোমেটা) এর জন্য এটি প্রদর্শন করতে হবে যে তারা হাতের ভাষাটি বর্ণনা করতে পারে না। এটিকে বড় কাজ বলে মনে হচ্ছে!

আমি কিছু পাম্পিং লেমা সম্পর্কে পড়েছি তবে এটি দেখতে সত্যি জটিল।

Comments

Ntpick: এটা undecidable একটি ভাষা প্রসঙ্গ-মুক্ত কিনা দেখানোর জন্য।

— রিইনারপোস্ট

@ রিনিয়ারপোস্ট আমি আপনার মন্তব্য প্রশ্নের সাথে কীভাবে সম্পর্কিত তা দেখছি না। এটি জিনিস প্রমাণ করার বিষয়ে, সিদ্ধান্ত না নিয়ে (অ্যালগোরিদমিকভাবে)।

— রাফেল

কেবল এই বিষয়টি তৈরি করা যে কোনও ভাষা প্রসঙ্গমুক্ত, সাধারণভাবে এটি দেখানো সহজ নয় । যদি ফ্রেফএলটির পক্ষে এটি সহজ হয় তবে এটি অবশ্যই বিশেষ বিশেষ শর্তগুলির কারণে হতে হবে যা সাধারণত ভাষার জন্য ধারন করে না, যেমন একটি পুশডাউন অটোমেটন দেওয়া যা ভাষার বর্ণনা দেয়।

— পুনরায় পোস্টার

@ রিনিয়ারপোস্ট যুক্তিটির এই লাইনটি ধরেই নেওয়া যায় যে অবিসংবাদিত ইঙ্গিতটি (সমান?) প্রমাণ করা শক্ত। আমি অবাক হই যদি এটি সত্য হয়।

— রাফেল

Answer 1

আমার জ্ঞান পাম্পিং থিম হয় দ্বারা পর্যন্ত সবচেয়ে সহজ এবং সবচেয়ে ব্যবহৃত টেকনিক। যদি আপনি এটি কঠিন মনে করেন তবে প্রথমে নিয়মিত সংস্করণ ব্যবহার করে দেখুন , এটি খুব খারাপ নয়। ভাষার জন্য আরও কিছু উপায় রয়েছে যা প্রসঙ্গমুক্ত নয়। উদাহরণস্বরূপ অনস্বীকার্য ভাষাগুলি তুচ্ছভাবে প্রসঙ্গমুক্ত নয়।

এটি বলেছিল, আমি পাম্পিং লেমা ছাড়াও অন্যান্য কৌশলগুলিতে আগ্রহী।

সম্পাদনা: পাম্পিং লেমার জন্য এখানে একটি উদাহরণ রয়েছে: ধরুন, ভাষা ( সংখ্যাগুলির সেট)। পাম্পিং অনেকগুলি , তাই আমি এটিকে কিছুটা খেলার মতো করব:$L=\{ a^k \mid k ∈ P\}$$P$$∃/∀$

1. পাম্পিং লেমা আপনাকে একটি দেয়$p$
2. আপনি দৈর্ঘ্যের ভাষার কমপক্ষে একটি শব্দ দিন$s$$p$
3. পাম্পিং লেমা এটি আবার : কিছু শর্ত ( এবং ) সাথে$s=uvxyz$$|vxy|≤p$$|vy|≥1$
4. আপনি একটি পূর্ণসংখ্যা$n≥0$
5. তাহলে নেই , আপনি win, না প্রেক্ষাপটে মুক্ত।$uv^nxy^nz$$L$$L$

জন্য এই বিশেষ ভাষার জন্য কোন (সঙ্গে এবং কৌতুক করতে হবে একটি মৌলিক সংখ্যা)। তারপরে পাম্পিং লেমা আপনাকে দিয়ে দেয় । খণ্ডন না প্রসঙ্গ-freeness, আপনি বের করতে হবে যেমন যেএকটি মৌলিক সংখ্যা নয়।$s$$a^k$$k≥p$$k$$uvxyz$$|vy|≥1$$n$$|uv^nxy^nz|$

$$|uv^nxy^nz|=|s|+(n-1)|vy|=k+(n-1)|vy|$$

এবং তারপর করবে: না প্রধানমন্ত্রী তাই । পাম্পিং লেমাকে প্রয়োগ করা যায় না তাই প্রসঙ্গমুক্ত নয় ।$n=k+1$$k+k|vy|=k(1+|vy|)$$uv^nxy^nz\not\in L$$L$

দ্বিতীয় উদাহরণ ভাষা । আমাদের (অবশ্যই) একটি স্ট্রিং বেছে নিতে হবে এবং দেখিয়ে দিতে হবে যে এই পাঁচটি অংশে এটি ভেঙে যাওয়ার কোনও সম্ভাব্য উপায় নেই এবং প্রতিটি উত্পন্ন পাম্পযুক্ত স্ট্রিংটি ভাষায় থেকে যায়।$\{ww \mid w \in \{a,b\}^{\ast}\}$

স্ট্রিং this এই প্রমাণের জন্য উপযুক্ত পছন্দ। এখন আমাদের কেবল এবং কোথায় থাকতে পারে তা দেখতে হবে। মূল অংশগুলি বা এর মধ্যে কিছু থাকতে পারে (সম্ভবত উভয়), এবং এবং (এবং ) উভয়ই একটি দৈর্ঘ্যের স্তরগুলিতে থাকে - সুতরাং সেগুলি খুব বেশি দূরে থাকতে পারে না।$s=a^{p}b^{p}a^{p}b^{p}$$v$$y$$v$$y$$v$$y$$x$$p$

এই স্ট্রিংটিতে এবং যেখানে থাকতে পারে তার জন্য বেশ কয়েকটি সম্ভাবনা রয়েছে তবে দেখা গেছে যে বেশ কয়েকটি ক্ষেত্রে বাস্তবে বেশ মিল রয়েছে।$v$$y$

1. $vy \in a^{\ast}$ বা । সুতরাং তারা উভয় সংশ্লেষের বা এস এর অংশে অন্তর্ভুক্ত রয়েছে । এটি যুক্তিযুক্ত তুলনামূলকভাবে সহজ কেস, কারণ এটি যে ধরণের ক্ষেত্রেই তা নিয়ে আসে না। ধারণা করুন । $vy \in b^{\ast}$$a$$b$$|vy| = k \leq p$
   • যদি তারা এস এর প্রথম বিভাগে থাকে , তবে আমরা যখন পাম্প করব তখন নতুন স্ট্রিংয়ের প্রথমার্ধটি , এবং দ্বিতীয়টি । অবশ্যই এটি ফর্মের নয় ।$a$$a^{p+k}b^{p-k/2}$$b^{k/2}a^{p}b^{p}$$ww$
   • অন্য তিনটি বিভাগের যে কোনওটির পক্ষে যুক্তি প্রায় একই রকম চলে, ঠিক এটি যেখানে এবং সূচকগুলি শেষ হয়।$k$$k/2$
2. $vxy$ বিভাগ দুটি বিভক্ত। এই ক্ষেত্রে পাম্পিং ইন নিচে আপনার বন্ধু। আবার এমন অনেকগুলি জায়গা রয়েছে যেখানে এটি ঘটতে পারে (3 সঠিক হতে হবে) তবে আমি কেবল একটি চিত্রণমূলক কাজ করব এবং বাকিগুলি সেখান থেকে সহজেই বের করা উচিত।
   • অনুমান প্রথম মধ্যে সীমান্ত straddles অধ্যায় প্রথম অধ্যায়। যাক (এটা কোন ব্যাপার অবিকল না যেখানে s এবং s তে রয়েছে এবং , কিন্তু আমরা জানি যে তারা আছেন)। তারপরে যখন আমরা পাম্প ডাউন করব (অর্থাত্ কেস) তখন আমরা নতুন স্ট্রিং get পাই , কিন্তু তারপর যদি বিভক্ত করা যেতে পারে , মিডপয়েন্ট দ্বিতীয় কোথাও হতে হবে অধ্যায়, তাই প্রথম অর্ধেক$vxy$$a$$b$$vy = a^{k_{1}}b^{k_{2}}$$a$$b$$v$$y$$i=0$$s'=a^{p-k_{1}}b^{p-k_{2}}a^{p}b^{p}$$s'$$ww$$a$$a^{p-k_{1}}b^{p-k_{2}}a^{(k_{1}+k_{2})/2}$, এবং দ্বিতীয় অর্ধেক । স্পষ্টতই এগুলি একই স্ট্রিং নয়, সুতরাং আমরা সেখানে এবং রাখতে পারি না ।$a^{p-(k_{1}+k_{2})/2}b^{p}$$v$$y$

বাকী কেসগুলি সেখান থেকে মোটামুটি স্বচ্ছ হওয়া উচিত - এগুলি একই ধারণা, কেবল প্রথম উদাহরণে অন্যান্য 3 স্পটে এবং এবং দ্বিতীয় দৃষ্টান্তে 2 টি দাগ। যদিও সব ক্ষেত্রেই, আপনি এটিকে এমনভাবে পাম্প করতে পারেন যাতে স্ট্রিংটি অর্ধেক করে বিভক্ত করার পরে ক্রমটি স্পষ্ট হয়ে যায়।$v$$y$

Comments

প্রকৃতপক্ষে, কোজেনের গেমটি এটি সম্পর্কে যাওয়ার উপায়।

— সক্রেটিস

Answer 2

ওগডেনের লেমা

লেমা (ওগডেন)। যাক একটি প্রেক্ষাপটে মুক্ত ভাষা হতে। তারপর আছে একটি ধ্রুবক যেমন যে প্রত্যেক জন্য এবং কোন ভাবেই উপলক্ষে বা আরো অবস্থানের (প্রতীক) "বিশিষ্ট অবস্থানের" হিসাবে, তারপর হিসেবে লেখা যেতে পারে , যেমন যে$L$$N$$z\in L$ $N$$z$$z$$z=uvwxy$

1. $vx$ has at least one distinguished position.
2. $vwx$ has at most $N$ distinguished positions.
3. For all $i\geq 0$, $uv^iwx^iy\in L$.

Example. Let $L=\{a^ib^jc^k:i\neq j,j\neq k,i\neq k\}$. Assume $L$ is context-free, and let $N$ be the constant given by Ogden's lemma. Let $z=a^Nb^{N+N!}c^{N+2N!}$ (which belongs to $L$), and suppose we mark as distinguished all the positions of the symbol $a$ (i.e. the first $N$ positions of $z$). Let $z=uvwxy$ be a decomposition of $z$ satisfying the conditions from Ogden's lemma.

• If $v$ or $x$ contain different symbols, then $uv^2wx^2y\notin L$, because there will be symbols in the wrong order.
• At least one of $v$ and $x$ must contain only symbols $a$, because only the $a$'s have been distinguished. Thus, if $x\in L(b^*)$ or $x\in L(c^*)$, then $v\in L(A^+)$. Let $p=|v|$. Then $1\leq p\leq N$, which means $p$ divides $N!$. Let $q=N!/p$. Then $z'=uv^{2q+1}wx^{2q+1}y$ should belong to $L$. However, $v^{2q+1}=a^{2pq+p}=a^{2N!+p}$. Since $uwy$ has exactly $N-p$ symbols $a$, then $z'$ has $2N!+N$ symbols $a$. But both $v$ and $x$ don't have $c$'s, so $z'$ also has $2N!+N$ symbols $c$, which means $z'\notin L$, and this contradicts Ogden's lemma. A similar contradiction occurs if $x\in L(A^+)$ or $x\in L(c^*)$. We conclude $L$ is not context-free.

Exercise. Using Ogden's Lemma, show that $L=\{a^ib^jc^kd^{\ell}:i=0\text{ or }j=k=\ell\}$ is not context-free.

Pumping Lemma

This is a particular case of Ogden's Lemma in which all positions are distinguished.

Lemma. Let $L$ be a context-free language. Then there is a constant $N$ such that for every $z\in L$, $z$ can be written as $z=uvwxy$, such that

1. $|vx|>0$.
2. $|vwx|\leq N$.
3. For all $i\geq 0$, $uv^iwx^iy\in L$.

---

Parikh's Theorem

This is even more technical than Ogden's Lemma.

Definition. Let $\Sigma=\{a_1,\ldots,a_n\}$. We define $\Psi_{\Sigma}:\Sigma^*\to\mathbb{N}^n$ by

$$\Psi_{\Sigma}(w)=(m_1,\ldots,m_n),$$ where $m_i$ is the number of appearances of $a_i$ in $w$.

Definition. A subset $S$ of $\mathbb{N}^n$ is called linear if it can be written:

$$S = \{\mathbf{u_0} + \sum_{1 \le i \le k} a_i \mathbf{u_i} : \text{ for some set of $\mathbf{u_i} \in \mathbb{N}^n$ and $a_i \in \mathbb{N}$}\}$$

Definition. A subset $S$ of $\mathbb{N}^n$ is called semi-linear if it is the union of a finite collection of linear sets.

Theorem (Parikh). Let $L$ be a language over $\Sigma$. If $L$ is context-free, then

$$\Psi_{\Sigma}[L]=\{\Psi_{\Sigma}(w):w\in L\}$$ is semi-linear.

Exercise. Using Parikh's Theorem, show that $L=\{0^m1^n:m>n\text{ or }(m\text{ is prime and }m\leq n)\}$ is not context-free.

Exercise. Using Parikh's Theorem, show that any context-free language over a unary alphabet is also regular.

Comments

I accepted jmad's answer because the question explicitly mentions Pumping Lemma. I appreciate your answer a lot, though; having all major methods collected here is a great thing.

— Raphael

That's fine, but note that the pumping lemma is a particular case of Ogden's lemma ;-)

— Janoma

Of course. Still, most people will try PL first; many don't even know OL.

— Raphael

A theorem by Ginsburg and Spanier, building on Parikh's theorem, gives a neccessary and sufficient condition for context-freeness in the bounded case. math.stackexchange.com/a/122472

— sdcvvc

Can you please define "distinguished positions" in terms of other operations? Or at least informally? I find the definition of OL copied verbatim in many different places, but none of them so far cared to explain what that means.

— wvxvw

Answer 3

Closure Properties

Once you have a small collection of non-context-free languages you can often use closure properties of $\mathrm{CFL}$ like this:

Assume $L \in \mathrm{CFL}$. Then, by closure property X (together with Y), $L' \in \mathrm{CFL}$. This contradicts $L' \notin \mathrm{CFL}$ which we know to hold, therefore $L \notin \mathrm{CFL}$.

This is often shorter (and often less error-prone) than using one of the other results that use less prior knowledge. It is also a general concept that can be applied all kinds of class of objects.

Example 1: Intersection with Regular Languages

We note $\mathcal L(e)$ the regular language specified by any regular expression $e$.

Let $L = \{w \mid w \in \{a,b,c\}^*, |w|_a = |w|_b = |w|_c\}$. As

$\qquad \displaystyle L \cap \mathcal{L}(a^*b^*c^*) = \{a^nb^nc^n \mid n \in \mathbb{N}\} \notin \mathrm{CFL}$

and $\mathrm{CFL}$ is closed under intersection with regular languages, $L \notin \mathrm{CFL}$.

Example 2: (Inverse) Homomorphism

Let $L = \{(ab)^{2n}c^md^{2n-m}(aba)^{n} \mid m,n \in \mathbb{N}\}$. With the homomorphism

$\qquad \displaystyle \phi(x) = \begin{cases} a &x=a \\ \varepsilon &x=b \\ b &x=c \lor x=d \end{cases}$

we have $\phi(L) = \{a^{2n}b^{2n}a^{2n} \mid n \in \mathbb{N}\}.$

Now, with

$\qquad \displaystyle \psi(x) = \begin{cases} aa &x=a \lor x=c \\ bb &x=b \end{cases}\quad\text{and}\quad L_1 = \{x^nb^ny^n \mid x,y \in \{a,c\}\wedge n \in \mathbb{N}\},$

we get $L_1 = \psi^{-1}(\phi(L)))$.

Finally, intersecting $L_1$ with the regular language $L_2 = \mathcal L(a^*b^*c^*)$ we get the language $L_3 = \{a^n b^n c^n \mid n \in \mathbb{N}\}$.

In total, we have $L_3 = L_2 \cap \psi^{-1}(\phi(L))$.

Now assume that $L$ was context-free. Then, since $\mathrm{CFL}$ is closed against homomorphism, inverse homomorphism, and intersection with regular sets, $L_3$ is context-free, too. But we know (via Pumping Lemma, if need be) that $L_3$ is not context-free, so this is a contradiction; we have shown that $L \notin \mathrm{CFL}$.

---

Interchange Lemma

The Interchange Lemma [1] proposes a necessary condition for context-freeness that is even stronger than Ogden's Lemma. For example, it can be used to show that

$\qquad \{xyyz \mid x,y,z \in \{a,b,c\}^+\} \notin \mathrm{CFL}$

which resists many other methods. This is the lemma:

Let $L \in \mathrm{CFL}$. Then there is a constant $c_L$ such that for any integer $n\geq 2$, any set $Q_n \subseteq L_n = L \cap \Sigma^n$ and any integer $m$ with $n \geq m \geq 2$ there are $k \geq \frac{|Q_n|}{c_L n^2}$ strings $z_i \in Q_n$ with

1. $z_i = w_ix_iy_i$ for $i=1,\dots,k$,
2. $|w_1| = |w_2| = \dots = |w_k|$,
3. $|y_1| = |y_2| = \dots = |y_k|$,
4. $m \geq |x_1| = |x_2| = \dots = |x_k| > \frac{m}{2}$ and
5. $w_ix_jy_i \in L_n$ for all $(i,j) \in [1..k]^2$.

Applying it means to find $n,m$ and $Q_n$ such that 1.-4. hold but 5. is violated. The application example given in the original paper is very verbose and is therefore left out here.

At this time, I do not have a freely available reference and the formulation above is taken from a preprint of [1] from 1981. I appreciate help in tracking down better references. It appears that the same property has been (re)discovered recently [2].

---

Other Necessary Conditions

Boonyavatana and Slutzki [3] survey several conditions similar to Pumping and Interchange Lemma.

---

1. An “Interchange Lemma” for Context-Free Languages by W. Ogden, R. J. Ross and K. Winklmann (1985)
2. Swapping Lemmas for Regular and Context-Free Languages by T. Yamakami (2008)
3. The interchange or pump (DI)lemmas for context-free languages by R. Boonyavatana and G. Slutzki (1988)

Comments

There are nice closure properties of rich subclasses of CFL that can be used to the same effect.

— Raphael

Answer 4

There is no general method since the set non-context-free-languages is not semi-decidable (a.k.a. r.e.). If there was a general method, we could use it to semi-decide this set.

The situation is even worse, since given two CFL's it is not possible to decide whether their intersection is also a CFL.

Reference: Hopcroft and Ullman, "Introduction to Automata Theory, Languages, and Computation", 1979.

Comments

An interesting (but probably more advanced and open-ended question) would be categorizing the subclass of non-CFLs that can be proved to be non-CFL using a particular method.

— Kaveh

I am not looking for a computable method but for pen & paper proof techniques. The latter does not necessarily imply the former.

— Raphael

Answer 5

A stronger version of the Ogden's condition (OC) is the

Bader-Moura’s condition (BMC)

A language $L\subseteq \Sigma^*$ satisfies BMC if there exists a constant $n$ such that if $z \in L$ and we label in it "distinguished" positions $d(z)$ and $e(z)$ "excluded" positions, with $d(z) > n^{e(z)+1}$, then we may write $z = uvwxy$ such that:

1. $d(vx) \geq 1$ and $e(vx) =0$
2. $d(vwx) \leq n^{e(vwx)+1}$ and
3. for every $i \geq 0$, $uv^iwx^iy$ is in $L$.

We say that a language $L \in BMC(\Sigma)$ if $L$ satisfies the Bader-Moura’s condition.

We have $CFL(\Sigma) \subset BMC(\Sigma) \subset OC(\Sigma)$, so BMC is strictly stronger than OC.

Reference: Bader, C., Moura, A., A Generalization of Ogden’s Lemma. JACM 29, no. 2, (1982), 404–407

Comments

Why not just go all the way to Dömösi and Kudlek's generalisation dx.doi.org/10.1007/3-540-48321-7_18 ...

— András Salamon

@AndrásSalamon: I didn't know it! :-) ... perhaps you can post it as a new answer saying that OC, BMC, PC are special cases of it (all distinguished or no excluded positions).

— Vor

you are welcome to post it, don't have time right now.

— András Salamon

This answer would profit from an example.

— Raphael