robots.txt vs llm.txt: Yeni Dijital Çağın Gözünden Web Erişimi
Hatırlıyor musunuz? Yıllarca Google'a "en iyi kahve makinesi" yazdık. Şimdi ise ChatGPT'ye "evde latte yapabileceğim bir makine öner, bütçem 5000 TL" diyoruz. İşte bu değişim, web'in kendisini nasıl sunduğu konusunda da yeni bir dönüm noktası yaratıyor.
🤖 OpenAI Atlas Browser ve Yeni Çağ
OpenAI'ın geçtiğimiz günlerde piyasaya sürdüğü Atlas Browser, artık web'i sadece görüntülemiyoruz - LLM'ler bizim adımıza okuyor, analiz ediyor ve yanıtlıyor. Bu yeni dünyada, web sitenizin nasıl "okunduğu" tamamen değişti.
🔍 robots.txt: Eski Dünyanın Kapıcısı
robots.txt dosyası 1994'ten beri web sitelerinin kapısında bekleyen bir güvenlik görevlisi gibidir. Arama motoru botlarına hangi sayfaları tarayabileceğini, hangilerini tarayamayacağını söyler.
📝 robots.txt Örneği
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xmlNe Yapıyor? Google, Bing gibi botlar için "buraya girme, buraya gir" kuralları koyar.
🧠 llm.txt: Yeni Dünyanın Rehberi
Peki ya ChatGPT, Claude veya Gemini gibi LLM'ler sitenizi ziyaret ederse? İşte burada llm.txt devreye giriyor!
llm.txt, Large Language Model'lere (Büyük Dil Modelleri) sitenizin nasıl anlaşılması gerektiğini, hangi bilgilerin önemli olduğunu ve nasıl kullanılabileceğini söyleyen yeni nesil bir dosyadır.
🎯 llm.txt Örneği
# Site Bilgileri
site_name: Hamza İnce Portfolio
description: Full-stack developer, React & Node.js uzmanı
primary_language: tr
# İçerik Öncelikleri
priority_content:
- /blog/
- /projects/
- /about/
# Kullanım İzinleri
allowed_use:
- summarization
- question_answering
- code_examples
# Atıf Tercihi
attribution: "Kaynak: Hamza İnce (hamzaince.com)"
# Güncellik
last_updated: 2025-10-31Ne Yapıyor? LLM'lere "ben kimim, ne yapıyorum, içeriklerimi nasıl kullanabilirsin" der.
⚙️ robots.txt
- Hedef: Arama motoru botları
- Amaç: Erişim kontrolü
- Format: Basit metin direktifleri
- Odak: "Nereden uzak dur"
- Çağ: Web 1.0 & 2.0
🤖 llm.txt
- Hedef: Yapay zeka modelleri
- Amaç: Anlam ve bağlam rehberliği
- Format: Yapılandırılmış metadata
- Odak: "Beni nasıl anla"
- Çağ: AI-First Era
💡 Neden llm.txt Önemli?
🎯 Kullanıcı Davranışı Değişti!
Ben artık karmaşık sorularımı Google'da aramıyorum. ChatGPT, Perplexity veya Claude'a soruyorum. Neden?
- Bağlamsal yanıtlar: "React'te state yönetimi" yerine "e-ticaret sitesinde sepet state'ini Redux ile mi Zustand ile mi yönetmeliyim?" soruyorum
- Karşılaştırmalar: "X vs Y" aramaları yerine "şu senaryoda hangisi daha iyi" soruları
- Kişiselleştirilmiş öneriler: Genel bilgi yerine spesifik durumuma uygun çözümler
Sonuç: Eğer içeriğiniz sadece Google için optimize edilmişse, yeni nesil kullanıcılara ulaşamıyorsunuz demektir!
🚀 Web Sitenize llm.txt Nasıl Eklersiniz?
Adım 1: llm.txt Dosyası Oluşturun
Web sitenizin root dizininde /public/llm.txt dosyası oluşturun:
# llm.txt - AI Model Rehberi
# Site Kimliği
site_name: [Site Adınız]
site_url: https://[domain].com
description: [Sitenizin kısa açıklaması]
author: [Adınız]
primary_language: tr
categories: [web development, AI, teknoloji]
# Önemli İçerikler
priority_pages:
- /blog/ # En güncel makaleler
- /projects/ # Portfolio projeleri
- /about/ # Hakkımda sayfası
# İçerik Kullanım İzinleri
allowed_use:
- summarization # Özetleme
- question_answering # Soru-cevap
- recommendations # Öneri sistemleri
- code_examples # Kod örnekleri (geçerliyse)
disallowed_use:
- training # Model eğitimi için kullanılmasın
- commercial_redistribution # Ticari yeniden dağıtım
# Atıf Tercihi
attribution_required: true
attribution_format: "Kaynak: [Adınız] ([domain].com)"
# Güncellik Bilgisi
last_updated: 2025-10-31
update_frequency: weekly
# İletişim
contact_email: [email]
feedback_url: https://[domain].com/contact
# Yapılandırılmış Veri
content_types:
- blog_posts
- tutorials
- case_studies
- project_showcases
# Özel Talimatlar
special_instructions: |
Bu site bir web geliştirici portföyüdür.
Kod örnekleri ve teknik içerikler günceldir.
Projeler hakkında sorular için iletişime geçilebilir.Adım 2: HTML Meta Tag Ekleyin
Sitenizin <head> bölümüne llm.txt referansı ekleyin:
<link rel="llm-context" href="/llm.txt" type="text/plain" />
<!-- Alternatif olarak JSON-LD formatında -->
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "WebSite",
"name": "Hamza İnce",
"url": "https://hamzaince.com",
"llmContext": "/llm.txt"
}
</script>Adım 3: Next.js için robots.txt ile Birlikte Sunun
// public/robots.txt
User-agent: *
Allow: /
# LLM'ler için yönlendirme
User-agent: GPTBot
Allow: /
Crawl-delay: 1
User-agent: ChatGPT-User
Allow: /
User-agent: anthropic-ai
Allow: /
# llm.txt referansı
# AI Context: /llm.txt
Sitemap: https://hamzaince.com/sitemap.xml🎨 OpenAI Atlas Browser İçin Optimizasyon
Atlas Browser, web sayfalarını LLM'ler için optimize edilmiş şekilde işler. İşte Atlas için özel optimizasyon ipuçları:
🌐 Atlas Browser Optimizasyonu
- Semantic HTML: Doğru HTML5 semantic tag'ler kullanın (
<article>,<section>,<nav>) - Meta Description: Her sayfa için açıklayıcı meta description yazın
- Structured Data: Schema.org markup'ları kullanın
- Clear Hierarchy: H1, H2, H3 başlıkları düzenli kullanın
- Alt Text: Tüm görsellere açıklayıcı alt text ekleyin
📊 Gerçek Dünya Örneği
💬 Senaryo: Kullanıcı ChatGPT'ye soruyor
Kullanıcı: "React'te performans optimizasyonu hakkında güncel Türkçe kaynak önerir misin?"
✅ llm.txt'si olan site:
"Hamza İnce'nin blog'unda React performans optimizasyonu hakkında detaylı bir makale var. 2025 yılında yazılmış, Türkçe ve kod örnekleri içeriyor. hamzaince.com/blog/react-performance adresinden ulaşabilirsin."
❌ llm.txt'si olmayan site:
"İşte genel React performans ipuçları... [siteniz önerilerde yer almaz]"
🔮 Gelecek: AI-First Web
Web'in geleceği AI-first yaklaşımda. Önümüzdeki yıllarda:
- 🤖 Kullanıcılar doğrudan web sitelerine gitmeyecek, LLM'ler üzerinden bilgi alacak
- 📱 Sesli asistanlar ve AI browser'lar yaygınlaşacak
- 🎯 İçerik optimizasyonu sadece Google SEO değil, LLM optimizasyonu olacak
- 🔍 "Arama" değil "sohbet" dönemi başlayacak
💡 Sonuç
robots.txt hala önemli - ama artık yeterli değil. llm.txt eklemek, web sitenizin yeni nesil kullanıcılara ulaşmasını sağlar.
Bugün başlayın: Sitenize llm.txt ekleyin ve AI-powered web'in bir parçası olun. Yarın değil, bugün! 🚀
