added robots.txt

This commit is contained in:
arcan1s 2014-01-12 15:31:48 +04:00
parent 6ca7fe7ba8
commit be229f15c6
2 changed files with 9 additions and 0 deletions

2
TODO
View File

@ -2,6 +2,8 @@
* Облако тегов. Думаю, можно сделать топорно через grep каталога, но лучше бы по человечески. А значит - курить маны. * Облако тегов. Думаю, можно сделать топорно через grep каталога, но лучше бы по человечески. А значит - курить маны.
* Комментарии (интересно, а их тут вообще можно запилить?). Не древовидные. Хз как, значит - курить маны. И да, не забыть про форму отпраки с автоматической вставкой хтмл тегов. * Комментарии (интересно, а их тут вообще можно запилить?). Не древовидные. Хз как, значит - курить маны. И да, не забыть про форму отпраки с автоматической вставкой хтмл тегов.
* Надо как то ограничить число статей на главную страницу. И автоматизировать это дело. ? Курить маны! * Надо как то ограничить число статей на главную страницу. И автоматизировать это дело. ? Курить маны!
* Прямая ссылка на статью мелким шрифтом внизу.
* Share (vk, facebook, twitter, lj).
З.Ы. можно посмотреть, как нормальные люди это делают. З.Ы. можно посмотреть, как нормальные люди это делают.
Для проектов: Для проектов:

7
robots.txt Normal file
View File

@ -0,0 +1,7 @@
User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /javascripts/
Disallow: /stylesheets/
Disallow: /README.md
Disallow: /TODO