uzun hikaye

the following events take place between 03.09.2009 and 19.10.2009.

yetişmeli.  yetişmek zorunda.  aralıklarla da olsa aylardır bunun üzerinde çalışıyorum ve bazı şeyleri elde etmem tamamen buna bağlı.  lafı dolandırmanın lüzumu yok; "bu", allah'ın belası bitirme projem.  egiBlog'u takip ediyorsanız aşağı yukarı ne üzerine olduğunu da biliyorsunuzdur zaten ama kısa bir özet geçeyim ben yine de.  a durağından b durağına sadece otobüs kullanarak en az sayıda aktarma ile en hızlı nasıl gidilir sorusuna istanbul özelinde cevap bulmaya yarayan bir uygulama yazdım.  veriler iett web sayfasından apartma, algoritmasını ise elcağızlarımla hazırladım.  ağustos'un bilmem kaçında teslim etmek üzere hazırlanmış olsam da birtakım düzenlemeler için 15 gün ek süre aldım ve bu 3 eylül 2009 saat 23:59'da doluyor.  mesai sonu rapora son şeklini vermek için kendimi paralıyorum pink'in funhouse'u eşliğinde.  ama ne paralamak; 5 dakikada bir saate bakmalar, materyalin ne kadarını kullandığımı tekrar tekrar defalarca kontrol etmeler, gerim gerim gerilmeler.  gerilmek için proje haricinde çok sağlam bir neden de mevcut; proje teslimatının hemen ertesi günü izine ayrılıyorum ve o günün sabahına uçak biletlerini almış, kalacağım yerin rezervasyonunu falan halletmiş durumdayım.  elimdeki işin ertesi güne kalma ihtimali söz konusu bile değil yani.  neden sonra raporu tamamladım, çıktısını aldım, uygulama + veritabanını bir diske yazıp paketledim.  saat 23:05 falan.  o saatte okula, hisar kampüs'e uzandım, projeyi hocanın kapısının altından attım ve aynen eve döndüm.  3 saat uykuyla izmir uçağına bindim.

iki saat sonra geçen sene bu zamanlarda neredeysem oradaydım, tabii çok önemli bir farkla.  bu yıl yanımda valide hanım hazretleri de var.  zaten bu yıl da kuşadası'na gitmiş olmamın esas nedeni de bu; macera aramıyoruz, bildiğimiz yerde takılıyoruz.  kalacağımız yer yılancıburnu'na (ve dolayısıyla batıya) bakan bir yamaca kurulu bir apart otel.  alelacele yerleşip o yorgunlukla denize girmek tarif edilemez bir duygu, ki şu anda edemiyorum.  on nümero, harika, hislerin hası.  ilerleyen günlerde apart'taki hizmet kalitesinden dolayı epey canımız sıkıldı ama çok da kafamıza takmadık; bütün gün dışarıdaydık zaten ve iki kişi 70 m2 mekanda yayıla yayıla dinlendik. her neyse, bu yılda türk-yunan dostluğunu ilgilendiren gelişmeler oldu ada'da.  geçen yıl 7 eylül'de (ada'nın düşman işgalinden kurtuluş günü) geldiğimden birincisini kaçırdığım 2. kuşadası-samos dostluk barış festivalinin bu yakadaki etkinliğini izledim.  5 eylül.  yeni düzenlenen "ismail cem dostluk ve barış meydanı"na iki blok halinde sandalyeler atılmış, bir tarafta bizim yerliler tıklım tıkış, diğer taraf ise yolları gözlenen yunan dostlarımıza ayrıldığı için boş tutuluyor.  zabıta pek bir şahin, barış güvercini bile olsa kuş uçurtmuyor o rezerve kısımda.  ufaktan oturanlara da sataşmadan edemiyoruz; "kalispera madam!"  taş konusu hanımefendi "gavurlar gelince kalkacağım" diye açıklama yapma ihtiyacı hissediyor.  neden sonra iki elin parmaklarını biraz geçen sayıda samos'lu geliyor ve kalan -ve zaten öyle ya da böyle oturduğumuz- yerlere oturma hakkımız teslim ediliyor; de facto değil de jure oturuyoruz.  karşı kıyıdan bir müzik grubu bildik ezgiler çalıyor, aralarına bir ara fuat saka da katılıyor.  eşlik edebildiğimiz kısmına eşlik ediyoruz.  sonrası ise tam bir yapmacıklık gösterisi; havada uçuşan benden-sana-senden-bana plaketler, eleutherion'lu synergasia'lı adelphoi'li şişirme tiradlar, ateşte yemek bırakmış ev hanımı ürkekliğinde ve becerisiyle çeviri yapan grek teyze ve kuşadası ticaret odası başkanı'nın tüm gecenin foyasını ortaya çıkaran "burada kardeş ayağı yapıyorsunuz ama kapınıza vize istemeye gelince şekilden şekile giriyoruz" mealindeki son sozü.  bu esnada yunanistan'ın izmir başkonsolosunun yüzünün geçirdiği renk ve şekil değişikliklerini takip etmekte zorlandığımı söylersem yanlış olmaz.

ha, iki gün sonra ne oldu?  dostlarımızdan kurtulduğumuz için bir şenlik, bir şenlik!

istanbul civarını sel bastığı sıra 1-2 gün yağmur yağdı, farketmeden iki haftayı doldurduk ve geri döndük.  geldiğim gibi kendimi nerede bıraktıysam orada buldum.  kritik arşiv işlerinden biri patlamış ve mutlaka benim bakmam gerekiyor.  bir provizyon kaydıyla ilgili detaylı bilgi isteniyor, zamanında ben vermişim, ben yokken o detayda bilgi alamamışlar, benim verdiğim gibisini istiyorlar.  geldiğimin ilk günü bir saat erken çıkmam gerekiyor, çünkü mezuniyet törenime katılmam gerekiyor.  projem kabul edilmiş yani her nasılsa.  orada biraz sallanıyorum.  ilerleyen günlerde de okuldan 300 tl alacağım olduğunu öğreniyorum.  unutmazsam bir ara bölümden yazı alıp saymanlığa bırakmam gerekiyor.  parayı okula vermek ise her nedense geri almaktan çok daha kolay.

dükkanda işler oldukça yoğun, sorumluluklar giderek artıyor.  yakınlarda terfilerin açıklanma ihtimali var ve bizim tertipten (ocak '07 girişliler) en az bir kişinin proje sorumlusu olacağı yönünde bir beklentimiz var.  ben olursam hayır demem :) ept adına yeni bir şey yok, hiçbir ept işinin kapağını bile açmadım bu ay.

olmaz...

kocaman ayı 1 tane bile yazı yazmadan geçirmek  hakikaten olmaz ama pehlivan tefrikası gibi bir şeyler yazmaya da ne zamanım var, ne de niyetim.  şimdi gündemden başlıklar:

• temmuz sonu gibi tabletim geldi.  teknolojinin son harikası ac-caip bir cihaz ama alışana kadar epey ağlayacağım galiba.  anahtar sözcükler "el-göz koordinasyonu".


• bitirme projesi devam ediyor, 3 eylül'e kadar teslim etmem lazım.  son yazımdan sonraki gelişmeleri ayrıca yazarım.


• işte şu sıralar ne ile uğraştığımı tam olarak ben de bilmiyorum.  iki projede sme (bir tla daha :) ) olarak bulunuyorum ama bundan çok da memnun değilim.  nedeni pek yakında bu sayfalarda.


• gelecek hafta sonundan itibaren izinliyim.

beni bekleyin anacım.

proje nasıl gider?

salla.  hayatın nasıl gittiği önemli...

...diyesim var ama şu sıralar hayatım proje, daha doğrusu projenin bitmesi hayat memat meselesi.  nisan sonunda işi bıraktığım noktadan çok farklı bir yerde değilim ne yazık ki;  o zamandan beri dükkanda yoğun bir çalışma temposu içerisindeyim ve arada kaç ayrı işle uğraştığımı ben bile bilmiyorum.  en fazla el oyalayanları hesap işletim masrafından muaf olan hesapların tespit edilmesi üzerine yaptığım çalışma (muaf olmayanlardan masraf alınması işlemi otomatik, ama biz tetikledik :)) ve bu yakınlarda devreye alacağımız altın ile ilgili olan işimiz olsa gerek.  bunların etkisinden ve zaman sömürüsünden kurtulup az biraz da olsa projemle uğraşma fıratı buldum şu yakınlarda.  ağustos başına kadar teslim etmem gerektiği için ve en başta planladığım proje adımlarının tümünü bu süre içinde tamamlayamayacağım için işin kapsamını daraltacağım; süre tahmini yapmayıp sadece aktarmaları hesaplayacağız.  süre tahmini için çok daha fazla zamana gereksinimim var, çünkü tüm duraklar arası mesafelerin ölçülmesi, yoğunluk haritasında verilen sensör kapsama alanlarının durak ağı ile eşleştirilmesi, ana arterler (ve dolayısıyla yoğunluk ölçümü kapsamı) dışında olan rotalar için de bir trafik yoğunluğu modellemesi yapılması gerekiyor.  10 güne sığar bir iş değil doğrusu.  ben de bu 10 küsur günü yazdığım aktarma motoruna güzel bir görsel arabirim hazırlamak ve eldeki işi raporlamakla değerlendireceğim.

aktarma motoru derken o konuda nisan sonundan beri epey bir gelişme oldu, daha doğrusu olması gerekti.  programın ilk haliyle gerçek iett verisini kullanarak test yaparken -test güzergahı da bendenizin birkaç sene önceki zoraki rotası, beyaz köşk - koç üniversitesi arası; sadece otobüsle gideyim derseniz 3 aktarma yapmadan, yani 4 ayrı otobüse binmeden gidemezsiniz- 3 aktarma ile oluşan olası rotaların hesaplanması yarım saatten fazla geçtiği halde tamamlanamadı.  bu durumu test verisiyle yakalamam mümkün değildi, çünkü arada önemli bir ölçek farkı var; test veri seti 36 hat ve 110 durak bilgisi içerirken iett verisinde 536 hat ve yaklaşık 4500-5000 durağın bilgisi mevcut.  bu test rezaletinden sonra programı elden geçirip hesaplamada kullandığım veri yapısını optimize ettim.  artık aktarma bilgisini bir ağaç yapısında değil, özel amaçlı süpersonik bir tabloda tutuyorum. daha önce yarım saatte tamamlanamayan hesaplama da birkaç saniyede tamamlanıyor.

şu sıralar okul ve iş dışı uğraştığım bir çok yan işi oldukça kolaylaştıracak bir çizim tableti sipariş ettim amazon'dan.  amerika tayfasının önemli bir bölümü denizin bu tarafında olduğundan siparişimin bana ulaşması için başka bir yol seçmek zorundayım.  dhl'in borderlinx adlı amerika'dan posta kutusu hizmetinde üye olmuştum, onu denemek için iyi bir fırsat.  buna benzer myusabox gibi siteler de var ama kullandığım süre içinde dhl'den çok memnun kaldığım için macera aramaya gerek olmadığını düşündüm.  du bakali n'olcek...

ayda bir anca

yoğunum.

öyle böyle değil, her yerden iş yağıyor.  iş yapmaktan iş yapamıyorum; araya giren ıvır zıvır şeyler yüzünden esas uğraşmam gereken ve hepsi de zaman kısıtlarına bağlı işlere eğilmek bir türlü nasip olmuyor, olamıyor.  hani iş konusunda gevşek davranan, yumurta kapıya dayanmadan harekete geçmeyen biri olsam anlayacağım ama böyle bir durum da yok.  işin boktan tarafı, temmuza kadar böyle gidecek gibi.  geçen seneki gibi saçmasapan bir zamanda tatile çıkmak durumunda kalmam umarım.  iyi blog yazısı çıkıyor böyle zamanlarda fakat bünye üzerindeki etkisini sorun siz bir de :)

bitirme projesinde test verisi üzerinde işi epeyce kolayladım.  test verisi derken hafiften istanbul'u andıran (iki bağlantıyla birbirine bağlanmış iki büyük blok) bir bağlantılar grafiği oluşturdum.  110 nokta ve bunları bağlayan 200 küsur doğru parçası duraklarımı ve yol ağını oluşturdu.

[caption id="attachment_181" align="aligncenter" width="419" caption=""test şehri""][/caption]

durak adları önce y, sonra x koordinat düzlemindeki harf alınarak elde ediliyor, örneğin şehrin kuzeybatı ucundaki durağın adı ka.  bu bağlantılar grafiğindeki yolları izleyerek 110 noktanın tamamını kapsayan 36 hat oluşturdum.

[caption id="attachment_189" align="aligncenter" width="439" caption="hat yayılımı"][/caption]

tek tek hatları vermeyeceğim, meslek sırrı :)

işin "epey kolaylanmış" kısmı aktarma hesaplamasını yapan program.  programa başlangıç ve bitiş duraklarıyla beraber maksimum aktarma sayısını girince mantıklı sonuçlar elde edebiliyorum. mesela ab noktasından maksimum 2 aktarmayla jk noktasına nasıl gidildiğini hesaplayalım:

[caption id="attachment_198" align="aligncenter" width="392" caption="hesaplanmış aktarmalar"][/caption]

ortaya çıkan seçenek ağacındaki ilk seçeneği şu şekilde dillendirebiliriz: "ab'den 00 numaralı otobüse bin. 1 durak sonra bc'de inip oradan 04 numaralı otobüse bin. 6 durak sonra jk'da in."  arada tek aktarmalı bir seçeneğin (ab'den 04 otobüsüyle 7 durak sonra jk) de bulunduğu, yani maksimum aktarma sayısından daha az aktarmaya sahip durumların da hesaplandığı görülebilir. güzel yani :)  bu yapıya seyahat süresi tahmini ile ilgili yapıyı da eklemlediğimde daha da güzel, tadından yenmeyesi bi'şey çıkacak ortaya.

yarın da dernek yönetim kurulu var ve bu yüzden ferdaanım'ın brunch'ını (so posh, ain't it?) ekiyorum.  zaten sabahın 10'unda kanlıca'da olmamı sağlayacak hızı ve gazı bulmak zor, hele bu sabah bir pazar sabahı ise.  uyuy'cam len?!

son iki haftanın tortusu

kaça bölündüğümü bilmiyorum şu sıra.  bu entry de mitoza bağlasın:

• iş: bir ay içinde ikinci kez hafta sonu eğitime gitmek durumunda kaldım.  hadi geçen seferki eğitim epey yeni bilgi içeriyordu hiçbir şey değilse, ama bu seferki hakikaten deli saçmasıydı.  eft diye bir olay.  bankada eft olsa olsa elektronik fon transferi olur, değil mi?  yok, bu "emotional freedom techniques" imiş.  içinde bulunduğun psikolojik çöküntüyü ya da sana sıkıntı veren fizyolojik arazları belli akupunktur meridyenlerine ellerinle dokunarak/vurarak ve "problemin kaynağına inmeye çalışarak" giderebiliyormuşsun eft ile.  gideremedin mi? o zaman o problemin bileşenleri vardır, onları keşfedip onlar için de seans seans eft yapacaksın.   yapacaksın da nasıl?  önce problemini üzerinde çok da fazla düşünmeden belirleyeceksin: "karıma şiddet uyguladığım için kendimden nefret etmeme rağmen kendimi tamamen ve derinden kabul ediyorum".  sonra sırasıyla vücudunu sağ tarafı için kafanın üstüne, kaşlarının bitim yerine, göz yanına, göz altına, üst dudak çukuruna, çene çukuruna, köprücük kemiğinin yumru tarafına, meme altına, koltuk altı boşluğuna, baş, işaret, orta ve serçe parmağına, yüzük ve serçe parmağı arasında elin üzerinde bulunan çukura en az yedişer kez vuracaksın ve bu esnada devamlı "bu nefreti bu nefret" deyu sayıklayacaksın.  bir iki garip kafa ve göz hareketinden sonra bu kez sol tarafa geçeceksin.  bunu kendini yeterince rahatlatabilene kadar (ne demekse) yapacaksın.  ta-daaa! eft yapmayı öğrendin.  yalnız bunu başkasına öğretmeye sak-kın kalkışmayacaksın, çünkü o kişinin duygularını açığa çıkarıp sonra onlarla ne yapaacağını bilemeyebilirsin.  eleman orada hık diye takılır kalır.  bu nedenle bu şarlatanlığı sadece bir üst kademe şarlatanlardan öğrenebilirsin.  tam bir new age zırvası, ve buna  tüm hafta sonumu vermek zorunda kalmış olmak beni halen sinirden kudurtuyor.  ama problem değil, hemen başlayalım: "hafta sonumu böylesi bir deli saçmasına kurban ettiğim için sinirden kudurmama rağmen kendimi tamamen ve derinden kabul ediyorum.  bu kudurtu, bu kudurayazma, bu kudurganlık"...  hepsinden daha bombası, "eğitim"den sonra dağıtılan standart değerlendirme formundaki şu ibare: "bu eğitimde öğrendiklerinizi iş yaşamınızda uygulayabileceğinizi düşünüyor musunuz?"  abi siz neyin peşindesiniz?  eğer eğitim birimimiz eft denilen nanenin iş başında yapılabileceğine inanıyorsa pazartesi ilk iş olarak ofisteki 2 m² yerimi feng shui'ye göre düzenleyip tüm kattakilere secret kitabı+dvd'si dağıtmak farz oldu.


• bitirme projesi: projeye aynen devam ama işin çapı ilk başta tahmin ettiğimden çok daha büyükmüş meğersem.  bir önceki entry'de verdiğim adresleri programatik olarak taradım, mantıklı bir örgü çıkarmaya çalıştım.  şu ana kadar çıkardığım sonuç ise iett'nin kaç tane hattı/durağı olduğunu bilmediği.  internet üzerinde kullanıma açtıkları veri tutarsızlıklarla dolu.  ha, bilip de koymuyorlarsa doğru veriyi, o zaman ben de iett'yi kınarım ve yöneticilerine laflar hazırlarım.


• hayat: yok.  kendime ait bir zamanım yok.  okunacaklar, yapılacaklar, inşa edilecekler birikedurmakta.

notes to self #1

tkm anlık trafik yoğunluğu sensör verisi:
http://tkm.ibb.gov.tr/data/ffree.aspx?bty=1

istanbul genelinde daha çok ana arterlere yerleştirilmiş 300 civarı trafik sensörü mevcut.  konumlarını harita üzerinde işaretledim, google earth'ten görüntülenebilir: http://trafik.sentin.net/TKMsensor383a.kmz

iett - "oraya nasıl giderim?":
http://harita.iett.gov.tr/

google maps üzerinde hat güzergah gösterimi falan var ama durak listeleriyle harita üzerinde gösterilen hat birbirini tutmayabiliyor.  durak listeleri daha güvenilir.

iett hat listesi (bug var, ondan faydalanıyoruz):
http://www.iett.gov.tr/saat/orer.php?hid=hat&hatcode=1A

regex ile ayrıştırıp db'ye aldık, güncellemeleri otomatik yapmak için bir program yazmak şart.

iett harita verisi (geoserver):
http://harita.iett.gov.tr:8080/geoserver/mapPreview.do

harita üzerine hat güzergahları ve durak konumlarının overlay olarak alınması için hazırlanmış bir "coğrafi bilgi kaynağı".  özellikle durak konumlarını enlem ve boylam olarak alabilmek çok güzel.

egiboy planlama teşkilatı ciddiye bindi

egiBlog'da arada bir hakkında yazılıp çizilip kafa tütsülemekten başka hiçbir işe yaramamış varsayımsal bir oluşumdur egiboy planlama teşkilatı. uygun zamanı ayırabilsem girişebileceğim işlerin bir kurumsallaşmış ve dahi yosun tutmuş bir listesi... anahtar kelime "zaman" tabii burada; devamlı yokluğunu çektiğimiz, bol bulduğumuzda da har vurup harman savurduğumuz şeylerin başında gelir. sizin için olmayabilir ama benim için fena halde öyle. madem zaman ayırılamıyor, o zaman ept işlerini zaman ayırmak zorunda olduğum bir etkinliğe yedirerek yürütmek şu an için en mantıklı seçenek. ben de öyle yapayım dedim, o projelerden birini (istanbul ulaşım rehberi/karar destek sistemi) bitirme projesi (tezsiz yüksek lisans ya, tez olamıyor) olarak seçtim. başlayıp tamamına erdireceğiz bi' şekil. iett'nin sayfasında benzer bir uygulama var ama bunu bir adım daha geliştireceğiz; bizim uygulamamız canlı trafik verisi üzerinden varış saati tahmini yapacak. veri kaynağı iett ve istanbul büyükşehir belediyesi trafik kontrol merkezi yoğunluk haritası. bunları besleyen birincil kaynaklar (veritabanı ya da web servisi) genel erişime ya da bir programlama arabirimi üzerinden tüketime açık olmadığından programatik şekilde yukarıda adı geçen web kaynakları taranıp ayrı bir veritabanına alınacak. bu veritabanından da bir ulaşım/aktarma ağı ve buna eklemlenmiş bir trafik yoğunluk modeli elde edilecek.

iett hat detaylarının verildiği web sayfaları web standartlarının canına okuyan, çok kötü hazırlanmış sayfalar ve bu nedenle daha önce yine burada bahsettiğim classifier ile okunamıyor. kaba kuvvete, yani regex'e başvurmak farz. trafik datası ise bir flash arabirimi ile sunuluyor, yani herhangi bir web sayfasını okur gibi okumak imkansız. neyse ki bu flash uygulaması bir xml dosyasından besleniyor ve taraması kolay. bu datanın bir eksiği de sadece ana arterlerle ilgili veri sağlaması. ara sokaklar için ayrı bir model kasmak gerekebilir.

bittiğinde güzel olacak sanki...

nedir?

iş güç derken 3 arabik videoyla geçiştirmişiz blogu. bu sırada mebzul miktarda olay oldu oysa. bankada ilk kısmında dış kaynak kullandığımız (adını verelim, accenture manila) bir projemiz vardı arada egiBlog'da bahsettiğim, daha doğrusu devamlı mızıldandığım. her ne kadar dokümantasyon kısmında bana epey birşey kattı ise de hem süre aşımı hem de dış kaynağın ürettiği kodun kalitesi canımı yeterince sıkmıştı. işte o projenin ürün testi aşaması aralık başında tamamlandı, ben de ygm (yazılım geliştirme müdürlüğü - hell yeah!) içi mahrumiyet bölgesi olan asma kattan eski yerime çıktım, tabi o da ocak'ın 4'ünde 10. kata grupça taşınana dek. kullanıcı kabul testine de haftaya başlanıyor olması lazım; projeyle aramı uzattığım için ancak tahmin edebiliyorum.

şu sıralar da beni sinirden köpür köpür köpürten bir işle uğraşıyorum. bildirim yapmakla yükümlü olduğumuz bir kamu kuruluşunun talep ettiği kimi bilgileri yine onların istediği formatta hazırlayacak bir program. yalnız "format" olarak verdikleri şey evlere şenlik. adres konusunda mesela herşey kodlanmış; il kodu, ilçe kodu, ülke kodu falan, herşey var. süper yani. suudi arabistan'ın, ingiltere'nin, londra'nın da ilçe kodu olduğunu söylersem durum daha iyi anlaşılacaktır ki, söyledim, rahatladım. zaten çok kolay sinirleniyorum şu sıra, iyi değil.

---

geçen ayın başında, soruşturduğumda hiç de sık yapılmadığını öğrendiğim bir etkinliğe katıldım; departmanın yarısı iki otobüse doluşup abant'a eğitime gittik. eğitim deyince, eğitim haftasonu olunca ve katılım da zorunlu olunca iki gün boyunca sıkıntıdan sıkıntı beğeneceğimi düşünüyordum. açıkçası ilk kez herhangi bir konuda yanıldığımdan dolayı memnunum. eğitim de takım çalışması yetkinliklerini geliştirme ve departman için grupları kaynaştırma amaçlıydı zaten. kaynaşmakta üstümüze yoktur tabii :P programda ne vardı? önce her gruba kocamanından bir storyboard kağıdı verildi ve departmanı hangi yemeğe, şarkıya, filme, otomobile, ünlüye, vs. benzettiğimizi, daha sonra sunmak üzere çizmemiz istendi. şunları bulduk:

• şarkı: "bir teselli ver"; iş yoğunluğunun yarattığı her acının tiryakisi olmuş biz mecnunların samimi dileği.


• yemek: patlıcan oturtma; yapımı emek istediğinden ve kendi halinde acı olabilen bir şeyin fena halde lezzetli bir şeye dönüşmesi hikayesini özetlediği için.


• film: "rambo iii"; hassas bir operasyon birimiyz ve bankanın diğer birimlerinin üzerinde iş geliştirdiği platformları hazırlıyoruz. yapılan hataların da etkisi büyük oluyor haliyle. kim attığı okla helikopter düşürebilir ki rambo'dan başka?


• otomobil: doğan görünümlü şahin; yorum yapmaya bile gerek yok, legacy sistemler...


• ünlü: hülya avşar; magazin basını için onunla da olmuyor, onsuz da olmuyor.


• bitki: çam ağacı; her dem yeşil, reçinesi fıstığı falan var, öyle böyle değil.


• hayvan: bukalemun: her duruma uyum sağlar, bir gözü içerideyken diğeri dışarıdadır :)


• eşya: isviçre çakısı; bariz.

işin sunumu bendenize düştü ve -alçakgönüllü davranamayacağım- ortalığı kırıp geçirdim desem yeridir. sunum sahnesinden inerken acayip alkış koptu, diğer sunumların girişlerinde epey bir teşekkür aldım. hala arada kulede karşılaştığım insanlar bana yazılım geliştirme ekibinde harcandığımı söylüyorlar ;P insanların yüzünü güldürmek güzel şey de, şimdilik sevdiğim işi yapıyor olmak daha güzel. değerlendirebileceğim stand-up teklifleri gelene kadar yani, şimdilik (zuhaha).

sonrasında gazete kağıdından belli kurallara uyan (ayaklar arası açıklık falan) bir köprü yaptık ama dereceye giremedik. köprünün adının "veli göçer memorial bridge" olmasının bir etkisi oldu sanırsam. akabinde bir takım egzersizi vardı. ayak basmanın yasak olduğu 3 x 3 metrelik bir alanın en uzak kısmına bırakılan ipuçlarını toplayıp ortaya çıkan mantık bulmacasını çözmek gerekiyordu. ipuçlarını gayet güzel topladık. üç kişi dizleri alanındışında kalacak şekilde elleri üzerinde diz çöktü, onların sırtlarına ayakları gelecek şekilde iki kişi, aynı yöntemle de en uca bir kişiyi ipuçlarına doğru koordineli bir biçimde kaydırdık ve diğer gruplardan önce ipuçlarını elde ettik. buradan sonrası ise tam bir karmaşaydı. ipuçları elden ele gereksiz dolaştı, ekipteki "büyük abiler" kontrolü ellerine almaya çalışırken hem ortak bir noktaya varamadılar hem de kimi zaman fikrini belirten diğer ekip elemanlarına kırıcı davrandılar. bayan elemanlar ortaya üşüşen beyler yüzünden iç halkaya, dolayısıyla çözüme ortak olamadılar. ipuçlrını değerlendirirken kağıt üstünde -abartısız- beş ayrı notasyon gezindi ve muazzam bir zaman kaybı oluştu. hepsi biraraya gelince oyunun ilk yarısındaki avantajımızı kaybettik ve çözümü ik bulduğunu açıkl"ayan ekip olamadık. yine de doğru çözüme ulaştık, ki çözümün içinden çıktığı şartlar gözönünde bulundurulduğunda hiç de fena değilmişiz diyebilirim. eğitim iyiydi, otel ve yemekler vasattı. göl çevresinde dolaşacak zaman bulamamış olmak kötüydü. en güzeli ise departman içinde hem kaynaşma hem de halen devam eden bir pozitif hava yakalanması. düşünsenize, grup müdürlerimizden biri her karşılaştığımızda "başkanım nasılsın?" diyor :P

---

derneğin ilk olağan genel kurulunu yaptık. yönetim kurulunu 1. ('00) ve 2. ('01) mezunlar oluşturdu. başkanımız can. pr/er işleri özge'den, finans samet'ten, it de ertan'dan sorulacak. şahin'in hangi işin boş kalfası olduğunu unuttum. denetmenlerimiz de caner, selçuk ve volkan turan. çok işimiz var. bana daha çok it kısmında iş düşecek tabii. okulu da şöyle bir kolaçan ettim, her zamankinden daha bi' umutlu ayrıldım.

egiboy planlama teşkilatı günlük hayat gözden geçirme raporu #2

geçen seferki listeden hareketle:

• pl/sql için çalışma yapmıyorum artık, direkt eyleme geçtik. öyle böyle değil.
• artık çağrı sisteminden geliştirme çağrıları almaya başladım. iki tanesi bitti bile :P sonuncusu ise bayağı zamanımı alacağa benzer, bir master ekran tasarlanması gerekmekte zira.
• cem'in meşhuuuuur dijital anketiyle ilgili ne yapacağımı bilemiyorum, hiç boş zamanım yok zira.
• "proce"min raporunu bloga koydum, bundan önceki "comp 491" ile başlayan post'lar onlar. hayrını görenzi.
• halen ek$iVista web şeysi için grafik çizim paketi arıyorum. galiba cross-platform bişiler yabiciiz, JUNG falan kullanacağız. son görünüm o yönde.
• hexaStrat olayında atılan zar sonrası hamleleri işleyecek yapıları yazmak kaldı, ki topu topu 4 hamle çeşidi var zaten. lakin, oyunu "foolproof" yapabilmek için devamlı hamle geçerlik kontrolü yapılmak zorunda, ki taş yürütme hamlelerinde biraz takla atmak gerekecekmiş gibi görünüyor. deneyip göreceğiz, bittiğinde de creative commons lisansıyla net'e koyacağım zaten.
• yukarıda bahsettiğim dijital anket olayı için de bir genel çözüm düşünüyorum; her türlü test tipini üretip veritabanında saklayabilecek bir paket program. kesinlikle pazarlanabilir bir ürün olur.

kapattık kardeşim!

comp 491: report | references

References

1. http://en.wikipedia.org/ (“What is Ekşi Sözlük?” section)
2. http://msdn.microsoft.com/
3. http://www.codeproject.com/
4. http://jung.sourceforge.net/ (The basic ideas for the circular layout)
5. http://netron.sourceforge.net/ (The graph visualization package and documentation)
6. http://graphviz.org/ (Information about various graph libraries)
7. C# How to Program, Deitel & Deitel, Prentice Hall, 2001

finito?!?

comp 491: report | conclusion

Conclusion

This project, while it only consisted of ek$iAPI, had started as an exercise in C#, not thinking that a senior design project could be based on it. The source of inspiration for this graph visualization application was the Skitter(*) project which also featured a circular graph, but laid out in a completely different fashion.

After making the decision of doing this project, a tremendous amount of effort was expended to complete it. However, even more could have been expended for a total fulfillment. Quoting from the Preliminary Report:

“Scope: A detailed inspection of Ekşi Sözlük data in the form of a digraph as a way of representation, with some simple algorithms employed for coming up with the digraph. Extensions, such as marking the titles one specific suser has written, finding cycles of association or creating timelines (or a histogram) of activity for a specific title can also be implemented.”

“The latter and final step is to design and implement the graphing tool which will work on the extracted data. This tool will make use of some simple algorithms or checks. Some are:

• Checking the number of entries under a destination title before assigning a connection between two nodes depicting titles. This will be necessary, as links sometimes are used for other purposes by susers, such as emphasizing a part of the entry. Also, some links point to non-existent titles which should be eliminated.
• Possibly, a node distribution algorithm, so that no node of the graph overlaps with another to allow clarity of presentation.”
  

The prime objective of the project can be said to be accomplished, as a digraph is generated by ek$iVista. There is a very, very simple algorithm to come up with the digraph; no need was seen for checking the number of entries under a destination title as that quantity carries no importance. References pointing to single entries and clever references were left out, because the connections sought have to be between titles and clever references are generally used to make remarks about a fact and carry no little referential value. The envisaged extensions that were left out in the first version of ek$iVista are implemented in the second, such as the activity histogram or a list of common titles of two arbitrary susers.

Of course, there is plenty of room for improvement. Edges or vertices could be colored according to a measure, such as the number of links from the edge, or susers in the ”yazarlar” tab could be assigned different icons according to their generations

As I stated above, this project started as a small exercise in C# language and expanded into a much bulkier one, helping me master very crucial constructs; accessing databases, acquiring data from the Internet, working with basic graphics, using proprietary packages and many other skills.

Hoping that somebody comes up with a programming language exercise that also improves one’s time management skills…

K. Egemen Şentin
27.01.2006, updated 11.02.2006

(*)Website: http://www.caida.org/analysis/topology/as_core_network/

comp 491: report | ek$iVista

ek$iVista

The Problem: Designing a program that generates a digraph from the edge data generated by ek$iEdgeDump.

Design: This part of the project was the most troublesome part, involving a cascade of decisions. As the project supervisor, Prof. Attila Gürsoy advised making use of graph layout libraries, such as JUNG(*) (Java Universal Network/Graph Framework), yWorks(**) or GraphViz(***). During the research phase, however, it was observed that neither of these options was worth the effort; JUNG could not be used within C#, yWorks was a commercial package with costs beyond my budget for the foreseeable future, GraphViz seemed too hard to implement. Later on, I found a Windows DLL port of GraphViz(****) and modified ek$iVista to generate a text file in DOT format (file format accepted by GraphViz). However, the lexer inside GraphViz could not parse the text file generated by ek$iVista with no apparent reason, so the use of the GraphViz was out of question. It was becoming obvious that the layout algorithm and generation of the diagram had to be handmade.

From a very large array of layout algorithms, like the Kamada Kawai algorithm, a random vertex-placement algorithm and many tree layout algorithms, the circle layout was chosen, because in this layout, the vertices were pushed near the borders of the diagram and the center part was left vacant for the edges to be placed. Also, the coordinates of vertices and edges could be calculated by simple trigonometry. First of all, a minimum distance between two vertices is defined; let us name it md. If there are v vertices laid out evenly on the perimeter of a circle, the perimeter is expected to be roughly (md x v) units. The radius of the circle, hence, is (md x v)/2π. The position of the nth vertex on the diagram, given the center of the diagram as the Cartesian pair (cx, cy) is the Cartesian pair (cx + cos(360n/v)((md x v)/2π), cy + sin(360n/v)((md x v)/2π)). As we know the coordinates of the vertices and have a list of edges, drawing the directed edges should be trivial.

Everything is expected to fit in without any problems, but expectations are not always met. For enabling interactive vertices that respond to clicks, a control named VistaVertex was created which contained four buttons envisaged to fire some events and methods. However, as the number of vertices rose, the application became more than cumbersome. Also, an unadvertised “feature” of Windows surfaced; one cannot create more than 10,000 controls per application, because Windows cannot generate “handles” for them. Because of this limitation, the use of controls was impossible; the diagram had to be painted on the form and it could not be interactive for the time being. During this phase, I had mounting difficulties when the form had to be refreshed, because whole diagram had to be painted from scratch and I could not figure out a method to avoid this. Finally, I decided to generate a viewable image by using the graphics libraries provided in C#, and discovered another hidden limitation; drawing images larger than 32,678 x 32,768 was impossible. Such a limitation was also imposed upon the size of forms; although the property that keeps the height and width of the form is of type Int32 (2³² ≈ 4 x 10⁹), the maximum value it accepted was 215. With the current number of vertices, however, this poses no big problem.

The program first reads the source titles into a Hashtable and gets the total number of vertices. After this, a SortedList (a Hashtable sorted according to the keys of the items) object is populated by Point objects that store the calculated coordinates of the vertices with the title names assigned as their keys. Then, EksiEdgeData table is read from beginning to end; if the source title corresponds to a key in the hashtable, the directed edge is drawn. After all the edges are drawn, the vertices are drawn onto the image, and finally, the image is saved at a fixed location, the root of the C:\ drive.

-assume that here placed is a friggin' large image which resembles the lunar surface or a colour-inverted solar eclipse-

The graph drawn by ek$iVista, although substantially rich in data, is not very adept at displaying the connections between Ekşi Sözlük titles as much of the meaning is lost in the clutter. As it was stated before, the “final” graph produced contained the details of only a small portion of Ekşi Sözlük data and finally, the graph, although envisaged to be interactive at first, was far from interactivity. To rectify these shortcomings, a new version for ek$iVista was written. A new problem statement would do this new application justice, and it is given below:

The Problem: Providing means of visualizing and analyzing Ekşi Sözlük data gathered by ek$iDump – especially the links between titles and the users contributing to titles. Also, correcting the flaws of the first version; trying to draw the whole graph which makes it unintelligible, having to rely on a separate table (EksiEdgeData) generated beforehand to come up with the graph while the data for it could be generated on-the-fly, and providing no outlets for interactivity.

Design and Implementation: The first design decisions were about what to include in this application and what to leave out. To see what has been done clearly, let us use a weekly update mail as our checklist:

“I spotted a graph visualization package named Netron (http://netron.sourceforge.net/) and will be using this package for the title connections graph.”

The graph visualization package that has been used, as it is stated above, is an open-source package named Netron, an initiative started by François Vanderseypen to provide a functional library of tools written in C# for producing diagrams in .NET platform. Netron contains many object types necessary to draw a connectivity graph and also some layout algorithms, such as the tree layout, random layout and the spring embedder. As the library is open source, it is freely extensible. Another interesting feature of this library is its support for drawing cellular automata outputs. The title connectivity graph generated by ek$iVista makes use of this library and the layout algorithm chosen is the spring embedder algorithm.

• “The queries that I am going to use in ek$iVista are:
• The one that will be used to draw the connectivity graph (with the option of displaying titles 1, 2, 3, 4 and 5 clicks ahead)
• Simple queries that will list the users who contributed to the title and the entries under the title (with the option of opening it from the database with or directly from Ekşi Sözlük)
• Queries that will help to draw timelines for activity, for titles and users
• A query for finding the "intersection set" of the titles written to by two distinct users”

All the queries mentioned above are included with one addition and one exception; the option of opening the entries under a title from the database was omitted as Ekşi Sözlük contained the most up-to-date information on any title imaginable, and as listing more than 700,000 titles in a combo box used to select the title to work on is a fairly daunting task, a query for listing the 10 titles most relevant to the given input was added. These queries were implemented as stored procedures as the data traffic is minimized between the application and the RDBMS and time is used more efficiently as stored procedures precompiled and prepared; they do not have to be compiled over and over like other SQL statements. The number of stored procedures used is five, and they are:

top10matching: Returns the first 10 matches to the title value input.

CREATE PROCEDURE top10matching @whattitle nvarchar(50) AS SELECT TOP 10 title FROM Titles WHERE title LIKE @whattitle

entryProc: Returns the full list of entries entered under a title.
CREATE PROCEDURE entryProc @whattitle nvarchar(50) AS SELECT * FROM Entries WHERE title = @whattitle
suserIntitle: Returns the full list of susers (without repetition) under a title.

PROCEDURE suserInTitle @whattitle nvarchar(50) AS SELECT dbo.Susers.suser, dbo.Susers.suserID FROM dbo.Susers INNER JOIN dbo.Entries ON dbo.Susers.suserID = dbo.Entries.suserID WHERE (dbo.Entries.title = @whattitle) GROUP BY dbo.Susers.suser, dbo.Susers.suserID

entriesOfSuser: Returns the full list of entries contributed by a suser.

ALTER PROCEDURE entriesOfSuser @whatsuser int AS SELECT * FROM Entries WHERE suserID = @whatsuser
togetherProc: Returns the titles (without repetition) written to by both of the two given susers.

PROCEDURE togetherProc @id1 int, @id2 int AS SELECT title FROM dbo.Entries WHERE (suserID = @id1) GROUP BY title HAVING (title IN (SELECT title FROM dbo.Entries WHERE suserID = @id2))


Although the queries used are fairly simple (the last one is a simple nested query) any timewise gain obtainable had to be obtained, because the system the database runs on (an AMD Athlon 2000+ with 512 MB main memory) is not very powerful as to meet Microsoft SQL Server’s needs.

Other design decisions will be explained in detail in the Walkthrough section, where a normal run of ek$iVista is exhibited.

Walkthrough:
A splash screen like this welcomes the users of ek$iVista.

Fig. 6: Splash screen of ek$iVista

If not desired, it can be eliminated by passing /nosplash argument before running the application. The splash screen was seen as necessary because the user has to be sure that the program is functioning normally as the application strives to scan all (exact number is 781, 367) of the titles in the database and add them to a Hashtable which will be used to check whether the destination titles exist or not. After the scanning of titles is complete, the main form of the application is displayed:

Fig. 7: ek$iVista - overview

As one can see, the interface is fairly simple with TabView components used as sub-forms. An MDI (Multiple Document Interface) form could have been used instead, but MDI forms are not very easy for the end user to deal with and can get scattered around, providing a messy outlook. The tabs contain controls that help display the outcomes produced by the program; “başlık bağlantı grafiği” (title connectivity graph) displays the connectivity graph of a title by making use of the Netron graph control, “browser” displays the contents of titles in Ekşi Sözlük with the help of an Internet Explorer control, “etkinlik grafiği” (activity graph) displays the activity recorded under a title or of a suser in the form of a 3D bar chart with the aid of a Microsoft Chart control, and “yazarlar” (writers) and “ortak başlıklar” (common titles) display the writers (susers) under a title and the common titles of two susers, respectively. These two tabs make use of the ListView control.

At the main entry point, we begin by entering some text in the text box under the label “aradığınız başlık” (the title you are looking for). As one types further, the list below the text box is updated by using the top10matching query to list the 10 titles that are the most relevant to the text entered. This feature helps users to narrow down their searches and find titles when they are not sure of the title they want to inspect. An example is given below.

Fig. 8: Title search feature

We advance by selecting a title from the list, select a value for the hop distance (between 1 and 5, inclusive) from the number selector and click “bağlantı grafiğini çiz” (draw connectivity diagram) to see the connectivity graph with the selected title as the center and the titles at the clicking distance selected from the number selector. If one clicks the button without selecting a title from the list, an error message is displayed.

Fig. 9: Error message - "A title should be chosen from the list."

This connectivity graph is drawn by a BFS (breadth-first search) – like algorithm which takes a starting node (title) and scans through the entries under a title, adding the links inside the entries to a list and drawing the connections between them. If the final hop value is not reached, the titles inside the list formed are scanned and the method for drawing the graph is called for every value in the list.

The graph drawn when the selected title is “inanç lisesi” (the high school that I was graduated from – now known as TEV İnanç Türkeş Özel Lisesi(*****)) and the hop distance as 1 is shown below, with the context menu shown when a title is clicked.

Fig. 10: Title connectivity graph with its context menu

The context menu options are:

• “benzer başlık bul” (find similar titles) posts the title name to the text box labeled “aradığınız başlık”,
• “yazarları göster” (show writers) displays the list of susers who contributed to the title in the “yazarlar” tab,
• “etkinlik grafiği” (activity graph) shows the activity graph of the title in the “etkinlik grafiği” tab,
• “ek$i’de aç” (open in ek$i), as its name suggests, opens the title in Ekşi Sözlük, displayed in the “browser” tab.
  

Let us see who has written under the title “mit” by clicking the appropriate menu item. The result, produced by the susersInTitle query, is shown in Fig. 11:

Fig. 11: The list of users who have written under the title "mit"

The activity graph of the title “mit” is obtained by clicking “etkinlik grafiği” in the context menu, which is a bar chart displaying the monthly entry counts of a title or a suser. Three types of activity graphs exist; a general view which displays months, years and number of entries on the axes, the month-based view which shows the counts of entries entered in the 12 months of the year and the year-based view which shows the entry counts corresponding to the years starting from 1999, the year Ekşi Sözlük was established. All three graphs are shown below, in Figs. 12:

Figs. 12: General, monthly and yearly activity graphs for the title "mit"

Activity graphs are obtained by calling queries that return entry data. In this entry data, the date the entry was entered is stored as a string value, since, in Ekşi Sözlük, both the date of entry and – if the title is edited later on – the date of the latest edit is stored. As it was not desirable by the designer to work on tables that contain null values (the edit date for entries that are not edited), this scheme of storing date values was adopted; strings can be programmatically parsed down to integer values.

A two-dimensional integer array for storing entry frequencies is created and for every entry data acquired, the date string is obtained, the month and year value is picked and the frequency value corresponding to the month and year value is incremented by one. After all the entry values are consumed, the array is fed to the graph control as data, and thus the activity graph is drawn.

Going back to Fig. 11, we can experience more of the functionality of ek$iVista. When we right-click any portion of the susers list, a context menu appears as shown in Fig. 13. This context menu provides two choices for the user; “ortak başlıkları listele” (list common titles), when two suser names are selected, lists their common titles in “ortak başlıklar” (common titles) tab, and “etkinlik grafiği” (activity graph) which displays the activity graph pertaining to the selected suser. If the selection criteria (selecting 2 susers for “ortak başlıkları listele” or selecting 1 suser for “etkinlik grafiği”) are not met, error messages are displayed. Let us see what happens when we choose two arbitrary susers from the list and request to see their common titles. The common titles list for the susers “yasland” and “zeytin” are shown in the figure below:

Fig. 13: Common titles list for the users "yasland" and "zeytin"

The items in this tab, “ortak başlıklar”, have the same functionality as any title node in the connectivity graph and have the same context menu. Thus, the details can be inferred from the lines above which mention this context list.

(*): Detailed information about JUNG can be obtained from http://jung.sourceforge.net/.
(**): Website: http://www.yworks.com/
(***): Website: http://graphviz.org/
(****): Website: http://home.so-net.net.tw/oodtsen/wingraphviz/index.htm
(****): Website: http://home.so-net.net.tw/oodtsen/wingraphviz/index.htm
(*****): Detailed information can be obtained from http://www.tev.org.tr/ or http://tevitol.k12.tr/.

comp 491: report | ek$iEdgeDump

ek$iEdgeDump

The Problem: Extracting links (connections) from the existing “heap” of entries.

Design: For ek$iVista to be able to function, to be able to produce a digraph, it needs a list of directed edges, and ek$iEdgeDump was produced for this purpose. For the sake of simplicity, like ek$iDump, it is also designed as a console application. During the development, two versions of ek$iEdgeDump were produced. The first version gets the full list of titles in the database (a table named Titles exists in the database) and scans them one by one. In this scan, the entries under the title being scanned are inspected and any link that points to a title (those that point to single entries are omitted) is parsed out of the entry text. Then, another database query checks whether the title pointed by the link exists in the title list. If it exists, the pair consisting of the IDs of the source title and the destination title (the records in the Titles table have a title ID and title name) are written to a table named EdgeData, only to be used by ek$iVista in drawing the digraph. This approach proved to be too slow, because for every link found in an entry, a verification query has to be made. The scan rate of this version of ek$iEdgeDump was less than 1,000 titles/day. Given the fact that the database contained more than 700,000 titles, the job would be completed in nearly two years. Clearly, another approach had to be adopted .

In the second version of ek$iEdgeDump, the focus is back on the entries instead of the titles. As one can recall from the description of the Entry class in ek$iAPI, one of the details of acquired from Ekşi Sözlük when an entry is extracted is the title the entry is placed under. Thus, we can produce a different table that looks like the EdgeData table described above that keeps information of the source and the destination vertices of the directed edge. The table, in the new approach, is produced by scanning the entries in the database (they reside in a table named Entries), parsing out the links that point to titles and writing the pair consisting from the name of the source title and the destination title to a table named EksiEdgeData without checking whether the destination title exists in the Titles table. This verification effort was the factor that slowed the first version down, and it can be handled without querying the database by ek$iVista (the details of how this is done are given in the section discussing ek$iVista). As the title data in the Entries table is stored in string format (not as integers; foreign keys related to title ID column in Titles table), the size of the EksiEdgeData table is significantly larger than that of EdgeData. ek$iVista uses the data from EksiEdgeData table, generated by the last version of ek$iEdgeDump.

Fig. 5: ek$iEdgeDump versions 1 and 2 in action

comp 491: report | ek$iDump

ek$iDump

The Problem: Coming up with a portable application to acquire Ekşi Sözlük entries and store them in a database.

Design: Although the final product of the project will be a graph depicting connections between Ekşi Sözlük titles, the connections arise from the content of the titles, which are, obviously, the entries. That is one of the reasons why ek$iDump is a tool for getting the entries rather than the titles. Another and maybe the prime reason for focusing on entries is that entries have unique integer IDs that allow them to be acquired one by one in a for-loop or a while-loop.

ek$iDump is, due to this nature of Ekşi Sözlük entries, at the level of complexity of a “Hello World” program. The program, designed as a console application, gets the starting ID and the terminal ID as its input, which are integer values. In a while-loop, beginning from the starting ID, if the entry with the given ID exists, it gets it from Ekşi Sözlük by calling Entry.GetFromEksi(ID) and writes the details of the Entry acquired to the database. The database of choice is a Microsoft Access file, because one does not have to set up a server for using it; even if you do not have Microsoft Access installed, one can obtain and install a package named Office 2003 Redistributable Primary Interop Assemblies and get on with using the database. Also, the data accumulated in the database is easily exportable to Microsoft SQL Server, which the other two sections of the project, ek$iEdgeDump and ek$iVista use. One always has to make the quantum leap from Microsoft Access to another pro-level RDBMS at some level, as Microsoft Access imposes a size limit of 2 GB on a database file. Note that although it is by no means final, the size of the database file generated in the course of the project exceeds 5 GB. An image showing ek$iDump in action is given in the figure below:

Fig. 4: ek$iDump in action, dumping entries

comp 491: report | ek$iAPI

ek$iAPI

The Problem: Retrieving information from Ekşi Sözlük and organizing it programmatically.

Design: In the very beginning, the plans were basically getting started with ek$iDump and incorporating data acquisition functions into some method inside the main class. That would have been very easy to start with, however, if I wanted to use the portions of code that access Ekşi Sözlük in another application, all had to be re-written. To avoid such circumstances, a different style of programming had to be adopted. After some contemplation, I decided to program this part of the project as a class library. Class libraries are collections of classes and methods inside classes, and when compiled in Visual Studio.NET, are built into Windows DLLs. Thus, I would be able to reuse the code in any application.
Although it carries no formal significance, ek$iAPI did spring from the drawing board:

Fig. 3: Primordial sketches

In the initial sketch, there number of classes envisaged was six; entry class for storing entry data, a message class to exploit the messaging facility of Ekşi Sözlük, a today class for storing the titles written to in a specific day, a random50 class for returning 50 titles chosen at random by using the search facility, a suser class to store any particular information obtainable about an Ekşi Sözlük user, and a title class for storing entries posted under a title. In the final release, however, some of these envisaged classes were dropped. Message class was discarded as it would provide no functionality for the time being; classes today and random50 were discarded as they were collections of title objects and thus were redundant. As a result, the only classes implemented which were also on the “primordial sketch” are Entry, Title and Suser classes.

This class library is utilized by ek$iDump, Ekşi Sözlük entry acquisition tool, which is described in the next section.

comp 491: report | project divisions

Project Divisions

Ekşi Sözlük graph visualization project consists of four distinct applications:

• ek$iAPI: Class library (basically, a Windows DLL) for acquiring, manipulating and organizing Ekşi Sözlük data, coded in C#

• ek$iDump: A console application coded in C# which exploits ek$iAPI to retrieve entries from Ekşi Sözlük and “dump” them into an MS Access Database

• ek$iEdgeDump: A console application coded in C# which processes the entries acquired by ek$iDump and finds links between titles

• ek$iVista: The final application that outputs an image file depicting the connections between titles in Ekşi Sözlük using the data generated by ek$iEdgeDump.
  

Design and implementation details are given in the following sections.

comp 491: report | what is ekşi sözlük?

What is Ekşi Sözlük ?

Ekşi Sözlük, founded on February 15th, 1999, is a site in Turkish which can be classified as a “collaborative hypertext dictionary”; the content is formed by its more than 10,000(*) active users. The users prefer to call themselves in many different ways; susers (sözlük users), “sözlükçü”s or “yazar”s (writer, author). Users, according to their membership dates, are divided into generations:

1st generation: Member as of February 1999
2nd generation: Member as of May 2000
3rd generation: Member as of May 2001
4th generation: Member as of May 2002
5th generation: Member as of April 2003 (after a book donation campaign)
6th generation: Member as of May 2004
7th generation: Member as of November 2005 (after a book donation campaign)

Information in Ekşi Sözlük is organized under titles (tr. başlık) which can be potentially about anything one can think of; some are meant to be informative, some are hilariously funny, while many of them are generally silly or weird and for reasons unknown, are limited to 50 characters. Although the site is in Turkish, the six letters that are not in the English alphabet (ç, ğ, ı, ö, ş, ü) are not used in the titles. However there is no such limitation for the entries. What makes Ekşi Sözlük a hypertext dictionary are the cross-references, named “bakınız” and abbreviated as bkz (translatable as “see”). There are several types of cross-references, and they are:

• References that link to a title, which have the format (bkz: xyz)(**) , xyz or *; the basic reference, hidden reference and the clever reference, respectively. A clever reference displays the name of the title it refers to when pointed by the mouse, and redirects to the title when clicked.
  

Fig. 2: An example of a "clever" reference

• References that link to an entry, which look like the first two specimens of title-bound references, but they also include numbers. These numbers carry two meanings differing in context;
• When given in (bkz: xyz/n) format, it refers to the nth entry of title xyz.
• When given in (bkz: xyz/#n) or (bkz: #n) format, it refers to the entry having the unique id #n. In Ekşi Sözlük, entries have unique IDs, like records inside a database table with an automatically generated integer assigned as its primary key.

• References that link to the entries of a certain suser under a specific title: When given in (bkz: xyz/@john doe) format, a reference links to the entries under the title xyz that pertain to a certain suser “john doe”.

This taxonomy of reference formats in Ekşi Sözlük will be of much aid when discussing ek$iVista, the graph drawing tool.

Ekşi Sözlük also provides mechanisms for user-to-user messaging, entry voting, moderation and entry reporting (done by moderators and hilariously named ekşi sözlük senior gammaz staff. Gammaz translates from Turkish as “informer”.), and has many sub-sites to cater different needs:

• soursummitz: Site for organizing meetings (zirves: summits)
• eksi sozluk muzesi: Site for displaying deleted entries for their humor value
• s.c.r.e.e.n: Screenshot archive for susers
• eksi rss: RSS feed of Ekşi Sözlük, displays the last 50 active titles upon subscription
• smkb: Short for sözlük menkul kıymetler borsası – “sözlük stock exchange”; auction site
• sourworkz: Webspace for getting software related to Ekşi Sözlük
• sour fx: A graphical art portal consisting of susers’ creations
• sourlemonade: Entry backup facility
  

All in all, Ekşi Sözlük is a vast and diverse community (calling it a mini-Turkey would not be overshooting) of people actively engaging in discussions and contributing to the content of the site.

(*): For current statistics, visit http://sozluk.sourtimes.org/stats.asp.
(**): Text coloured purple correspond to hyperlinks.

comp 491: report | introduction

Introduction

The first steps leading to this project were taken in Fall 2004 semester, in MGIS 302 (Software Programming Techniques) course given by Ömer Yedekçioğlu. As the term project, I had presented a program written in Visual Basic 6 to back up Ekşi Sözlük (http://sozluk.sourtimes.org/) entries in an HTML file, which was aimed at being a replacement for SourLemonade (http://213.232.33.34/sourlemonade/default.aspx), the “official” service for Ekşi Sözlük users to backup one’s own entries. The program, dubbed “ek$iBackup”, however, had no such limitation; one could backup the entries of any user (s)he wished to backup. Also, after all the entries by a particular user are scanned by ek$iBackup, it allowed viewing of entries and the titles that the entries pertain to either from the backup or directly from Ekşi Sözlük.

Fig. 1: A screenshot of ek$iBackup, upon scanning entries of user named innu

Following ek$iBackup, intended as a self-assigned programming exercise in C# language, I set on to write a code library that would be used to access and organize Ekşi Sözlük data and came up with ek$iAPI. Then, to acquire the data from Ekşi Sözlük necessary for the graphing application to operate, ek$iDump and ek$iEdgeDump applications were prepared. The final set of data (which is by no means final, as it covers less than 1% of potential linkages between Ekşi Sözlük titles) used was generated by ek$iEdgeDump, which was run on data collected by ek$iDump. Detailed descriptions of ek$iAPI, ek$iDump and ek$iEdgeDump will be given during the course of this report, but one feels it is necessary to explain what Ekşi Sözlük is and what it is so good for, along with entailing jargon.

comp 491: preliminary report

hani proce raporu diyorduk ya, işte ta kendisi. ancaaaaak, önce neyin üzerine rapor yazıyoruz bilelim, di'mi?

i kept on telling about some project report, and there it is. but first of all, we have to know what this report is written about, innit?

12.11.2005

Topic: Ekşi Sözlük Graph Visualization Tool

Motivation: Ekşi Sözlük (http://sozluk.sourtimes.org/) is a popular Turkish web site, up and running since February 15th, 1999. Having about 10,000 active contributors (susers – Sözlük users in Ekşi Sözlük jargon), this web site is basically a hypertext dictionary comprising of the entries of its collaborators. In Ekşi Sözlük, one can find explanations and definitions of almost any concept one can think of. In Ekşi Sözlük’s jargon, a concept for which information can be found is called a “title” (literal translation of “başlık” from Turkish). Each individual definition, explanation, or information of any kind is called an “entry”. There may be any number of entries posted under a title. What makes Sözlük different from any other plain text based dictionary is that it contains hyper-textual references to other titles. The data to be used in this project is obtained by crawling through the entries of Ekşi Sözlük.

Scope: A detailed inspection of Ekşi Sözlük data in the form of a digraph as a way of representation, with some simple algorithms employed for coming up with the digraph. Extensions, such as marking the titles one specific suser has written, finding cycles of association or creating timelines (or a histogram) of activity for a specific title can also be implemented.

Method: As an initial step, a crawler for extracting Ekşi Sözlük data, named ek$iDump was written in C#, which is a simple, single-threaded application which accesses Sözlük entries one by one by their numerical ID and dumps the necessary details to a non-relational Microsoft Access database. Currently all entries until the ID #3300000 have been crawled. Due to the high number of deleted entries by moderation, the choice of the suser or voiding of the suser account, the total number of entries stored locally stand close to 2,000,000. As of December 12th, 2005, there are more than 5,000,000 entries posted under about 1,100,000 titles and the ID of the most recent entry is #8685844. This may give a measure of the density of Sözlük data (detailed statistics can be found at http://sozluk.sourtimes.org/stats.asp). Due to time limitations, a cutoff point will be selected (ID #4000000 or #5000000 is considered). The latter and final step is to design and implement the graphing tool which will work on the extracted data. This tool will make use of some simple algorithms or checks. Some are:

• Checking the number of entries under a destination title before assigning a connection between two nodes depicting titles. This will be necessary, as links sometimes are used for other purposes by susers, such as emphasizing a part of the entry. Also, some links point to non-existent titles which should be eliminated.
• Possibly, a node distribution algorithm, so that no node of the graph overlaps with another to allow clarity of presentation.
  

Expected Results: A report of the senior design project with extended demonstrations of the final product, the graphing tool which is expected to generate a “forest” of Ekşi Sözlük data. As mentioned above, the data extraction tool (crawler) is complete with a collection of classes to be able to acquire and arrange Ekşi Sözlük data, namely the Ek$iAPI; although can still be improved speedwise. The graphing tool is currently in the drawing-board phase.

çaylak oldum! yine!

ekşi sözlük'te 4 yıllık "mesai"m var, ama bu 4 yılın son ikisi gayet heyecanlı geçti; en az 5 kere çaylak oldum. bunların sadece iki tanesinin nedenini biliyorum. biri -afedersiniz- hayvan çocukluğu yapıp bitirme projem için 3,5 ayda 3.800.000 tane entry çekmiş, sözlüğün bandwidth'ini sömürmüş olduğumdandı ve yaklaşık 2 ay kadar çaylak kaldım. diğeri de şimdiki işte; "başlıkları alt ata okumak" başlığı altına sözlükteki tabiriyle "g.tümüze girebilir" bir entry girmiş olmam. işte burada yüksek perdeden bir

ulan!

diyesi geliyor insanın. bir kere başlığın doğası rastlantısal olması. içerik olarak hafiften hınzırca bir entry girildiyse de bunun yukarıda verilen gerekçeyle bir eyleme girişmek için yeterli olduğuna inanmıyorum. girdiğim entry'de adı geçen şahsa da giydirme amacım yoktu. ne diyeyim, sözlüğün tadı ona höt buna zöt, iyiden iyiye kaçmaya başladı. türk kolektif aklının cisimleşecek kadar yoğuştuğu bir mecranın böyle keyfekeder idare edilmiyor olması gerekir.